автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Нейросетевая реализация процедуры идентификации динамических систем

На правах рукописи

?Г Б ОД

Гаврилов Александр Игоревич ■ } » - л л - ,

" .'-о! Г

НЕЙРОСЕТЕВАЯ РЕАЛИЗАЦИЯ ПРОЦЕДУРЫ ИДЕНТИФИКАЦИИ ДИНАМИЧЕСКИХ СИСТЕМ

Специальность 05.13.01 - управление в технических системах

Автореферат диссертации на соискание ученой степени кандидата технических наук

МОСКВА - 2000

Работа выполнена на кафедре Систем автоматического управления Московского государственного технического университета имени Н.Э. Баумана.

Научный руководитель: доктор технических наук, профессор К.А. Пупков Официальные оппоненты:

- доктор физико-математических наук, профессор А.П. Карпенко

- кандидат технических наук, доцент Б.П. Тгохов

Ведущая организация: Государственное унитарное предприятие «Научно-исследовательский и конструкторский институт монтажных технологий» (ГУЛ «ГП НИКИМТ»),

Защита состоится на заседании

диссертационного совета К 053.15.12 Московского государственной технического университета имени Н.Э. Баумана по адресу: Москва, 107005 ул. 2-я Бауманская, д. 5.

С диссертацией можно ознакомиться в библиотеке Московского государственного технического университета имени Н.Э. Баумана.

Автореферат разослан

Ученый секретарь диссертационного совета д.т.н., профессор

К.А. Неусыпин

на. о

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. К концу двадцатого столетия системы автоматического управления (САУ) стали неотъемлемой частью повседневной жизни человека. САУ применяются повсеместно, начиная от предметов бытовой техники и заканчивая самолетами и космическими станциями. При проектировании системы управления необходимо иметь информацию о том, как будет вести себя объект при определенных управляющих воздействиях, т.е. надо иметь некоторую модель поведения объекта. Модель может быть получена на основе знаний о структуре и физических принципах функционирования объекта либо путем проведения серии экспериментов с целью выявления особенностей поведения исследуемой системы. Первый метод принципиально прост, но требует значительных временных затрат и нередко приводит к недостаточно точным моделям. Второй метод, обычно называемый идентификацией, может с успехом использоваться дня получения формальных моделей с заданной степенью адекватности. Методы идентификации широко используются при проектировании систем управления, иногда переходя в неотъемлемую часть регулятора.

В большинстве работ в области идентификации, адаптивного управления и проектирования систем управления в целом традиционно рассматриваются линейные объекты и регуляторы. Тем не менее, все системы в той или иной мере проявляют нелинейное поведение, что вызывает интерес к исследованию методов и подходов к проектированию именно нелинейных систем.

Одним из подходов, вызывающих все больший интерес, является использование искусственных нейронных сетей (нейронных сетей, НС) для решения задач как идентификации (построения НС моделей) нелинейных динамических объектов, так и для проектирования систем автоматического управления в целом (ненроконтроллеров). Проблемах! использования НС в технических приложениях посвящено огромное количество периодических научных журналов, в частности "Neural Networks" (с 1983 года), "ШЕЕ Transactions on Neural Networks" (с 1990 года). В России с 1992 г. издается журнал "Нейрокомпьютер". По данной тематике ежегодно проводится большое число конференций и симпозиумов, в том числе российские

"Нейроинформатика и нейрокомпьютеры", Ростов-на-Дону, 1992 г.,1995г., 1998г., "Нейрокомпьютеры и их применение", Москва, ежегодно, начиная с 1995г. Исследования в области нейросетевых технологий поддерживаются Российским фондом фундаментальных исследований.

Теория искусствешшх нейронных сетей представляет собой дисциплину, у истоков которой - исследования принципов функционирования биологических нейронных структур. Развитие дисциплины привело к созданию НС моделей, значительно отличающихся от своих биологических прототипов, но обладающих такими характерными чертами, как способность к обучению, обобщению и абстрагированию. Именно эти свойства НС позволяют эффективно решать задачу построения формальных моделей сложных нелинейных динамических объектов при отсутствии априорной информации, необходимой для применения традиционных методов идентификации.

Помимо систем управления нейронные сети используются для решения таких задач, как адаптивная обработка сигналов и фильтрация, распознавание образов и кластеризация, создание памяти, адресуемой по содержанию, а также в медицине и банковской деятельности.

Технические системы, включающие в себя искусственные нейронные сети в качестве прогнозирующих моделей, адаптивных регуляторов или универсальных высокопараллельных вычислителей, могут быть отнесены к классу интеллектуальных систем, способных на основе использования сведений и знаний при наличии мотивации синтезировать цель и находить рациональные способы ее достижения.

Цель работы - создание формализованного подхода к нейросетевой реализации процедуры идентификации, применимого к широкому классу динамических систем, и разработка технических приложений на основе сформированного подхода. В соответствии с поставленной целью, основными задачами работы являются:

- обоснование возможности использования НС в качестве формальных моделей динамических объектов;

- разработка базовых нейросетевых модельных структур;

- разработка, анализ и алгоритмизация многостадийной процедуры идентификации на основе нейросетевых модельных структур, включая планирование и проведение эксперимента; выбор структуры НС

модели; обучение НС; тестирование (установление адекватности) модели; оптимизацию структуры НС;

- создание программно-аппаратного комплекса мониторинга технологического процесса дуговой сварки, основанного на применении прогнозирующих нейросетевых моделей.

Методы исследования. Для решения поставленных задач использовались методы теории оптимизации, теории дискретных систем, теории вероятности и математической статистики. В экспериментальных исследованиях применялось цифровое моделирование на ЭВМ.

Научная новизна, практическая н теоретическая ценность работы. На основе анализа, систематизации и обобщения научных достижений в таких областях, как теория автоматического управлепия, информатика, вычислительная математика и статистика, нейрофизиология, физика и технология производства микрочипов, сформирован комплексный формализованный подход к решению задачи идентификации динамических объектов с использованием нейросетевых моделей. Предлагаемый подход обладает как существенной научной новизной, так и практической значимостью.

В ходе выполнения работы получены следующие основные теоретические результаты:

- Сформированы базовые нейросетсвые модельные структуры с линейным рирессионным входом, использующие характерные свойства нейронных сетей (способность к обучению на множестве экспериментальных данных, обобщение и абстрагирование) для моделирования нелинейных динамических систем.

- Выявлены особенности применения методов безусловной минимизации функций многих переменных для решения задачи оптимизации параметров нейросетевых моделей.

- Исследованы и алгоритмизированы методы подтверждения моделей: многошаговое прогнозирование, оценка ошибки обобщения, корреляционные оценки ошибки прогнозирования.

- Предложен подход к оптимизации структуры нейросетевых моделей с целью улучшения их рабочих характеристик, основанный на контрастировании весовых коэффициентов НС.

- Разработан подход к оценке качества сварных соединений на основе анализа ширины обратного валика шва, прогнозируемой нсйросетевой моделью.

Разработанные и исследованные в работе нейросетевые алгоритмы идентификации динамических объектов могут быть использованы при создании программного обеспечения и технических средств информационно-вычислительных комплексов моделирования систем управления нелинейными процессами при отсутствии достаточного объема априорной информации.

Практической реализацией разработанных алгоритмов является программный продукт, представляющий собой композицию модулей, соответствующих каждой стадии процедуры идентификации и объединенных в одной оболочке. Интуитивно понятный интерфейс пользователя, быстрота и вычислительная робастность используемых алгоритмов позволяют получать адекватные нейросетевые модели динамических объектов за рекордпо короткие сроки и с минимальным участием пользователя (проектировщика).

Научную новизну и значительную практическую ценность составляют нейросетевые модели технологического процесса дуговой сварки, позволяющие эффективно прогнозировать качество сварного соединения на основе информацио!шых сигналов, получаемых от уникального лабораторного стенда.

Реализация и внедрение результатов. Основные теоретические и практические результаты получены в ходе выполнения научно-исследовательской работы в рамках Федеральной программы «Университеты России - фундаментальные исследования» (проект №1229 «Исследование и создание интеллектуальных систем») и межвузовской программы «Многопроцессорные ЭВМ с параллельной структурой и виртуальная реальность» (приказ Министерства общего и профессионального образования РФ №572 от 02.03.98).

Разработанные в рамках настоящей работы алгоритмы и программное обеспечение использованы в научно-учебном центре «Сварка и контроль» при создании системы автоматического управления сварочным процессом.

Апробация работы. Материалы теоретических исследований представлены на конференциях: Второй международный симпозиум "Интеллектуальные системы" (Россия, Санкт-Петербург, 1996г.); ХХХП1 научная конференция Российского университета дружбы народов (Россия, Москва, 1997г.); Третий международный симпозиум "Интеллектуальные системы" (Россия, Псков, 1997г.); Научно-техническая конференция студентов, аспирантов и молодых специалистов МГИЭМ (Россия, Москва, 1999).

По результатам проведенных исследований опубликовано 5 научных работ.

Структура и объем работы. Диссертация состоит из введения, 3 глав, заключения, списка литературы из 95 наименований и приложений. Основная часть работы изложена на 184 страницах, содержит 2 таблицы и 40 рисунков. Общий объем приложений - 30 страниц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность темы диссертационной работы, сформулированы цели и задачи исследования, обоснованы научная новизна и практическая ценность исследований, приведены сведения об апробации работы и публикациях, представлены основные научные результаты, полученные в ходе выполнения работы.

В первой главе рассматривается традиционная постановка задачи идентификации объектов типа «черный ящик» и существующие методы построения описания динамических систем на основе линейных регрессионных модельных структур. Даются определения НС с позиций различных научных областей (теория управления, математика и статистика, вычислительная техника). Рассматриваются фундаментальные особенности функционирования НС, их классификация и категории решаемых задач; обосновывается возможность реализации процедуры идентификации нелинейных динамических объектов на основе одного класса нейросетевых модельных структур - многослойных перцептронов.

Традиционным методом построения моделей динамических объектов является реализация процедуры идентификации с использованием регрессионных модельных структур.

Понятие регрессии непосредственно связано с задачей прогнозирования величины у на основе информации, полученной при измерении других "величин . В случае динамических систем

зависимая перемепная у является выходом системы в некоторый момент времени (?), а регрессоры <р-, содержат информацию о прошлом поведении системы.

Таким образом, обобщешюе описание произвольного динамического объекта может быть представлено в следующем виде:

КЩ=*№М> 0)

где <р(7,6>) - регрессионный вектор, 0 = - вектор

настраиваемых параметров. Выражение (1) носит название протнозирующей модели.

Прогнозирующая модель g((p(t,0),O) может быть реализована на

нейросстевой модельной структуре, имеющей следующее математическое представление:

f- 'п.

g, (<p(t,0\0) = У МО) = h(t\w,W) = Fj

щ

7=1

ч>

J^WjlPl+WjO /=1

-Що

, (2)

где fj (дс) = tanh(jc) - активациишая функция нейронов скрытого слоя; Fj (х) = кх\ к = const - активационная функция нейронов выходного слоя; Пу - размерность регрессионного вектора (число входов НС); nh -число нейронов в скрытом слое; в - вектор настраиваемых параметров нейронной сети, включающий весовые коэффициенты и нейронные смещения (wji, Wy).

Использование многослойных нейронных сетей в качестве прогнозирующих моделей динамических систем обусловлено способностью НС моделировать произвольные нелинейные непрерывные функции в результате обучения на множестве примеров ' (экспериментальных данных). Дополнительные преимущества нейронных сетей состоят в способности выделять общие принципы при предъявлении некоторого набора обучающих векторов (обобщение) и возможности работы с неполным набором данных (абстрагирование).

Во второй главе рассматриваются особенности реализации многоэтапной процедуры иденгификапии динамических объектов на

у

основе нейросетевых модельных структур. Особое внимание уделяется практическим аспектам: созданию репрезентативной выборки экспериментальных данных и их предварительной обработке, рациональному выбору структуры нейросстевой модели, адаптации алгоритмов поиска минимума функций многих переменных к обучению нейронных сетей, структурной оптимизации нейросетевых моделей, проверке адекватности получешгой модели.

Обобщенная процедура идентификации динамических систем включает в себя следующие основные стадии:

- подготовка и проведение эксперимента;

- выбор модельной структуры;

- оценка (оптимизация параметров) модели;

- принятие решения об адекватности модели (подтверждение модели).

На стадии подготовки и проведения эксперимента решается задача сбора необходимого количества экспериментальных данных во всем рабочем диапазоне системы: ( = , где и(1),у(1) -

вход и выход системы соответственно; N - число дискретных отсчетов в множестве экспериментальных данных.

В случае, когда априорные знания о физике объекта или тесты на нелинейность позволяют сделать заключение о целесообразности применения нейросетевого подхода к идентификации объекта, возникает ряд специфических вопросов постановки эксперимента, сбора и предварительной обработки данных для обучения и тестирования нейронной сети, причем полнота и достоверность данных во многом определяет качество идентификации.

В работе рассмотрены проблемы, связанные с выбором частоты дискретизации, синтезом тестирующего (входного) сигнала, возникновением нежелательных элементов в множестве экспериментальных данных, и предложены практические методы их решения.

В качестве базовых нелинейных нейросетевых модельных структур предлагаются следующие модификации линейных регрессионных моделей:

Нейросетевая авторегрессионная модель: Регрессор:

<Р«,9) = \у«-\)...у{1-па) и(1-пк)...и((-пь-пк+\)]. (3)

Прогнозирующая модель:

у(1\в) = у{^-Ю) = 8Ш,0). (4)

Нейросетевая авторегрессионная модель скользящего среднего: Регрессор:

(р(!,в) = \ц-1)...уц-па) и(1-пк)...и(!-пь-пк+\) е(Г-1)...</-ис)]Г= ^^

где £•(?) = у(?) - у(?\в) - ошибка прогнозирования (невязка). Прогнозирующая модель:

= + (с(?-1) -1)^(0, (6) где = 1 + с^-1 + ... + спд~" - полшюм от оператора

запаздывания с] ^.

Нейросетевая модель типа "обновления пространства состояний". Регрессор:

" Г

Р(0= [хТ 0 в) "'(О e'(tp)\ . (7) Прогнозирующая модель:

x(t+l\9)= g(<p(t),0),

y(t\&) = C(0)x(t\0). (8)

Выбор семейства моделей, подходящих для описания конкретной системы, определяется априорными знаниями о физических принципах функционирования объекта и конкретной постановкой задачи. Помимо вышеперечисленных базовых моделей могут быть использованы их комбинации и модификации.

На стадии разработки структуры нейросетевой модели возникает ряд проблем, наиболее существенными из которых являются выбор вектора входов НС (регрессора) и определение внутренней структуры НС.

Наиболее трудоемким представляется определение глубины регрессии, т.е. количества п, значений компонент регрессора (числа отсчетов сигналов) в предыдущие моменты времени. В работе предлагается автоматизированная процедура определения глубины регрессии, основанная на сопоставлении коэффициентов

.Т ,.Г

и]

ц

, (9)

полученных для модельной структуры тина = д(/р(1),0) с

регрессионным вектором

<Р(0 = 1<Р1 <Рг <Рз ■■■ <Р2]Т =

= [у(1 -1) ... у{1-п) и{1-с1) ... и(1-с1-т)\Т (10) на множестве экспериментальных данных 2= [[^(0,3'(0].г = 1,2,... Л/].

При использовании НС в качестве модельных структур значительную роль играет не только выбор регрессора, но и задание внутренней структуры сети - числа «скрытых» слоев и количества нейронов в каждом скрытом слое. В работе даются практические рекомендации по априорному (до проведения процедуры обучения) выбору внутренней структуры нейросетевой модели, рассматриваются методы структурной оптимизации моделей после реализации процедуры обучения.

На стадии оценки (оптимизации параметров) модели реализуется отображение -»6 множества экспериментальных данных на

множество параметров (весовых коэффициентов) выбранной нейросетевой модельной структуры с целью получения оптимального, в силу некоторого критерия, прогноза выходного сигнала у . В теории нейронных сетей этот

процесс носит название обучения, а традициошго используемым критерием является среднеквадратичная ошибка прогнозирования:

Таким образом, обучение НС состоит в нахождении вектора параметров в, минимизирующих критерий (11):

0 = аг£ ттУм(в,гЫ) . (12)

О

Для нахождения вектора оптимальных параметров используются методы последовательного приближения, или итеративные методы поиска:

0(пг)=ва) + //,)/(,) ^ (13)

где - значение параметров на текущей итерации /, направление поиска, шаг алгоритма. В работе исследуются особенности ряда

9

методов минимизации критерия (11), среди которых - градиентный метод, метод Ньютона, Гаусса-Ньютона и Левенберга - Маркадта. Рассматриваются вопросы адаптации указанных методов к реализации процедуры обучения нейронных сетей.

На стадии принятия решения об адекватности модели проверяется соответствие модели реальной системе и условиям, в которых ее предполагается использовать. Данный этап является наиболее трудоемким и требует непосредственного участия инженера-разработчика. В работе анализируется ряд оценок и тестов, позволяющих сделать верное заключение о возможности дальнейшего использования модели. Помимо традиционной проверки эффективности работы модели на тестовом множестве (перекрестной оценки) предлагается ряд корреляционных оценок, в том числе второго порядка, рассматриваются методы имитационного моделирования и подтверждения модели на основе исследования средней ошибки обобщения.

Оценка средней ошибки обобщения используется также для структурной оптимизации НС моделей.

Третья глава посвящена вопросам построения нрограммно-аппаратпого комплекса мониторинга технологического процесса дуговой сварки, основным элементом которого являются прогнозирующие нейросетсвые модели. Значительное внимание уделяется особенностям технологического процесса и построению критериальных оценок качества получаемого сварного соединения. Приводятся основные технические характеристики лабораторной установки, дается обзор функциональных возможностей разработанного программного продукта МИРгеФсЮг. Детально рассматривается процедура получения прогнозирующих нейросстевых моделей, начиная от постановки эксперимента и заканчивая установлением адекватности полученной модели исследуемому объекту. Экспериментально подтверждается эффективность применения разработанных нейросетевых моделей для решения задачи оценки качества сварного соединения.

Технологический процесс луговой сварки рассматривается как единая электрогидродинамическая система «источник-дуга-сварочная ванна», подверженная влиянию возмущений, основными из которых являются:

- изменения длины дуги, вызываемые неровностями на поверхности изделия, капельным переносом металла и другими причинами;

- изменение вылета электрода вследствие возможных колебапий расстояния между токоподводящим мундштуком и изделием;

- изменения напряжения холостого хода источника питания и сопротивления цепи, вызываемые колебашими напряжения сети, нагревом обмоток, нестабильностью контактов и другими причинами;

- изменения момента на валу двигателей перемещения сварочного автомата, приводящие к изменению скорости сварки;

- изменения геометрии сборки стыка под сварку, зазора, притупления, угла раздела кромок;

- структурная и химическая неоднородность свариваемого материала;

- изменение толщины свариваемого материала по длине стыка;

- изменение состояния свариваемой поверхности металла (наличие на поверхности окисных пленок, масла и других нежелательных составляющих);

- эрозия и измените химического состава электрода в процессе сварки;

- смещение электрода относительно стыка свариваемого изделия.

Перечисленные возмущения, вызывая отклонения от номинала основных параметров режима (тока и напряжения дуги, скорости сварки) и изменяя условия ввода теплоты в зоне стыка, приводят к снижению качества сварного соединения.

Сложность решения задачи построения расчетных моделей технологического процесса сварки обусловлена необходимостью учета физических процессов, происходящих в сварочном контуре (электрических, электромагнитных, тепловых, механических, гидродинамических и т.д.). Попытки применения для описания технологического процесса сварки известных теоретических положений математической физики, теоретической гидромеханики, электротехники, теории поля и теплопередачи приводят к получению нелинейных дифференциальных уравнений в частных производных с переменными коэффициентами. Решение таких уравнений затруднительно даже с использова1шем современных вычислительных средств. Поэтому в инженерной практике для получения математических моделей процесса широко используются методы идентификации, основанные на анализе

реализаций входных и выходных параметров технологического процесса.

В настоящей работе в качестве формальных моделей объекта управления применяются нейросетевые структуры с регрессионным входом (2). Расчетным параметром для оценки качества сварного соединения является ширина шва па обратной стороне пластины (Ь). Данный параметр является достаточно информативным, т.к. позволяет выявить возможность появления большого числа опасных для сварного соединения дефектов: непровар, прожог, отклонение от заданной геометрической формы поперечного сечения шва и т.д. В то же время во многих случаях измерить этот параметр как в процессе сварки, так и после нее не представляется возможным, например, из-за конструктивных особенностей сварного соединения (трубы, обечайки, цистерны и т.п.).

Для определения связи между выбранным критерием качества Ь и измеряемыми параметрами процесса (током сварки скоростью сварки V, температурой в околошовной зоне Т, световым излучением дуги Ь) применяется нейросетевая структура следующего вида: Регрессор:

?>М) = [/(/-1).../(/-л) Ц/-1)...1(/-и)

где п - глубина регрессии. Прогнозирующая модель:

Що) = Щ-\9) = §{<р{1),0), (15)

где ^<р(1),0) - нелинейное преобразование, реализуемое двухслойной нейронной сетью в соответствии с выражением (2).

Для обучения нейросетевой модели использовалась база данных, содержащая результаты 12-ти экспериментов (каждый эксперимент содержит набор параметров 1,Ь,Т, У,Ь, эквивалентных 20 см сварного шва). Сварные швы получали в пластинах толщиной 2 мм из нержавеющей стали Х18Н10Т. Сварка проводилась с использованием управляемого источника питания Кетрр1 и экспериментального сварочного стенда, с наложением на основные технологические параметры искусственных возмущений (отклонение силы тока до 20 %, скорости сварки до 15 %, расхода защитного газа до 15 % от заданных в технологии значений). Измерения ширины обратного валика полученного сварного соединения

производились с помощью экспериментального лазерного профилометра.

Обучение НС реализовывалось за 80 - 200 итераций (в зависимости от инициализации весовых коэффициентов) при использовании алгоритма Лсвенберга - Маркардта.

Результаты проверки обученной пейросетевой модели на тестовом множестве и исследование корреляционных фупкций невязок (на «белизну» и независимость от предыдущих данных) подтвердили адекватность разработанной модели технологическому процессу аргоно-дуговой сварки пластин встык с полным проплавлением.

Основные результаты получены с использованием программного комплекса КЫРгесНсШг, разработанного в рамках диссертационной работы. НЫРгесНсии- - программный продукт для решения задач обработки результатов эксперимента, . идентификации, моделирования и прогнозирования поведения динамических систем и технологических процессов, реализованный в интегрированной среде для выполпегаш инженерных и научных расчетов МАТЬАВ верста 5.2. Выбор системы МАТЪАВ в качестве базовой среды программирования обусловлен широкими возможностями по выполнению операций с векторами, матрицами и массивами данных, наличием встроенных процедур решения дифференциальных и разностных нелинейных уравнений, задач оптимизации, построения различных типов графиков, трехмерных поверхностей и линий уровня. Наличие средств сопряжения с реальными техническими устройствами и возможность моделирования в реальном масштабе времени позволяют создавать эффективные цифровые системы диагностики и автоматического регулирования.

МЫРге&йог реализует следующий набор функций: Группа функций подготовки и анализа экспериментальных данных:

- чтение экспериментальных данных из файлов произвольного формата;

- интерактивный просмотр, анализ, масштабирование данных;

- создание базы данных экспериментов;

- расширенный поиск экспериментов по базе данных и их визуализация;

- подбор данных для реализации процедуры идентификации (обучения НС).

Группа функций выбора модельной структуры, обучения, подтверждения НС модели и прогнозирования:

- выбор структуры нейросетевой модели;

- различные варианты параметризации модели (алгоритмы обучения НС);

- анализ и тестирование НС модели;

- прогнозирование на основе НС модели.

Общее управление всеми процессами и функционированием системы в целом осуществляется с помощью программной оболочки, включающей в себя основное окно программы с набором функциональных кнопок и окно представления графических результатов.

Идентификация является многоэтапной процедурой, причем практически каждый этап требует непосредственного участия инженера-разработчика. Использование специализированных многофункциональных 11рограммных средств с «дружественным» интерфейсом пользователя, включающих в себя как нейросетевые алгоритмы, так и функции предварительной обработки и анализа экспериментальных данных, может значительно облегчить процесс создания оптимальных НС моделей. Пакет программ КИРтесИйог в полной мере отвечает вышеуказанным требованиям и может быть эффективно использован для решения задачи идентификации нелинейных динамических систем.

ЗАКЛЮЧЕНИЕ

В результате проведенной научно-исследовательской работы получены следующие основные результаты:

1). Исследованы особенности функционирования нейронных сетей и обоснована возможность их использования в качестве формальных моделей динамических объектов.

2). Разработан комплексный формализованный подход к решению задачи идентификации динамических систем, основанный на применении нейросетевых модельных структур.

3). Предложены базовые нейросетевые модельные структуры с линейным регрессионным входом, использующие характерные свойства нейронных сетей (способность к обучению на множестве

экспериментальных данных, обобщение и абстрагирование) для моделирования нелинейных динамических систем.

4). Разработаны алгоритмы оптимизации параметров нейросетевых моделей, основанные на применении методов безусловной минимизации функций многих переменных.

5). Исследованы и алгоритмизированы методы принятия решения об адекватности модели: многошаговое прогнозирование, оценка ошибки обобщения, корреляционные оценки ошибки прогнозирования.

6). Предложен подход к оптимизации структуры нейросетевых моделей с целью улучшения их рабочих характеристик, основанный на контрастировании весовых коэффициентов НС.

7). Разработан многофункциональный программный продукт, ориентированный на автоматизированное решение задачи идентификации динамических систем.

8). На основе разработахшого подхода к решению задачи идентификации получены эффективные прогнозирующие нейросетевые модели технологического процесса аргоно-дуговой сварки неплавящимся электродом.

Полученные в результате экспериментальных исследований нейросетевые модели технологического процесса дуговой сварки могут быть использованы как в системе мониторинга геометрических параметров сварного шва, так и в контурах систем автоматического управления.

В дальнейшем предполагается применить полученные научные результаты для создания средств аппаратной поддержки нсйровычислений (нейропроцессоров) и разработки иейроконтроллеров.

По теме диссертации опубликованы следующие основные работы:

1. Гаврилов А.И. Управление процессами сварки на основе нейросетевых моделей // Проблемы теории и практики в инженерных исследованиях.: Тезисы докладов ХХХШ научной конференции Российского университета дружбы народов. - Москва, 1997. - С.232-233.

2. Гаврилов А.И. Перспективы применения нейросетевых технологий в системах автоматического управления // Вестник Ml 1У им. Н.Э. Баумана. Приборостроение. - 1998. - №1. - С. 119-126.

3. Гаврилов А.И., Внуков А.А. Горохова О.В. Разработка алгоритмов идентификации динамических систем с использованием нейросетсвых технологий // Научно-техническая конференция студентов, аспирантов и молодых специалистов МГИЭМ: Тезисы докладов. - Москва, 1999. -С. 140.

4. Gavrilov АЛ. Development of automatic control system using neural network technology // Интеллектуальные системы.: Тезисы докладов третьего международного симпозиума. - Псков, 1998. - С. 206-208.

5. Gavrilov A.]. Development of automatic control system for laser welding using neural network technology // CONTROL'98.: Proc. of UKACC International Conference. - Wales, Swansea (UK), 1998. - P. 416 - 428.

Принята к публикации в журнале «Вестник МГТУ им. Н.Э. Баумана» следующая статья:

Гаврилов А.И. Методика идентификации технологических процессов с использованием нейросетевых вычислительных структур // Вестник МГТУ им. Н.Э. Баумана. Приборостроение. - 2000. -№1.

ВВЕДЕНИЕ

ГЛАВА 1. ОБЩАЯ ПОСТАНОВКА ЗАДАЧИ ИДЕНТИФИКАЦИИ ДИНАМИЧЕСКИХ СИСТЕМ И ОБОСНОВАНИЕ ЭФФЕКТИВНОСТИ ЕЕ РЕШЕНИЯ НА ОСНОВЕ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

1.1. Способы построения описания систем

1.2. Постановка задачи идентификации

1.3. Построение описания динамических систем на основе линейных модельных структур

1.4. Функциональные особенности искусственных нейронных сетей

1.4.1. Основные этапы развития теории искусственных нейронных сетей

1.4.2. Определение искусственных нейронных сетей и их классификация

1.4.3. Структура технического нейрона

1.5. Многослойные нейронные сети и их аппроксимирующие свойства

1.6. Сравнительный анализ нейросетевых вычислительных структур и традиционного программного обеспечения

1.7. Выводы по главе

ГЛАВА 2. РЕАЛИЗАЦИЯ ПРОЦЕДУРЫ ИДЕНТИФИКАЦИИ ДИНАМИЧЕСКИХ СИСТЕМ НА ОСНОВЕ НЕЙРОСЕТЕВЫХ МОДЕЛЬНЫХ СТРУКТУР

2.1. Основные этапы процедуры идентификации

2.2. Выбор модельной структуры

2.2.1. Базовые нейросетевые модельные структуры

2.2.2. Основные критерии выбора модельной структуры

2.3. Планирование и проведение эксперимента

2.3.1. Тестирование системы на нелинейность

2.3.2. Особенности формирования информативного множества экспериментальных данных

2.3.3. Рациональный выбор и предварительная обработка экспериментальных данных

2.4. Оптимизация параметров нейросетевой модели

2.4.1. Метод ошибки прогнозирования

2.4.2. Регуляризация и концепция обобщения

2.4.3. Особенности оптимизации параметров нейросетевых модельных структур

2.5. Принятие решения об адекватности модели 115 2.5.1. Исследование корреляционных функций 116 2.5.2 .к -шаговое прогнозирование 119 2.5.3. Оценка средней ошибки обобщения

2.6. Улучшение рабочих характеристик нейросетевых моделей методами структурной оптимизации

2.7. Выводы по главе

ГЛАВА 3. РАЗРАБОТКА ПРОГНОЗИРУЮЩИХ НЕЙРОСЕТЕВАХ МОДЕЛЕЙ ТЕХНОЛОГИЧЕСКОГО ПРОЦЕССА ДУГОВОЙ СВАРКИ

3.1. Особенности разработки систем автоматического управления сварочными процессами

3.2. Характеристика объекта управления при дуговой сварке

3.3. Классификация критериев качества

3.4. Постановка задачи оценки качества сварных соединений при аргоно-дуговой сварке

3.5. Программно-аппаратный комплекс для мониторинга технологического процесса сварки

3.6. Идентификация технологического процесса сварки на основе нейросетевых модельных структур с использованием многозадачного программного пакета NNPredictor

3.7. Выводы по главе

К концу двадцатого столетия системы автоматического управления (САУ) стали неотъемлемой частью повседневной жизни человека. САУ применяются повсеместно, начиная от предметов бытовой техники и заканчивая самолетами и космическими станциями. Несмотря на различия в принципах функционирования и наличие конструктивных особенностей, все системы управления предназначены для выполнения одной и той же задачи -задачи манипулирования (управления) некоторым объектом с целью получения желаемого поведения объекта. Совершенно очевидно, что при проектировании системы управления каким-либо конкретным объектом необходимо иметь информацию о том, как будет вести себя объект при определенных управляющих воздействиях, т.е. надо иметь некоторую модель поведения объекта. Модель может быть получена на основе знаний о структуре и физических принципах функционирования объекта либо путем проведения серии экспериментов с целью выявления особенностей поведения исследуемой системы [1]. Первый метод принципиально прост, но требует значительных временных затрат и нередко приводит к недостаточно точным моделям. Второй метод, обычно называемый идентификацией, может с успехом использоваться для получения формальных моделей с заданной степенью адекватности. Основным недостатком метода является необходимость проведения экспериментов, охватывающих весь диапазон функционирования системы.

Методы идентификации широко используются при проектировании систем управления, иногда переходя в неотъемлемую часть регулятора [1]. В этом случае подразумеваются так называемые адаптивные системы управления, в которых адекватная модель объекта определяется для текущих условий функционирования, и с учетом полученной модели изменяются параметры регулятора.

В большинстве работ в области идентификации, адаптивного управления и проектирования систем управления в целом традиционно рассматриваются линейные объекты и регуляторы. Тем не менее, все системы в той или иной мере проявляют нелинейное поведение, что вызывает интерес к исследованию методов и подходов к проектированию именно нелинейных систем.

Одним из подходов, вызывающих все больший интерес, является использование искусственных нейронных сетей (нейронных сетей, НС) для решения задач как идентификации (построения НС моделей) нелинейных динамических объектов, так и для проектирования систем автоматического управления в целом (нейроконтроллеров). Проблемам использования НС в технических приложениях посвящено огромное количество периодических научных журналов, в частности "Neural Networks" (с 1983 года), "ШЕЕ Transactions on Neural Networks" (с 1990 года). В России с 1992 г. издается журнал "Нейрокомпьютер". По данной тематике ежегодно проводится большое число конференций и симпозиумов, в том числе российские "Нейроинформатика и нейрокомпьютеры", Ростов-на-Дону, 1992 г., 1995г., 1998г., "Нейрокомпьютеры и их применение", Москва, ежегодно, начиная с 1995г. Исследования в области нейросетевых технологий поддерживаются Российским фондом фундаментальных исследований.

Теория искусственных нейронных сетей представляет собой дисциплину, у истоков которой - исследования принципов функционирования биологических нейронных структур. Развитие дисциплины привело к созданию НС моделей, значительно отличающихся от своих биологических прототипов, но обладающих такими характерными чертами, как способность к обучению, обобщению и абстрагированию. Именно эти свойства НС позволяют эффективно решать задачу построения формальных моделей сложных нелинейных динамических объектов при отсутствии априорной информации, необходимой для применения традиционных методов идентификации.

Помимо систем управления нейронные сети используются для решения таких задач, как адаптивная обработка сигналов и фильтрация, распознавание образов и кластеризация, создание памяти, адресуемой по содержанию, а также в медицине и банковской деятельности.

Обычно моделирование НС производится с помощью программно реализованных эмуляторов, но при необходимости значительно повысить скорость вычислений используются аппаратно реализованные (в виде специализированных нейропрцессоров) нейросетевые вычислительные структуры (приложение 2).

Технические системы, включающие в себя искусственные нейронные сети в качестве прогнозирующих моделей, адаптивных регуляторов или универсальных высокопараллельных вычислителей, могут быть отнесены к классу интеллектуальных систем [2], способных на основе использования сведений и знаний при наличии мотивации синтезировать цель и находить рациональные способы ее достижения.

Настоящая работа посвящена прикладным аспектам использования нейронных сетей для решения задач идентификации динамических систем. Основная цель работы - создание формализованного подхода к нейросетевой реализации процедуры идентификации, применимого к широкому классу динамических систем, и разработка технических приложений на основе полученной методики. В соответствии с поставленной целью, основными задачами работы являются:

- обоснование возможности использования НС в качестве формальных моделей динамических объектов;

- разработка базовых нейросетевых модельных структур;

- разработка, анализ и алгоритмизация многостадийной процедуры идентификации на основе нейросетевых модельных структур, включая планирование и проведение эксперимента; выбор структуры НС модели; обучение НС; тестирование (установление адекватности) модели; оптимизацию структуры НС;

- создание программно-аппаратного комплекса мониторинга технологического процесса дуговой сварки, основанного на применении прогнозирующих нейросетевых моделей.

Лейтмотивом настоящей работы является систематизация научных достижений в таких областях, как теория автоматического управления, информатика, вычислительная математика и статистика, нейрофизиология, физика и технология производства микрочипов. Выбранная стратегия привела к созданию логически законченной процедуры нейросетевой идентификации динамических систем.

Научную новизну и значительную практическую ценность составляют нейросетевые модели технологического процесса дуговой сварки, позволяющие эффективно прогнозировать качество сварного соединения на основе информационных сигналов, получаемых от уникального лабораторного стенда.

Изложение материала в настоящей работе структурируется следующим образом: вначале рассматривается общая постановка задачи идентификации и исследуются возможности использования нейросетевых моделей для решения поставленной задачи; далее предлагается многоэтапная процедура нейросетевой идентификации и исследуются ее особенности. Работа завершается описанием успешно решенной практической задачи получения нейросетевой модели технологического процесса дуговой сварки с использованием разработанных методик и программного обеспечения.

В первой главе рассматриваются традиционная постановка задачи идентификации объектов типа «черный ящик» и существующие методы решения задачи на основе использования линейных регрессионных модельных структур. Приводятся фундаментальные особенности функционирования НС, их классификация и категории решаемых задач; обосновывается возможность реализации процедуры идентификации нелинейных динамических объектов на основе одного класса нейросетевых модельных структур - многослойных перцептронов.

Во второй главе рассматривается реализация многоэтапной процедуры идентификации динамических объектов с использованием нейросетевых модельных структур. Особое внимание уделяется практическим аспектам: созданию репрезентативной выборки экспериментальных данных и их предварительной обработке, рациональному выбору нейросетевой модельной структуры, реализации методов оптимизации параметров модели, а также способам подтверждения адекватности модели.

Третья глава посвящена описанию программно-аппаратного комплекса мониторинга технологического процесса дуговой сварки, основным элементом которого являются прогнозирующие нейросетевые модели. Прежде всего выделяются особенности исследуемого технологического процесса и рассматриваются критерии оценки качества получаемого сварного соединения. Далее приводятся функциональная схема и технические характеристики лабораторной установки. Обосновывается выбор среды программирования и дается обзор функциональных возможностей разработанного программного продукта, предназначенного для решения задач обработки результатов эксперимента, идентификации, моделирования и прогнозирования поведения динамических систем. В заключение приводится детальное описание процедуры построения нейросетевой модели технологического процесса, реализованной с использованием разработанных методик и программного обеспечения.

В результате проведенной научно-исследовательской работы получены следующие основные результаты:

- Разработан комплексный формализованный подход к решению задачи идентификации, основанный на применении нейросетевых модельных структур динамических систем.

- Предложены базовые нейросетевые модельные структуры, объединяющие некоторые особенности традиционных линейных моделей (линейный регрессионный вход) и характерные свойства нейронных сетей: способность к обучению на множестве экспериментальных данных, обобщение и абстрагирование.

- Разработаны алгоритмы оптимизации параметров нейросетевых моделей, основанные на применении методов безусловной минимизации функций многих переменных.

- Исследованы и алгоритмизированы методики принятия решения об адекватности модели: многошаговое прогнозирование, оценка ошибки обобщения, корреляционные оценки ошибки прогнозирования.

- Предложен подход к оптимизации структуры нейросетевых моделей, основанный на контрастировании весовых коэффициентов НС.

- Разработан многофункциональный программный продукт, ориентированный на автоматизированное решение задачи идентификации динамических систем.

- Получены эффективные прогнозирующие нейросетевые модели технологического процесса аргоно-дуговой сварки неплавящимся электродом.

Разработанные и исследованные в работе нейросетевые методы идентификации динамических объектов могут быть использованы при создании алгоритмического обеспечения и технических средств информационно-вычислительных комплексов моделирования систем управления нелинейными процессами при отсутствии достаточного объема априорной информации.

Практической реализацией разработанных методов является программный продукт, представляющий собой композицию модулей, соответствующих каждой стадии процедуры идентификации и объединенных в одной оболочке. Интуитивно понятный интерфейс пользователя, быстрота и толерантность к ошибкам используемых алгоритмов позволяют получать адекватные нейросетевые модели за рекордно короткие сроки и с минимальным участием пользователя (проектировщика).

Полученные в результате экспериментальных исследований

12 нейросетевые модели технологического процесса дуговой сварки могут быть использованы как в системе мониторинга геометрических параметров сварного шва, так и в контурах систем автоматического управления.

Основные теоретические и практические результаты получены в ходе выполнения научно-исследовательской работы в рамках Федеральной программы «Университеты России - фундаментальные исследования» (проект №1229 «Исследование и создание интеллектуальных систем») и межвузовской программы «Многопроцессорные ЭВМ с параллельной структурой и виртуальная реальность» (приказ Министерства общего и профессионального образования РФ №572 от 02.03.98).

Разработанные в рамках настоящей работы методики, алгоритмы и программное обеспечение использованы в научно-учебном центре «Сварка и контроль» при создании системы автоматического управления сварочным процессом.

3.7. Выводы по главе 3

Построенная в результате реализации многоэтапной процедуры идентификации нейросетевая модель достоверно отображает технологический процесс аргоно-дуговой сварки пластин встык с полным проплавлением. Получение данного результата объясняется способностью нейросетей реализовывать нелинейные преобразования и отображать (моделировать) сложные взаимосвязи между параметрами в результате обучения на некотором

Рис. 3.10. Обратный валик сварного шва множестве экспериментальных данных. Использование расширенного регрессионного вектора, содержащего «предысторию» развития контролируемых параметров, позволяет отразить динамические свойства процесса.

Достоверная оценка формирования геометрии сварного соединения возможна только на основе исследования большого числа информационных сигналов, отражающих протекание различных физико-химических процессов при сварке

Использование теоретических моделей для обработки большого набора информационных сигналов представляется как весьма затруднительным, так и малоэффективным. Формальные нейросетевые модели с регрессионным входом, оперирующие с большим числом информативных сигналов, могут эффективно применяться для решения данной проблемы и не имеют существенных ограничения по области применения.

Предложенная нейросетевая модель для оценки геометрии сварного соединения позволяет прогнозировать (в том числе и оперативно) с достаточной точностью параметры сварного соединения на основе 4 информационных сигналов и при наличии большого числа разнообразных возмущающих воздействий на процесс сварки.

На базе предложенной прогнозирующей модели могут быть построены нейросетевые модели оперативного управления различными технологическими параметрами сварочного процесса при наличии внешних возмущающих воздействий.

Идентификация является многоэтапной процедурой, причем практически каждый этап требует непосредственного участия инженера-разработчика. Поэтому использование специализированных многофункциональных программных средств с «дружественным» интерфейсом пользователя, включающих в себя как нейросетевые алгоритмы, так и функции предварительной обработки и анализа экспериментальных данных, может

175

ЗАКЛЮЧЕНИЕ

В результате проведенной научно-исследовательской работы получены следующие основные результаты:

1). Исследованы особенности функционирования нейронных сетей и обоснована возможность их использования в качестве формальных моделей динамических объектов.

2). Разработан комплексный формализованный подход к решению задачи идентификации, основанный на применении нейросетевых модельных структур динамических систем.

3). Предложены базовые нейросетевые модельные структуры с линейным регрессионным входом, использующие характерные свойства нейронных сетей (способность к обучению на множестве экспериментальных данных, обобщение и абстрагирование) для моделирования нелинейных динамических систем.

4). Разработаны алгоритмы оптимизации параметров нейросетевых моделей, основанные на применении методов безусловной минимизации функций многих переменных.

5). Исследованы и алгоритмизированы методы принятия решения об адекватности модели: многошаговое прогнозирование, оценка ошибки обобщения, корреляционные оценки ошибки прогнозирования.

6). Предложен подход к оптимизации структуры нейросетевых моделей с целью улучшения их рабочих характеристик, основанный на контрастировании весовых коэффициентов НС.

7). Разработан многофункциональный программный продукт, ориентированный на автоматизированное решение задачи идентификации динамических систем.

8). На основе разработанного подхода к решению задачи идентификации получены эффективные прогнозирующие нейросетевые модели технологического процесса аргоно-дуговой сварки неплавящимся электродом.

Разработанные и исследованные в работе нейросетевые методы идентификации динамических объектов могут быть использованы при создании алгоритмического обеспечения и технических средств информационно-вычислительных комплексов моделирования систем управления нелинейными процессами при отсутствии достаточного объема априорной информации.

Практической реализацией разработанных методов является программный продукт, представляющий собой композицию модулей, соответствующих каждой стадии процедуры идентификации и объединенных в одной оболочке. Интуитивно понятный интерфейс пользователя, быстрота и толерантность к ошибкам используемых алгоритмов позволяют получать адекватные нейросетевые модели за рекордно короткие сроки и с минимальным участием пользователя (проектировщика).

Полученные в результате экспериментальных исследований нейросетевые модели технологического процесса дуговой сварки могут быть использованы как в системе мониторинга геометрических параметров сварного шва, так и в контурах систем автоматического управления.

Разработанные в рамках настоящей работы алгоритмы и программное обеспечение использованы в научно-учебном центре «Сварка и контроль» при создании системы автоматического управления сварочным процессом.

В дальнейшем предполагается применить полученные научные результаты для создания средств аппаратной поддержки нейровычислений (нейропроцессоров).

Ill

1. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ. -М.: Наука. Гл. ред. физ.-мат. лит., 1991. — 432с.

2. Пупков К.А. Проблемы теории и практики интеллектуальных систем. // Машиностроение, приборостроение, энергетика / Ред. кол.: А.Н. Тихонов, В.А. Садовничий В.И., Сергеев и др. М.: Изд-во Моск. ун-та, 1994. - 340 с.

3. Гроп Д. Методы идентификации систем: Пер. с англ. М.: Мир, 1979. -302с.

4. Цыпкин Я. 3. Информационная теория идентификации. М.: Наука, 1995. -336 с.

5. Сейдж Э. П., Мелса Д.Л. Идентификация систем управления: Пер. с англ. -М.: Наука. Гл. ред. физ.-мат. лит., 1974. 248с.

6. Ивахненко А.Г., Юрачковский Ю.Г. Моделирование сложных систем по экспериментальным данным. -М.: Радио и связь, 1987. 120 с.

7. Пупков К.А., Капалин В.И., Ющенко A.C. Функциональные ряды в теории нелинейных систем. М.: Наука, 1976. - 448 с.

8. Джейн А.К., Муиуддин K.M. Введение в искусственные нейронные сети // Открытые системы. 1997. - №4. - С. 17 - 24.

9. Гаврилов А.И. Перспективы применения нейросетевых технологий в системах автоматического управления // Вестник МГТУ им. Н.Э. Баумана. Приборостроение. 1998. - №1. - С.119-126.

10. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин и др. СПб: Издательство С. - Петербургского университета, 1999.-265 с.

11. Харламов A.A. Ермаков А.Е. Динамическая нейронная сеть для распознавания речевых сигналов // Вестник МГТУ им. Н.Э. Баумана. Приборостроение. 1998. - №1. - С. 93-101.

12. Alhoniemi Е., Hollmen J., Simula О. Process monitoring and modelling using theself-organizing map. Amsterdam: IOS Press, 1999. - 14 p.

13. Hopfield J J., Tank D.W. Neural computation of decisions in optimization problems // Biological Cybernetics. 1985. -No.2. - P. 141-152.

14. Kosko B. Constructing an associative memory // Byte. 1987. - September. -P. 137-144.

15. McCulloch W. Pitts. W. A logical calculus of the ideas immanent in nervous activity // Bulletin of mathematical biophisics. 1943. - Vol. 5. - P.115 - 133.

16. Hebb D.O. The organization of behaviour: A neuropsychological theory. -N.-Y.: Wiley, 1949.-435 p.

17. Rosenblatt F. Principles of Neurodinamics: Perceptron and the Theory of Brain Mechanisams.- Washington (DC): Spartan Books, 1962. 480p.

18. Rosenblatt F. Two theorems of statistical separability in the perceptron // Mechanization of Thought Processes Proceedings.: Proc. of Symposium held at the National Phisical Laboratory. London, 1959. - P. 421- 456.

19. Steihbuch K., Piske V.A. Learning matrices and their applications // IEEE Trans. Electron. Comput. 1963. - Vol. EC-12, Dec. - P.846-862.

20. Widrow B. Networks of adaline neurons. Washington (DC): Spartan Books, 1962. - 245p.

21. Stark L., Okajima M., Whipple G.H. Computer Pattern Recognition Techniques: Electrografic Diagnosis // Commun. Ass. Comput. Mach.- 1962. -Vol 5. P. 527-532.

22. Malsburg C. Self-Organising of Orientation Sensitive Sells in the Striate Cortex // Kibernetik.- 1973. Vol 14. - P. 85-100.

23. Grossberg C. Adaptive Pettern Classification and Universal Recording.Parallel development and Coding of Neural Feature Detectors // Biolog. Cybernetics. -1976.- Vol.23. P. 121-134.

24. Fukushima K. Cognitron: A Self-organizing multilayered neural network // Biolog. Cybernetics.- 1975. Vol. 20. - P. 121-136.

25. Fukushima K. Neocognitron: A self -organizing neural network model for amechanism of pattern recognition unaffected by shift in position // Biolog. Cybernetics. 1980. - Vol. 36. - P. 193-202.

26. Talbert L.R.A. Real-time adaptive speech recognition system. Stanford: SUPress, 1963. -562p.

27. Hu M.J.C. Application of the Adaline system to weather forecasting. Stanford: SUPress, 1964.-437p.

28. Widrow B. The original adaptive neural net broom balancer // Proc. IEEE Intl. Symp.Circuits and Systems. - Phil. (PA), 1987. - P. 351-357.

29. Minsky M., Papert S. Perceptrons: An introduction to computational geometry. -Cambridge (Massachusets): Adison Wesly, 1969. - 262 p.

30. Widrow B., Stearns S. Adaptive Signal Pracessing. Englewood Cliffs (NY): Prentice-Hall, 1985. - 395 p.

31. Widrow B., Mantey P., Griffiths L. Adaptive antenna systems // Proc. IEEE.1967.- Vol. 5.- P. 2143-2159.

32. Widrow B. Adaptive inverse control // Autumatic Control: Proc. 2d Int. Fed. Of Autumatic Control Workshop. Lund (Sweden), 1986.- P. 1-5.

33. Widrow B. Adaptive noise cancelling: Principles and applications // Proc. IEEE. -1975.-Vol. 63. P. 1692-1716.

34. Luky R.W. Automatic equalization for digital communications // Bell Syst. Tech. J. 1965. -Vol. 44. - P. 547-578.

35. Luky R.W. Principles of Data Communication. New-York: McGraw-Hill,1968.-327p.

36. Sondhi M.M. An adaptive echo canceller // Bell Syst. Tech. J. 1967. - Vol.46. -P. 497-511.

37. Grossberg S. Adaptive pattern classification and universal recording II: Feedback, expectation, offaction, and illusions // Biolog. Cybernetics. 1976. - Vol. 23. -P. 187-202.

38. Carpenter G.A., Grossberg S. A massively parallel architecture for self-organizing neural pattern recognition // Computer vision, Graphics and Image

39. Processing. 1983. - Vol. 37. - P. 54-115.

40. Carpenter G.A., Grossberg S. Art 2: Self organizing of stable category recognition codes for analog output patterns // Applied Optics. - 1983. - Vol 26. -P. 4919-4930.

41. Carpenter G.A., Grossberg S. Art 3: Hierarchical search: Chemical transmitters in self-organizing pattern recognition architectures // Neural Networks: Proc. Int. Conf. Wash. (DC), 1990. - Vol. 2. - P. 30-33.

42. Albus J.S. A new approach to manipulator control: the cerebellar model articulation controller (CMAC) // Dyn. Sys., Measurements., Control.- 1975. -Vol. 97. P. 220-227.

43. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. National Acad. Science. 1982. - Vol.79. -P. 2554-2558.

44. Rumelhart D.E., Hinton G.E. Williams R.J. Learning internal representation by error propagation // Parallel Distributed Processing. 1986. - Vol.l, No.8. -P. 318-362.

45. Werbos P. Beyond Regression: New Tools for prediction and Analysis in the Behavioral Sciences. Cambridge (MA): Harvard University, 1974. -212p.

46. D. Parker. Learning-Logic. Stanford (CA): Stanford University, 1982. - 214p.

47. Горбань A.H. Обучение нейронных сетей. M.: СП "ParaGraph", 1990. -160с.

48. Kohonen Т. Self-organized formation of topologically correct feature maps // Biolog. Cybernetics. 1982. - Vol. 43. - P. 59-69.

49. Kohonen T. Self-Organization and Associative Memory. New-York: Springer -Verlag, 1988.-620 p.

50. Kosko B. Adaptive bidirectional associative memories // Appl. Optics. 1987. -Vol. 26. - P. 4947 - 4960.

51. Hinton G.E., Sejnovski R.J., Ackley D.H. Boltzmann machines. Mellon: CMUPress, 1984.-267p.

52. Hinton G.E., Sejnovski RJ. Learning and relearning in Bolzmann machines // Parallel Distributed Proc. 1986. - Vol. 1. - P. 326 - 348.

53. Anderson J.A., Rosenfeld E. Neurucomputing: Foundations of Research -Cambridge (MA): M.I.T. Press, 1988. 489 p.

54. Nilsson N. Learning Machines. New York: McGraw-Hill, 1965.- 418p.

55. Parallel Distributed Processing / Eds. D.E. Rumelhart , J. I. McClelland. -Cambridge (MA): M.I.T. Press, 1986. 687p.

56. DARPA Neural Network Study. Fairlax (VA): AFCEA International Press, 1988.- 579p.

57. Галушкин А.И. Современные направления развития нейрокомпьютерных технологий в России // Открытые системы. 1997. - №4. - С. 25- 28.

58. Хокни Р. Джессхоуп К. Параллельные ЭВМ. Архитектура, программирование, алгоритмы: Пер. с англ. М.: Радио и связь, 1986. -306с.

59. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск: Наука, Сиб. отделение, 1996. -276с.

60. Cybenco G. Approximation by superposition of a sigmoidal function // Math. Control Systems and Sygnals. 1989. - №2. - P. 303-314.

61. Barron A.R. Universal approximation bounds for superposition of a sigmoidal function // IEEE Transactions on Information Theory. 1993. - Vol. 39. -P. 930 -954.

62. Girosi F., Poggio T. Representation properties of networks: Kolmogorov's theorem is irrelevant // Neural Computation. 1989. - Vol.1. - P. 465-469.

63. Hecht-Nielsen R. Kolmogorov's mapping neural network existence theorem //IEEE Press. 1987.-Vol. 3.-P. 11-13.

64. Kwakernaak H., Sivan R. Linear optimal control systems. New-York: Wiley Inc. -435p.

65. He X., Asada H. A new method for identifying orders of input-output models for nonlinear dynamic systems // Proc. of the American Control Conference. San

66. Francisco, 1993. P. 67- 83.

67. Peterson C. Determining dependency structures and estimating nonlinear regression errors without doing regression // International Journal of Modern Physics.-1995.-Vol. 611.-P. 18-31.

68. Soderstrom Т., Stoica P. System identification. Englewood Cliffs (New Jersey): Prentice-Hall, 1989. - 440 p.

69. LeCun Y., Kanter I. Eigenvalues of covariance matrices: application to neural-network learning // Physical Review Letters. 1991. - Vol. 66. - P. 2396-2399.

70. Дэннис Дж., Шнабель P. Численные методы безусловной оптимизации и j решения нелинейных уравнений: Пер с англ. М.: Мир, 1998. - 440с. ^

71. Химмельблау Д. Прикладное нелинейное программирование: Пер с англ. -М.: Мир, 1975.-534 с.

72. Levenberg К. A method for the solution of certain nonlinear problems in least squares // Quart. Appl. Math. 1944. - No. 2. - P 164-168.

73. Marquardt D. An algorithm for least-squares estimation of nonlinear parameters // SIAM J. Appl. Math. 1963. - No. 11. - P. 164-168.

74. Hagan M.T., Menhaj M.B. Training feedforward networks with the Marquardt algorithm // IEEE Transactions on Neural Networks. 1994. - Vol.5, no. 6. -P. 989-993.

75. Fletcher R. Practical methods of optimization. New York: Wiley, 1987. - 423p.

76. Chen S., Billings S.A. Neural networks for non-linear dynamic system modelling and identification // Int. J. Control. 1992. - Vol.56, no. 2. - P. 319-349.

77. Larsen J., Hansen L.K. Generalization performance of regularized neural network models // Neural Networks for Signal Processing: Proc. of the IEEE Workshop IV. Brussel (Belgium), 1994. - P. 42-51.

78. Sjoberg J., Ljung L. Overtraining, regularization, and searching for the minimum in neural networks // Adaptive Systems in Control and Signal Processing: Preprint IF AC Symposium. Grenoble (France), 1992. - P. 669-674.

79. Akaike H. A new look at the statistical model identification // IEEE Trans.

80. Autom. Control. 1974. - Vol. AC-19. -P.716-723.

81. Geman S., Bienenstock E., Doursat R. Neural networks and the bias/variance dilemma // Neural Computation. 1992. - Vol. 4. - P. 1-58.

82. Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике: В 2-х кн. Пер. с англ. М.: Мир, 1986. - Кн.1. - 349с.

83. Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике: В 2-х кн. Пер. с англ. М.: Мир, 1986. - Кн.2. - 320с.

84. Grewal M.S., Andrews А.Р. Kalman filtering: theory and practice. Englewood Cliffs (New Jersey): Prentice-Hall, 1993. - 240p.

85. A quantitative study of pruning by optimal brain damage / J. Gorodkin, L.K. Hansen, C. Svarer et. al. // Int. Journal of Neural Systems. 1993. - No.4. -P. 159-169.

86. Anscombe F.J., Tukey J.W. The examination and analysis of residuals // Technometrics. 1963. - Vol.5. - P. 141-160.

87. Billings S.A., Zhu Q.M. Nonlinear model validation using correlation tests // Int. Journal of Control. 1994. - Vol. 60, no. 6. - P 466-470.

88. Hassibi В., Stork D.G. Second order derivatives for network pruning: optimal brain surgeon // Proceedings of the NIPS5. San Mateo (California), 1993. -P. 164-172.

89. Pederson M.W., Hansen L.K. Recurrent networks: second order properties and pruning // Neural Information Processing Systems: Proc. of th 7-th Conference. -Vienna (Austria), 1994. P. 673-680.

90. Патон Б.Е. Лебедев B.K. Электрооборудование для дуговой и шлаковой сварки. М.: Машиностроение, 1966. - 359с.

91. Патон Б.Е. Лебедев В.К. Электрооборудование для дуговой и шлаковой сварки. М.: Машиностроение, 1969. - 438с.

92. Автоматическое регулирование дуговой сварки: Труды секции электросварки и электротермии / Под ред. В.П. Никитина. М.: изд-во АН СССР, 1953.-200с.184

93. Алекин Л.Е. Способы улучшения качества регулирования дуговых автоматов в заводских условиях // Труды МВТУ. 1970. - Вып. 136. -Источники питания и автоматизация процесса сварки. - С. 97-118.

94. Гладков Э.А. Автоматизация сварочных процессов. М.: МВТУ им. Н.Э.Баумана, 1976. Часть I, II. - 176с.

95. Волченко В.Н. Оценка и контроль качества сварных соединений с применением статистических методов. М.: Стандарты, 1974. - 120с.

96. Автоматизация и механизация производственных процессов в машиностроении / Под ред. Г.А. Шаумяна М.: Машиностроение, 1967. -387с.

97. Львов Н.С., Гладков Э.А. Автоматика и автоматизация сварочных процессов. М.: Машиностроение, 1982. - 302с.

98. Герман О.В. Введение в теорию экспертных систем и обработку знаний. -Минск.: ДизайнПРО, 1995. 255с.