автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка и исследование нейросетевых алгоритмов управления

На правах рукописи

Хоанг Куанг Тинь

РАЗРАБОТКА И ИССЛЕДОВАНИЕ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ УПРАВЛЕНИЯ

Специальность 05,13.01 . Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва - 2006

Работа выполнена на кафедре Систем автоматического управления, Московского государственного технического университета имени Н.Э. Баумана.

Научный руководитель: Кандидат технических наук, доцент Гаврилов Александр Игоревич

Официальные оппоненты: Доктор технических наук, профессор

Царегородцев Анатолий Валерьевич. Кандидат технических наук, доцент Тюхов Борис Петрович.

Ведущая организация: Институт системного программирования РАН.

Защита состоится « » Ofi-TSCfob9\ 2006 г. в J^io часов на заседании диссертационного совета Д212.741.02 Московского государственного технического университета имени Н.Э. Баумана по адресу: Москва, 107005, ул. 2-я Бауманская, д. 5.

С диссертацией можно ознакомиться в библиотеке Московского государственного технического университета имени Н.Э. Баумана.

Автореферат разослан « fá » (а№Л£К__2006г.

Отзывы, заверенные печатью организации, просим направлять по адресу: 105005, г. Москва, 2-я Бауманская ул., д. 5, МГТУ им. Н.Э. Баумана, ученому секретарю диссертационного совета Д212.141.02.

Ученый секретарь диссертационного совета I' .

К.т.н В.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Искусственные нейронные сети (ИНС) являются эффективным средством решения сложных плохоформализуемых задач, таких как задачи классификации, кластеризации, аппроксимации многомерных отображений, прогнозирования временных рядов, нелинейной фильтрации, идентификации, а также управления сложными техническими системами. В настоящее время нейротехнологии активно применяются для обработки аэрокосмических изображений и гидроакустических сигналов, идентификации и управления нелинейными динамическими объектами в реальном времени.

Наиболее актуальной проблемой является разработка методик и технологий синтеза • нейросетевых систем управления. Решение этой проблемы приведет к увеличению числа приложений ИНС.

Цель и задачи диссертационной работы. Целью диссертационной работы является разработка и исследование методов и алгоритмов оптимизации параметров и структуры ИНС, применяемых для решения задач идентификации нелинейных динамических объектов и проектирования систем автоматического управления с использованием нейроконтроллеров.

В соответствии с указанной целью определены следующие задачи исследований: ' ^ "

1. Исследовать нейросетевой подход к решению задач идентификации нелинейных динамических объектов и проектирования систем автоматического управления с использованием нейроконтроллеров.

2. Реализовать и исследовать процедуру идентификации на основе ИНС.

3. Провести исследование и анализ алгоритмов оптимизации параметров и структуры ИНС.

4. Реализовать и исследовать методы управления на основе нейросетевых моделей.

Методы исследования. В процессе выполнения диссертационной работы использовались методы теории .нейронных сетей, математического моделирования, теории управления и др. Кроме того, использовались методы численного моделирования. При моделировании применялись пакеты прикладных программ МаЙаЬ-БщшП^тк.

Научная новизна. На основе анализа, систематизации и обобщения научных достижений в таких областях, как теория автоматического управления, информатика, вычислительная математика и статистика, сформирован подход к решению задачи проектирования систем автоматического управления на основе ИНС.

В ходе выполнения работы получены следующие основные результаты: 1. Проведен анализ методов и разработаны алгоритмы оптимизации параметров и структуры ИНС.

2. Разработан новый алгоритм решения задачи определения оптимальной структуры ИНС.

3. Методы оптимизации параметров и структуры ИНС реализованы в виде программного комплекса.

4. Разработаны и исследованы нейросетевые структуры управления дистилляционной колонной и положением считывающего устройства накопителя на жестком диске.

Разработанные нейросетевые алгоритмы идентификации динамических объектов могут быть использованы при создании программного обеспечения и технических средств информационно-вычислительных комплексов моделирования систем управления нелинейными процессами.

Практической реализацией разработанных алгоритмов является программный продукт для решения задач идентификации и управления, представляющий собой композицию модулей, объединенных в одной оболочке.

Внедрение результатов. Материалы диссертации использованы в научных исследованиях, проведенных на кафедре "Системы автоматического управления", а также в учебном процессе НУК ИУ МГТУ им. Баумана.

Апробация работы. Материалы исследований представлены на Шестом международном симпозиуме "Интеллектуальные системы" (Россия, Саратов, 2004г.), научном семинаре "Интеллектуальные системы" кафедры «Системы автоматического управления» МГТУ им. Н.Э.Баумана, Седмом международном симпозиуме "Интеллектуальные системы" (Россия, Краснодар, 2006г.).

Публикации. По результатам проведенных исследований опубликовано четыре научные работы.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы из 106 наименований и приложений. Основная часть работы составляет 195 страниц машинописного текста, 13 таблиц и 65 рисунков. Общий объем приложений - 20 страниц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность темы диссертационной работы, сформулированы цели и задачи исследования, обоснованы научная новизна и практическая ценность исследований, приведены сведения об апробации работы и публикациях, представлены основные научные результаты, полученные в ходе выполнения работы.

В первой главе рассмотрены основные свойства и структуры искусственных нейронных сетей. Подтверждена возможность применения ИНС для решения сложных технических задач, таких как идентификация нелинейных динамических объектов и проектирование систем автоматического управления на основе нейроконтроллеров.

Во второй главе рассматриваются особенности реализации многоэтапной процедуры идентификации динамических объектов на основе нейросетевых модельных структур.

Обобщенная процедура идентификации динамических систем включает в себя следующие основные этапы:

- планирование и проведение эксперимента;

- выбор модельной структуры;

- оценка (оптимизация параметров) модели;

- принятие решения об адекватности модели (подтверждение модели). Проведение эксперимента. Задача состоит в сборе необходимого

количества данных во всем рабочем диапазоне системы:

многом определяют качество идентификации.

Выбор структуры модели. Задача состоит в выборе семейства моделей-кандидатов, подходящих для описания конкретной системы. При использовании нейросетевых моделей значительную роль играет не только выбор регрессора, но и внутренней структуры ИНС - числа «скрытых» слоев и количества нейронов в каждом скрытом слое.

Оценка модели (обучение ИНС). После выбора некоторой модельной структуры необходимо выбрать определенную модель, наилучшим образом удовлетворяющую некоторому критерию. Термин оценка (параметризация) модели пришел из теории статистической обработки данных, для нейросетевых моделей обычно используется термин «обучение». Методы обучения ИНС представляют собой модификации процедур минимизации функций многих переменных, таких как градиентный метод, метод Гаусса-Ньютона, метод Левенберга-Марквардта и т.д.

Принятие решения об адекватности модели. Построенная модель должна быть адекватна реальной системе и условиям, в которых ее предполагается использовать. Этап установления адекватности модели требует непосредственного участия инженера-разработчика. Для подтверждения модели используются проверка на тестовом множестве, многошаговое прогнозирование, корреляционные тесты. Если полученная модель не удовлетворяет какому-либо критерию, то повторяются предыдущие этапы процедуры идентификации, вплоть до проведения новой серии экспериментов.

Традиционным методом построения моделей динамических объектов является реализация процедуры идентификации с использованием регрессионных модельных структур.

Понятие регрессии непосредственно связано с задачей прогнозирования величины у на основе информации, полученной при измерении других величин "ф..,<ра- В случае динамических систем зависимая переменная>>

Полнота и достоверность данных во

является выходом системы в некоторый момент времени (/), а регрессоры (р, содержат информацию о прошлом поведении системы.

Задача состоит в нахождении функции регрессоров g(<p) такой, чтобы оценка у = g(tp) была «хорошим» (в силу некоторого критерия)

прогнозом величины у. Функция g(ip) носит название функции регрессии. Определение g(<p) априори невозможно, следовательно, она должна быть некоторым образом оценена по экспериментальным данным (параметризована), т.е. g(p) = g(q>,Q), где Q = [ei,01,...,0p\ - вектор

настраиваемых параметров.

Таким образом, обобщенное описание произвольного динамического объекта может быть представлено в следующем виде:

Л'|е)=я(е>М),е). (1)

Выражение (1) носит название прогнозирующей модели. Прогнозирующая модель g(<p(i,O),0) может быть реализована на

нейросетевой модельной структуре, имеющей следующее математическое представление:

gM'MB)=Л(/|в)=ptfww=г,

где fj(x) = tanh(Ar) - активационная функция нейронов скрытого слоя; Ft{x) = кх; к = const - активационная функция нейронов выходного слоя; nv - размерность регрессионного вектора (число входов ИНС); щ- число нейронов в скрытом слое; 0- вектор настраиваемых параметров нейронной сети, включающий весовые коэффициенты и нейронные смещения (w>/t^) •

Использование многослойных нейронных сетей в качестве прогнозирующих моделей динамических систем обусловлено способностью ИНС моделировать произвольные нелинейные непрерывные функции в результате обучения на множестве примеров (экспериментальных данных). Дополнительные преимущества нейронных сетей состоят в способности выделять общие принципы при предъявлении некоторого набора обучающих векторов (обобщение) и возможности работы с неполным набором данных (абстрагирование).

В качестве базовых нелинейных нейросетевых модельных структур предлагаются следующие модификации линейных регрессионных моделей: Нейросетевая авторегрессионная модель, экзогенный тип сигналов (ANNARX)

Регрессор: 0) = [y(t -1),..., y(t - па), u(t - пк),..., u(t - пь - пк )]т • (3) Прогнозирующая модель: |в) = y(t\t —1,0) = g(<p(t),Q) ■ (4)

Нейросетевая авторегрессионная модель скользящего среднего, экзогенный тип сигналов: вариант 1 (ANNARMAX1)

Регрессор:

<>>0.6) = [y(t - 1),...,>■(/ - "Л u(t-n„).....u(t -п„-«Д e(t-1 ),...,e(t-nc)f

= [^T(i,0), s(t-l),...,e(t-»e)f, (5)

где s(t) - y(t)—y(t |0) - ошибка прогнозирования.

Прогнозирующая модель: = + (6)

где C(q~') = l + c,q~l +...+cnq~" - полином от оператора запаздывания q.

Нейросетевая авторегрессионная модель скользящего среднего, экзогенный тип сигналов; вариант 2 (ANNARMAX2)

Регрессор:

$>(',«) = [y(t-~па), u(t-nt),...,u(t-nb-nt),s(t-1 ),...,£(/-и0)]т

=|У(/,е), e{t-X),...,£{t-»Si• (7)

Прогнозирующая модель: >>(/|в) = g(<p(t),6). (8)

Нейросетевая модель типа «обновлений пространства состояний». CANNSSIF)

Регрессор: (9(?,в) = [лт(/|в) uT(t) ет(/|в)]Т. (9)

Прогнозирующая модель: { Я/[0) = С(в)х(/[в). °0)

Нейросетевая модель выходной ошибки CANNOE') Регрессор: <р(/,в) = [^(i 10),..., - « J в), «(/ - /Jt),..., м(/ - ^ - и, )]т. (11) Прогнозирующая модель: y(t | в) = g(ip(t),Q). (12)

В данной главе проведена нейросетевая реализация процедуры идентификации исполнительного двигателя системы управления положением считывающего устройства накопителя на жестком магнитном диске.

Использованы нейросетевые модельные структуры типа ANNARX, ANNARMAX, ANNSSIF и ANNOE, построенные в соответствии с уравнениями (3-12). Оценка параметров ИНС (обучение) проведена на основе алгоритма Левенберга-Маркардта. В результате идентификации с использованием двухслойной сети, содержащей 5 нейронов с тангенциальными функциями активации в скрытом слое и один линейный нейрон в выходном слое, минимальное значение ошибки обучения и ошибки тестирования продемонстрировала модель ANNARX со следующими параметрами:

Регрессор: i4/) = [>-(/-1),..^-2), «г(/-1),...,и(/-2)]Г. (13)

Прогнозирующая модель: у{( I в) = У(' | i — 1»в) = g((p(t),в). (14)

Данная модель выбрана для дальнейшего синтеза нейросетевой системы управления положением считывающего устройства накопителя на жестком магнитном диске.

В третьей главе исследованы методы и алгоритмы оптимизации параметров нейросетевых моделей.

При использовании нейросетевых модельных структур, оптимизация параметров представляет собой отображение множества экспериментальных данных на множество параметров нейросетевой модели

г^в, (15)

с целью получения оптимального, в силу некоторого критерия, прогноза выходного сигнала у. Традиционно используемым критерием является среднеквадратичная ошибка прогнозирования

^(в,£ (>'(0 - Л'!6»2=—х с2е,б). • (16)

2М г=1 2N /«1

Таким образом, обучение ИНС состоит в нахождении вектора параметров в , минимизирующих критерий (16):

ё = а^ттГ„(е,2"). (17)

Для нахождения вектора оптимальных параметров используются методы последовательного приближения, или итеративные методы поиска:

вы-в*+»7А. (18)

где определяет значение параметров на текущей итерации к,

с^ определяет направление поиска, а т]к - шаг алгоритма на текущей итерации. В работе исследуются особенности применения ряда методов минимизации критерия (16), среди которых - градиентный метод (метод обратного распространения ошибки ИНС), метод сопряженных градиентов, метод Ньютона, Гаусса-Ньютона и метод Левенберга-Маркадта. Рассматриваются вопросы адаптации указанных методов к процедуре обучения нейронных сетей.

В четвертой главе исследованы методы и алгоритмы оптимизации структуры нейросетевых моделей.

Задача структурной оптимизации ИНС является актуальной как с позиции повышения эффективности функционирования сетей, так и разработки аппаратных средств.

Главная идея методов структурной оптимизации состоит в том, чтобы уменьшить число свободных параметров сети.

Методы структурной оптимизации нейросетевых моделей могут быть разделены на две группы. Методы первой группы связаны с модификацией целевой функции, в которую вводятся компоненты, штрафующие за неэффективную структуру сети. Чаще всего это бывают элементы, усиливающие малые значения амплитуды весов.

Методы второй группы исследуют чувствительность целевой функции к удалению веса или нейрона. С их помощью устраняются веса, оказывающие минимальное воздействие на величину целевой функции, и процесс обучения продолжается уже на сети с редуцированной структурой. В данной главе рассмотрены два метода с учетом чувствительности целевой функции - метод OBD (Optimal Brain Damage) и OBS (Optimal Brain Surgeon).

На основе метода главных компонент разработан метод оптимизации структуры двухслойной сети.

Выход j-го нейрона скрытого слоя вычисляется по формуле:

(19)

у Л™)=fi у>лн

где: <р{, 1 = \пр - входы ИНС; пн- число нейронов скрытого слоя; пг/>-размерность входного вектора; = 1 ,пк и 1-\,пф- веса, соединяющие входной и скрытой слой; <р0- нейронное смещение; _/"(•) - функция

активации нейронов скрытого слоя.

На основе данных входов и выходов для обучения ИНС = {["(/),>4/)],I = иЮ строится матрица выхода скрытого слоя Н0:

(у» ... у?М)

: . (20)

Перед вычислением матрицы ковариации матрица Н0 преобразуется в матрицу М размерностью N х N:

...

Но =

M=HJ*HQ =

(21)

Матрицу ковариации определяется соотношением

С = соу(М) . (22)

Матрица С выражает ковариационное отношение между выходами скрытого слоя и отражает взаимозависимость выходов скрытого слоя. Если при анализе матрицы ковариации выявляется, что часть выходов нейронов скрытого слоя линейно зависимы, то можно сделать вывод, что структура ИНС избыточна и часть нейронов скрытого слоя можно удалить.

Предполагается, что число нейронов в скрытом слое равно числу собственных значений матрицы ковариации, которые превышают некоторую

заданную величину. Эксперименты показывают, что в качестве данной величины может быть выбрана желаемая величина ошибки обучения

n„={eig(C)>eJ. (23)

В качестве критерия принятия решения об оптимальной структуре ИНС используется оценка ошибки обобщения.

В пятой главе исследуется реализация схем и методов управления на основе ИНС.

Синтез системы управления подразумевает создание такого устройства, в результате работы которого система ведет себя «должным образом», то есть достигается заранее определенная цель управления.

Основные этапы процесса синтеза систем автоматического управления на основе нейросетевых методов представлены следующим образом:

- Определение цели управления.

- Нсйросетевая реализация процедуры идентификации.

- Выбор схем управления.

- Выбор методов управления.

- Оценка и анализ качества системы.

Если качество системы не удовлетворяет предъявляемым требованиям, повторяются предыдущие этапы, вплоть до выбора новой схемы управления.

Рассматриваются следующие нейросетевые схемы управления:

• Нейросетевое управление на основе инверсной модели объекта.

• Нейросетевое оптимальное управление.

• Нейросетевое управление на основе прогнозирующей модели.

Синтез нейросетевого управления на основе инверсной модели

объекта. Нейроконтроллер на основе инверсной модели имеет следующий вид:

= + + «(/-l),...,M(i-w)). (24)

Данная модель обучается на множестве примеров (экспериментальных данных), а в режиме непосредственного функционирования использует следующий вектор входов

Ф(0 = И' + 1).М0.....y{t-n +1), u(t-l),...Mt~m)]T, (25)

где r(t +1) - желаемый входной сигнал системы (уставка) для момента времени (t +1).

Инверсные модели динамической системы могут быть получены на основе обобщенного метода обучения в режиме офлайн («offline») или метода обучения в режиме реального времени («online», онлайн).

При обучении нейросети обобщенным методом минимизируется следующий критерий:

y(e,z")=-L£(«(/)-a(/|e))2. (26)

В реальности основной задачей регулирования является максимальное приближение выхода объекта к желаемому значению, определяемому уставкой. Таким образом, более естественно выглядит критерий типа

(27)

Инверсная нейросетевая модель обучается в соответствии со следующей модификацией критерия типа (27):

у, (в,г')=^(е.г'-')+(КО-ЯО)2. (28)

Рекуррентный градиентный метод. Предположим, что составляющая J¡_^{Q,Z'~X) минимизирована, а весовые коэффициенты нейросетевой модели в момент времени ( настраиваются в соответствии с выражением

в(0 = в(/-1)-л,^^, (29)

сЛ)

где e(t) = r(t) - y(t) и —= ~^e(i).

cm ав Градиент вычисляется по формуле dy(t)_ dy(t) dujt-1) de 8u(t-1) db

dy(t) [~ди(Г-1) ^ du(t -1) dy{t ~ 0 , y du(t -1) du(t - i) 36 +^dy(t-i) de +tidu(t-0 de

du(t-1)

(30)

(31)

В формулу (31) входит якобиан системы ^^ , который может быть

ои(г-1)

получен с использованием прогнозирующей модели системы (нейросетевого идентификатора):

-Ш-.-Ш-. (32)

5м(г-1) Эм(/ — 1) '

На практике для простоты реализации метода обучения нейросетевой модели объекта в режиме реального времени, коррекция весовых коэффициентов, может быть выполнена методом обратного распространения «виртуальной» ошибки, еи(?):

Рекуррентный метод Гаусса-Ньютона 1. Этот метод реализован на основе метода псевдолинейной регрессии. Из уравнения (31) имеем:

<Я 5м(/ -1) 59 ( }

Рекуррентный метод Гаусса-Ньютона 2. В этом методе используется уравнение (31). Ошибка прогнозированная вычисляется по формуле:

эко ^(/-Р

ар(0

эмо-1)[ ът-о кт-о " .

Метод управления на основе инверсных нейросетевых моделей обладает следующими преимуществами и недостатками: Преимущества:

• интуитивная понятность и простота реализации;

• возможность построения регуляторов для нестационарных систем (в случае использования обучения нейросетевой модели в режиме реального времени).

Недостатки:

• неустойчивость инверсной модели, в большинстве случаев приводящая к неустойчивости замкнутой системы;

• высокая чувствительность к возмущениям (в большинстве случаев).

Нейросетевое оптимальное управление. Основной идеей оптимального управления является применение такого критерия оптимизации параметров регулятора, в котором помимо точного отслеживания заданной траектории (уставки) предусмотрено «штрафование» по амплитуде управляющего воздействия. Реализация алгоритма нейросетевого оптимального управления сходна с методом обучения инверсной нейросетевой модели в режиме реального времени, но в критерий оптимизации добавлена штрафная составляющая:

у(в,г^)=-Ь^[г(/)-я/)]2+р[м(/-1)]2,р^о. (36)

Нейросетевое оптимальное управление обладает следующими преимуществами и недостатками: Преимущества:

• простота реализации;

• возможность использования для синтеза управления широким классом систем;

• выработка управляющего сигнала сравнительно небольшой амплитуды с незначительными осцилляциями;

• возможность эффективного использования для создания систем программного управления.

Недостатки:

• необходимость настройки параметров регулятора в режиме реального времени (требует существенных вычислительных затрат);

• необходимость перенастройки параметров при изменении коэффициента штрафа на управление.

(37)

Синтез нейросетевого управления на основе прогнозирующей модели. Главная идея прогнозирующего управления состоит в определении на каждой итерации управляющего сигнала посредством минимизации следующего критерия

.7(0,11(0,0 = [к(0 - ¥(0 ]Г [к(0 - ¥(/)] + рЬт{1)Щ) = Ег(0Е(0 + риг(0и(0.

где Н(/) = [г(/ + Л;) ... г(/ + ^2)]Г,

Е(0 = [е(Г + ^|0 ...е(г + Я2|0]Г, й(0 = [М0 ... Л^ + ЛГ,-!)]',

(38)

(39)

(40)

(41)

(42)

(43)

е(Г+ к |0 = г(/ + *) - Я' + к |0, доя к = , .

Дк(Г + /-1) = и(Г + 0-м(^ + »'-1) и Ди(* + г') = 0, Ыи<,1<Ыг-с1, минимальный горизонт прогнозирования, - максимальный горизонт прогнозирования, Л. - горизонт управления, (1 - время задержки.

Синтез закона управления. Оптимизация критерия (37) для нелинейного прогнозирующего управления - сложная задача. Для определения минимума, используются итеративные методы:

и441 = и,+/7А. (44)

где и* - вектор управляющих сигналов на к-ой итерации; т]к - шаг алгоритма и <14 - направление поиска.

Метод Ньютона с подходом Левенберга-Марквардта. Для определения направления поиска методом Ньютона с подходом Левенберга -Марквардта нужно решить следующее уравнение

[н(и,(0)+м;к=-8(и4(0), (45)

зи(0

где -2 [ащо. г Е( г) + 2р г "1 и(0

= -2Тг(и(0)£(0+2р \дЩ)' т 1 Щг)

(46)

ЗОН)2

(г

8Ш

аи(0

и«)>и4(о т

8О(0

- + 2р

Гад" т Гаи<о]

[зи(/)]

-1 140=111«

Квазиньютоновский метод. В квазиньютоновском методе используется метод аппроксимации обратной матрицы Гессе. Направление поиска этого алгоритма определяется формулой:

а4=-вЛ(и,(/)), (48)

Нейросетевая система на основе прогнозирующих моделей обладает следующими преимуществами и недостатками: Преимущества:

• наиболее эффективно для систем с временной задержкой;

• можно управлять неустойчивыми, неминимально-фазовыми системами;

• параметры алгоритма могут быть настроены в зависимости от динамических свойств объекта.

Недостатки:

• критерий оптимизации может иметь несколько локальных минимумов;

• сложность вычисления.

В данной главе для иллюстрации различных концепций построения нейросетевых систем управления приведено моделирование системы управления положением считывающего устройства накопителя на жестком диске. Целью управления является позиционирование считывающего устройства на определенной дорожке диска.

Параметры качества полученных систем представлены в таблице 1

Таблица 1.

^ '---—^_____Г1араметр Метод 1—-—____ Время переходного процесса ^(мс) Перерегулирование а (%)

Обобщенный метод обучения инверсной нейросетевой модели 0.4 1.07

Метод обучения инверсной нейросетевой модели в режиме реального времени 0.4 0.18

Нейросетевое оптимальное управление 0.4 14.8

Нейросетевое управление с использовавшем прогнозирующей модели 1.6 0.4

Результаты моделирования подтверждают эффективность использованных нейросетевых структур управления.

В шестой главе на основе предложенных нейросетевых структур и алгоритмов разработана система управления дистилляционной колонной.

Дистилляция - тепломассообменный процесс, который осуществляется в колоннах, оснащенных контактными элементами.

Дистилляционная колонна представляет собой сложную нелинейную многомерную динамическую систему. Структурная схема нейросетевой дистилляционной колонной ЬУ-конфигурации представлена на рис. 1.

Параметры управления:

Цкмоль/мин]: скорость подачи флегмы (дистиллят, возвращаемый обратно в колонну);

У[кмоль/мин]: скорость испарения кипящей жидкости в нижней части колонны.

Выходные параметры:

х0: доля легкого компонента в выходном продукте на вершине колонны (дистилляте);

хв: доля легкого компонента в выходном продукте на дне колонны.

Целью управления является достижение значений хо = 0.99 и хв = 0.01

всем где

1ТП

1-0) V«) V" V"

Рис. 1. Структурная схема нейросетевой системы управления

дистилляционной колонной На этапе проведения эксперимента получены данные во

рабочем диапазоне системы: ZN = {[U(0,Y(/)], f = l,5000j,

U(/) = [i(i) F(/)]r и y(f) = [jcD(Y) хд(0]Г- Использованы нейросетевые

модельные структуры типа ANNFIR, ANNARX, ANNARMAX, ANNSSIF и ANNOE, построенные в соответствии с уравнениями (49-53) со следующими векторами регрессоров:

• Модель ANNARX:

Регрессор: р(/) = [лл(/-1),...,х0(г-и„), L{t-nk),...,L{t-nb ~пк\... (49)

xB(t-\),...,xB(t-n„), V(t-fil),...,V(t-n/,-f,i)Y.

• Модель ANNARMАХ1:

Perpeccop: <P(0 = [xD(t-l),...,xD(t-na), L(t-nk),...,L(t-nb-nk\... (50)

xB(t-\),...,xB(t-na), V(t-nk),...,V(t-nb-nk)f.

• Модель ANNARMAX2:

xB(t-l),...,xs(t-na), V(t-nk),...,V(t-nb-nk).....

(t -1). • • •. ^ (' - «Д ^ ('-«), • • •, (/ ■- и,)]г

• Модель ANNSSIF:

Perpeccop:p(/) = [i(/-1),....¿(Г-лД L(t-1), V{t-1), fflo(/-l) e^l-l)J №

• Модель ANNOE:

Perpeccop: 9(f) = (t -1),...,xD (t - na), L(t - nk),..., L(t - nb - nk),(53)

V(t-nk),...,V(t-nb-nk)]T Оценка параметров ИНС (обучение) проведена на основе алгоритма Левенберга-Марквардта. В результате идентификации с использованием двухслойной сети, содержащей 15 нейронов с тангенциальными функциями активации в скрытом слое и два линейных нейрона в выходном слое. Минимальное значение ошибки обучения и ошибки тестирования продемонстрировала модель ANNARX со следующими параметрами: Perpeccop: P(0 = [*a(i-l)....,*B(i-4), I(i-l),...,I(/-4),..., . (54)

xB{t-1 \...,xB(t-4), V(t-1),...,Vit-4)]г Прогнозирующая модель: у(( | в) = [xD(t 10) хв(( 10)]г = g(cp(t),Q). (55)

Данная модель выбрана для дальнейшего синтеза нейросетевой системы управления.

Проведено моделирование и сравнительный анализ систем управления дистилляционной колонной. Результаты представлены в таблице 2.

Таблица 2.

Параметр Метод ■— Время переходного процесса tn0(MHH) Перерегулирование о (%)

xD хв xD хв

Обобщенный метод обучения инверсной нейросетевой модели 2 20 0.82 69

Метод обучения инверсной нейросетевой модели в режиме реального времени 2 30 0.12 36

Нейросетевое оптимальное управление 2 12 0.10 11

Нейросетевое управление с использованием прогнозирующей модели 2 30 0 0

ПИ-регулятор , : , 2 18 0.05 31

Наиболее эффективным является нейросетевое управление с использованием прогнозирующей модели.

Основные результаты получены с использованием программного комплекса, разработанного в рамках диссертационной работы. Программный продукт предназначен для решения задач идентификации и управления на основе ИНС, реализованный в интегрированной среде для выполнения инженерных и научных расчетов МАТЬАВ версии 7.0. Программный продукт реализует следующий набор функций:

• Группа функций подготовки и анализа экспериментальных данных:

- чтение экспериментальных данных из файлов произвольного формата;

- интерактивный просмотр, анализ, масштабирование данных;

- создание базы данных экспериментов;

- расширенный поиск экспериментов по базе данных и их визуализация;

- подбор данных для реализации процедуры идентификации и также для реализации методов управления.

• Группа функций выбора модельной структуры, обучения, подтверждения ИНС модели и прогнозирования:

- выбор структуры нейросетевой модели;

- различные варианты параметризации модели (алгоритмы обучения ИНС);

- анализ и тестирование ИНС модели;

- прогнозирование на основе ИНС модели.

- различные варианты оптимизации модели (алгоритмы оптимизации ИНС);

• Группа функций реализации методов управления на основе ИНС:

- обобщенный метод обучения инверсной нейросетевой модели;

- метод обучения инверсной нейросетевой модели в режиме реального времени;

- нейросетевое оптимальное управление;

- нейросетевое управление с использованием прогнозирующей модели.

Общее управление всеми процессами и функционированием системы в целом осуществляется с помощью программной оболочки, включающей в себя основное окно программы с набором функциональных кнопок и окно представления графических результатов.

ВЫВОДЫ И ЗАКЛЮЧЕНИЕ

В результате проведенной научно-исследовательской работы получены следующие основные результаты:

1. Реализована и исследована многоэтапная процедура идентификации динамических систем на основе нейросетевых моделей.

2. Реализованы и исследованы алгоритмы настройки параметров нейросетевых моделей.

3. Исследованы методы структурной оптимизации ИНС. Разработан новый алгоритм решения задачи определения оптимальной структуры ИНС.

4. Разработаны процедуры и алгоритмы синтеза законов нейросетевого управления на основе инверсных моделей, оптимального управления, прогнозирующего управления.

5. На основе предложенных методов и алгоритмов разработана универсальная программная система, позволяющая эффективно решать задачи нейросетевой идентификации и управления.

6. Эффективность предложенных алгоритмов подтверждена моделированием нейросетевой системы управления положением считывающего устройства накопителя на жестком диске

7. На основе предложенных алгоритмов и программного обеспечения получены нейросетевые модели дистилляционной колонной и разработаны структуры управления для этого многомерного нелинейного объекта.

В дальнейшем предполагается применить полученные научные

результаты для создания средств аппаратной поддержки нейровычислений

(нейропроцессоров) и разработки нейроконтроллеров.

По теме диссертации опубликованы следующие основные работы:

1. Гаврилов А.И., Хоанг Куанг Тинь. Разработка и исследование алгоритмов структурной и параметрической оптимизации искусственных нейронных сетей // Интеллектуальные системы: Тезисы докладов шестого международного симпозиума. - Саратов, 2004. - С. 384-386.

2. Гаврилов А.И., Хоанг Куанг Тинь. Разработка и исследование алгоритма структурной оптимизации искусственных нейронных сетей // Наукоемкие технологии: Научно-технический журнал. - 2006. - № 1 - С. 26-31.

3. Гаврилов А. И., Хоанг Куанг Тинь, Методы синтеза нейросетевых систем управления // Интеллектуальные системы: Труды Седьмого международного симпозиума. - Краснодар, 2006. - С. 62 - 65.

4. Гаврилов А. И., Хоанг Куанг Тинь, Нейросетевая система управления дистилляционной колонной // Интеллектуальные системы: Труды Седьмого международного симпозиума. - Краснодар, 2006. - С. 553 - 556.

Подписано к печатиЕ?,0*.(%3акаэ №$0£.Объем Мб...Тираж 100 экз Типография МГТУ им Н.Э. Баумана

ОСНОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ВВЕДЕНИЕ

ГЛАВА 1. ПРИМЕНЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

В ЗАДАЧАХ ИДЕНТИФИКАЦИИ И УПРАВЛЕНИЯ

1.1. Введение

1.2. Искусственные нейронные сети и их основные свойства

1.2.1. История и основные свойства ИНС

1.2.2. Многослойные нейронные сети и их аппроксимирующие свойства

1.3. Задача идентификации на основе ИНС

1.4. Основные схемы и задача управления на основе ИНС

1.4.1. Основные схемы нейросетевого управления

1.4.2. Задача управления динамическими объектами на основе нейросетевой модели

1.5. Многослойные нейронные сети в задачах идентификации и управления

1.6. Выводы

ГЛАВА 2. ИДЕНТИФИКАЦИЯ СИСТЕМ НА ОСНОВЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

2.1. Введение

2.2. Основные этапы процедуры идентификации

2.3. Планирование и проведение эксперимента

2.4. Выбор модельной структуры

2.4.1. Линейные регрессионные модели

2.4.2. Базовые нейросетевые модельные структуры

2.4.3. Основные критерии выбора модельной структуры

2.5. Принятие решения об адекватности модели 44 2.5.1. Исследование корреляционных функций

2.5.2. Оценка средней ошибки обобщения

2.6. Моделирование

2.6.1. Системы управления положением считывающего устройства накопителя на жестком магнитном диске

2.6.2. Идентификация исполнительного двигателя

2.7. Выводы

ГЛАВА 3. АЛГОРИТМЫ ОПТИМИЗАЦИИ ПАРАМЕТРОВ НЕЙРОСЕТЕВОЙ МОДЕЛИ

3.1. Введение

3.2. Постановка задачи оптимизации параметров нейросетевой модели

3.3. Методы инициализации весовых коэффициентов сети

3.4. Определение шага алгоритма (скорости обучения)

3.5. Методы и алгоритмы оптимизации параметров нейросетевой модели

3.5.1. Методы первого порядка

3.5.2. Методы второго порядка

3.5.3. Рекуррентные методы

3.6. Критерий останова

3.7. Моделирование

3.7.1. Аппроксимация функции одной переменной на основе ИНС

3.7.2. Аппроксимация функции двух переменных на основе ИНС

3.7.3. Моделирование динамической системы на основе нейросетевой модели ANNARX

3.8. Выводы

ГЛАВА 4. МЕТОДЫ СТРУКТУРНОЙ ОПТИМИЗАЦИИ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

4.1. Введение

4.2. Способность нейросетевой модели к обобщению

4.3. Методы структурной оптимизации нейросетевой модели

4.3.1. Методы структурной оптимизации с модификацией целевой функции

4.3.2. Методы структурной оптимизации с учетом чувствительности

4.3.3. Метод OHU

4.4. Критерий останова

4.5. Моделирование

4.5.1. Аппроксимация функции одной переменной

4.5.2. Аппроксимация функции двух переменных

4.5.3. Моделирование динамической системы

4.6. Выводы

ГЛАВА 5. СИНТЕЗ НЕЙРОСЕТЕВЫХ СИСТЕМ УПРАВЛЕНИЯ

5.1. Введение

5.2. Методы обучения ИНС при разработке нейросетевых регуляторов

5.2.1. Алгоритмы обучения ИНС регуляторов в режиме офлайн

5.2.2. Алгоритмы обучения ИНС регуляторов в режиме реального времени

5.3. Синтез нейросетевого управления на основе инверсной модели объекта

5.3.1. Обобщенный метод обучения инверсной нейросетевой модели

5.3.2. Обучение нейросетевой модели в режиме реального времени (специализированный метод обучения)

5.3.3. Обучение нейросетевой модели в режиме реального времени с использованием эталонной модели

5.3.4. Замечания по реализации и применению метода синтеза управления на основе инверсных нейросетевых моделей

5.4. Нейросетевое оптимальное управление

5.5. Синтез нейросетевого управления на основе прогнозирующей р модели (Model Predictive Control - МРС)

J стр.

5.5.1. Постановка задачи

5.5.2. Нелинейное прогнозирующее управление

5.6. Параметры качества системы управления положением считывающего устройства накопителя на жёстком диске

5.7. Выводы

ГЛАВА 6. НЕЙРОСЕТЕВАЯ РЕАЛИЗАЦИЯ АЛГОРИТМОВ УПРАВЛЕНИЯ ДИСТИЛЛЯЦИОННОЙ КОЛОННОЙ

6.1. Принципы функционирования дистилляционной колонны

6.1.1. Функционирование колонны в установившемся режиме

6.1.2. Логарифмические композиции

6.1.3. Внутренние и внешние потоки

6.2. Трехстадийная дистилляционная колонна

6.3. Модель многостадийной колонны

6.3.1. Динамические особенности колонны

6.3.2. Нелинейность используемой модели

6.4. Задача управления процессом дистилляции

6.4.1. Оценка быстродействия системы

6.4.2. Задача управления

6.5. Решение задачи идентификации и синтез системы управления дистилляционной колонной

6.5.1. Нейросетевая реализация процедуры идентификации дистилляционной колонны

6.5.2. Синтез нейросетевой системы управления дистилляционной колонной

6.6. Выводы 185 ВЫВОДЫ И ЗАКЛЮЧЕНИЯ 186 СПИСОК ЛИТЕРАТУРЫ 187 ПРИЛОЖЕНИЕ А. ВЫЧИСЛИТЕЛЬНЫЕ ПРОЦЕДУРЫ МЕТОДОВ ОЦЕНКИ ПАРАМЕТРОВ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

Искусственные нейронные сети (ИНС) являются эффективным средством решения сложных плохоформализуемых задач. К этому классу традиционно относятся задачи классификации, кластеризации, аппроксимации многомерных отображений, прогнозирования временных рядов, нелинейной фильтрации, идентификации, а также управления сложными технологическими объектами. В настоящее время методы нейротехнологии активно применяются для обработки аэрокосмических изображений и гидроакустических сигналов, идентификации и управления нелинейными динамическими объектами в реальном времени.

Наибольшее распространение в технических приложениях получили многослойные нейронные сети прямого действия, что обусловлено простотой их алгоритмической и программно-аппаратной реализации, наличием развитых методов обучения, возможностью параллельного выполнения вычислений.

Для эффективного использования ИНС для решения задач идентификации нелинейных динамических объектов и проектирования систем автоматического управления, необходимо решить задачу оптимизации параметров ИНС и провести оптимизацию структуры сети. В настоящее время для обучения ИНС разработан ряд алгоритмов, основанных на градиентном методе, методах Ньютона, Гаусса-Ньютона, Левенберга-Марквардта и методе сопряжённых градиентов.

Цель и задачи диссертационной работы. Целью диссертационной работы является разработка и исследование методов и алгоритмов оптимизации параметров и структуры ИНС, применяемых для решения задач идентификации нелинейных динамических объектов и проектирования систем автоматического управления с использованием нейроконтроллеров.

В соответствии с указанной целью определены следующие задачи ис-» следований:

1. Исследовать нейросетевой подход к решению задач идентификации нелинейных динамических объектов и проектирования систем автоматического управления с использованием нейроконтроллеров.

2. Реализовать и исследовать процедуру идентификации на основе нейросетевых моделей.

3. Провести исследование, анализ и реализацию алгоритмов оптимизации параметров и структуры ИНС.

4. Реализовать и исследовать методы управления на основе нейросетевых моделей.

Методы исследования. В процессе выполнения диссертационной работы использовались методы теории нейронных сетей, математического моделирования, теории управления и др. Кроме того, использовались методы численного моделирования разработанных алгоритмов. При моделировании применялись пакеты прикладных программ Matlab-SimulLink.

Научная новизна. На основе анализа, систематизации и обобщения научных достижений в таких областях, как теория автоматического управления, информатика, вычислительная математика и статистика, сформирован подход к решению задачи проектирования систем автоматического управления на основе ИНС.

В ходе выполнения работы получены следующие основные результаты:

1. Проведен анализ методов и разработаны алгоритмы оптимизации параметров и структуры ИНС.

2. Разработан новый алгоритм решения задачи определения оптимальной структуры ИНС.

3. Методы оптимизации параметров и структуры ИНС реализованы в виде программного комплекса.

4. Разработаны и исследованы нейросетевые структуры управления дистилляционной колонной и положением считывающего устройства накопителя на жестком диске.

Разработанные нейросетевые алгоритмы идентификации динамических объектов могут быть использованы при создании программного обеспечения и технических средств информационно-вычислительных комплексов моделирования систем управления нелинейными процессами при отсутствии достаточного объема априорной информации.

Практической реализацией разработанных алгоритмов является программный продукт, представляющий собой композицию модулей, объединенных в одной оболочке. Интуитивно понятный интерфейс пользователя, быстрота и вычислительная робастность используемых алгоритмов позволяют получать адекватные нейросетевые модели динамических объектов за рекордно короткие сроки и с минимальным участием пользователя (проектировщика).

Внедрение результатов. Материалы диссертации использованы в учебном процессе НУК ИУ МГТУ им. Баумана.

Апробация работы. Материалы исследований представлены на Шестом международном симпозиуме "Интеллектуальные системы" (Россия, Саратов, 2004г.), аучном семинаре "Интеллектуальные системы" кафедры «Системы автоматического управления» МГТУ им. Н.Э.Баумана, Седмом международном симпозиуме "Интеллектуальные системы" (Россия, Краснодар, 2006г.).

Публикации. Основные результаты диссертационной работы опубликованы в четырёх печатных трудах.

Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка литературы из 106 наименований и приложений. Основная часть работы составляет 195 страниц машинописного текста, 13 таблиц и 65 рисунков. Общий объем приложений - 20 страниц.

ВЫВОДЫ И ЗАКЛЮЧЕНИЯ

В работе получены следующие основные научные результаты:

1. Реализованы и исследована многоэтапная процедура идентификации динамических систем на основе нейросетевых моделей.

2. Реализованы и исследованы алгоритмы настройки параметров нейросетевых моделей.

3. Исследованы методы структурной оптимизации ИНС. Разработан новый алгоритм решения задачи определения оптимальной структуры ИНС.

4. Исследован ряд структур нейросетевых систем управления. Разработаны процедуры и алгоритмы синтеза законов нейросетевого управления на основе инверсных моделей, оптимального управления, прогнозирующего управления.

5. На основе предложенных методов и алгоритмов разработана универсаль-> ная программная система, позволяющая эффективно решать задачи нейросетевой идентификации и управления.

6. Эффективность предложенных алгоритмов подтверждена моделированием нейросетевой системы управления положением считывающего устройства накопителя на жестком диске.

7. На основе предложенных алгоритмов и программного обеспечения получены нейросетевые модели дистилляционной колонной и разработаны структуры управления для этого многомерного нелинейного объекта.

187

1. Гаврилов А.И. Перспективы применения нейросетевых технологий в системах автоматического управления // Вестник МГТУ им. Баумана. Приборостроение. 1998. - № 1. - С. 119-126.

2. Гаврилов А.И. Нейросетевая реализация процедур идентификации динамических систем: Дисс. канд. техн. наук. М., 2000.- 230 с.

3. Гаврилов А.И., Хоанг Куанг Тинь. Разработка и исследование алгоритмов структурной и параметрической оптимизации искусственных нейронных сетей // Интеллектуальные системы: Тезисы докладов шестого международного симпозиума. Саратов, 2004. - С. 384-386.

4. Гаврилов А.И., Хоанг Куанг Тинь. Разработка и исследование алгоритма структурной оптимизации искусственных нейронных сетей // Наукоемкие технологии, научно-технический журнал. 2006. - № 1 - С. 26-31.

5. Галушкин А.И. Современные направления развития нейрокомпьютерныхтехнологий в России // Открытые системы. 1997. - №4. -С. 25- 28.

6. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация: Пер. с англ. -М.: Мир, 1985.-509 с.

7. Гроп Д. Методы идентификации систем: Пер. с англ. М.: Мир, 1979.302 с.

8. Дэннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. Пер с англ. М.: Мир, 1998. - 440 с.

9. Дорф Р., Бишоп Р. Современные системы управления /Пер. с англ. Б. И. Копылова М.: Лаборатория базовых знаний, 2004. - 832 с.

10. Интеллектуальные системы автоматического управления /Под ред. И. М. Макарова, В. М. Лохина. М.: Физматлит, 2001. - 576 с.

11. П.Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия - Телеком, 2003. - 94 с.

12. Короткий С. Нейронные сети: основные положения // Статья №3 из цикла статей журнала Монитор. URL: http://lii.newmail.ru/nn/korotky/nl.html.1996.-7 р.

13. Круглое В.В., Дли М.И., Голунов Р.Ю. Нечёткая логика и искусственные нейронные сети. М.: Физматлит, 2001. - 224 с.

14. Льюнг Л. Идентификация систем: Теория для пользователя: Пер. с англ. /Под ред. Я. 3. Цыпкина. М.: Наука. Гл. ред. Физ.-мат. лит., 1991. - 432 с.

15. Моисеев Н.Н., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. -М.: Наука, 1978.-352 р.

16. Попов Е.П. Теория нелинейных систем автоматического регулирования и управления: Учеб. пособие, 2-е изд., стер. М:. Наука, Гл. ред. Физ.-мат. лит.,1988. - 256 с.

17. Пупков К.А. Методы робастного, нейро-нечеткого и адаптивного управления: Учебник. М.: Изд-во МГТУ им. Н.Э. Баумана, 2001. - 744 с.

18. Роберт К. Основные концепции нейронных сетей. М.: Издательский дом "Вильяме", 2001.-288 с.19.0совский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. М.: Финансы и Статистика, 2002.- 344 с.

19. Сейдж Э.П., Мелса Д.Л. Идентификация систем управления: Пер. с англ.-М.: Наука. Гл. ред. физ.-мат. лит., 1974. 248 с.

20. Сигеру Омату. Нейроуправление и его приложения: Пер. с англ. /Под ред. Галушкин А.И. М.: ИПРЖР, 2000 (Кн. 2.). - 272 с.

21. Химмельблау Д. Прикладное нелинейное программирование: Пер с англ. -М.: Мир, 1975.-534 с.

22. ЦыпкинЯ.З. Информационная теория идентификации. М.: Наука, 1995. -336 с.

23. Akaike Н. A new look at the statistical model identification // IEEE Trans. Autom. Control. -1974. Vol. AC-19. - P. 716 - 723.

24. Akaike H. Fitting autoregressive models for predictive // Ann. Inst. Stat. Math. 1969.-Vol. 21.-P. 243-347.

25. Anscombe F. J., Tukey J. W. The examination and analysis of residuals // Tech-nometrics. 1963. - Vol. 5. - P. 141 -160.

26. Barron A.R. Universal approximation bounds for superposition of a sigmoidalfunction // IEEE Transactions on Information Theory. 1993. - Vol. 39. - P. 930 - 954.

27. Bebis G., Georgiopoulos M. Optimal feed-forward neural network architectures // IEEE Potentials. 1994. - October. - P. 27 - 31.

28. Benjamin С. K. Automatic Control System. Fourth edition. New Jersey: Englewood Cliffs, Prentice Hall 1982. - 740 p.

29. Billings S.A., Zhu Q.M. Nonlinear model validation using correlation tests // Int. Journal of Control. 1994. - Vol. 60, No. 6. - P. 466 - 470.

30. Bishop G., Welch G. An Introduction to the Kalman filter. North Carolina: SIGGRAPH-Course 8,2001. -80 p.

31. Broyden C.G. Quasi-newton methods and their applications to function minimization // Math Сотр. 1967. - Vol. 21. - P. 368 - 381.

32. Broyden C.G. The convergence of a class of double rank minimization algorithms. Part 1 and 2. // J. Inst. Math. Appl. 1970.- Vol. 6. - P. 76 - 90.

33. Buckley P.S., Luyben W.L., Shunta F.S. Design of distillation column control systems. North Carolina: ISA, Research Triangle Park, 1985. - 540 p.

34. Chen S., Billings S.A. Neural networks for non-linear dynamic system modelling and identification // Int. J. Control. 1992. - Vol. 56, No. 2. - P. 319 - 349.

35. Constantin N. Adaptive neural predictive techniques for nonlinear control // Studies in Informatics and Control. 2003.- Vol. 12, No 4. - P. 285 - 291.

36. Cybenco G. Approximation By Superposition Of A Sigmoidal Function // Math. Control Systems and Sygnals. 1989. - No. 2. - P. 303 - 314.

37. Dayhoff J.E. Neural network architectures: an introduction. New York (NY): Van Nostrand Reinhold, 1990. - 259 p.

38. Denoeux J., Lengalle R. Initializing back propagation networks with prototypes // Neural Networks. 1993. - Vol. 6. - P. 351 - 363.

39. Eduardo D.S. Neural networks for control // In Essays on Control: Perspectives in the Theory and its Applications /H.L. Trentelman and J.C. Willems, eds., Birkhauser. Boston, 1993. - P. 339 - 380.

40. Fletcher R., Reeves C.M. Function minimization by conjugate gradients // Computer Journal. 1964. - Vol. 7. - P. 163 - 168.

41. Fletcher R., Powell M.J.D. A rapidly convergent descent method for minimization // Computer Journal. 1963. - Vol. 6. - P. 163 - 168.

42. Fletcher R. A new approach to variable metric algorithms // Computer Journal. 1970.-Vol. 13(3).-P. 317-322.

43. Fletcher R. Practical methods of optimization. New York: Wiley, 1987.-424 p.

44. Goldfarb D. A family of variable metric methods derived by variational means // Math. Сотр. 1970. - Vol. 24. - P. 23 - 26.

45. Grewal M.S., Andrews A.P. Kalman Filtering: Theory and Practice. New Jer-sey:-Englewood Cliffs, Prentice-Hall, 1993. - 398 p.

46. Hagan M.T. and Demuth H.B. Neural networks for Control // Proceedings of the 1999 American Control Conference. San Diego (CA), 1999. - P. 1642 -1656.

47. Hagan M.T., Menhaj M.B. Training feed-forward networks with the Marquardt Algorithm // IEEE Transactions on Neural Networks. 1994. - Vol. 5, No. 6. -P. 989-993.

48. Hangos K.M. Analysis and control of nonlinear process systems. London: Springer-Verlag, 2004. - 335 p.

49. Hassibi В., Stork D.G., Wolff G.J. Optimal brain surgeon and general network pruning // Procedings of the 1993 IEEE International Conference on Neural Networks. San Francisco, 1993. - P. 293 - 299.

50. Haykin S. Neural networks: a comprehensive foundation. New York: Mac-millan College Publishing Co. Inc., 1994. - 842 p.

51. He X., Asada H. A new method for identifying orders of input-output models for nonlinear dynamic systems // Proc. of the American Control Conference. -San Francisco, 1993. P. 67 - 83.

52. Hornik K., Stinchcomb M. Multilayer feedforward networks are universal approximators //Neural Networks. 1989. - Vol. 2. - P. 359 - 366.

53. Hush D. Horn B. Progress in supervised neural networks // IEEE Signal Processing Magazine. 1993. - Vol. 10, No. 1. - P. 8 - 39.

54. Iiguni, Sakai H. A non-linear regulator design in the presence of system uncertainties using multi-layered neural networks // IEEE Trans, on Neural Networks. 1991. - Vol. 2. - P. 410 - 417.

55. Ikonen E., Najim K. Advanced process identification and control. New York: Marcel Dekker Inc., 2002. - 316 p.

56. Ioannou P., Sun J. Robust Adaptive Control. California: Prentice Hall Inc, 1996.-834 p.

57. Jang Jyh-Shing R., Sun С. Т., Mizutani E. Neuro-Fuzzy And Soft Computing: A Computational Approach To Learning And Machine Intelligence. Upper Saddle River: Prentice-Hall, 1997. - 640 p.

58. Jolliffe I.T. Principal component analysis. New York: Springer-Verlag, 1986. - 502 p.

59. Jorge O.H., Paulo G., Antonio D. Non-linear Multivariable Predictive Control: Neural versus First Principle Modelling Approach // IASTED, Control and Applications. Cancun (Mexico), 2002. - P. 1 - 22.

60. Karayiannis N. Accelerating training of feed forward neural network using generalized hebbian rules for initializing the interal representation // IEEE Proc. ICNN. Orlando, 1994. - P. 1242 - 1247.

61. King C.J. Separation processes. New York: McGraw-Hill, 1971. - 447 c.

62. Kwakernaak H., Sivan R. Linear optimal control systems. New-York: Wiley Inc. - 436 p.

63. Larsen J. Design a neural network filters: Ph.D. thesis, Lyngby (Denmark): Technical University of Denmark, 1996. 451 p.

64. Lecun Y., Denker J.S., Solla S.A. Optimal Brain Damage // IEEE Transactions on Neural Networks. San Mateo (CA): Morgan Kaufmann,1990. - Vol. 3. - P. 62-72.

65. Lester S.H., Sjoberg J., Viberg M. Adaptive neural nets filter using a recursive Levenberg-Marquardt search direction // Proc. Asilomar Conf. Signals, Systems, Computers. Gothenburg, 1998 - Vol. 1. - P. 697 - 701.

66. Levenberg K. A Method for the solution of certain nonlinear problems in least squares // Quart. Appl. Math. 1944. - No. 2. - P. 164 - 168.

67. Levin E., Gewirtzman R. Neural network architecture for adaptive system modelling and control // Proc. of Int. Joint Conf. on Neural Networks. -Washington D.C., 1989. Vol. 11. - P. 311 - 316.

68. Ljung L. System identification: Report of Department of Electrical Engineering, Linkoping University. Linkoping (Sweden), 1995. - 67 p.

69. Marquardt D. An algorithm for least-squares estimation of nonlinear parameters // SIAM J. Appl. Math. 1963. - No 11. - P. 164 - 168.

70. Miller W.T., Sutton R.S., Werbos P.J. Neural networks for control. Cambridge: MIT Press (MA), 1990. - 544 p.

71. Morari M., Ricker N.L. Model predictive control toolbox. Natick: The Math-Works Inc. (MA. USA), 1998. - 240 p.

72. Narendna K.S., Parthasarathy K. Identification and control of dynamical systems using neural networks // IEEE Trans, on Neural Networks. 1990. - Vol. 1. - P. 4 - 27.

73. Nguyen D., Widrow B. Neural networks for self-learning control systems // IEEE Control Systems Magazine. 1990. - April. - P. 18 - 23.

74. Norgard M. The neural network based control system design toolkit. Lyngby (Denmark), 2000. - 41 p. (Tech. Report 96-E-891, Department of Automation, Technical University of Denmark)

75. Norgard M. The neural network based system identification toolbox. Lyngby, Denmark, 2000. - 98 p. (Tech. Report 00-E-892, Department of Automation, Technical University of Denmark)

76. Nocedal J., Wright S. J. Numerical optimization. New York: Springer, 1999. -651 p.

77. Peterson С. Determining dependency structures and estimating nonlinear regression errors without doing regression // International Journal of Modern Physics. 1995. - Vol. 611. - P. 18 - 31.

78. Polak E. Computational methods in optimization. New York: Academic Press, 1971.-329 p.

79. Rolf F., Frank A. An introduction to nonlinear model predictive control // Proceedings 21st Benelux Meeting on Systems and Control. Veldhoven, 2001. -P. 3.1 -3.45.

80. Roncon E., Peter J.G. Neural networks for modelling and control. Glasgow, Scotland, 1997. - 38 p. (Technical Report CSC-97008, Department of Mechanical Engineering, University of Glasgow)

81. Rosenblatt F. Principles of neurodinamics: Perceptron and the theory of brain mechanisams. Washington DC: Spartan Books, 1962. - 480 p.

82. Rumelhart D.E. Parallel distributed processing: Explorations in the micro structure of cognition. Cambridge (MA): MIT Press, 1986 .- Vol. 1. - Foundations. -532 p.

83. Saerens M., Soquet A. A Neural controller based on back propagation algorithm // Proc. of First IEEE Int. Conf. on Artificial Neural Networks. London, 1989.-P. 211-215.

84. Sankar K.P., Mitra S. Multilayer perceptron, fuzzy sets, and classification //IEEE Transactions on Neural Networks. 1992. - Vol. 3. - P. 683 - 696.

85. Shanno D.F. Conditioning of quasi-Newton methods for function minimization // Math. Сотр. 1970. - Vol. 24. - P. 647 - 656.

86. Shewchuk J.R. Second order gradients methods // School of Computer Science Carnegie Mellon University. Pittsburg, 1994. - P. 356 - 373.

87. Sjoberg J. Nonlinear black-box modeling in system identification: A unified overview // Automatica. 1995. - Vol. 31. - P. 1691 - 1724.

88. Sjoberg J. Non-linear system identification with neural networks: Ph.D. thesis, Division of Automatic Control. Linkoping(Sweden): Linkoping University, 1995.-235 p.

89. Sjoberg J., Hjalmarsson H., Ljung L. Neural networks in system identification // 10 th IFAC Symposium on System Identification. Copenhagen, 1994. -Vol. 2.-P. 49-72.

90. Skogestad S. Dynamics and control of distillation columns: A tutorial introduction // Trans. IchemE. 1997.- Vol. 75, Part A. - P. 539-562.

91. Skogestad S., Lundstrom P., Jacobsen E.W. Selecting the best distillation control structure // AIChE Journal. 1990. - Vol. 36. - C. 753 - 764.

92. Skogestad S., Morari M. The dominant time constant for distillation columns //Comput. Chem. Engng. 1987. - Vol. 11. - C. 607 - 617.

93. Skogestad S., Morari M. Control configuration selection for distillation columns // AIChE Journal. 1987. - Vol. 33(10). - C. 1620 - 1635.

94. Skogestad S., Morari M. Understanding the dynamic behavior of distillation columns // Ind. Eng. Chem. Res. 1988. - Vol. 27(10). - C. 1848 - 1862.

95. Skogestad S., Postlethwaite I. Multivariable feedback control. New York: JohnWiley & Sons, Chichester. - 1996. - 559 p.

96. Smith L.I. A tutorial on principal components analysis / URL: http://www.cs.otago.ac.nz/cosc453/student tutorials/principal components.pdf. 2002.-27 p.

97. Soderstrom Т., Stoica P. System identification. London: Prentice Hall International, Great Britain, 1989. - 440 p.

98. Soeterboek R. Predictive control: a unified approach. New Jersey: Prentice Hall, 1992.-300 p.

99. S0rensen O. Neural networks in control applications: Ph.D. thesis, Aalborg (Danmark): Aalborg University, Department of Control Enginering. 1994. -311 p.

100. Suykens J.A.K., Bersini H. Neural control theory: an overview //Journal A. -1996. Vol. 37, No. 3.-P. 4-10.

101. Svarer C. Neural networks for signal processing: Ph.D. thesis, CONNECT. -Lyngby: Electronics Institute, Technical University of Danmark, 1994. 186 p.

102. Thimm G., Fiesler E. Neural network initialization // From Natural to Artificial Neural Computation. Malaga: IWANN, 1995. - P. 533 - 542.

103. Thimm G., Fiesler E. Pruning of neural networks: IDIAP Research Report, Dalle Molle institute for perceptive artificial Intelligence, Valais (Switzerland) 1997.-97-03.- 18 p.

104. Vapnik V.N., Chervonenkis A. On the uniform convergence of relative frequencies of events to their probabilities // Theory of Probability and its Applications. -1971. Vol. 16. - P. 264 - 280.

105. White. D.A., Sofge D.A. Handbook of intelligent control. -New York: Van Nostrand Reinhold, 1992. 559 p.