автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Применение искусственных нейронных сетей для решения задач управления динамическими объектами

с А ./01А - X

Г) I % У J / / /< / С/ г

Московский физико-технический институт (государственный университет)

(

На правах рукописи

Логовский Алексей Станиславович

Применение искусственных нейронных сетей для решения задач ( управления динамическими объектами

(05.13.17 - Теоретические основы информатики)

Диссертация на соискание ученой степени кандидата физико-математических наук

Научный руководитель -Заслуженный деятель науки России, доктор технических наук, профессор, Галушкин А.И.

Москва. 1998

Оглавление.

Введение............................................................................................................................4

Глава 1. Основные понятия теории нейронных сетей.................................................15

1.1 Биологический нейрон. Строение и основные функции...................................15

1.2 Математическая модель нейрона. Нейрон Мак-Каллока-Питтса.....................22

1.3 Обобщенная математическая модель нейрона....................................................24

1.3.1 Нейрон с конечным числом входных сигналов...........................................24

1.3.2 Нейрон с бесконечным числом входных сигналов.....................................25

1.4 Пространственное и временное суммирование в нейроне................................27

1.4.1 Механизм временного суммирования..........................................................27

1.4.2 Преобразование временного суммирования в пространственное.............32

1.4.3 Преобразование временного суммирования в пространственное.............33

1.4.4 Обобщенная модель нейрона.........................................................................36

1.5 Искусственные нейронные сети...........................................................................38

1.5.1 Многослойные нейронные сети....................................................................38

1.6 Системный подход к построению нейросетевых систем...............................51

Глава 2. Применения нейронных сетей в системах управления................................56

2.1 Классы задач теории управления, решаемые с использованием искусственных нейронных сетей...............................................................................56

2.1.1 Нейросетевая аппроксимация поведения контроллера...............................58

2.1.2 Нейросетевая модель измерительного устройства......................................61

2.1.3 Нейросетевая модель объекта управления..................................................62

2.1.4 Задача синтеза в нейросетевой постановке..................................................67

2.2 Классы динамических объектов, для управления которыми используются нейроконтроллеры.......................................................................................................70

2.2.1 Объекты управления, описываемые дифференциальными уравнениями первого порядка................................................................................71

2.2.2 Динамические объекты, описываемые дифференциальными уравнениями второго порядка................................................................................74

2.2.3 Дискретные дифференциальные уравнения................................................77

Глава 3. Примеры практического применения нейронных сетей для решения задач управления динамическими объектами..............................................................79

3.1 Обратная кинематическая задача для робота-манипулятора............................79

3.1.1 Постановка задачи обратной кинематики для робота-манипулятора......81

3.1.2 Решение прямой задачи кинематики...........................................................83

3.1.3 Решение обратной задачи кинематики.........................................................83

3.1.4 Результаты моделирования...........................................................................90

3.2 Использование нейронных сетей для управления обратным маятником,

как неустойчивой системой, в реальном времени....................................................92

3.2.1 Постановка задачи управления обратным маятником...............................92

3.2.2 Математическая модель обратного маятника..............................................95

3.2.3 Структура нейросетевого для контроллера управления обратным маятником.................................................................................................................96

3.2.4 Моделирование объекта управления...........................................................99

3.2.5 Обучение нейронной сети для моделирования поведения объекта управления..............................................................................................................101

3.2.6 Обучение нейронной сети-контроллера....................................................103

Литература..............................................................................................................110

Приложение Пакет программ моделирования нейронных сетей НеигоЗоШюш фирмы КеигоБтепБюп 1пс.........................................................121

Введение.

Актуальность темы.

В последнее время во всем мире наблюдается резко возросший объем научных исследований в области теории искусственных нейронных сетей, нейрокомпьютинга и нейроинформатики. Это связано, прежде всего, с теми возможностями, которые искусственные нейронные сети предоставляют для решения сложных, зачастую неформализуемых, прикладных задач.

Искусственные нейронные сети и специализированные вычислительные устройства, созданные на их основе - нейрокомпьютеры - строятся и функционируют по тем же принципам, что и биологические нейронные сети. Подобно своим биологическим аналогам, искусственные нейронные сети представляют собой однородную структуру, состоящую из большого количества параллельно работающих простейших вычислительных элементов -нейронов. За счет применения принципиально нового способа обработки информации достигается гораздо более высокая скорость работы нейросетевых алгоритмов по сравнению с другими алгоритмами. Каждый из составных элементов нейронной сети - нейронов - осуществляет нелинейное преобразование, поэтому нейронная сеть в целом представляет собой нелинейную систему, что особенно важно при использовании нейронных сетей для решения сложных прикладных задач с нелинейными характеристиками.

Искусственные нейронные сети находят широкое применение во многих областях человеческой деятельности. Они активно применяются для решения сложных, часто неформализуемых, прикладных задач, таких как распознавание образов, обработка изображений, обработка сигналов, обработка информации и т.д., а также широко используются для решения различных задач, связанных с управлением динамическими системами. Являясь по своей природе нелинейными адаптивными системами, нейронные сети успешно применяются для управления сложными существенно нелинейными или неформализованными динамическими объектами, там, где неэффективны традиционные алгоритмы управления. Степень использования нейронных сетей в задачах управления за последние несколько лет достигла такого размаха, что уже можно говорить о появлении новой области теории управления -

нейроуправлении. Основной задачей науки под названием «нейроуправление», является анализ возможностей и способы использования искусственных нейронных сетей для управления сложными динамическими объектами. Введенный в 1989 году Паулем Вербосом (Р^егЬоБ) термин «нейроуправление» в настоящее время превратился в полноценную науку, которая далеко продвинулась как в теоретическом, так и практическом аспекте. Разработаны методики применения нейронных сетей для решения различных задач теории управления, созданы, промоделированы и аппаратно реализованы нейроконтроллеры для управления динамическими объектами различной природы, начиная от роботов и кончая летательными аппаратами и атомными реакторами.

Активные работы в этом направлении ведутся и в России. В мире широко известна и пользуется уважением школа, созданная в Институте

проблем управления РАН (г.Москва) академиком |Я.З.Цыпкиным|. Практические исследования в области нейроуправления ведутся в Научном центре нейрокомпьютеров (г.Москва), Московском институте электроники и математики (МГИЭМ, г.Москва), НИИ МВС (г.Таганрог), Красноярском филиале РАН (г.Красноярск), Ростовском НИИ Нейрокибернетики (г.Ростов-на-Дону) и др. По данному направлению ведутся учебные курсы в ведущих ВУЗах страны, таких как МФТИ (Москва), МГТУ (Москва), МГИЭМ (Москва), МИФИ (Москва), Красноярском Государственном университете и др.

Представленная диссертация посвящена использованию нового типа нейронных сетей - динамических нейронных сетей - для управления динамическими системами, что является развитием теории нейроуправления.. Узким местом использования классических нейросетевых парадигм для решения задач управления является их неадекватность решаемым задачам - для управления динамическими системами используются статические нейронные сети. Предлагаемые в диссертации методы позволяют ликвидировать эту неадекватность и повысить качество решаемых прикладных задач данной области.

Цели и задачи работы.

Целью диссертационной работы является разработка новых нейросетевых алгоритмов управления динамическими системами, построенных на основе динамических нейронных сетей.

Для достижения поставленной цели в диссертационной работе были поставлены и решены следующие задачи:

• разработаны математические модели функционирования динамических нейронов и установлена их взаимосвязь с обычно используемыми искусственными нейронами, описан способ построения динамических нейронных сетей, как совокупности динамических нейронов, соединенных между собой;

• проведен анализ постановок задач теории управления с точки зрения используемого аппарата теории искусственных нейронных сетей и сформулированы постановки этих задач в нейросетевом логическом базисе;

• разработана методика синтеза нейросетевых систем для решения различных задач управления, включающая в себя выбор нейросетевой структуры и ее параметров, а также подключение контура настройки и адаптации;

• проведена апробация предложенных динамических нейронных сетей путем решения двух прикладных задач: управлением роботом-манипулятором и управлением обратным маятником в реальном времени.

Методы исследования.

Для решения поставленных задач используется аппарат теории искусственных нейронных сетей, теории управления и теории оптимизации. Используются как традиционные нейросетевые парадигмы и методы, так и разработанные динамические нейронные сети, более адекватные задачам, связанным с управлением динамическими процессами. Для адаптации нейронных сетей применяются градиентные методы оптимизации.

Моделирование нейросетевых систем для решения прикладных задач проводилось на ПЭВМ с использованием специализированных средств моделирования нейронных сетей (нейропакетов) NeuroSolutions фирмы NeuroDimension Inc.

Научная новизна.

В диссертационной работе разработаны динамические нейронные сети, которые применены для решения задач управления динамическими системами, и разработана методика синтеза нейросетевых систем для решения прикладных задач теории управления. Проведен анализ и систематизация постановок задач теории управления, на основе которых приведены постановки этих задач в нейросетевом логическом базисе. Предложено новое нейросетевое решение обратной кинематической задачи для робота-манипулятора и нейросетевое решение задачи стабилизации обратного маятника.

Апробация результатов работы.

Результаты работы докладывались и были обсуждены на:

- конференции «Мнопроцессорные вычислительные системы» МВС-92, (Туапсе, 1992)

- международном симпозиуме по нейроинформатике и нейрокомпьютерам (The First RNNS/IEEE Symposium on Neuroinformatics and Neurocomputers) (Ростов-на-Дону, 1992)

- конференции «Транспьютерные системы» (Москва, 1992, 1993, 1994, 1995) V Научно-технической конференции «Роботы и автоматизированные системы управления технологическими процессами» (Санкт-Петербург, 1995)

- конференции «Нейрокомпьютеры и их применение» (Москва, 1995, 1996, 1997, 1998)

- XXXIX Юбилейной научной конференции МФТИ (Долгопрудный, 1996)

Часть научных результатов диссертации составила основу учебного курса «Нейроматемагика-2 (нейроуправление)», читаемого студентам старших курсов МФТИ (кафедра «Транспьютерные и нейронные ЭВМ» ФРТК) и цикла семинарских занятий, проводимых со студентами МГТУ.

Большая часть научных результатов работы вошла в научно-технические отчеты Научного центра нейрокомпьютеров и других организаций.

Публикации.

По теме диссертации опубликовано 25 печатных работ, из которых 18 приведено в списке основных публикаций по теме диссертации. Материал

диссертации вошел в 32 научно-технических отчета Научного центра нейрокомпьютеров и других организаций.

Работа [28] стала победителем конкурса среди аспирантов и молодых специалистов, проводимого журналом «Зарубежная радиоэлектроника».

Объем и структура и работы.

Диссертация состоит из введения, трех глав, списка используемой литературы и одного приложения; содержит 120 страниц машинописного текста, 32 рисунка, библиография 138 наименований.

Краткий обзор содержания диссертации.

Работа состоит из введения, трех глав, каждая из которых подразделяется на пункты. Нумерация формул и рисунков ведется отдельно в пределах каждой главы. В конце работы представлен список используемой литературы. Нумерация литературы указана в порядке цитирования. При ссылке на литературу порядковый номер статьи или книги указывается в квадратных скобках.

Во введении сформулирована актуальность темы диссертационной работы, сформулированы цели и задачи, научная новизна, практическое значение, а также описана структура работы.

В первой главе приведено описание используемого в дальнейшем формального аппарата теории нейронных сетей. Основное внимание уделено математическому описанию искусственных нейронов и строящихся из них многослойных нейронных сетей. Глава 1 состоит из шести пунктов. В первом пункте представлено краткое описание функционирования биологических нейронов, являющихся основой биологических нейронных сетей живых существ. Второй, третий и четвертый пункты посвящены описанию различных математических моделей искусственных нейронов. В пятом пункте приводится описание частной парадигмы искусственных нейронных сетей - многослойных нейронных сетей, состоящих из описанных ранее нейронов. Шестой пункт посвящен описанию методики построения нейросетевых систем.

Искусственные нейроны, из которых строятся искусственные нейронные сети, в какой-то мере являются аналогами биологических нейронов живых существ. Фундаментальная задача, стоящая перед нейроном, состоит в приеме и

передаче сигналов. Каждый биологический нейрон состоит из тела клетки и расходящихся от него длинных тонких отростков, среди которых можно выделить один длинный аксон, проводящий сигналы от тела нейрона к отдаленным мишеням, и несколько более коротких ветвящихся дендритов, принимающих сигналы от аксонов других нервных клеток. Тело нейрона также способно принимать сигналы. Отдаленный конец аксона обычно ветвится, что позволяет передавать сигнал от данного нейрона одновременно нескольким другим. Степень ветвления дендритов также может быть очень высокой - в некоторых случаях нейрон способен принимать до 100.000 сигналов.

Входные сигналы нейрона можно разделить на возбуждающие и тормозящие. В зависимости от преобладания возбуждающих и тормозящих сигналов во множестве входных сигналов нейрон либо возбуждается (передает возбуждающий сигнал другим нейронам), либо тормозится, т.е. передает другим нейронам тормозящий сигнал. Таким образом, нейрон фактически суммирует поступающие входные сигналы и выполняет некоторое пороговое преобразование.

На основании анализа поведения биологического нейрона была создана его математическая модель, записываемая в виде системы двух дифференциальных уравнений.

В упрощенном виде Мак-Каллоком и Питтсом математическая модель нейрона была представлена в виде взвешенного сумматора с последующим пороговым преобразованием. Эта модель была в дальнейшем обобщена на случай непрерывного входного сигнала и непрерывного нелинейного преобразования вместо порогового.

Нейрон, описываемый такой моделью, широко используется при построении нейронных сетей для решения различных прикладных задач. Это связано, в первую очередь, с простотой самой модели и с относительной простотой ее аппаратной реализации.

В диссертационной работе произведено обобщение указанной модели на случай континуального входного сигнала.

Помимо пространственного суммирования (суммирования сигналов по входам) биологический нейрон способен также осуществлять временное суммирование, т.е. суммировать сигналы, пришедшие в разные моменты времени.

В перечисленных моделях нейрона временное суммирование в нейроне не учитывается. Поэтому нейронная сеть, построенная на базе таких нейронов, является статичной по своей природе и неадекватна задачам, связанным с динамикой, в частности, с задачам управления динамическим объектами. Если же рассматривать исходную модель нейрона (в виде системы дифференциальных уравнений), то она практически непригодна для аппаратной реализации и фактически является математической абстракцией.

В диссертационной работе проведено обобщение модели нейрона с учетом временного суммирования и получена модель нейрона в виде двойного интегратора (по пространству и времени) в случае непрерывных вх