автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Оптимизация проектирования аппаратных средств нейросети на основе имитационного моделирования нейроструктур

С4 и ; ) / 1 /> / )

V/ /<Х, с/,. ^ ' Л/

........

/ На правах рукописи

Воронежский государственный технический университет

СЕВОСТЬЯНОВ ДМИТРИЙ АНАТОЛЬЕВИЧ

ОПТИМИЗАЦИЯ ПРОЕКТИРОВАНИЯ АППАРАТНЫХ СРЕДСТВ НЕЙРОСЕТИ НА ОСНОВЕ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ НЕЙРОСТРУКТУР

Специальность 05.13.12 - Системы автоматизации проектирования

ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук

Научный руководитель:

кандидат технических наук, профессор

Каплинский А. И.

Воронеж - 1998

СОДЕРЖАНИЕ

ВВЕДЕНИЕ..................................................................................................................5

1. ПУТИ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ АВТОМАТИЗИРОВАННОГО ПРОЕКТИРОАВНИЯ СИСТЕМ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ.........15

1.1. Задачи имитационного моделирования и оптимизации в процессе автоматизированного проектирования структуры нейронных сетей......16

1.1.1. Анализ задач, решаемых с помощью искусственных нейронных сетей........................................................................................................16

1.1.2. Особенности проектирования нейросетей, требующие учета при разработке нейрочипов.........................................................................19

1.2. Анализ средств моделирования....................................................................20

1.3. Анализ структур, типов и математических моделей нейросетей..............23

1.3.1. Модель нейронного узла....................................................................27

1.3.2. Модель нейронной сети с одним слоем............................................30

1.3.3. Модель ассоциативной памяти..........................................................32

1.3.4. Модель многослойной нейронной сети............................................36

1.3.6. Разработка комплексной модели нейронной сети...........................41

1.4. Цель и задачи исследования..........................................................................42

1.5. Основные выводы главы................................................................................43

2. РАЗРАБОТКА МОДЕЛЕЙ ДЛЯ ОПТИМАЛЬНОЙ НАСТРОЙКИ ПАРАМЕТРОВ МНОГОСЛОЙНЫХ НЕЙРОННЫХ СЕТЕЙ.........................45

2.1. Разработка структуры средств автоматизированного формирования структуры нейронной сети...........................................................................45

2.2. Разработка комплексной имитационной модели на основе вложенности моделей и алгоритмов...................................................................................48

2.3. Оптимизация настройки параметров нейронной сети................................54

2.3.1. Алгоритм настройки параметров сети, основанный на методе градиентного спуска.............................................................................54

2.3.2. Модификации градиентного метода, использующие адаптивные технологии.............................................................................................59

2.4. Основные выводы главы................................................................................68

3. ОРГАНИЗАЦИЯ БИБЛИОТЕКИ НЕЙРОННЫХ МОДУЛЕЙ. АЛГОРИТМИЗАЦИЯ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ НЕЙРОННЫХ СЕТЕЙ..........................................................................................70

3.1. Организация библиотеки нейронных модулей...........................................70

3.1.1. Применение объектно-ориентированного подхода к разработке библиотеки нейромодулей...................................................................70

3.1.2. Базовые абстрактные классы.............................................................74

3.2. Алгоритм настройки весовых коэффициентов базовых объектов библиотеки нейромодулей............................................................................81

3.2.1. Алгоритм настройки весовых коэффициентов нейронного узла... 81

3.2.2. Алгоритм настройки весовых коэффициентов для многослойной нейронной сети......................................................................................83

3.3. Алгоритмизация процесса моделирования нейронных сетей произвольной структуры..............................................................................86

3.4. Основные выводы главы................................................................................89

4. РЕАЛИЗАЦИЯ ПРОГРАММНО-МЕТОДИЧЕСКОГО КОМПЛЕКСА ПРОЕКТИРОВАНИЯ И ОПТИМАЛЬНОЙ НАСТРОЙКИ НЕЙРОСЕТЕЙ .91

4.1. Структура программного и информационного обеспечения.....................91

4.2. Использование разработанных средств для применения в учебном

процессе..........................................................................................................95

4.2.1. Моделирование нейронной сети, состоящей из ассоциативных

узлов........................................................................................................95

4.2.2. Моделирование нейронной сети, состоящей из узлов с пороговой

функцией возбуждения.........................................................................97

4.2.3. Моделирование нейронной сети, реализующей алгоритм

обратного распространения ошибки...................................................97

4.3. Основные выводы главы................................................................................98

ЗАКЛЮЧЕНИЕ........................................................................................................100

ЛИТЕРАТУРА.........................................................................................................102

Приложение 1...........................................................................................................108

Приложение 2...........................................................................................................110

Приложение 3...........................................................................................................112

ВВЕДЕНИЕ

Актуальность темы. Базовую основу для построения современных систем искусственного интеллекта составляют искусственные нейронные сети, широкое применение которых позволяет существенно сократить затраты времени, повысить качество решения таких задач, как распознавание образов, идентификация событий, финансового анализа, настройка структурно-программируемых суперкомпьютеров, массовый параллелизм вычислений (распределенная обработка информации), разработка сигнальных процессоров, алгоритмов выделения движущихся объектов, алгоритмов сжатия информации и криптозащиты, распознавание текста.

Поэтому весьма важной в настоящее время задачей стало повышение эффективности автоматизированного проектирования структур нейронных сетей и настройки их параметров, одновременно со снижением сроков разработки таких структур без потери качества функционирования.

Искусственная нейронная сеть представляет собой достаточно сложный объект проектирования, что вызывает необходимость применения принципа декомпозиции, в соответствии с которым сеть разделяется на несколько иерархических уровней и аспектов. Таким образом, при использовании такого подхода процесс проектирования разделяется на несколько этапов и аспектов: структурного, функционального, конструкторско-топологического и технологического проектирования нейрочипа.

При проектировании структурных схем нейросети возникает задача моделирования нейронной сети, на основе которого производится оптимизация ее структуры и настройка параметров.

Важными проблемами при построении имитационной модели для проектирования сети являются структура сети и ее внутренние параметры -связи между нейронами и их значения. Такие тенденции в области создания новых нейрочипов, как увеличение числа нейронов в сети и увеличение числа

связей между ними ведет к усложнению структуры нейрочипов и, соответственно, к возрастанию сложности процесса настройки нейросети (параметрической и структурной адаптации) для решения конкретной задачи. Поэтому имитационное моделирование и настройка параметров становятся неотъемлемой частью проектирования аппаратных средств нейросети.

Таким образом, актуальность темы диссертационной работы обусловлена необходимостью разработки методов и средств структурного и функционального проектирования, направленных на получение имитационных моделей нейронных структур, позволяющих настроить их оптимальным образом на решение какого-либо класса задач распознавания образов или задач принятия решений, и реализации на основе данного подхода программно-методического комплекса создания имитационной модели проектируемой нейронной сети.

Работа выполнена в соответствии с межвузовской комплексной научно-технической программой 12.11 «Перспективные информационные технологии в высшей школе» и «Вычислительные системы на базе нейрокомпьютеров, транспьютеров и оптических ЭВМ» в рамках одного из основных направлений Воронежского государственного технического университета «Системы автоматизированного проектирования».

Цель и задачи исследования. Целью диссертационной работы является разработка и практическая реализация комплекса моделей, алгоритмов и программных средств оптимального выбора структуры и параметров нейронной сети на основе имитационного моделирования. В соответствии с поставленной целью в работе решались следующие задачи:

анализ существующих нейронных структур для дальнейшей формализации, используемой при описании их на языке библиотеки нейромодулей;

комплексирование математических и алгоритмических моделей базовых объектов - нейроузлов и нейронных сетей - для формирования нейронных модулей;

организация на основе объектно-ориентированного подхода библиотеки нейромодулей;

проектирование имитационных моделей функционирования основных видов нейросетей и нейроузлов на базе спроектированной библиотеки нейромодулей;

разработка структуры программно-методического комплекса обучения элементам нейротехнологий;

разработка программного и информационного обеспечения для проектирования нейронной сети.

Методы исследования основаны на нейровычислениях, теории искусственного интеллекта, теории линейных последовательных машин и многослойных персептронов, имитационном моделировании, теории вероятностей, экспериментальных исследованиях и методах вычислительной математики, объектно-ориентированном подходе к разработке нейронных модулей.

Научная новизна. Основные результаты диссертации, имеющие научную новизну:

получены имитационные модели базовых элементов нейротехнологий, использующих инвариантное описание;

разработаны алгоритмы получения имитационной модели нейросети на основе базовых компонентов, отличающихся высокой адаптацией к особенностям задач распознавания и классификации образов и хранения информации в нейронных сетях за счет обучения системы и элементов ее самообучения;

сформирована библиотека инструментальных средств нейронных сетей, отличающаяся учетом принципов полиморфизма и наследования;

разработана структура программно-методического комплекса, позволяющего проектировать устройства на основе нейротехнологий применительно к задачам распознавания образов и оптимального выбора. Практическая ценность работы заключается в следующем: разработан программно-методический комплекс моделирования и оптимизации нейронных сетей на базе библиотеки нейромодулей;

сокращено время формирования структуры нейронной сети за счет применения разработанных методов оптимизации для обучения нейронных сетей и их структурной адаптации;

разработано программное обеспечение (в виде библиотеки нейронных модулей) инструментальных средств нейронных сетей, основанное на объектно-ориентированном подходе; универсальность базовых абстрактных классов позволяет использовать эту библиотеку совместно с объектно-ориентированными средами визуального проектирования применительно к алгоритмам решения задач распознавания образов;

проектировщику-эксперту предоставлена возможность использования абстрактных базовых классов библиотеки для разработки собственных, оптимизированных под конкретную задачу, нейронных сетей;

использован принцип открытости при разработке системы, а, следовательно, существует возможность доработки, надстройки и интеграции ее с другими системами;

при разработке программных средств использован объектно-ориентированный подход и методы структурного программирования для написания низкоуровневых функций. Библиотека нейронных модулей реализована на языке С++, среда разработки выполнена на языке HTML с использованием технологий языка JAVA. Для хранения информации при проведении экспериментальных исследований была создана объектно-ориентированная библиотека для взаимодействия с таблицами СУБД PARADOX.

Реализация результатов работы. На основе разработанного программно-методического комплекса создана обучающая система, позволяющая получить базовые знания по проектированию нейросетей различного типа и назначения, которая используется в качестве учебного курса в учебных дисциплинах «Разработка алгоритмов в САПР» и «Модели и алгоритмы оптимального выбора».

Апробация работы. Основные положения диссертации докладывались и обсуждались на следующих конференциях, семинарах и совещаниях: Всероссийском совещании-семинаре «Математическое обеспечение информационных технологий в технике, образовании и медицине» (Воронеж, 1996,1997), Всероссийском совещании-семинаре «Высокие технологии в технике, медицине и образовании» (Воронеж, 1998), ежегодных научных конференциях профессорско-преподавательского состава Воронежского государственного технического университета.

Публикации. По материалам диссертации опубликовано 8 работ.

Структура и объем работы. Диссертация состоит из введения, четырех глав с выводами и заключениями на 108 е., списка литературы (73 наименования), 3 приложений и содержит 17 рисунков.

В первой главе диссертации проведен анализ задач, решаемых с помощью искусственных нейронных сетей; выявлены отличительные особенности задач, когда применение нейросетей является оправданным; проведен анализ автоматизированного проектирования структуры сети и настройки ее параметров; выявлены основные особенности разработки, требующие учета при проектировании нейросети: слабоформализованные входные данные, высокая внутренняя размерность и размерность входных данных; необходимость точной настройки внутренних параметров нейросети для успешного и быстрого решения поставленной задачи; отсутствие аналитических выражений решений для многих задач, необходимость проведения в процессе проектирования имитационного моделирования.

Задача автоматизированного формирования имитационной модели нейронной сети сформулирована как задача оптимизации, заключающаяся в настройке структуры (структурная адаптация) и внутренних параметров -весовых коэффициентов связей нейронов (параметрическая оптимизация) для удовлетворительного решения сетью поставленной задачи.

Показано, что решение данной проблемы требует разработки математических моделей, описывающих процессы принятия решения нейронными сетями и приспособленных для совмещения с имитационными моделями, которые предполагается проектировать.

Проанализированы существующие математические модели, методы и программные средства, применяемые в области конструирования нейронных сетей.

Сделан вывод о необходимости разработки комплексной имитационной модели проектируемой нейронной сети, охватывающей структурно-функциональный этап проектирования, обладающей унифицированной структурой составных частей и поддерживающей возможность автоматизированной адаптации к конкретной задаче. Для реализации такой модели необходимо создать множество алгоритмических моделей простых конструктивных элементов - нейроузлов и некоторых известных видов нейронных сетей, для которых настройка внутренних параметров имеет достаточно простое математическое описание. Тогда имитационная модель конечной сети будет формироваться посредством композиции этих составляющих.

Для получения высокой точности моделирования предложено использовать как существующие методы настройки и структурной адаптации, так и их модификации.

На основе проведенного анализа объекта проектирования - аппаратного обеспечения нейронной сети - сформулированы задачи, решаемые в ходе имитационного моделирования, и поставлена цель исследования в данной

работе - разработка и практическая реализация комплекса моделей алгоритмов и программных средств оптимального выбора структуры и параметров нейронной сети на основе имитационного моделирования.

Во второй главе обоснованы основные функции, выполняемые средствами автоматизированного формирования имитационной модели нейронной сети; составлен перечень проектных процедур, реализующих решение задач структурной адаптации и оптимальной настройки ее внутренних параметров; рассмотрены вопросы формализации нейронных структур и их алгоритмизации для составления входного языка описания структуры модели; введены операции, облегчающие обобщенное описание нейронных сетей.

На этой основе разработана структура программно-методического комплекса имитационного моделирования нейронных сетей, основными элементами которого является библиотека нейронных модулей, построенная по иерархическому принципу; справочно-обучающая система; средства поддержки ведения проекта - база данных структуры связей нейромодулей, база данных для хранения входной информации и промежуточных результатов.

Предложено описание комплексной имитационной модели нейросети, которая позволяет унифицировано подходить к анализу и настройке нейромодулей с различной степенью детализации и вложенности алгоритмов нейронных моделей. В соответствии с предложенной структурой разработаны имитационные модели элементарных составляющих нейронной сети и показано как на их основе реали