автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Разработка интеллектуального инструментария прогнозирования развития систем на базе нейронных сетей

На правах рукописи

Домогаев Валерий Викторович

Разработка интеллектуального инструментария прогнозирования развития систем на базе нейронных сетей

Специальность 05.13.12 - «Системы автоматизации проектирования

(промышленность)»

Специальность 05.13.11 - «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных

сетей»

Автореферат диссертации на соискание учёной степени кандидата технических наук

3 0 кТ\?

Москва 2009

003468304

Работа выполнена в ГОУ ВПО «Московский государственный горный университет»

Научные руководители:

доктор технических наук, профессор Горбатов Александр Вячеславович; доктор технических наук Новиков Евгений Станиславович.

Официальные оппоненты:

доктор технических наук, профессор Галушкин Александр Иванович; кандидат технических наук, доцент Свертилова Наталья Викторовна.

Ведущая организация:

ГОУ ВПО «Московский инженерно-физический институт (Национальный исследовательский ядерный университет)» (МИФИ)

Защита диссертации состоится ' мая 2009 г. в 14 час. на заседании диссертационного совета Д 212.128.07 при Московском государственном горном университете по адресу: 119991, Москва, Ленинский проспект, 6.

С диссертацией можно ознакомиться в библиотеке Московского государственного горного университета.

Автореферат разослан "_" апреля 2009 г.

Учёный секретарь диссертационного совета д.т.н., доц. Гончаренко С.11.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. На текущий момент прогнозирование развития различных систем является одной из главных составляющих их эффективного управления и дальнейшего преобразования.

Теория искусственных нейронных сетей в последнее время стала одним из самых перспективных направлений в области прогнозирования развития систем. Несмотря на это, остаются нерешенными многие вопросы, связанные с определением их структуры и предварительной обработкой данных.

Большой вклад в развитие высоких технологий, связанных с функционированием искусственных нейронных сетей, внесли учёные:

• в область нейронных технологий — У.С. Мак-Каллок, В. Питтс, Ф. Розенблат, А.И. Галушкин, В.А. Горбатов, A.B. Горбатов, Л.П. Рябов, A.B. Суворов, В.В. Овчинников, Т. КохКнен, В.И. Горбаченко, Дж. Хопфилд, Сигеру Омату, Марзуки Халид, Рубия Юсоф, В.А. Головко и др.;

• в теорию графов — В.А. Горбатов, A.B. Горбатов, Ф. Харари, Г.А. Дирак, A.A. Зыков, О. Ope и др.

В диссертационном исследовании решается задача создания интеллектуального инструментария прогнозирования развития систем на базе искусственных нейронных сетей, определения их оптимальной структуры и предварительной фильтрации статистических данных.

Работа выполнялась в рамках научных исследований, проводимых на кафедре Систем автоматизированного проектирования Московского государственного горного университета.

Цель работы состоит в разработке математического, алгоритмического обеспечений и их программной реализации в виде соответствующего инструментария, являющегося частью САПР прогнозирования развития систем.

Идея работы заключается во впервые предложенном методе нахождения оптимальной структуры нейронной сети при помощи поисковой машины,

основанной на механизме отбора, оценки и генерации новых решений, а также нахождения множества, определяющего состав и структуру входных данных.

Научные положения, выносимые на защиту, и их новизна:

1. Впервые предложена методика использования аппарата генетических алгоритмов для нахождения оптимальной структуры искусственной нейронной сети в задачах прогнозирования;

2. Впервые предложена фильтрация входных параметров, определяющих работу прогнозируемой системы, основанная на использовании теоретико-графовых структур, позволяющая уменьшить трудоемкость решения задачи (число синапсов и нейронов результирующей сети) прогнозирования;

3. Разработана структура хранения всех данных, необходимых для функционирования искусственных нейронных сетей и их автоматизированного проектирования, в ЭВМ;

4. Предложена для использования аппаратная реализация искусственных нейронных сетей в виде нейрочипов и обосновано применение этого типа.

Значение работы для теории:

• развита теория применения искусственных нейронных сетей в задачах краткосрочного прогнозирования развития сложных систем;

• расширена теория фильтрации данных с применением графовых структур;

• развита теория применения реляционных баз данных для хранения информационной и алгоритмической составляющей прогнозирования при помощи предложенных алгоритмов.

Практическая значимость работы:

1. Разработано программное обеспечение (в виде открытого исходного кода) для практического использования предложенных методик и внедрения в действующие системы;

2. Разработаны графический пользовательский интерфейс и визуальная система представления информации;

3. Реализован в виде программных приложений ряд конвертеров для закачки данных в программный продукт, что позволяет использовать различные источники данных;

4. Разработана и практически реализована схема хранения всей необходимой информации в ЭВМ, отражающей деятельность прогнозируемой системы, и нейронных структур, необходимых для решения задач.

Обоснованность научных положений, выводов и рекомендаций, сформулированных в диссертации, подтверждается:

• использованием теории нейронных сетей, теории статистики, теории генетических алгоритмов, теории графов и мографов, теории формальной логики и алгоритмов, теории лингвистического программирования, дискретной математики, теории баз данных;

• положительными результатами внедрения в учебный процесс разработанного программного инструментария автоматизированного прогнозирования развития систем на базе искусственных нейронных сетей.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на научных семинарах кафедры Систем автоматизированного проектирования Московского государственного горного университета (2006,2008 гг.).

Реализация результатов исследований. Результаты диссертации приняты к использованию при разработке учебного курса «САПР банковских технологий» для студентов специальности САПР кафедры Систем автоматизированного проектирования Московского государственного горного университета.

Публикации. Основные положения и результаты диссертационного исследования опубликованы в четырех работах, в том числе одна в издании, входящем в перечень ВАК.

Структура и объём работы.

Диссертационная работа состоит из введения, четырех глав и заключения; включает в себя 5 таблиц, 34 рисунка, список использованной литературы из 98 наименований и приложения.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

В настоящий момент существует ряд нерешенных задач с практическим применением искусственных нейронных сетей. Одной их них является выбор структуры сети и фильтрация избыточного массива статистических данных для обучения нейронной сети.

Работа любой относительно сложной динамической системы характеризуется множеством параметров. Для краткосрочного прогнозирования изменения некоторых из них широко используют аппарат искусственных нейронных сетей. Алгоритм обратного распространения ошибки удовлетворяет всем требованиям, предъявляемым к классу подобных задач. Общий принцип структуры подобных

распространением ошибки (элементы смещения присутствуют)

На вход подаются данные, происходит их циклическая обработка (настройка сети, которая является одним из самых «ресурсозатратных» этапов) с целью дальнейшего использования для решения конкретной задачи1.

Таким образом, все параметры, определяющие развитие рассматриваемых систем, представлены в НС множеством входных (х) и выходных (/) элементов. Исходя из специфики прогнозирования эти множества могут иметь пересечение (допускается использование ранних значений прогнозируемых параметров во входном слое). Зачастую бывает так, что невозможно изначально определить, какие параметры необходимы для составления прогноза, а какие только увеличивают погрешность и время нахождения значений выходных элементов. Для повышения свойства обобщения НС (правильный вывод для большинства тестовых данных, которые не участвуют в процессе обучения) и оптимального выбора массива входных значений предлагается следующий алгоритм:

1. Из имеющегося объема данных о работе сети выбираются тестовые образцы Оиа = {X, Т} и множество обучения 0,г = {X, Т}, причем 01г должно составлять не менее 10% от общего числа известных значений;

2. В структуре сети устанавливается число входных значений, равное общему количеству параметров;

3. Число выходных элементов устанавливается равным количеству прогнозируемых параметров;

4. Определяется допустимая абсолютная ошибка выхода сети 3;

5. Производится полное обучение НС с участием всех образцов обучения 0,г={Х,Т};

6. Осуществляется проверка свойства обобщения сети на тестовых образцах 0,„, = {Х,Т) и определяется процент образцов Рргос, результат

' Подробнее о работе алгоритма можно узнать в специализированных изданиях и других статьях автора.

распространения по сети которых меньше допустимой абсолютной ошибки 8;

7. Если значение Рргос не удовлетворяет критериям задачи, то изменяется

внутренняя структура сети (скрытые слои, элементы смещения...) и повторяются пп.4-пп.7;

8. Определяется количество П входных элементов, на которое планируется уменьшить вектор X. При нахождении п руководствуются прежде всего имеющимися ресурсами, которые планируется использовать в дальнейшей работе НС, для уменьшения времени расчета, определением «трудозатрат» на выявление значений параметров системы и т.д.;

9. Составляется полный граф й = {и,У}, где вершинами выступают элементы массива X;

10. Выявляются все полные подграфы С = {£/' ,У } на и элементах, где Се С (на рис.2,б и 2,в показаны примеры полных подграфов на 4-х и 3-х элементах соответственно);

Рис.2. Выделение полных подграфов

а) полный граф из входных элементов образует

б) полный граф на 4 элементах, в) на 3 элементах

11. Для каждого подграфа вычисляется Рргос сети, в настройке которой не участвуют элементы, его и образующие(это происходит путем разрыва

соответствующей связи от данного элемента входного слоя ко всем элементам 1-го скрытого слоя);

12. Из итоговой НС убираются входные элементы подграфа, имеющего максимальное значение Рргос;

13. Если образуется более одного подграфа с максимальным значением Рргос,

то из итоговой НС убираются элементы, чаще всего встречающиеся в образовании этих подграфов.

Представленный алгоритм позволяет не только сократить количество обрабатываемых данных, но и, как следствие, уменьшить время на составление прогноза, что является одним из самых критических параметров в решении задач по определению развития состояния динамических систем в краткосрочном периоде.

Ранее было показано, что искусственные нейронные сети представляют собой систему, состоящую из определенного числа процессоров и связей между ними. Каждый процессор подобной сети получает сигналы от других процессоров и выполняет некоторое действие по их обработке, передавая полученный результат другим элементам. Следует также отмстить, что возможности подобной элементной базы НС в отдельности несравненно меньше, чем у современных процессоров, использующихся, например, в персональных компьютерах. И, тем не менее, собранные в единую сеть, они позволяют решать довольно широкий спектр задач. В настоящее время НС отлично зарекомендовали себя в следующих областях:

- распознавание образов;

- прогнозирование;

- экспертные системы;

- диагностика ошибок;

- фильтрация данных;

- анализ химического состава веществ. Сфера применения НС постоянно растет.

На сегодняшний момент существует большое число разновидностей искусственных нейронных сетей (рис. 3), применяющихся в соответствии с поставленной задачей. НС с обратным распространением ошибки является

Рис.3. Схема НС с обратным распространением ошибки без элементов смещения

одной из часто используемых структур для решения широкого спектра задач, в том числе и для составления прогноза. Рассмотрим вкратце принцип работы подобных сетей.

На первой стадии обучения происходит инициализация весов синапсов малыми случайными значениями - например, значениями из диапазона между -0.3 и +0.3. Поскольку с каждым входным образцом НС связывается целевой выходной образец, обучение предполагается управляемым. Обучение продолжается до тех пор, пока значение средней квадратичной ошибки не окажется меньше некоторого значения во время перехода от одной эпохи к следующей. Например, допустимое значение 0.01 означает, что отличие средней квадратичной ошибки соседних эпох не допустимо, более чем на ±0.01. Если в процессе обучения наступает момент, когда ошибка в сети меньше определённого значения, говорят, что наблюдается сходимость. Другим критерием окончания обучения можно считать состояние сети, когда выход для каждого тестового образца оказывается в рамках допустимого разброса от соответствующего целевого выходного образца обучения.

Чтобы уменьшить вероятность того, что изменения весов приобретут осциллирующий характер, вводится инерционный член а, добавляемый в пропорции, соответствующей предыдущему изменению веса: Д (п + 1) = ц5 ¡о, + А У/у (л X1 )■

Таким образом, изменение веса на шаге п+1 оказывается зависящим от изменения веса на шаге п.

Также применительно к задаче прогнозирования для обучения берется не один образец (классический пример), а предлагается брать сразу некоторый период (размера Ь) данных (рис. 4), который предварительно подвергается нормализации. Алгоритм обратного распространения в целом представлен на рис. 5.

Пусть имеется некоторая таблица данных за п состояний системы. Получаем т-Ь образцов для обучения, что не очень сильно уменьшает обучающую базу по сравнению с классическим подходом, но дает возможность НС учесть временной процесс.

Г

1-ый образец 2-ой образец

обучен«« обучения

--А

Г

"Л

Г"

т-]. образец

обучения __

Рис. 4. Способ выбора данных по периодам

Также следует отметить, что не существует единой теории для определения оптимальной структуры сети с обратным распространением ошибки. Заранее точно невозможно сказать, какое количество скрытых слоев Бр необходимо, какой временной интервал Ь выбрать для составления прогноза. Между тем работа относительно сложной системы, характеризуется множеством параметров. Значение этих параметров меняется во времени, что очевидно для любой динамической системы. И заранее из множества показателей

рассматриваемого объекта трудно выделить те, которые наиболее оптимально позволяют составить прогноз развития.

Рис. 5. Алгоритм обратного распространения ошибки

Если же подавать на вход все известные параметры системы, то, во-первых - существенно увеличится время обучения НС, и, во-вторых - нет никаких гарантий, что подобные действия приведут к желаемому результату.

Продолжительность настройки НС является одним из критичных параметров, особенно в задачах краткосрочного прогнозирования. Время выполнения прогноза должно быть меньше прогнозируемого периода. Предположим, что рассматриваемая система в задаче прогнозирования характеризуется всего п параметрами, тогда как в процессе рассмотрения всех возможных комбинаций входных значений получили, что оптимальное решение получается при использовании т<п состояний. Получается, что на каждом цикле обучения были выполнены следующие «лишние операции» (рис. 6):

- 2(п-т) операций по обработке входного и выходного слоев;

- 5(п-т) увеличений элементов скрытых слоев, где 51- их количество;

- т2-п2 увеличение числа входных сигналов для подсчета выхода с каждого элемента скрытого слоя.

Рис. 6. Пример НС с «лишними» элементами и связями (показано пунктиром)

И соответственно увеличиваются трудозатраты на вычисление и распространение ошибки. Данный пример показывает, что изменение даже одной из характеристик структуры НС способно далеко не лучшим образом сказаться на времени её обучения, а, как отмечалось выше - таких параметров несколько.

В решении задачи выбора структуры НС и параметров рассматриваемой системы для составления прогноза может помочь аппарат генетических алгоритмов. Генетический алгоритм был разработан Джоном Холландом и представляет собой поисковую машину, которая работает с группой

произвольных решений поставленной задачи. На рис. 7 показана работа генетического алгоритма.

Рис. 7. Работа генетического алгоритма Рассмотрим применение данного метода поиска решений задачи выбора структуры сети и входных параметров:

- Инициализация. Сформировывается отправная точка работы алгоритма. На данном этапе необходимо выявить популяцию хромосом (рис. 8)

/ Длина временных отрезков

X, Х2 ( j X, S L /

V J \

„ Y - \ Если входной параметр участвует, то1, иначе - 0 Кол-во скрытых слоев

Рис.8. Структура хромосомы произвольным образом, но также не запрещается добавлять и «здоровые» хромосомы. В результате кодирования получаем множество хромосом С = {С,..А};

- Оценка. Данный этап подразумевает нахождение коэффициента «здоровья» хромосом, их пригодность для решения поставленной задачи. Критериями оценки в случае использования НС для решения задач прогнозирования могут выступать время пас (ройки, количество эпох, точность предсказания;

- Отбор. Методик отбора существует несколько. Воспользуемся отсеиванием наиболее «нездоровых хромосом» от участия в создании потомства;

- Рекомбинация. Эта стадия предназначена для получения потомства путем применения различных генетических операторов, наиболее популярные из которых - скрещивание и мутация (рис. 9);

Родитель Ралетель рым» ребенок

А В , п

I

к

Одноточечное

СКреШКВйПРРС

А

РйДН - Кошпеяь А В

Мугеши

Рйбенок Ребенок А В

¡¡К— Произвольное

щ изменение

к

Рис.9. Принцип генетических операторов

- происходит сравнение полученных решений с заранее определенными условиями (например: время настройки сети меньше определенного значения, получаемый прогноз имеет допустимую погрешность и т.д.) Таким образом, генетический алгоритм позволяет решить задачу определения структуры искусственной нейронной сети и массива входных

параметров, определяющих состояние прогнозируемых объектов в определенные моменты времени при составлении краткосрочного прогноза развития динамических систем.

Для практического использования представленных методик был разработан программный пакет, имеющий модульную структуру (рис. 10, 11), поскольку существующие решения, представленные на рынке, не удовлетворяют ряду требований.

Рис. 10. Модель программного пакета

[Тфайл] 2 Данные 3 Обработка 4 Сервис 5 Помощь

\ Проект 3 0 Новый проект {¿^ Открыть проект

^ Выход

1 Файл [ 2 Данные | 3 Обработка 4 Сервис 5 Помощь Масштабировать Настройка данных 11|Г Загрузка данных б структуру сети

1 Файл ¿Данные [ 3 Обработка] 4 Сервис 5 Помощь

Принудительная настройка сети Фильтрация данных Определение структуры сети

1 Файл I Дгнные 2 Обработка

¿Сервис ) 5 Помощь

^ Преобразовать ТХТ в.Х1.5 Закачзтизамные ю Х1_5

1 Файл ¿Данные 3 Обработка 4 Сервис [ 5 Помощь |

О программе

Рис. 11. Главное меню системы Файл -> Проект -> Новый проект

Данный раздел (рис, 12, 13) предназначен для создания структуры нового проекта.

' Сиг™ прогпс5ирова.га» С;\[)ОС11ММЗ\СН5СиМЕГЛ5_МОТД\А5Р_ОЕ5_?006У>ЙОС... IВ I 13 ! Л„1 1 Ос.':' ? Данные Обр а бот« Д ¿гране 5 Пс*л

Создание коаигй праасп УязоМ7е папку Штр спадания:

> р. ргодгагпрПК (, с!!эдг

О

).. смйл • Мтнл!

I- V, РГОС5

I. , ргодпга __U4f.hr УУ

'■■■-■ Л...

Рис. 12. Создание нового проекта

Рис. 13. Информационное сообщение Файл -> Проект -> Открыть проект

Данный раздел предназначен для открытия существующего проекта. Файл -> Выход

Содержит функционал по корректному закрытию текущего проекта и завершению работы 1грил оженим. Данные -> Масштабировать

Данный раздел (рис. 14) предназначен для реализации механизма масштабирования данных. Для выполнения масштабирования пользователю предоставляется возможность указать диапазон.

они»

□

[ отненд ]

Система прогнозирования

Новый проект успешно создан

ОК

С m 51,. opo, nawpona»™ ñoW UMENTftSOCUMÍ rj:S_W8OTA^SP.DlSS_}005\PRC4AAMM?. I S Íb&Í i Оайл . ,*]: i OüpañoiKf 4 ервис £ Гкшощь

Ма^шибиройлнисданпык ЕШ

Циалээон масштэСироваимя

от | 0 -ю Hr¡ ДО | 0 90 jrj

ОК Отмена J

Рис. 14. Запрос диапазона масштабирования Данные -> Настройка данных

Раздел (рис. 15) предназначен для настройки используемых данных в работе системы. Г-сгь возможность «вручную» указать, какие данные использовать в получении прогноза, а какие являются прогнозируемыми.

Jft Систем* щюгкшрвнти «DC^^&TSUXjajMQm.WOTWP.DMjOOej1^ lea Б baj

1 «¡Ч^Л ¿ ¿ídHhiwt I OÉpiíiOlKi 4 CtplHÍ i Помощь

"J Настройте данкьнс @

Наименование.. |Вх. параметр ¡Протезировав] Л

экспорт rHvtpee £вОБ> ел стрлнл1Л1 день««™

мруб«№>

Экспорт том рев (®ОБ1 со страяаил СНГ Р Г

Иипост тс пера* (соь; сс стран ими .дальне«

»рулета*

l<4ílU>pi тэййдаг 1Ф05; сп стрвчлии СНГ Í

DV"li&Q т ССПЛЗВ'С б|Л1*& СО СТрвиВИИ

ДДПьгСГв »фуесхи

Сальдо то^гсеого балансе ся етовьомп СИГ Г г

Г1 •Г

<ж | Отмена |

Рис. 15 Настройка используемых данных

Данные -> Загрузка данных в структуру сети

Раздел {рис. 16) предназначен для автоматизированной закачки данных в структуру нейронной сети проекта. В качестве основного параметра используется значение глубины просмотра данных о работе сети во времени, а также настройка раздела «Настройка данных».

й '■■п—■тлг-п—- 1нп-п-|г-"-Т'^"МТГ<п1Г"^"МГ|-["; в"'"-""" УГГ ^етГР'ТЛ'МП"^"'!»" Ь-ИДР? 1 Файл I Дьнчые } О Ьр лбот '. Ссречс 5 Помощь

Щ-Зйгруша даиных в сфурйуру ' УКЭУИТ^ПЪ'ЗИН* пзО'Х^Тра пссрыд изш значении ......

! ^

| ОК | Отмена

Рис. 16. Запрос, параметров для загрузки данных в структуру сети

Обработка -> Принудительная настройка сети

Раздел предназначен для принудительного обучения нейронной сети с имеющейся структурой и зшруженными данными, минуя интеллектуальную систему фильтрации данных и определения оптимальной структуры сети. Обработка -> Фильтрация данных

Данный раздел реализует методику фильтрации данных. Процесс проходит в полностью автоматическом режиме (пользователю необходимо только указать часть параметров, которую не планируется использовать в дальнейшей работе программы). Результаты можно просмотреть в разделе «Данные»-> «Настройка данных» в виде отмеченных позиций параметров, которые в дальнейшем будут использоваться для настройки сетей. Обработка -> Определение структуры сети

\

В процессе работы происходит преобразование данных в структуре проекта, которые отвечают за свойства выходной искусственной нейронной сети. Сервис -> Преобразовать TXTeXLS

Основной функционал данного раздела (рис. 17) предназначен для конвертирования статистических данных определенного формата ТХТ в XLS, который в дальнейшем используется для закачки в проекты. Таким образом, «плоские» файлы ТХТ являются промежуточным этаном перед закачкой данных в проект. Перед конвертацией пользователю необходимо задать файл-источник и файл-приемник данных.

Щ ' Г и«.npwne»tpa«ivaСЛООсимЕмтздххимэтз raootavsp рс^яшудаехздммдоюдодзди^ I ! '>■' j

1 Ч'йкл ZДаимы? Wtpt&na i Сссвиг. Н1оыощ»

Окрить Я^Р

ТХТфайп [^OCUMEfiTSICOC^MENTS^RASOTAIASP |[~]| ' Паша ) Y11 ■»• Е С? Ш" Иья ' Дет» изде... Гип Faswfp . readme j tW^sftM j ] OK | ТнтгяЯто J Справа j

оайт f |

OK | Отмена |

I

Рис. 17. Конвертация данных Сервис -> Закачать данные из XLS

Раздел предназначен для основной загрузки статистических данных, хранящихся в файлах формата XLS, в проекты системы. Данный формат сочетает в себе наглядность представления информации в виде электронных таблиц, широту распространения, легкость форматирования и т.д. Большинство организаций на сегодняшний момент приняли формат XLS в качестве стандарта электронных таблиц и способа обмена данными.

В процессе работы раздела пользователю предоставляется возможность выбора файла с данными. Во время загрузки происходит также пополнение не только статистическими данными, но и заполняются некоторые вспомогательные таблицы (например, информация о наименовании каждого параметра, определяющего работу прогнозируемой системы). Помощь -> О программе

Раздел содержит справочную информацию о программе.

ЗАКЛЮЧЕНИЕ

В результате диссертационного исследования решена задача разработки интеллектуального инструментария прогнозирования развития систем на базе искусственных нейронных сетей.

В результате исследований лично автором получены следующие основные выводы и результаты:

- обосновано использование искусственных нейронных сетей при решении задач прогнозирования;

- предложены топология, структура искусственных нейронных сетей и алгоритм обучения, имеющий полиномиальную сложность для решения задач прогнозирования;

- впервые разработан метод использования аппарата генетических алгоритмов для оптимизации структуры искусственной нейронной сети в задачах прогнозирования;

- впервые предложен метод фильтрации входных параметров, определяющих работу прогнозируемой системы, основанный на использовании теоретико-графовых структур, уменьшающий трудоемкость решения задачи;

- разработано программное обеспечение (в виде открытого исходного кода) для автоматизированного проектирования нейронных структур при моделировании функционирования различных систем;

- на основе результатов диссертации сформированы методические рекомендации по разработке учебного курса «САПР банковских технологий» для студентов специальности САПР кафедры Систем автоматизированного проектирования Московского государственного горного университета;

- разработана оптимальная структура базы знаний для хранения всех данных, необходимых для функционирования искусственных нейронных сетей, в ЭВМ при решении задачи прогнозирования;

- предложена для использования аппаратная реализация искусственных нейронных сетей в виде нейрочипов (100 NAP) и обосновано применение этого типа.

Основные положения опубликованы в следующих работах:

1. Горбатов А.В., Домогаев В.В. Маркетинговое прогнозирование на базе нейронных сетей//Информационная математика. - 2005. - 1(5). - С. 5360;

2. Домогаев В.В. Сравнительный анализ программных средств прогнозирования состояния систем в различных предметных интерпретациях//Информационная математика. - 2007. - 1(6). - С. 143146;

3. Новиков Е.С., Домогаев В.В. Генетические алгоритмы определения структуры нейронной сети в задачах прогнозирования//Вопросы радиоэлектроники. - 2009. - 2. - С. 10-17 (Издание входит в перечень ВАК);

4. Домогаев В.В. Метод выбора входных параметров искусственной нейронной сети, в задачах прогнозирования//Информационная математика - 2009. - 1(7). - С. 140-142.

Подписано в печать «./3» 2009 г. Формат 60x90/16

Объем 1 п.л. Тираж 100 экз.

Заказ №

Отдел печати Московского государственного горного университета,

Москва, Ленинский проспект, д. 6

Введение.

Глава 1. Прогнозирующие системы. Состояние проблемы

1.1 Прогноз и цели его использования.

1.2 Классификация и обзор методов прогнозирования.

1.3 Место искусственных нейронных сетей в задачах прогнозирования.

Выводы по 1 главе.

Глава 2. Теоретические аспекты разработки интеллектуального инструментария прогнозирования.

2.1 Выбор топологии нейронной сети.

2.2 Теория обратного распространения ошибки.

2.3 Нормализация-масштабирование данных для обучения сетей.

2.4 Метод выбора входных параметров искусственной нейронной сети в задачах прогнозирования.

2.5 Использование генетического алгоритма для определения структуры нейронной сети в задачах прогнозирования.

Выводы по 2 главе.

Глава 3. Практическая реализация инструментария прогнозирования.

3.1 Обзор систем прогнозирования, основанных на аппарате нейронных сетей.

3.2 Разработка программного инструментария прогнозирования.

Выводы по 3 главе.

Глава 4. Практическое использование инструментария прогнозирования.

4.1 Использование программного инструментария для прогнозирования развития реальной системы.

4.2 Аппаратная реализация результатов работы программного инструментария.

Выводы по 4 главе.

Задачу прогнозирования развития различных систем пытаются решить на протяжении не одной сотни , лет. Обуславливается это тем, что человек не хочет быть просто пассивным наблюдателем, а как минимум старается предвидеть будущую ситуацию и наименьшими затратами повлиять на ход событий с большей эффективностью. Еще одной из причин, обуславливающих подобную заинтересованность, является тот факт, что единожды полученный инструментарий, дающий прогноз с приемлемой точностью и обладающий достаточной гибкостью, можно применять в различных сферах бытия: экономика, социология, промышленность, транспортные потоки, биотехнология и др. В России долгое время методы прогнозирования, да и сами результаты предсказания, не оказывали никакого влияния на развитие государства. Более того, отвергались правящей верхушкой и ставились вне закона. Во главу всего был поставлен план увеличения показателей предыдущей пятилетки любыми усилиями, что и привело к известным последствиям. И хотя в основу первоначального периода развития России в время новейшей истории были поставлены труды В.А. Базарова-Руднева, в создании дальнейших планов его выкладки использовались мало. Такие же тенденции прослеживались во многих областях.

Фундаментальные труды зарубежных футурологов (Э. Тоффлер, Дж. Нейсбитт, П. Эбурдин [2]) долгое время отвергались последователями марксистско-ленинской идеологии. Но, тем не менее, и советские ученые (И.В. Бестужев-Лада [1,11], Н.Ф. Федоров и др.) вели успешные разработки в данном направлении.

Также следует отметить, что существенный вклад в развитие теории искусственных нейронных сетей сделали следующие ученые: Горбатов В.А. [23], Горбатов А.В., Рябов Л.П., Суворов А.В., Овчинников В.В.

Теория искусственных сетей в последнее время стала одним из самых перспективных направлений в области прогнозирования развития систем [3-10]. С каждым годом увеличивается число компаний, которые тратят существенную часть доходов на внедрение и разработку собственных инструментов прогнозирования (ориентированных на конкретную предметную область в соответствии со спецификой предприятия) в существующую систему автоматизированного управления. Большинство руководителей, принявших такой путь развития, рассматривают подобные траты как вклад в эффективное развитие и, как показывает практика, при достаточно профессиональном подходе к решению этой проблемы затраты окупаются. Для решения задач краткосрочного прогнозирования в области интеллектуальных систем часто используют аппарат искусственных нейронных сетей [12-14]. Отчасти это связано с ростом производительности компьютеров, что напрямую влияет на один из важных параметров краткосрочного прогнозирования - время решения задачи. Еще одной из причин развития ИИ является постоянная разработка популярных программных пакетов [15-16] для решения прикладных задач этой области, что позволяет теоретикам обрабатывать идеи, не имея опыта разработки собственных программ.

В теории нейронных сетей и их применении существует ряд теоретических и практических проблем, которые не имеют однозначно правильного и эффективного решения до сих пор. Одной из актуальных задач является определение оптимальной структуры искусственной нейронной сети и фильтрация входных данных. Существующие решения не удовлетворяют постановке задачи прогнозирования и, как следствие, не получают широкого внедрения в существующих коммерческих программных пакетах.

Цель работы состоит в разработке математического, алгоритмического обеспечений и их программной реализации в виде соответствующего инструментария, являющегося частью САПР прогнозирования развития систем.

Идея работы заключается во впервые предложенном методе нахождения оптимальной структуры нейронной сети при помощи поисковой машины, основанной на механизме отбора, оценки и генерации новых решений, а также нахождения множества, определяющего состав и структуру входных данных.

Научные положения, выносимые на защиту, и их новизна:

1. Впервые предложена методика использования аппарата генетических алгоритмов для нахождения оптимальной структуры искусственной нейронной сети в задачах прогнозирования.

2. Впервые предложена фильтрация входных параметров, определяющих работу прогнозируемой системы, основанная на использовании теоретико-графовых структур, позволяющая уменьшить трудоемкость решения задачи (число синапсов и нейронов результирующей сети) прогнозирования.

3. Разработана структура хранения всех данных, необходимых для функционирования искусственных нейронных сетей и их автоматизированного проектирования, в ЭВМ.

4. Предложена для использования аппаратная реализация искусственных нейронных сетей в виде нейрочипов и обосновано применение этого типа.

Обоснованность научных положений, выводов и рекомендаций, сформулированных в диссертации, подтверждается:

• использованием теории нейронных сетей, теории статистики, теории генетических алгоритмов, теории графов и мографов, теории формальной логики и алгоритмов, теории лингвистического программирования, дискретной математики, теории баз данных;

• положительными результатами внедрения в учебный процесс разработанного программного инструментария автоматизированного прогнозирования развития систем на базе искусственных нейронных сетей.

Научное значение:

• развита теория применения искусственных нейронных сетей в задачах краткосрочного прогнозирования развития сложных систем;

• расширена теория фильтрации данных с применением графовых структур;

• развита теория применения реляционных баз данных для хранения информационной и алгоритмической составляющей прогнозирования при помощи предложенных алгоритмов.

Практическая значимость работы:

1. Разработано программное обеспечение (в виде открытого исходного кода) для практического использования предложенных методик и внедрения в действующие системы;

2. Разработаны графический пользовательский интерфейс и визуальная система представления информации;

3. Реализован в виде программных приложений ряд конвертеров для закачки данных в программный продукт, что позволяет использовать различные источники данных;

4. Разработана и практически реализована схема хранения всей необходимой информации в ЭВМ, отражающей деятельность прогнозируемой системы, и нейронных структур, необходимых для решения задач.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на научных семинарах кафедры Систем автоматизированного проектирования Московского государственного горного университета (2006, 2008 гг.).

Публикации. Основные положения и результаты диссертационного исследования опубликованы в четырех работах, в том числе одна в издании, входящем в перечень ВАК.

Выводы по 4 главе.

При помощи разработанного инструментария прогнозирования развития систем была получена информационная структура в виде обученной искусственной нейронной сети. Было получено практическое подтверждение работоспособности разработанного программного пакета (основу которого составили предложенные методики) на реальных статистических данных, характеризующих работу Банка России.

Также была представлена методика использования выбранных аппаратных средств для реализации обучения нейронной сети и последующего использования.

Заключение.

В результате диссертационного исследования решена задача разработки интеллектуального инструментария прогнозирования развития систем на базе искусственных нейронных сетей.

В результате исследований лично автором получены следующие основные выводы и результаты:

- обосновано использование искусственных нейронных сетей при решении задач прогнозирования;

- предложены топология, структура искусственных нейронных сетей и алгоритм обучения, имеющий полиномиальную сложность для решения задач прогнозирования;

- впервые разработан метод использования аппарата генетических алгоритмов для оптимизации структуры искусственной нейронной сети в задачах прогнозирования;

- впервые предложен метод фильтрации входных параметров, определяющих работу прогнозируемой системы, основанный на использовании теоретико-графовых структур, уменьшающий трудоемкость решения задачи;

- разработано программное обеспечение (в виде открытого исходного кода) для автоматизированного проектирования нейронных структур при моделировании функционирования Банка России;

- разработана оптимальная структура базы знаний для хранения всех данных, необходимых для функционирования искусственных нейронных сетей, в ЭВМ при решении задачи прогнозирования;

- предложена для использования аппаратная реализация искусственных нейронных сетей в виде нейрочипов (100 NAP) и обосновано применение этого типа.

Основные положения опубликованы в следующих работах:

1. Горбатов А.В., Домогаев В.В. Маркетинговое прогнозирование на базе нейронных сетей//Информационная математика. - 2005. - 1(5). - С. 53-60;

2. Домогаев В.В. Сравнительный анализ программных средств прогнозирования состояния систем в различных предметных интерпретациях//Информационная математика. - 2007. - 1(6). - С. 143-146;

3. Новиков Е.С., Домогаев В.В. Генетические алгоритмы определения структуры нейронной сети в задачах прогнозирования//Вопросы радиоэлектроники. - 2009. -2. - С. 10-17 (Издание входит в перечень ВАК);

4. Домогаев В.В. Метод выбора входных параметров искусственной нейронной сети, в задачах прогнозирования//Информационная математика. - 2009. - 1(7). - С. 54-61.

1. А. Гордон. Диалоги. Выпуск 2 , М. Предлог, 2005 г.

2. Нэсбитт Дж., Эбурдин П. Что нас ждет в 90-е годы. Мегатенденции. 2000 г. М. Республика. 1992. — 416 с.

3. Галушкин А. И. Современные направления развития нейрокомпьютерных технологий в России//Открытые системы, 1997. № 4(24).

4. Головко В. А. Нейроинтеллект: теория и применение. Кн. 1: Организация и обучение нейронных сетей с прямыми и обратными связями. — Брест: Изд-во БПИ, 1999.

5. Гроссберг С. Внимательный мозг //Открытые системы, 1997. № 4(24).

6. Глущенко В.В., Глущенко И.И. Разработка управленческого решения. Прогнозирование-планирование. Теория проектирования экспериментов. Железнодорожный, Моск. обл.: ТОО НПЦ «Крылья», 1997

7. Громов А.И., Каменнова М.С., Старыгин А.Н. Создание корпоративного электронного архива и реорганизация бизнес-процедур компании// СУБД. 1995. № 3

8. Доугерти К. Введение в эконометрику. М.: ИНФРА-М, 1997

9. Дюк В. Обработка данных на компьютере. СПб.: Питер, 1997

10. Олейников Е.А. и др. Основы экономического и социального прогнозирования. М.: Изд-во Рос. экон. акад., 1996

11. Бестужев-Лада И.В. Рабочая книга по прогнозированию. М.: Мысль, 1982.

12. Галушкин А. И. Теория нейронных сетей. Кн. 1://Сер. «Нейрокомпьютеры и их применение»/Под ред. А. И. Галушкина. — М.: Изд-во ИПРЖР, 2000

13. Головко В. А. Нейроинтеллект: Теория и применение. Кн. 2: Самоорганизация, отказоустойчивость и применение нейронных сетей — Брест: Изд-во БПИ, 1999

14. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. М.: МИФИ, 1998

15. Боровиков В. П., Боровиков И.П. STATISTICA -Статистический анализ и обработка данных в среде Windows. М.: Информационно-издательский дом «Филинъ», 1997

16. Боровиков В.П., Ивченко Г.И. Прогнозирование в системе STATISTICA в среде Windows: Учеб. пособие. М.: Финансы и статистика, 1999

17. Montgomery, Douglas С. Forecasting and time series analysis./Douglas C. Montgomery, Lynwood A. Johnson, John S. Gardiner. 2nd ed. - ISBN 0-07-042858-1.

18. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика М.: ИНФРА-М, 1997

19. Р. Каллан Основные концепции нейронных сетей: М. Вильяме 2003

20. Rumelhart D.E., Hinton G.E. and Williams R.J. Learning Internal Representations by Error Propagation, Parallel Distributed Processing, Explorations in the Microstructure of Cognition. Vol 1, Foundations. Cambridge, MA: MIT Press 1986.

21. К. Роберт, «Искусственных нейронные сети и их применение», М: Вильяме, 2006.

22. М.Т. Джонс, «Программирование искусственного интеллекта в приложениях», ДМК, 2006.

23. В.А. Горбатов, «Фундаментальные основы дискретной математики», М., Наука, Физматлит, 1999

24. Алюшин М.В. Аппаратная реализация быстродействующих нейросетей на основе программируемой логики фирм AMD, ALTERA, XILINX// Нейроинформатика -99. -М.: МИФИ. Часть 2.

25. K.Tahir Shah Automata, neural networks and parallel machines: some emerging principles. World Scientific. 1999

26. Горбань А. Н. Обучение нейронных сетей — М.: СП «ParaGraph», 1990.160 с.

27. Горбань А. Н., Россиев Д. А. Нейронные сети на персональном компьютере.— Новосибирск: Наука (Сиб. отделение), 1996. 276 с.

28. Гордиенко Е. К., Лукьяница А. А. Искусственные нейронные сети: I. Основные определения и модели /Изв. РАН. Сер. Техническая кибернетика, 1994. № 5. С. 79 — 92.

29. Гроссберг С. Внимательный мозг //Открытые системы, 1997. № 4(24). С.29 — 33.

30. Деревицкий Д. П., Фрадков А. Л. Прикладная теория дискретных адаптивных систем управления.— М.: Наука, 1981. 216 с.

31. Колесников А. А. Основы теории синергетического управления,— М.:

32. Фирма «Испо-Сервис», 2000. 264 с. (Серия книг специалиста по автоматизациипроизводства. Под общ. ред. А. С. Клюева).

33. Меламед И. И. Нейронные сети и комбинаторная оптимизация //Автоматика и телемеханика, 1994. № 11. С. 3 — 40.

34. Минский М., Пейперт С. Перцептроны.— М.: Мир, 1971. 262 с.

35. Нейроинформатика и ее приложения // Материалы 3-го Всерос. семинара,6 — 8 октября 1995 г. Ч. 1 /Под ред. А. Н. Горбаня.— Красноярск. Изд-во КГТУ, 1995. 230 с.

36. Нейроинформатика и ее приожения //Тез. докл. 5-го Всерос. семинара,3 — 5 октября 1997 г. /Под ред. А. Н. Горбаня.— Красноярск: Изд-во КГТУ, 1997. 190 с.

37. Розенблатт Ф. Принципы нейродинамики: Перцептрон и теория механизмов мозга — М.: Мир, 1965. 480 с.

38. Айвазян С.А. Прикладная статистика и основы эконометрики. М.: Юнити, 1998.

39. Анчишкин А.И. Методы народнохозяйственного прогнозирования. М.: Наука, 1985.

40. Белявский И.К., Кулагина Г.Д., Короткое А.В. Статистика рынка товаров и услуг. М.: Финансы и статистика, 1995.

41. Бестужев-Лада И.В. Рабочая книга по прогнозированию. М.: Мысль, 1982.

42. Вир С. Мозг фирмы: Пер. с англ. М.: Радио и связь, 1993.

43. Боровиков В.П., Боровиков И.П. STATISTICA -Статистический анализ и обработка данных в среде Windows. М.: Информационно-издательский дом «Филинъ», 1997.

44. Боровиков В.П., Ивченко Г.И. Прогнозирование в системе STATISTICA в среде Windows: Учеб. пособие. М.: Финансы и статистика, 1999.

45. Бэстенс Д.-Э., Ван ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. М.: ТВП, 1997.

46. Видяпин В.И., Журавлева Г.П. Общая экономическая теория (политэкономия). М.: ПРОМО-Медиа, 1995.

47. Глущенко В.В., Глущенко И.И. Разработка управленческого решения. Прогнозирование-планирование. Теория проектирования экспериментов. Железнодорожный, Моск. обл.: ТОО НПЦ «Крылья», 1997.

48. Громов А.И., Каменнова М.С., Старыгин А.Н. Создание корпоративного электронного архива и реорганизация бизнес-процедур компании// СУБД. 1995. № 3.

49. Доугерти К. Введение в эконометрику. М.: ИНФРА-М, 1997.

50. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Статистика, 1973.

51. Дубров A.M., Мхитарян B.C., Трошин Л.И. Многомерные статистические методы. М.: Финансы и статистика, 1998.

52. Дюк В. Обработка данных на компьютере. СПб.: Питер, 1997.

53. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применения в экономике и бизнесе. М.: МИФИ, 1998.

54. Жданов С.А. Экономические модели и методы в управлении. М.: «Дело и сервис», 1998.

55. Ивлев В.А., Попова Т.В. CASE в моделировании деятельности предприятий// Компьютер ПРЕСС. 1997. № 8.

56. Калянов Г.Н. Консалтинг при автоматизации предприятий: подходы, методы, средства. М.: СИНТЕГ, 1997.

57. Кейн Э. Экономическая статистика и эконометрия. Вып. 2. М.: Статистика, 1977.

58. Кендэл М. Временные ряды. М.: Финансы и статистика, 1981.

59. Кириллов В.П., Русскин В.М. Информационная технология SSADM методика моделирования информационных потоков при разработке автоматизированных систем// Компьютеры+Программы. 1995. № 3.

60. Кугаенко А.А. Синтез динамических моделей народного хозяйства и методы прогнозирования социально-экономических процессов. М.: Прометей, 1991.

61. Льюис К. Прогнозирование экономических показателей. М.: Финансы и статистика, 1986.

62. Мелихов А.Н. Ситуационные советующие системы с нечеткой логикой. М.: Наука, 1990.

63. Мкртчан С.О. Нейроны и нейронные сети. М.: Энергия, 1971.

64. Олейников Е.А. и др. Основы экономического и социального прогнозирования. М.: Изд-во Рос. экон. акад., 1996.

65. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации. М.: Наука, 1981.

66. Позин Н.В. Моделирование нейронных структур. М.: Наука, 1970.

67. Попов В.А. Основы макроэкономического прогнозирования. М., 1996.

68. Попов В.А. Прогнозирование национальной экономики. М.: Изд-во Рос. экон. акад., 1997.

69. Попов Л. А. Анализ и моделирование трудовых показателей: Учебник. 2-е изд., доп. и перераб. М.: Финансы и статистика, 1999.

70. Попов Э.В., Фоминых И.Б., Кисель Е.Б., Шапот М.Д. Статические и динамические экспертные системы. М.: Финансы и статистика, 1996.

71. Попов Э.В., Шапот М.Д. Реинжиниринг бизнес-процессов и информационные технологии// Открытые системы. 1996. № 1.

72. Самочкин В.Н. Гибкое развитие предприятия. Анализ и планирование. М.: Дело, 1999.

73. Силов В.Б. Принятие стратегических решений в нечеткой обстановке. М.: ИНПРО-РЕС, 1995.

74. Суровцев И.С. Нейронные сети. Введение в современные информационные технологии. Воронеж: Гос. унт, 1994.

75. Тихомиров Н.П., Попов В.А. Методы социально-экономического прогнозирования. М.: изд-во ВЗПИ, 1993.

76. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998.

77. Тюрин Ю.Н., Макаров А.А. Статистический анализ данных на компьютере. М.: ИНФРА-М, 1998.

78. Френкель А.А. Прогнозирование производительности труда: методы и модели. М.: Экономика, 1989.

79. Хан Д. Планирование и контроль: концепция контроллинга: Пер. с нем./Под ред. и с предисл. А.А. Турчака, Л.Г. Головача, М.Л. Лукашевича. М.: Финансы и статистика, 1997.

80. Хейс-Рот Ф., Уотерман Д., Ленит Д. Построение экспертных систем. М.: Мир, 1987.

81. Хирота К. Теория нечетких множеств. Прикладные нечеткие системы. М.: Мир, 1993.

82. Щетинин В.Г. Многослойная самоорганизация нейронных сетей оптимальной сложности// Автоматика и вычислительная техника. Рига, 1998. №4. С.30-37.

83. Щетинин В.Г., Костюнин А.В. Принятие решений на нейронных сетях оптимальной сложности// Автоматизация и современные технологии. 1998. №4. С. 38-43.

84. Шмален Г. Математические модели в экономических исследованиях на предприятии// Проблемы управления. 1998. № 12.

85. Эрлих А.А. Технический анализ товарных и финансовых рынков. М.: ИНФРА-М, 1996.

86. Терехов В. АТюкин И. Ю. Нейросетевые системы управления: проблемытеории, приложения // Сб. докл. II науч.-техн. конф. мол. ученых «Навигацияи управление движением». 28 — 30 марта 2000 г. Санкт-Петербург. — СПб. ГНЦ

87. РФ-ЦНИИ «Электроприбор», 2000. с. 97 — 121.

88. Терехов В. А. Динамические алгоритмы обучения многослойных нейронных сетей в системах управления // Изв. РАН. Сер. Теория исистемы управления, 1996. №3. С. 70 —79.

89. Терехов В. А., Тюкин И. Ю. Устойчивость по Ляпунову процессов обучения многослойной нейронной сети в динамических системах управления // Изв.

90. ВУЗов. Приборостроение. № 9, 1999. С.

91. Терехов В. А., Тюкин И. Ю. Исследование устойчивости процессов обучения многослойных нейронных сетей. I, II // Автоматика и телемеханика. № 10,1999, С. 145 — 161; № И, 1999. С. 136 — 144.

92. Терехов В. А., Ефимов Д. В., Тюкин И. Ю., Антонов В. Н. Нейросетевыесистемы управления.— СПб.: Изд-во С.-Петербургского университета, 1999. 265 с.

93. Терехов В. А., Ефимов Д. В., Тюкин И. Ю. Нейросетевые системы управления // Сер. «Нейрокомпьютеры и их применение» / Под ред.1. А. И. Галушкина. —1. М.: Изд-во ИПРЖР, 2002.

94. Терехов В. А., Ефимов Д. ВТюкин И. Ю. Структурный синтез адаптивных систем управления с многослойными нейронными сетями // Изв. ГЭТУ, 1997. Вып. 510. С. 3 — 13.

95. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика / Пер.с англ.— М.: Мир, 1992. 240 с.

96. Фрадков А. Л. Адаптивное управление в сложных системах: беспоисковыеметоды.— М.: Наука, 1990. 286 с.

97. Хакен Г. Синергетика. Иерархии неустойчивостей в самоорганизующихсясистемах и устройствах — М.: Мир, 1985.

98. Чернухин Ю. ВПшихопов В. X., Писаренко С. #., Трубачев О. Е.

99. Моделирование нейросетевых систем управления интеллектуальных мобильныхроботов // Тр. межд. конф. «Идентификация систем и задачи управления»

100. SICPR07000). Москва, 26 — 28 сентября 2000 —М.: Издво ИПУ РАН. С.1108—1114.

101. Шквар А. М. Функциональные и структурные аспекты построения некоторых нейронных структур управления // Тр. 4-го Всесоюз. совещания «Теорияинвариантности и теория чувствительностиавтоматических систем». Ч. П.26 — 30 апреля 1971 — Киев, 1971. С. 78 — 89.

102. Юдашкин А. А. Бифуркации стационарных решений в синергетическойнейронной сети и управление распознаванием образов //1. Автоматика и телемеханика, 1996. № 11. С. 139 — 147.