автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Методы синтеза пакетов прикладных программ автоматизированного производства с использованием нейросетевых технологий

На правах рукописи

ГРИБАЧЕВ ВИТАЛИЙ ПЕТРОВИЧ

МЕТОДЫ СИНТЕЗА ПАКЕТОВ ПРИКЛАДНЫХ ПРОГРАММ АВТОМАТИЗИРОВАННОГО ПРОИЗВОДСТВА С ИСПОЛЬЗОВАНИЕМ НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 2006

Работа выполнена на кафедре компьютерных технологий и программного обеспечения Северо - Западного государственного заочного технического университета (СЗТУ).

Научный руководитель кандидат технических наук, доцент

Хамидуллин Рафкат Рахимжанович

Официальные оппоненты: доктор технических наук, профессор

Уткин Лев Владимирович

кандидат наук, доцент Белов Михаил Петрович

Ведущая организация: Институт проблем машиноведения

Российской академии наук (ИПМАШРАН)

Защита состоится 14 ноября 2006г. на заседании диссертационного созета Д212.244.01 при Северо-Западном государственном заочном техническом университете, 191186, Санкт-Петербург, ул. Миллионная, д.5

С диссертацией можно ознакомиться в библиотеке Северо-Западного государственного заочного технического университета.

Автореферат разослан 13 октября 2006 г.

Ученый секретарь

диссертационного совета Иванова И.В.

Актуальность темы.

Территориально распределенный характер современного промышленного производства требует построения автоматизированных систем управления технологическими процессами (АСУТП), обладающих не только высоким быстродействием реализации принимаемых управленческих решений, но и средствами контроля достоверности передаваемых в распределенной сети данных. Постоянное увеличение информационных потоков в АСУТП предъявляет повышенные требования как к программному (аппаратному) обеспечению, так и к повышению скорости обработки сигналов при обеспечении их достоверности. Поэтому развитие промышленного производства требует постоянного совершенствования существующих автоматизированных систем управления технологическими процессами и расширения спектра решаемых ими задач. В частности на предприятиях судостроительной промышленности с распределенной структурой производственных мощностей существует проблема, связанная с регулярным перемещением и тиражированием управляющих информационных потоков между отдельными подразделениями предприятия. Например, на производственном объединении ОАО «Звезда» существует необходимость регулярного перемещения файловой информации и управляющих информационных потоков между административным корпусом и производственными цехами, оснащенными автоматизированными станками с ЧПУ. Кроме того, в процессе размещения субподрядов существует необходимость обмена информацией между подразделениями головного предприятия и соответствующими отделами смежных предприятий через открытые вычислительные сети.

Целью работы является синтез пакетов прикладных программ для автоматизации и управления технологическими процессами гибких производственных систем (ГПС) на основе нейросетевых технологий (HCT) Задачи исследования..

1. Синтез методов построения современных систем управления технологическими процессами производства на базе нейронных сетей.

2. Разработка программного обеспечения для устройств управления ГПС на основе нейросетевых комплексов, обеспечивающих достоверность и целостность передаваемых данных в сетях управления гибкими автоматизированными комплексами.

3. Разработка нейросетевых модулей для повышения скорости обработки данных за счет распараллеливания вычислительных процессов в сетях управления удаленными ГПС.

4. Проектирование архитектуры нейронных сетей для управления технологическим процессом на предприятии с распределенной структурой производства.

5. Синтез многоуровневой структуры комплексной системы контроля обеспечения достоверности информационных потоков в АСУТП с использованием эллиптических кривых в циклических полях Галуа.

Методы исследования.

В работе использовались, методы теории вероятности, распознавания образов, теории нейронных сетей, нечеткой логики, теории автоматического управления и методы математического моделирования.

Широко использовалось моделирование нейросетевых технологий с применением разработанного автором программного обеспечения.

Научные результаты, выносимые на защиту.

1. Метод ускоренного расчета параметров настройки производственных модулей ГПС с использованием нечетких нейросетевых комплексов и эллептических кривых в циклических полях Галуа.

2. Способы реализации современных систем управления технологическими процессами производства с использованием нейронных сетей на основе нечеткой логики, позволяющих обеспечить достоверность и целостность информации, передаваемой на удаленные ГПС.

3. Многоуровневый подход к построению интеллектуальных систем автоматизированного управления технологическими процессами производства, основанных на нейросетевых технологиях.

Научная новизна заключается в следующем:

1. Предложена нейросетевая технология для построения архитектуры многоуровневых структур управления интеллектуальными управляющими системами широкого спектра применения.

2. Предложен пакет прикладных программ для проектирования автоматизированных систем управления технологическими процессами производства (АСУHill) на основе нейросетевых комплексов.

3. Предложен и практически апробирован ускоренный способ взаимного обучения удаленных многослойных нейронных сетей управления технологическими процессами производства с использованием эллиптических кривых в циклических полях Галуа.

4. Предложен метод тиражирования трафика, предназначенный для распределения информационных потоков между удаленными нейросетевыми управляющими модулями ГПС в реальном масштабе времени.

Практическая значимость и внедрение результатов работы.

1. Пакет прикладных программ для автоматизации управления технологическими процессами производства в распределенных сетях ГПС, реализованной в виде встраиваемых нейросетевых модулей, позволяющих значительно повысить быстродействие и устойчивость АСУТП к внешним дестабилизирующим факторам.

2. Предложена архитектура нейронной сети, предназначенная для построения многоуровневых структур автоматизации управления ГПС.

3. Предложен и практически апробирован ускоренный способ взаимного обучения удаленных многослойных нейронных сетей, который позволяет обеспечить достоверность информационных потоков в распределенных сетях АСУТПП.

4. Метод тиражирования трафика управления технологическим процессом машиностроительного производства внедрен на ФГУП НИИ «Спектр» и используется в пакете прикладных программ управления трафиком «PakGen».

5. Предложен многоуровневый подход к построению интеллектуальных сетевых узлов АСУ Tl 111, позволяющий ускорить процесс преобразования информационных потоков за счет распараллеливания процессов обработки данных в многослойных нейронных сетях.

Создан программно-аппаратный комплекс, позволяющий моделировать информационные потоки в процессе оперативного управления производством копиров для фрезерно — расточного оборудования предприятия ОАО «Звезда». В среде Delphi 6.0 была разработана специализированная библиотека программных модулей, позволяющая ускорить процесс разработки программного обеспечения для автоматизации систем управления технологическим процессом производства, что позволило создать автономный переносимый модуль, являющийся функциональным прототипом аппаратной реализации нейросетевых вычислительных систем управления производством. В НИОКР «Вектор-М» используется высокоуровневая библиотека доступа к функциям интерфейса устройств DS 1995-LF, применяемая для доступа к системам обеспечения контроля достоверности информационных потоков автоматизированной системы управления ГПС.

Апробация работы.

По результатам работы было опубликовано 11 статей, из них 3 в изданиях, входящих в перечень ВАК. Основные положения работы докладывались и обсуждались на международной конференции по мягким вычислениям и измерениям СПбГТУ ЛЭТИ 2004 г;

IV Санкт-Петербургской межрегиональной конференции «Информационная безопасность регионов России (ИБРР - 2005);

X Санкт - Петербургской международной конференции «Региональная информатика - 2006 (РИ - 2006)».

Кроме того основные результаты работы докладывались и обсуждались на научных заседаниях кафедры компьютерных технологий и программного обеспечения (КТиПО) СЗГТУ в 2004 - 2006гг.

- Структура и объем работы:

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложения. Общий объем диссертации 135 страниц, 62 рисунка, 6'таблиц, приложения - 50 страниц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ.

Во введении обосновываются актуальность темы исследований, формулируются цель работы, решаемые в ней задачи, оценивается научная новизна и практическая ценность выносимых на защиту результатов.

В первой главе рассматривается современное состояние автоматизации промышленного производства и перспектив применения НСТ в этой области. Объективный анализ показывает, что за последние несколько лет в технологическом процессе машиностроительного производства произошли значительные изменения. Производство машиностроительной продукции всё в большей степени приобретает многономенклатурный, мелкосерийный и единичный характер. При этом стоимость производства каждой отдельной детали непрерывно возрастает, а случайные сбои в технологическом процессе, простои или поломки производственного оборудования могут привести к задержке выпуска готовой продукции и многомиллионным убыткам. В этих условиях исключительно важное значение приобретают автоматизированные программно — аппаратные комплексы, позволяющие сократить непроизводительное время простоя станков ЧПУ, повысить оперативность управления производственными линиями и обеспечить достоверность управляющих информационных потоков. В связи с этим в данной работе разработаны методы построения архитектуры интегрированной интеллектуальной системы (ИИС), объединяющей в себе функции контроля достоверности и обеспечения оперативности управления информационными потоками (ИП) как внутри предприятия, так и в вычислительной сети удаленных производственных объектов. Кроме того представляется наиболее целесообразным произвести объединение разнородных модулей поддержки корпоративной системы информационного обмена в единую структуру под управлением контролирующей нейронной сети верхнего уровня и создание интегрированной интеллектуальной системы логистического управления АСУТП, блок - схема которой представлена на рисунке 1.

Общая схема структуры автоматизированного производства промышленного предприятия с распределенной структурой, представлена на рисунке 2. Данная схема используется для управления АСУТП и тиражирования трафика между управляющими отделами предприятия, отделами разработки программ, цехами с установленными в них автоматизированными производственными линиями, а также внешними филиалами производственных мощностей и субподрядчиками.

Одним из основных модулей системы является МНСМУ, позволяющий не только гибко управлять загрузкой производственных линий, но и тиражировать трафик на удаленные ГПС.

Усовершенствование логистических функций проявляется в возможности гибкого перенаправления потока материалов, перераспределения энергии, изменения очередности выполняемых

операций. Источником трафика может являться любой внешний хост, прокси-сервер или внутрисетевой пользовательский компьютер.

Рис. 1. Логическая схема системы управления удаленными ГПС

Объектом назначения является база данных удаленных производственных линий (или прокси-сервер доверенной сети филиала предприятия). Контрольное устройство накапливает сведения о передаваемом трафике в файле формата 1срёитр.

После ввода соответствующей команды или активации утилиты в автоматическом режиме происходит чтение файла 1срс1итр и тиражирование трафика в соответствии с параметрами заданными при запуске. Тиражируемые пакеты посылаются в соответствии с их исходными адресами в заголовках пакетов.

нем нем МУ гт

кд во тт * 1 * 1

СУУНСМГПС

J к

1 г < г 'Г

НСМ| нсм2 * * * нсмп

1 г

АРМК АРМН АРМТ

> 1п1егпе17

Рис. 2. Схема структуры автоматизированного производства промышленного

предприятия, включающая: МСЭ - межсетевой экран

МНСМУ - многофункциональный нейросетевой модуль.управления, ЦС - центральный сервер,

НСМКД - нейросетевой модуль контроля достоверности

НСМВО - нейросетевой модуль взаимного обучения

МУТТ - модуль управления тиражированием трафика

АРМК - автоматизированное рабочее место конструктора,

АРМН - автоматизированное рабочее место инженера нормоконтроля,

АРМТ - автоматизированное рабочее место технолога,

СУУНСМГПС — система управления удаленными нейросетевыми модулями

ГПС,

НСМ1 ... НСМП - нейросетевые модули управления технологическими процессами.

Нейронные сети нижележащих функциональных уровней системы, входящие в состав СУУНМГПС, выполняют не только функции контроля технологических процессов, контроль износа режущего инструмента и определение момента его замены, контроль над своевременным вывозом и утилизацией отходов производства и бракованных деталей, контроль за состоянием рабочей среды - предотвращением последствий аварий, вредных выбросов, чистотой и кондиционированием воздуха. Сбор и передачу контрольной информации в реальном масштабе времени вышележащим управляющим уровням системы.

На основании проведенного в главе 1 анализа, сформулирована цель исследований и основные задачи, решаемые в диссертации.

С помощью данного исследования предполагается расширить сферу применения НСТ в области управления и контроля достоверности передаваемых информационных потоков. Таким образом, применение

нейросетевых модулей в составе СУУНСМГАП позволяет более быстро и эффективно решать задачи управления, решение которых традиционными средствами последовательного программирования оказывается затруднительным или недостаточно гибким.

Например, управление процессами накопления заготовок, полуфабрикатов, материалов, приспособлений и транспортировки их к необходимому оборудованию, диагностика работы всех технических средств, и выявление вероятных причин неисправностей вместе с рекомендациями по их устранению на стойке ЧПУ, диагностика качества обработки на обрабатывающих модулях, введение корректирующих поправок в программы обработки деталей и управление координатно-измерительными машинами, диагностика состояния режущего инструмента с введением коррекции в программу управления станком и обеспечением автоматической смены изношенного или сломанного инструмента.

При этом в ведении микроконтроллерных средств, управляемых обычными микроконтроллерными средствами ГПС целесообразно оставить наиболее простые и низкоуровневые операции, управление которыми эффективно реализуется традиционными средствами управления.

В частности это обеспечение загрузки — разгрузки заготовками рабочей зоны технологического оборудования, хранение, редактирование и передача в память станка с ЧПУ программы обработки, доставка смазочно-охлаждающей жидкости (СОЖ), контроль её распределения и удаление отработанной СОЖ вместе со стружкой из рабочей зоны станка.

Во второй главе рассмотрена многоуровневая модель организации ИИС, объединяющая отдельные разнородные модули управления АСУ 11111 в единый комплекс, позволяющий оперативно принимать решения под воздействием различных дестабилизирующих факторов, нарушающих достоверность управляющих информационных потоков.

Кроме того, в данной главе были проанализированы основные математические модели, используемые при проектировании нейронных сетей с точки зрения возможности их использования в АСУТП. Обсуждены достоинства и недостатки каждой модели.

Рассмотрены используемые в настоящее время алгоритмы обучения нейронных сетей. В качестве основных алгоритмов, приемлемых для задач, решаемых в данной работе, был выбран алгоритм обучения методом обратного распространения ошибки и алгоритм нечеткого вывода. Анализ методов обучения нейронных сетей, использующих различные математические модели применительно к решаемой научно-технической задаче, показал, что наиболее целесообразным является использование нейросетевой модели, основанной на нечеткой логике с возможной дополнительной подстройкой отдельных параметров сети с помощью алгоритма обратного распространения ошибки.

Основным этапом в процессе проектирования нейронечетких модулей является выбор формы представления нечетких множеств

А*-, 7=1.....я; к=1.....//,

где у - номер функции принадлежности, к - номер используемого нечеткого правила. Для представления функции принадлежности в данной работе использовалась функция Гаусса следующего вида:

у *./

(1)

где Ху и Оу — центр и ширина кривой Гаусса, соответственно. Данные параметры можно изменять в процессе обучения, регулируя положение и форму нечетких множеств. Воспользовавшись методом дефуззификации, определяем выходной сигнал У* и функцию принадлежности

Л,

ТукмВ(Ук)

у* =

.А,

(2), П ехР

/=1

(Г)

N

1

Подставив (2а) в (2), получим формулу, описывающую выходное значение модуля нечеткого управления:

N

£ у к=1

*

У =

п

П ехр 1=1

£ N

N 2 ¿=1

г ( кЛ 2

п П ехр 1=1 \ -

1

(3)

где уь - центер выходного нечеткого множества . Процесс обучения нейросетевого модуля подразделяется на два этапа.

На первом этапе сигнал распространяется по сети в прямом направлении

и последовательно рассчитываются выходной сигнал У*, а также и значения

сигналов, поступающих на вход нейронов от предыдущего слоя г* (к—1.....

Л9- Обозначим для краткости изложения в дальнейшем числитель и знаменатель дроби в формуле (3) как а и Ь, соответственно. На втором этапе

выходной сигнал У* сравнивается с эталонным значением д. из обучающей выборки и по результатам сравнения модифицируются значения весовых коэффициентов ук. При использовании данной методики алгоритм обучения для параметра <т/ будет соответствовать уравнению:

и 2(* • — хк

<гк.(1 + 1) = етк(1)-г1^-(ук-у)гк-—

3 JЬ 2

(о-;)'

гдеху и у рассчитываются по формулам:

А (/+1)»Л (02(Х\Х{)2 и / (/+1)-/<0-7^.*,

] ] ъ (<ф2 ь

соответственно. В соответствии с алгоритмом обратного распространения

ошибки при распространении сигнала в прямом направлении производят » ф

расчет значений г (к-1,..., Ы), а, Ь, и У . На втором этапе рассчитываются новые значения весов ук(1+\), и сг^^+Х) для j=\,..., п; к= 1,..., И,

затем обновляют значения весовых коэффициентов и переходят к следующей итерации. Алгоритм обучения методом обратного распространения ошибки, применительно к нечеткому нейросетевому модулю, показан на рисунке 3. Выбор нечетких нейронных сетей основывается на значительных преимуществах, предоставляемых аппаратом нечеткой логики в применении к задачам управления сложными динамическими системами. Преимуществом резработанного метода является прозрачность процедуры нечеткого вывода в нейронной сети, что позволяет достоверно оценивать время обучения такой системы и достаточно точно прогнозировать реакцию системы на экстремальные условия эксплуатации.

Использование аппарата нечеткой логики позволило осуществить предварительную загрузку в систему на этапе обучения начальной базы знаний сформированной экспертами, что в свою очередь значительно снизило затраты времени на предварительное обучение нейронной сети.

В третьей главе проведен анализ возможности использования НСТ для решения задачи контроля достоверности и управления информационными потоками. В связи со сложностью решаемой научно - технической проблемы, в данной главе были рассмотрены архитектуры и алгоритмы обучения следующих нейронных сетей:

- радиальные нейронные сети,

- сети каскадной корреляции,

- сети Вольтерри,

- неполносвязные гетерогенные нейронные сети (НГНС),

- сети двунаправленной ассоциативной памяти.

На основании проведенного анализа в качестве базовых архитектур нейронных сетей, удовлетворяющих требованиям поставленной задачи исследования, были выбраны радиальные нейронные сети, для обеспечения связи между верхним уровнем системы, вырабатывающим общую стратегию управления и нижележащими специализированными нейросетевыми модулями, нечеткие нейронные сети и неполносвязные гетерогенные нейронные сети. Кроме того в работе проведен анализ возможности использования нейросетевых технологий для систем управления информационными потоками на базе нечеткой логики и нейросетевых систем обеспечения контроля достоверности информации, построенных на основе эллиптических кривых в циклических полях Галуа.

Рис. 3. Алгоритм обучения нечеткого нейросетевого модуля управления АСУТП

Учитывая комплексный характер решаемой научно — технической проблемы и невозможности реализации всех поставленных задач в рамках

¿одной определенной структуры нейронной сети, в работе была предложена многоуровневая система, содержащая нейронные сети различной архитектуры в виде отдельных нейросетевых модулей.

В четвертой главе рассмотрены различные варианты программно -аппаратной реализации исследовательского прототипа нейросетевой системы для обеспечения достоверности информационных потоков. В результате проведенного анализа в качестве основной платформы моделирования была выбрана среда DELPHI 6.0, как обладающая наиболее широкими возможностями моделирования применительно к рассматриваемому классу задач. В качестве операционной среды использовалась среда Windows NT.

При проектировании АСУТП ОАО «Звезда» были разработаны следующие пакеты прикладных программ (111 111).

П1111 представляющий собой модель неполносвязной нейронной сети, реализующей быстрые вычисления в циклических полях Галуа.

Данный модуль быстрых вычислений в циклических полях Галуа (МБВ) позволяет производить все основные вычислительные операции на эллиптических кривых, а также допускает как программную так и аппаратную реализацию.

Структура гибридного нейросетевого модуля показана на рисунке 4.

Идентификация численного значения номеров точек осуществляется входными нейронами кип первого слоя. Координаты точек идентифицируются нейронами G„ и G*. Второй слой нейронов осуществляет функцию суммирования (или вычитания) сигналов первого слоя После выполнения операции суммирования, выходной сигнал второго слоя поступает на третий слой распознавания, который определяет точку в поле Галуа по её координате или номеру. Четвертый слой - выходной, воспринимает сигнал определенного нейрона предыдущего слоя и распознает координаты или номер точки поля Галуа. Данный нейросетевой модуль в зависимости от комбинации на его входах может осуществлять не только операции распознавания номера точки по её координатам, но и сдвиг вдоль поля в прямом и обратном направлении, а также сложение и вычитание координат двух произвольных точек.

Он может выполнять все основные операции, необходимые для построения нейросетевых систем, использующих эллиптические кривые в циклических полях Галуа.

Данный модуль допускает эффективную аппаратную реализацию и построение на его основе более сложных систем за счет каскадного соединения модулей для решения задач различного назначения, например, распознавания свой - чужой.

Таким образом, разработанный нейросетевой модуль позволяет строить любые системы, основанные на вычислениях в циклических полях Галуа.

Для построения модуля была использована разработанная автором библиотека для ускоренных вычислений в полях Галуа, состоящая из двух

программных модулей Б6.0-1 и 06.0-2, содержащих набор функций для * вычисления координат точек на эллиптических кривых.

Разработанный нейросетевой модуль для ускоренных расчетов координат точек в полях Галуа используется не только в схемах обеспечения контроля достоверности информационных потоков, но и при тиражировании трафика на нейросетевые модули удаленных ГПС.

быстрые вычисления в циклических полях Галуа.

Схемы алгоритмов формирования идентификатора целостности и контроля достоверности трафика информационных потоков, в распределенных вычислительных сетях (РВС) в реальном масштабе времени, представлена на рисунке 5 и рисунке 6.

Рис. 5. Схема алгоритма формирования идентификатора целостности трафика информационных потоков в РВС в реальном масштабе времени.

М

и ММ) - * а а ■ * е *

п € .... „.....

Рис. 6 Схема алгоритма контроля идентификатора достоверности трафика

информационных потоков.

Нейросетевой программный пакет Ыеигопе/, разработанный для моделирования и проверки предложенных в работе алгоритмов, позволяет проектировать нейросетевые модули различной топологии, осуществляет подготовку обучающей информационной базы данных и позволяет контролировать результаты моделирования нейросетевого модуля.

В состав программного пакета входят: менеджер проекта сети, интерфейс ввода данных, интерфейс вывода данных, блок предварительной подготовки данных, нейроэмулятор.

В свою очередь нейроимитатор включает: блок обучения сети, блок оценки качества обучения, нейросетевую модель, графический визуализатор, редактор базы нечетких правил.

Разработанный нейроимитатор позволяет осуществлять выбор системы нечетких правил функционирования сети, их формализацию, автоматизированный расчет структуры сети, обучение и фиксацию обученной нейросетевой модели, загрузку и выгрузку в файлы обучающих, тестовых данных и матрицы весовых коэффициентов.

Кроме того обеспечивается удобный визуальный контроль процесса обучения и работы обученной нейронной сети.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Метод разработки прикладных программ для автоматизации управления технологическими процессами производства на основе нейросетевых комплексов, обеспечивающих контроль достоверности информационных потоков в автоматизированных системах управления производством.

2. Архитектура нейронных сетей на основе нечеткой логики, с дополнительной подстройкой параметров нейронных сетей с помощью алгоритма обратного распространения ошибки, предназначенная для построения многоуровневых структур управления производством.

3. Программное обеспечение ускоренного взаимного обучения удаленных многослойных нейронных сетей, позволяющее обеспечить достоверность и целостность информационных потоков в распределенных сетях АСУТП с использованием ЭК в циклических полях Галуа.

4. Многоуровневая структура комплексной системы управления в АСУТПП, позволяющая ускорить процессы преобразования и тиражирования информационных потоков для управления распределенными ГПС.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Грибачев В.П. Применение нейронных сетей для архивации данных. ' Известия СПбГЭТУ «ЛЭТИ», изд. СПбГЭТУ ЛЭТИ., серия «Информатика, правление и компьютерные технологии». — 2004. - Вып. 2. - с. 37.

2. Грибачев В.П., Общие принципы моделирования нейронных сетей в бъектно-ориентированной среде Delphi 5.0 // Проблемы машиноведения и [ашиностроения: Межвуз. Сб. - СПб.: СЗТУ. - 2004. - Вып. 32 - с. 34 - 37.

3. Нестерук Г.Ф., Молдовян A.A., Грибачев В.П., Воскресенский С.И. ) нейронечеткой реализации двухуровневой адаптивной системы [нформационной безопасности. //Вопросы защиты информации. М., ВИМИ. fe3 2005. с.6-12.

4. Нестерук Г.Ф., Осовецкий Л.Г., Нестерук Ф.Г., Воскресенский С.И.,

'рибачев В.П. Информационная избыточность нейронечетких средств »беспечения безопасности. //Вопросы защиты информации. М., ВИМИ. 2005. (°3с. 12-16.

5. Нестерук Г.Ф., Грибачев В.П., Воскресенский С.И. К обучению

[ейро-нечетких средств классификации компьютерных атак на ЛВС. // Международная конференция по мягким вычислениям и измерениям. СПб. :005.Т.1. с. 253-257.

6. Грибачев В.П., Исследование возможности использования нейронных сетей в области защиты информации. // Проблемы машиноведения и машиностроения: Межвуз. Сб. - СПб.: СЗТУ. - 2004. - Вып. 32 - с. 25 - 26.

7. Грибачев В.П., Нестерук Г.Ф., Воскресенский С.И., Применение нейро-нечетких сетей в комплексных СЗИ. Россия, С.-Петербург, НФ ФГУП НИИ «Вектор - СЦПС «Спектр». IV Санкт - Петербургская межрегиональная конференция «Информационная безопасность регионов России (ИБРР - 2005)» Санкт-Петербург, 14-16 июня 2005 г. - с. 176.

8. Грибачев В.П. Протокол ключевого обмена в криптосистемах, основанных на нейронных сетях. Сб. ' докладов международной конференции по мягким вычислениям и измерениям. Изд. СПбГТУ ЛЭТИ 2004. том 1, - с. 282-283.

9. Хамидулин P.P. Грибачев В.П. Применение нечетких ключей в нейро

- нечетких системах управления. СПбГТУ Сб. докладов юбилейной научно

- технической конференции том 2, СПб 2006. 379с., - с. 262.

Ю.Грибачев В.П. Настоящее и будущее нейронных сетей. // Компоненты и технологии. 2006. №5. - с. 28 - 32.

П.Грибачев В.П. Элементная база аппаратных реализаций нейронных сетей. // Компоненты и технологии 2006. №8. - с. 72 - 75.

ГРИБАЧЕВ ВИТАЛИЙ ПЕТРОВИЧ

МЕТОДЫ СИНТЕЗА ПАКЕТОВ ПРИКЛАДНЫХ ПРОГРАММ АВТОМАТИЗИРОВАННОГО ПРОИЗВОДСТВА С ИСПОЛЬЗОВАНИЕМ НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ

Автореферат

Лицензия ЛР № 020308 от 14.02.97

Санитарно-эпидемиологическое заключение № 78.01.07.953.П.005641.11.03 от 21.11.2003 г.

Подписано в печать 10.10.2006 Формат 60x87 1/16 Б. кн.-журн. П.л. 1,0 Б.л. 0,5 Издательство СЗТУ Тираж 100 экз. _Заказ 1520_

Северо - Западный государственный заочный технический университет

Издательство СЗТУ, Член Издательско — полиграфической ассоциации университетов России.

191186, Санкт - Петербург, ул. Миллионная, д. 5.

Список условных обозначений и сокращений.

Введение.

Глава

Анализ методов использования искусственных нейронных сетей в задачах управления технологическими процессами.

1.1. Классификация архитектур искусственных нейронных сетей.

1.2. Многослойный персептрон (MLP).

1.3. Сети с радиальными базисными функциями (RBF).

1.4. Вероятностная нейронная сеть (PNN).

1.5. Обобщенно - регрессионная нейронная сеть.

1.6. Сеть Кохонена (SOFM).

1.7. Простая реккурентная сеть (SRN).

1.8. Сеть Хопфилда.

1.9. Двунаправленная ассоциативная память (ДАЛ).

1.10. Модульная нейронная сеть (BP-SOM).

1.11. Неполносвязные гетерогенные сети (НГНС).

1.12. Принципы управления информационными потоками в АСУТПП с использованием нейросетевых технологий.

1.12.1. Логическая организация многоуровневой нейросетевой системы управления информационными потоками.

1.12.2. Анализ методов тиражирования трафика интегрированной интеллектуальной системы управления информационной базой данных в АСУТП на основе нейросетевых технологий.

1.13. Выводы.

Глава 2.

Синтез методов моделирования нейросетевых систем.

2.1. Разработка вероятностной модели функционирования двухуровневой системы управления АСУТПП.

2.2. Моделирование нейронных сетей с радиальными базисными функциями (RBF-сетей).

2.3. Моделирование сетей двунаправленной ассоциативной памяти.

2.4. Синтез нейронных сетей Вольтерри.

2.5. Синтез методов моделирования нейронных сетей, функционирующих на основе нечеткой логики.

2.5.1. Математический аппарат нечетких нейронных сетей.

2.5.2. Основные правила вывода двоичной логики.

2.5.3. Основные правила вывода в нечеткой логике.

2.5.4. Правила нечеткой импликации.

2.5.5. База правил.

2.5.6. Блок фуззификации.

2.5.7. Блок выработки решения.

2.5.8. Блок дефуззификации.

2.5.9. Синтез структуры модуля нечеткого управления.

2.5.10. Обучение нейронечеткого модуля с применением алгоритма обратного распространения ошибки.

2.6. Синтез оптимальной структуры нейронной сети верхнего уровня многоуровневой модели интегрированной информационной системы.

2.7. Выводы.

Глава 3.

Анализ и синтез методов обучения нейросетевых систем управления АСУТП.

3.1. Анализ методов обучения нейронных сетей, построенных на различных моделях.

3.1.1. Градиентный метод обучения.

3.1.2. Метод модельной закалки.

3.1.3. Методы обучения радиальных нейронных сетей.

3.1.4. Метод обучения сети двунаправленной ассоциативной памяти.

3.1.5. Метод обучения сети каскадной корреляции Фальмана.

3.1.6. Метод обучения сетей Вольтерри.

3.1.7. Анализ проблем обучения нейронных сетей.

3.2. Методы синтеза нейросетевых модулей на эллиптических кривых.

3.2.1. Синтез эллиптических кривых в циклических полях Галуа, используемых в алгоритмах АСУТПП.

3.2.2. Выработка общего идентификатора достоверности на основе эллиптических кривых.

3.2.3. Протокол идентификации достоверности на эллиптических кривых.

3.2.3.1.Алгоритм формирования идентификатора достоверности.

3.2.3.2.Алгоритм проверки корректности идентификатора достоверности.

3.3. Синтез топологии интегрированной интеллектуальной системы управления производством на основе многофункциональных многоуровневых нейросетевых систем.

3.4. Синтез функциональной схемы интегрированной многоуровневой нейро-сетевой системы управления информационными потоками.

3.5. Выбор оптимальной структуры сети.

3.6. Выводы.

Глава 4.

Формирование идентификаторов достоверности на основе искусственных нейронных сетей с использованием эллиптических кривых в циклических полях Галуа.

4.1. Предварительный выбор параметров эллиптических кривых с использованием нейросетевых модулей.

4.1.1. Синтез и оценка параметров эллиптической кривой.

4.2. Реализация алгоритма идентификации достоверности с использованием нейросетевых модулей.

4.2.1. Пример реализации протокола выработки и проверки идентификатора достоверности с использованием нейросетевого модуля быстрых вычислений.

4.3. Синтез методов аутентификации с использованием нейросетевых технологий.

4.3.1. Синтез метода встраивания функции аутентификации в нейроконтроллерный модуль.

4.4. Синтез нейросетевого модуля для алгоритма выработки идентификатора достоверности с использованием модуля быстрых вычислений.

4.4.1. Синтез протокола контроля достоверности информационных потоков в распределенных сетях АСУТП с использованием алгоритма Менезеса

Къю - Ванстона.

4.4.2. Пример практической реализации протокола Менезеса - Къю - Ванстона с использованием модуля быстрых вычислений.

4.5. Разработка программного обеспечения для выработки общей управляющей матрицы методом взаимного обучения удаленных нейросетевых модулей.

4.5.1. Пример реализации выработки общей управляющей матрицы методом взаимного обучения удаленных нейросетевых модулей.

4.6. Синтез архитектуры и метода обучения нечеткой неполносвязной гибридной нейронной сети с помощью программного пакета «Neuronet».

4.7. Разработка нейросетевых модулей для формирования вектора инициализации Ни, используемого в схемах генерации идентификаторов достоверности на эллиптических кривых.

Нейронные сети как инженерно - техническое решение возникли при попытках программистов обеспечить приемлемое решение некоторых наиболее сложных с точки зрения алгоритмизации задач. К таким задачам относятся проблемы распознавания образов, анализ почерка, выявление фальшивых кредитных карточек, планирование движений манипулятора и др. Попытки найти решение для программирования подобных задач привели к разработкам нейрокомпьютеров, то есть машин, использующих сети, состоящие из простых обрабатывающих элементов и легко адаптируемые к выполнению совершенно разных задач. Нейронные сети не программируются, а обучаются тому, как правильно реализовать конкретную задачу. Постоянно растет число коммерческих приложений, использующих нейронные сети.

Развивается и теоретическая база применения нейронных сетей в так называемых когнитивных задачах типа задач понимания обычного разговорного языка или задач управления движением автономного транспортного средства. Такие задачи высокого уровня сложности долгие годы были предметом изучения дисциплины, областью интересов которой является искусственный интеллект.

Однако постепенно стало окончательно ясно, что подобные задачи невозможно адекватно решить в рамках традиционных, возможно даже весьма гибких алгоритмов.

Необходимо моделировать не функциональную, алгоритмическую часть, а материальный носитель, то есть создавать аналог биологических нейронных структур. В этом случае сам процесс вычислений становится подобен процессам, происходящим в живом прототипе. То есть создавать ИНС - искусственную нейронную сеть. Теперь выделяют новую область искусственного интеллекта, в рамках которой предпринимаются попытки объединить идеи "традиционного искусственного интеллекта" и идеи теории нейронных сетей. Этот "новый искусственный интеллект" несет в себе большие потенциальные возможности для перехода компьютерных систем на следующий уровень развития.

3.6. Выводы

В данной главе рассмотрено несколько алгоритмов обучения, применяемых для различных нейросетевых архитектур. В качестве основных рассмотрены алгоритм обучения методом обратного распространения ошибки и его модификации для различных типов сетей. Преимущество алгоритма обучения по методу обратного распространения ошибки в возможности сетью самостоятельно приобретать знания и достаточно плавно настраивать коэффициенты связей. Недостаток в медленной скорости обучения, неопределенном количестве времени, требуемом для получения удовлетворительного результата, а также в трудностях подбора оптимальных параметров обучения. Исходя из проведенного анализа можно сделать вывод, что ни одна из конфигураций нейронных сетей самостоятельно не в состоянии полностью обеспечить решение всех поставленных в исследовании задач. Общий недостаток данных сетей заключается в том, что большинство из них для своего обучения требует алгоритма обратного распространения со всеми обычными проблемами этого метода, заключающимися в большом количестве шагов и негарантированной сходимостью. Из всех рассмотренных сетей критерию отсутствия необходимости обучать их по алгоритму обратного распространения ошибки удовлетворяют только сети каскадной корреляции Фальмана и сети Вольтерри. Однако этим сетям присущ серьезный недостаток, заключающийся в чрезмерном усложнении структуры сети при возрастании сложности аппроксимируемой функции. Кроме того, очевидно, что при переобучении сети необходимо синтезировать новую структуру всей сети в целом, что не всегда приемлемо с практической точки зрения. Таким образом, наиболее приемлемым вариантом для достижения поставленных в данном исследовании целей является использование гетерогенной нейросетевой структуры, состоящей из разнородных нейросетевых модулей, каждый из которых обучен выполнению своей собственной узко специализированной задачи. Наиболее перспективными в подобном применении представляются сети двунаправленной ассоциативной памяти, нейронечеткие структуры и гибридные гетерогенные нейронные сети с произвольными функциями активации.

Глава 4.

Формирование идентификаторов достоверности на основе искусственных нейронных сетей с использованием эллиптических кривых в циклических полях Галуа

4.1. Предварительный выбор параметров эллиптических кривых с использованием нейросетевых модулей

Для построения нейросетевых управляющих систем с использованием эллиптических кривых, предварительно требуется выбрать подходящую эллиптическую кривую, отвечающую указанным выше критериям.

Для предварительного выбора параметров ЭК в полях Галуа разработаны следующие архитектуры нейронных сетей:

1. Предварительно специально настроенная сеть осуществляет выбор коэффициентов а и Ъ, исходя из уаюъш/= 4а +27Ь2. Структурная схема данной сети изображена на рисунке 4.1.

Рис. 4.1 НСМ для выбора ЭК по коэффициентам аяЬ (МВК).

Первые два нейрона осуществляют выбор текущей пары значений из множества пар а и Ъ, представленных вторым слоем нейронов. Коэффициенты а, и представленные вторым слоем нейронов выбираются из множества {ао. ап\ и {¿о - Ьп}. Выбранная пара нейронов передает значения а и Ъ на вход единственного нейрона третьего слоя, активационная функция которого осуществляет вычисление условия выбора f=(4a3+27b2 mod р) = 0 . В зависимости от результата вычисления данного сравнения, срабатывает либо нейрон 1 выходного слоя, что эквивалентно ситуации «подходящая пара чисел аяЬ найдена», либо нейрон 2, который является счетчиком, и запускает следующую итерацию цикла выбора значений а и Ъ.

4.1.1. Синтез и оценка параметров эллиптической кривой.

Данный нейросетевой модуль осуществляет вычисление общего числа точек т используемой эллиптической кривой в соответствии с теоремой Хасса. р +1 - 2^р <т<р+\+

Нейрон первого слоя генерирует р и передает это значение нейроном второго и третьего слоя, которые осуществляют вычисление компонентов формулы Хасса.

Единственный нейрон четвертого слоя осуществляет оценку количества точек, и в зависимости от результатов данной оценки, полученное количество точек либо принимается (нейрон 1 выходного слоя), либо с помощью нейрона 2 запускается следующая итерация. Структурная схема нейронной сети для вычисления порядка числа точек эллиптической кривой представлена на рисунке 4.2. Нейрон первого слоя получает сигнал счетного нейрона и выбирает текущее значение модуля р из таблицы. Нейроны второго слоя вычисляют различные элементы формулы Хасса и передают полученные значения на суммирующий и вычитающий нейроны третьего слоя. Нейрон / производит оценку попадания заданного числа элементов поля в интервал значений, полученных с помощью нейронов третьего слоя. В случае удовлетворения числа т неравенству Хасса, работа сети останавливается и на выходе фиксируется выбранное число т. В противном случае нейрон - счетчик СТ запускает следующую итерацию цикла работы сети.

Нейросетевой модуль выбора параметров п и q (МВП) показан на рисунке 4.3. Нейрон qt выбирает из таблицы текущее значение q. Данное значение передается единственному нейрону второго слоя, вместе с числом т7 поступающим с выхода первого нейрона т.

Рис. 4.2 Схема НСМ для оценки величины порядка числа точек ЭК (МОП), где 2х=(р+У)+24р; 2г -р+\ - 2Ур;

Рис. 4.3 Схема НСМ для выбора параметров п и а (МВП).

Нейрон второго слоя вычисляет согласно формуле т/qi и передает полученное значение на слой сравнения, состоящий из нейронов «о, ., пт. Нейрон 3-го слоя, которому удается распознать своё значение я, передает его на выходные нейроны qh которые вычисляют соотношение /и/« и сравнивают его с текущим значением <у. В зависимости от результата данной операции происходит либо фиксация полученных значений и и q, либо переход на следующую итерацию алгоритма.

После выбора всех параметров эллиптической кривой с помощью модуля МРТ (модуль расчета точек), который представляет собой процедуру вычисления значений эллиптической функции производится расчет точек выбранной эллиптической кривой с помощью нейросетевого модуля, изображенного на рисунке 4.4.

Таким образом, общая схема подготовки параметров эллиптической кривой представлена на рисунке 4.5. Результаты вычислений загружаются в модуль быстрых вычислений в полях Галуа (МБВ), показанный на рисунке 4.6. Идентификация численного значения номеров точек осуществляется входными нейронами к и п первого слоя.

Координаты точек идентифицируются нейронами Сг„ и Ок. Второй слой нейронов осуществляет функцию суммирования (или вычитания) сигналов первого слоя. После выполнения операции суммирования, выходной сигнал второго слоя поступает на третий слой распознавания, который определяет точку в поле Галуа по её координате или номеру.

Рис. 4.5 Общая схема подготовки параметров эллиптической кривой.

Рис. 4.6 Неполносвязная гибридная нейронная сеть, реализующая быстрые вычисления на ЭК (МБВ)

Четвертый слой - выходной, воспринимает сигнал определенного нейрона предыдущего слоя и распознает координаты или номер точки поля Галуа.

Для правильной работы данной сети используются управляющие сигналы, подаваемые на линии « +/- » и «+у/-у». Эти линии переключают соответствующие нейроны второго слоя в режим суммирования входных сигналов или вычитания их. Таким образом, происходит сложение (вычитание) координат или номеров точек, поступающих на соответствующие входные нейроны.

Данный нейросетевой модуль в зависимости от комбинации на его входах может осуществлять не только операции распознавания номера точки по её координатам, но и сдвиг вдоль поля в прямом и обратном направлении, а также сложение и вычитание координат двух произвольных точек. Он может выполнять все основные операции, необходимые для построения нейросетевых систем, использующих эллиптические кривые в циклических полях Галуа. Данный модуль допускает эффективную аппаратную реализацию и построение на его основе более сложных систем за счет каскадного соединения модулей для решения задач различного назначения, например, распознавания свой - чужой. Таким образом, разработанный нейросетевой модуль позволяет строить любые системы, основанные на вычислениях в циклических полях Галуа.

Кроме того, данный модуль допускает эффективную аппаратную реализацию, и построение на его основе более сложных нейросетевых систем за счет каскадного соединения модулей с применением для каждого каскада полученной системы своих индивидуальных параметров настройки, а также применения различных вспомогательных элементов. Один из вариантов подобной системы, реализующий функции нейроконтроллера, представлен на рисунке 4.7.

Рис. 4.7. Схема нечеткого нейросетевого управления.

С использованием разработанных нейросетевых модулей подготовки параметров ЭК были выбраны ряд параметров для различных значений модуля ЭК. Итоговая таблица представлена ниже. Таблица 1.

Автоматизированный расчет параметров ЭК. р а ь т Ч Со п- Юо пОо кс кс(}()

1531 1 5 -1454 1499 0,17 9Ю 94(7 20 20в

1610 (1381,1248) (0,1482) (736,1442)

1583 2 3 -1504 1607 0,186 405(5 406С 62 6Ю

1663 (53,385) (0,1421) (109,458)

1627 3 9 -1547 1619 0,749 25в гш 3 ЗС

1708 (1596,1539) (0,870) (1593,51)

1759 4 2 -1676 +1844 1801 0,791 462G (530,255) 463G (0,1010) 54 54G (772,950)

1399 5 7 -1325 +1475 1409 0,203 1413G (1076,598) 1414G (0,1206) 62 62 G (855,362)

1163 6 1 -1096 +1232 1151 0,815 1176G (787,1106) 1177G (0,336) 48 48G (907,418)

1543 7 15 -1465 +1623 1511 0,748 20G (1115,1235) 21G (0,763) 7 7G (1233,1444)

1933 8 11 -1846 +2022 1901 0,75 1863G (341,372) 1864G (0,1826) 90 90G (1874,396)

1223 9 6 -1154 +1294 1229 0,660 1221G (57,328) 1222G (0,569) 80 80G (152,632)

1063 10 12 -999 +1129 1033 0,192 267G (577,51) 268G (0,841) 60 60 G (81,564)

2269 11 5 -2175 +2365 2293 0,432 84G (1281,1555) 85G (0,1861) 12 12G (2148,2274)

1709 12 13 -1627 +1793 1699 0,943 561G (1426,662) 562G (0,756) 48 48G (1068,154)

1847 13 7 -1762 +1934 1901 0,691 973G (304,416) 974G (0,1210) 124 124G (194,1005)

1109 14 3 -1043 +1177 1123 0,912 1177G (256,185) 1178G (0,211) 87 87G (963,556)

1009 15 1 -947 +1074 991 0,192 316G (77,946) 317G (0,799) 102 102G (826,42)

1723 16 17 -1641 +1807 1741 0,663 1669G (154,1408) 1670G (0,1078) 348 348G (968,39)

1249 17 2 -1179 +1321 1187 0,252 1167G (449,863) 1168G (0,935) 341 341G (319,667)

2909 18 19 -2802 +3018 2999 0,805 2913G (75,98) 2914G (0,2194) 85 85G (1160,1016)

3023 19 15 -2914 +3134 3041 0,53 3022G (868,1184) 3023 G (0,2988) 14 14G (515,1446)

Заключение

В данной работе предложена технология построения нейросетевых управляющих систем, предназначенная для гибких автоматизированных производств. На основании проведенного анализа показано, что наилучшей архитектурой сетей для построения подобных систем являются неполносвязные гетерогенные сети (НГНС), функционирующие на основе нечеткой логики с дополнительной подстройкой коэффициентов с помощью алгоритма обратного распространения ошибки. Предложена многоуровневая архитектура управляющей системы (ИИС), состоящей из отдельных нейросетевых модулей различного функционального назначения на нижнем уровне и нейронной сети верхнего уровня, работающей на основе системы нечетких управляющих правил. Показано, что наилучшими интерфейсными свойствами для сопряжения нечеткой управляющей сети верхнего уровня и набора функциональных нейросетевых модулей обладают КВР - сети. Преимуществом разработанной системы является модульная архитектура, широкое применение нечеткой логики, прежде всего для построения управляющей нейронной сети верхнего уровня, а также возможность интеграции в одной ИИС функций управления информационными потоками на сетевом уровне, взаимного обучения удаленных нейросетевых модулей и обеспечение контроля достоверности передаваемых данных. В качестве основы для построения большинства элементов многоуровневой нейросетевой системы был разработан универсальный НГНС - модуль (МБВ), позволяющий выполнять все основные вычислительные преобразования на эллиптических кривых и создание на основе этого модуля многоуровневых нейросетевых управляющих систем различного назначения. В частности управляющих нейросетевых модулей, модулей взаимного обучения удаленных нейронных сетей, модулей контроля достоверности информационных потоков, генераторов псевдослучайных чисел.

Разработан алгоритм, позволяющий использовать модуль быстрых вычислений в полях Галуа для создания различных нейросетевых управляющих модулей. По результатам патентного поиска можно утверждать, что данная технология не имеет доступных аналогов. Отдельные результаты работы были внедрены на ФГУП НИИ «СПЕКТР» и используются в составе программного обеспечения в частности программно - аппаратного комплекса «Вектор-М».

1. Розенблатт Ф. Принципы нейродинамики: Перцептрон и теория механизмов мозга. М.: Мир, 1965.480 с.

2. Hebb D.O. The organization of behavior: A neuropsychological theory. N. - Y.: Wiley, 1949.

3. Минский M., Пейперт С. Перцептроны. M.: Мир, 1971. 262 с.

4. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proc. National Acad. Sci. 1982. № 79. P. 2554 2558.

5. Hopfield J.J. Neurons with graded response have collective computational properties like those of two state neurons // Proc. National Acad. Of Sci. 1984. № 81. P. 3088 - 3092.

6. Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representations by error propagation // Parallel Distributed Processing. 1986. Vol. 1, № 8. P. 318 362.

7. Kohonen T. Self organization and associative memory. - Berlin: Springer Verlag, 1987.

8. Цыпкин Я.З Адаптация и обучение в автоматических системах. М.: Наука, 1968. 400 с.

9. Веденов А.А., Ежов А.А., Левченко Е.Б. Архитектурные модели и функции нейронных ансамблей // ИНТ. Сер. Физич. И математич. Модели нейронных сетей. Т. 1. 1990. с. 44-92.

10. Гордиенко Е.К., Лукьяница А.А. Искусственные нейронные сети : 1. Основные определения и модели / Изв. РАН. Сер. Техническая кибернетика. 1994. № 5. с. 79 -92.

11. Уоссерман Ф. Нейрокомпьютерная техника: Теория и практика / Пер. с англ. М.: Мир, 1992. 240 с.

12. Ani К. Jain, Jianchang Мао, Mohiuddin К.М. Artifical neural networks: A tutorial // Computer. 1996. Vol. 29, № 3. P. 31 44. (Рус. Пер. в ж. Открытые системы. 1997. № 4(24).

13. Tadeusiewicz R. Sieci Neuronowe. Warszawa: PWN, 1993. 195 p.

14. Роберт Каллан основные концепции нейронных сетей : Пер. с англ. М. : Издательский дом «Вильяме», 2001 г. - илл.

15. StatSoft RUSSIA Нейронные сети. STATISTICA Neural Networks: Пер. С англ. -М.: Горячая линия Телеком. 2001. - 182 е., ил. Производственное издание

16. В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин, В.Н. Антонов Нейросетевые системы управления : Издательство С. Петербургского университета 1999 г.

17. Соколов Е.Н. Вайткявичус Нейроинтеллект от нейрона к компьютеру М. Наука. 1989 г.

18. Haykin S. (1994). Neural Networks, A Comprehensive Foundation. New York: Macmillan College Publishing Company.

19. Spech D.F. (1990). Probabilistic neural networks. Neural Networks, 3, p. 109 118.

20. Kohonen T. (1990). The self organizing map. Proceedings of the IEEE Transactions on Systems, Man and Cybernetics, 18, p, 49 - 60.

21. Elman J. (1990). Finding structure in time. Cognitive Science, 14, p. 179-211.

22. Cleeremans A. (1993). Mechanisms of Implicit Learning, Connectionist Models of Sequence Processing. Cambridge, MA: MIT Press.

23. Kosko B. (1988). Bidirectional associative memories. IEEE Transactions on Systems, Man and Cybernetics, 18, p.49 60.

24. Norris D. (1989). How to build a connectionist idiot (savant). Cognition, 35, p. 277 -291.

25. Kosko B. Bi-directional associative memories // IEEE Transactionson Systems, Man and Cybernetics 18(1), 1987, pp.49- 60. Reilly R. (1992). Connectionist technique for on -line parsing. Network, 3, p. 37 45.

26. K. Haines and R. Hecht-Nieson, "A BAM with Increased Information Storage Capacity," Proc. IEEE ICNN-88, vol. 1, pp. 181-190, July 1988.

27. Y.-F. Wang, J.B. Cruz Jr., and J.H. Mulligan Jr., "Two Coding Strategies for Bidirectional Associative Memory // IEEE Trans. Neural Networks, vol. 1, pp. 81-92, Mar. 1990.

28. Patterson, D,. (1996). Artificial Neural Networks. // Singapore: Prentice Hall.

29. Fausett, L. (1994). Fundamentals of Neural Networks. New York: Prentice Hall.

30. Bishop, C. (1995). Neural Networks for Pattern Recognition. Oxford: University Press.

31. Shepferd, A. J. (1997). Second Order Methods for Neural Networks. New York: Springer.

32. Fahlman, S. E. (1988). Faster learning variations on back - propagation: an emprical study. In D. Touretzky, G.E. Hinton and T.J.Sejnowski(Eds.). Proseedings of the 1988 Connectionist Models Summer School, 38-51. San Mateo, CA: Morgan Kaufmann.

33. Jacobs, R.A. (1988). Increased Rates of Convergence Through Learning Rate Adaptation. Neural Networks 1(4), 295 307.

34. Круглов B.B. Дли М.И. Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. М. Физматлит. 2001 г.

35. Рутковская Д. Пилиньский М. Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы. М. Горячая линия -Телеком 2004 г.

36. Назаров А.В. Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб. Наука и Техника, 2003 г.

37. Антонов В.Н. Терехов В.А. Тюкин И.Ю. Адаптивное управление в технических системах. СПб. Издательство С.-Петербургского университета, 2001 г.

38. Усков А.А. Кузьмин А.В. Интеллектуальные технологии управления, искусственные нейронные сети и нечеткая логика. М. Горячая линия Телеком 2004 г.

39. Круглов В.В. Борисов В.В. Искусственные нейронные сети теория и практика. М. Горячая линия Телеком. 2002 г.

40. Перуш М. Математические модели ассоциативных нейронных сетей. СПб. Каро 2000 г.

41. Н. Haken. Synergetic Computers and Cognition (A Top Down Approach to Neural Nets), Springer - Verlag, Berlin etc., 1991.

42. H. Haken. Synergetics (an Introduction). Third ed. Springer Verlag, Berlin etc., 1983.

43. T. Kohonen. Self-Organization and Associative Memory. Springer. Berlin etc., 1984.

44. T. Kohonen An Introduction to Neural Computing: Neural Networks 1 (1988) 3.

45. Rumelhart, D.E. and McClelland, J. (eds.) (1986). Parallel Distributed Processing, Vol 1. Cambridge, MA: MIT Press.

46. Spect, D.F. (1991). A Generalized Regression Neural Networks. Neural Networks 3 (1), 109-118.

47. Kohonen, T. (1982). Self organized formation of topologically correct feature maps. Biological Cybernetics, 43, 59 - 69.

48. Kosko B. (1988). Bidirectional associative memories. IEEE Transactions on Systems, Man and Cybernetics, 18, p. 49 60.

49. Молдовян A.A. Молдовян H.A. Гуц Н.Д. Изотов Б.В. Криптография: скоростные шифры. СПб.: БХВ - Петербург, 2002. - 496 е.: ил.

50. Грибачев В.П. Применение нейронных сетей для архивации данных. II Известия СПбГЭТУ «ЛЭТИ», изд. СПбГЭТУ ЛЭТИ., серия «Информатика, управление и компьютерные технологии». 2004. - Вып. 2. - с. 37.

51. Грибачев В.П., Общие принципы моделирования нейронных сетей в объектно-ориентированной среде Delphi 5.0 // Проблемы машиноведения и машиностроения: Межвуз. Сб. СПб.: СЗТУ. - 2004. - Вып. 32 - с. 34 - 37.

52. Грибачев В.П., Исследование возможности использования нейронных сетей в области защиты информации. // Проблемы машиноведения и машиностроения: Межвуз. Сб. СПб. : СЗТУ. - 2004. - Вып. 32 - с. 25 - 26.

53. Грибачев В.П. Протокол ключевого обмена в криптосистемах, основанных на нейронных сетях. Сб. докладов международной конференции по мягким вычислениям и измерениям. Изд. СПбГТУ «ЛЭТИ» 2004. том 1, с. 282 - 283.

54. Хамидулин P.P. Грибачев В.П. Применение нечетких ключей в нейро нечетких системах управления. СПбГТУ Сб. докладов юбилейной научно - технической конференции том 2, СПб 2006. 379с., - с. 262.

55. Грибачев В.П. Настоящее и будущее нейронных сетей. // Компоненты и технологии. 2006. №5. с. 28 - 32.

56. Грибачев В.П. Элементная база аппаратных реализаций нейронных сетей. // Компоненты и технологии 2006. №8. с. 72 - 75.

57. Нестерук Г.Ф., Молдовян А.А., Грибачев В.П., Воскресенский С.И. О нейронечеткой реализации двухуровневой адаптивной системы информационной безопасности. //Вопросы защиты информации. М., ВИМИ. №3 2005. с.6-12.

58. Нестерук Г.Ф., Осовецкий Л.Г., Нестерук Ф.Г., Воскресенский С.И., Грибачев В.П. Информационная избыточность нейронечетких средств обеспечения безопасности. //Вопросы защиты информации. М., ВИМИ. 2005. №3 с. 12-16.