автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Проектирование математического обеспечения систем автоматизации производства оптических материалов с использованием нейронных сетей

На правах рукописи

Богданов Константин Вадимович

Проектирование математического обеспечения систем автоматизации производства оптических материалов с использованием нейронных сетей

05.13.12 - Системы автоматизации проектирования (приборостроение)

Автореферат диссертации на соискание учёной степени кандидата технических наук

Санкт-Петербург 2005 г.

Работа выполнена в Санкт-Петербургском государственном университете информационных технологий, механики и оптики.

Научный руководитель: д.т.н., профессор Коробейников Анатолий Григорьевич

Научный консультант: д.ф.-м.н. Копытенко Юрий Анатольевич

Официальные оппоненты: д.т.н., профессор Григорьев Валерий Владимирович к.т.н., доцент Почкаев Александр Яковлевич

Ведущее предприятие: ФГУП «Научно-исследовательский и технологический институт оптического материаловедения ВНЦ «ТОЙ им С.И. Вавилова»

Защита состоится /5" марта 2005 г. в /У^ на заседании диссертационного совета Д 212.227.05 в Санкт-Петербургском государственном университете информационных технологий, механики и оптики.

Адрес: 197101, Санкт-Петербург, Кронверкский пр., д.49, СПбГУ ИТМО.

С диссертацией можно ознакомиться в библиотеке СПбГУ ИТМО.

Автореферат разослан _3_ февраля 2005 г.

Учёный секретарь диссертационного Совета к.т.н, доц.

В.И. Поляков

цж-ч 1Ю2зго

ШЪб з

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. На современном этапе развития общества, характеризующемся интенсивным внедрением вычислительной техники практически во все сферы человеческой деятельности, одной из приоритетных задач является развитие методов автоматизации проектирования (АП). На развитие систем автоматизации проектирования (САПР) серьёзное влияние оказали работы В.И.Анисимова, В.М. Курейчика, И.П. Норенкова, Л.С. Понтрягина.

Важной задачей АП является формирование математического обеспечения (МО). Снижение трудоёмкости разработки МО и, следовательно, снижение стоимости проектирования в целом является важным аргументом в пользу развития методов АП МО, например, при создании систем автоматизации производства оптических материалов (САПОМ).

Существует два подхода к созданию САПР МО САПОМ. Первый подразумевает решение множества задач САПР и объединение их в единый комплекс. Этот метод имеет ряд недостатков, таких как сложность, трудность модификации, недостаточная эффективность. Второй подход связан с построением базовой системы, на основе и в рамках которой создаются подсистемы, ориентированные на конкретные прикладные задачи. Этот подход считается более эффективным. В диссертационной работе предлагается развитие методов АП МО САПОМ на основе второго подхода.

Производство оптических материалов (ОМ) традиционно относят к сложным объектам автоматизации. Нсстационарность физико-химических процессов, приблизительность аналитических описаний технологических процессов (ТП) производства ОМ, сложность технологических систем (ТС) значительно повышают трудоёмкость задачи АП МО САПОМ.

В качестве одного из универсальных аппаратов решения таких задач может быть предложен аппарат теории искусственных нейронных сетей (ИНС). Большой вклад в развитие теории и практики ИНС внесли работы Д. Бруммхеда, С. Гроссберга, А.Г. Ивахненко, Т. Кохонена, Д. Лоэ, У. Маккалока, М. Минского, У. Питгса, Ф. Розенблатта, Д. Руммельхарта, Б. Уидроу, Дж. Хопфилда. Теоретические основы ИНС базируются на характерных аппроксимационных свойствах нелинейных функций многих переменных, описанных В.И. Арнольдом и А.Н. Колмогоровым. ИНС являются мощным инструментов расчётов и моделирования, сочетающим в себе такие свойства как гибкость, универсальность, единство архитектурных подходов, методов и алгоритмов, хорошую способность к построению имитационных моделей сложных объектов.

Перечисленные выше проблемы делают актуальной научную задачу разработки САПР МО САПОМ, реализуемой на едином математическом аппарате ИНС и позволяющей эффектипнр^^Т^^^ачи ашиматизации

производства ОМ. I БИБЛИОТЕКА

!

//

Цель диссертационной работы состоит в разработке и реализации нейросетевых методов и алгоритмов AIT МО, применяемых в решении задач автоматизации производства ОМ.

Задачи исследования. Для решения поставленной цели в работе решаются следующие задачи:

1. Анализ основных проблем проектирования МО САПОМ;

2. Выбор и исследование методов и алгоритмов формирования ИНС, предназначенных для решения задач АП МО САПОМ;

3. Разработка методики решения задачи идентификации на основе применения ИНС;

4. Разработка методики решения задачи синтеза систем управления (СУ) на основе ИНС;

5. Разработка методики решения оптимизационной задачи на основе ИНС;

6. Разработка методики решения задачи прогнозирования параметров технологических систем (ТС) на основе ИНС;

7. Разработка концептуальной и функциональной структуры САПР МО САПОМ, построенной на едином нейросетевом алгоритмическом аппарате.

Методы исследования базируются на использовании теории и методов САПР, принципах системного подхода, теории ИНС, аппарата линейной алгебры, дифференциального исчисления, теории алгоритмов, теории идентификации, теории управления.

Научная новизна заключается в разработке принципов построения САПР МО САПОМ на базе единого нейросетевого аппарата и разработке методов и алгоритмов решения задач АП МО САПОМ с помощью ИНС.

Основные положения, выносимые на защиту:

1. Методы АП МО на базе ИНС;

2. Методика решения задач идентификации на основе применения

ИНС;

3. Методика решения задач синтеза СУ на основе ИНС;

4. Методика решения оптимизационной задачи на основе ИНС;

5. Методика решения задачи прогнозирования параметров ТС на основе ИНС;

6. Структура САПР МО САПОМ.

Практическая значимость работы. Эффект от использования результатов диссертационной работы состоит в следующем:

1. Создание универсального адаптивного инструмента решения задач АП МО САПОМ;

2. Повышение эффективности решения задач АП МО САПОМ;

3. Сокращение сроков проектирования МО САПОМ;

4. Использование полученных результатов в курсах лекций по основам САПР для специальности 220500 «Проектирование и технология ЭВС».

Апробация результатов работы. Основные результаты работы докладывались на научно-технических конференциях. Среди них: XXXIII научная и учебно-методическая конференция СПбГУ ИТМО (3-6 февраля

2004 г., СПб.), I конференция молодых учёных СПбГУ ИТМО (19-22 февраля 2004 г., СПб.), XIX Международная конференция «Интеллектуальные САПР - 2004» (3-10 сентября 2004 г., Геленджик), XXXIV научная и учебно-методическая конференция СПбГУ ИТМО, посвященная 100-летию первого выпуска специалистов ВУЗа (2—4 февраля

2005 г., СПб.).

Публикации. Теоретические и практические результаты, представленные в диссертации, отражены в 6 научных работах и 1 научно-техническом отчёте, список которых приведён в конце автореферата.

Структура и объём диссертационной работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы из 122 наименований; изложена на 178 страницах машинописного текста, иллюстрированного 28 рисунками.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Введение. Во введении рассмотрено современное состояние предметной области - задачи разработки систем и методов АП МО САПОМ. Изложена научная новизна работы, ей практическая значимость и сведения о реализации. Содержатся сведения о структуре диссертации и краткое содержание её глав.

В первой главе приведён анализ проблематики АП МО САПОМ. Производство ОМ - сложная высокотехнологичная задача, предъявляющая высокие требования к средствам, методам и алгоритмам автоматизации.

Так, в ходе исследования вопроса, в числе наиболее проблемных задач построения МО САПОМ были выделены четыре группы, на которые и приходятся основные сложности реализации:

1. Задачи идентификации ТП;

2. Задачи синтеза СУ ТП;

3. Задачи оптимизации проектных и управляющих решений;

4. Задачи прогнозирования параметров ТС.

В ходе анализа всех четырёх выделенных групп задач определены основные трудности, возникающие при их решении в ходе проектирования современных САПОМ.

Так, для задач идентификации ТП производства ОМ в качестве главных проблем выделены сложность физико-химических процессов, протекающих в ТП, отсутствие адекватных аналитических моделей целого ряда процессов, многомерность идентифицируемых ТП.

При анализе специфики задач синтеза СУ ТП производства ОМ была выделена малая информативность ТП из-за ненаблюдаемости выходных параметров, распределённость параметров ТС, значительная подверженность ТС внешним возмущениям. Помимо этого, при

построении СУ следует учитывать все особенности решения идентификационных задач.

В ходе исследования особенностей решения оптимизационных задач при проектировании САПОМ были установлено следующее. Во-первых, точные методы оптимизации требуют больших затрат вычислительных ресурсов. Во-вторых, решение размерных задач комбинаторной оптимизации, встречающихся в проектных задачах, сопровождается экспоненциальным ростом числа вариантов.

При анализе задачи прогнозирования параметров ТС производства ОМ были выделены следующие проблемы: временные ограничения на .

процедуру прогнозирования, неопределённость пространства параметров технического состояния объекта и неоднородность данных о техническом состоянии объекта. ^

В ходе анализа проблем, возникающих при решении всех четырёх групп задач, были сделаны выводы о возможности качественного разрешения этих проблем за счёт применения аппарата ИНС.

Вторая глава посвящена исследованию основных особенностей аппарата ИНС и их наиболее характерных свойств. Рассматриваются эволюция аппарата ИНС, формальные модели базовых процессорных элементов (БПЭ), основные архитектуры сетей, особенности наиболее распространённых методов и алгоритмов обучения ИНС. Свойства БПЭ и параллельной архитектуры обеспечивают такие характеристики ИНС как параллельность обработки информации, способность к полной обработке информации, самоорганизация и надёжность.

ИНС как инструмент решения математических задач обладает двумя важными свойствами: свойством обобщения и свойством универсальной аппроксимации. Свойство обобщения состоит в хорошей нелинейной интерполяции данных, не относящихся к тренировочной выборке ИНС, но близких к ней. Иначе говоря, ИНС обладает способностью обобщать результат обучения на новые данные. Необходимыми условиями обобщения в ИНС являются гладкость нелинейного преобразования, которое должна запомнить ИНС, и репрезентативность тренировочного набора данных. Свойство универсальной аппроксимации состоит в том, что ИНС способна представить любую непрерывную функцию многих переменных. Это положение, доказанное Хорником и Кибенко, имеет в своём основании работы Арнольда и Колмогорова, согласно которым такая функция представима суперпозицией непрерывных функций одной переменной.

Третья глава посвящена исследованию применения статических ИНС в задачах АП МО и разработке методов их решения. К таким задачам в ходе анализа были отнесены идентификационные задачи и задачи синтеза СУ.

При моделировании реальных ТП значения зависимостей выхода от входа получаются на основе обработки результатов экспериментов или наблюдений, которые проводятся лишь для конечных параметров. В этом

случае становится оправданным применение идентификационных моделей на основе ИНС.

Синтез идентификационных моделей на основе многослойного перцептрона (МСП) производится по определённому проектировщиком набору алгоритмов: алгоритму обратного распространения ошибки, квазиньютоновскому алгоритму, алгоритму Левенберга-Марквардта, алгоритму сопряжённых градиентов. Эти алгоритмы позволяют сравнительно быстро синтезировать модели с достаточной точностью. Кроме того, ИНС МСП способны к дообучению в режиме реального времени, что позволяет уточнять их непосредственно в процессе работы ТС.

В случае наличия достаточного времени для проектирования, большого и репрезентативного набора исходных данных и высоких требований к точности, может потребоваться синтез субоптимальной идентификационной модели без значительных требований к дообучению в реальном времени. Это может быть сделано на основе иной архитектуры -ИНС на радиально-базисных функциях (ИНС РБФ).

В общем виде задача синтеза идентификационной модели на базе ИНС РБФ сводится к тому, чтобы для данного набора тренировочных шаблонов найти такие значения параметров cгj,wJ и векторов координат

центра активационной функции с,|у„, ^, что функция

ы2

/(*)=:!>,* ^ 0) у=1

удовлетворяет условию интерполяции

(2)

Решим задачу автоматизированного синтеза идентификационной модели на основе ИНС РБФ с использованием генетического алгоритма (ГА). Для набора тренировочных шаблонов „ найдём такое

подмножество Н,{2„е(|м н < N и значения ширины окон активационных функций сг , что удовлетворяет задаче (1, 2). Объединим все неизвестные из задачи в вектор проектирования

Х = (сг1,с].<72,с2,...,сг1,т,ск), (3)

где < N - максимально возможный размер тренировочной выборки (и, следовательно, скрытого слоя сети).

Алгоритм оптимального проектирования параметров ИНС РБФ выглядит следующим образом:

1. Для каждого = 1,...,Л^, в наборе Е ищется ближайший во

входном пространстве шаблон , е!}:

\с) - г\ < |су - {г,,е,} е Е.г = 1,...,N; (4)

2. По найденным шаблонам формируется максимальная тренировочная выборка 5я{с,,е,;

3. По (3) конструируется скрытый слой сети. Для того чтобы определить, будет ли в слое присутствовать ¿-й нейрон, проверяются следующие условия:

а) ширина окна активационной функции нейрона должна быть больше некоторого предельного значения е > 0:

>е„,з = \,...,Яя. (5)

б) интерполяционная матрица не должна быть особенной. Если при некотором е/ > 0 для двух нейронов оказывается, что

|2

. - с.

,i = l,...,Nяfi*j , (6)

то один из нейронов не включается в скрытый слой. Если сг > сгу, то

игнорируетсяу'-й нейрон, и наоборот.

4. После окончания формирования скрытого слоя определим окончательную длину тренировочной выборки В результате исключения из с„ шаблонов, соответствующих устранённым нейронам, формируется выборка Нг, по которой и проводится определение

5. Степень приспособленности особи определяется как усреднённая ошибка реакции сети на всех шаблонах полного тренировочного набора 3 по следующей формуле:

Е = (7)

м (=1

где реакция ИНС вычисляется согласно (1).

В целях синтеза ИНС РБФ минимальной структуры можно ввести штрафное слагаемое в ошибке сети:

+ (8)

где Я - вес штрафа.

Если мы поставим себе задачу решения с помощью ГА соотношения (1,2) с условием (8), то результатом работы станет наименьшая репрезентативная выборка тренировочных шаблонов. ИНС, синтезированная на такой выборке, будет иметь минимальную структуру, запомнит все тренировочные шаблоны и обеспечит гарантированное значение ошибки обобщения.

К решению задачи синтеза системы управления на основе аппарата ИНС, в зависимости от условий и показаний к проектированию, возможны два подхода.

В первом случае ИНС обучается и одновременно с этим формирует управляющее воздействие на входе исполнительного устройства системы управления. Цель обучения ИНС и цель управления объектом совпадают, что отражается в задании единой целевой функции системы. ИНС обучается в реальном времени. Этот режим носит название on-line.

Во втором случае работа сети состоит из двух этапов. Это этап обучения сети заданной функции управления и этап рабочего режима воспроизведения аппроксимации функции при управлении объектом. Этот подход имеет преимущественное применение в настоящее время и носит название off-line.

Оба варианта задачи используют различные методы и алгоритмы. В качестве метода решения задачи синтеза системы управления, работающей в режиме off-line, был разработан метод с использованием синтеза ИНС МСП при помощи ГА.

Задача формулируется следующим образом: для данного набора тренировочных сигналов м необходимо найти такие значения

весов синаптических связей w, что закон управления:

u = C(w,u,), (9)

реализуемый нейроконтроллером, обеспечивает минимизацию функционала

/(y(»))^min- (Ю)

w

Здесь вектор

определяет параметры нейронов скрытого слоя wiJt i=0,...,g, j=l,...,h, и выходного W{, t-0, ...,h слоёв.

Функционал I вычисляется в зависимости от типа СУ. Для следящей СУ он рассчитывается как:

(12)

(=1 *=0

Для решения задачи с помощью ГА выберем w в качестве вектора проектирования, а функционал 7 в качестве целевой функции. Алгоритм синтеза СУ коротко выглядит так: производится синтез СУ из вектора проектирования каждой особи, строится набор реакций на набор тренировочных шаблонов, оценивается значение функционала I.

В случае синтеза адаптивной СУ с ИНС, обучаемой в режиме on-line, необходима модернизация стандартных градиентных алгоритмов обратного распространения ошибки, поскольку они не обеспечивают требуемой динамической устойчивости. В работе были рассмотрены различные варианты решения этой проблемы. По результатам был выбран принцип построения ИНС с динамическим алгоритмом обучения.

В структуру ИНС включается алгоритм настройки векторов w("(i)|M л. Критерий обучения принимается либо в виде интегрального функционала:

¿бИ"-,!»)), (13)

JV0 Ятк-N,

где N0 - размер сглаживающей выборки, либо в виде локального функционала Q(<r(w,m)) мгновенной ошибки a(w,m). В обоих случаях функционал Q(cr(w, /и)) принимается в квадратичной форме:

Q{o{w,m))^<f(w,m)o(w,m). (14)

Критерий (13) удовлетворяет стандартным условиям, принятым в задачах оптимизации СУ. Цели обучения и управления одновременно достигаются при некоторых значениях w(", для которых с момента времени t-t функционалы J(w) или Q(<j(w, т)) достигают минимума по

Рассматриваемая ИНС имеет архитектуру Л, выход которой дШ _ s«) есть управляющее воздействие объекта управления:

(15)

Тогда поведение ИНС описывается дифференциальным уравнением:

^ = , • (16)

ах м„ л,

1»>•

Уравнение (16) определяет динамику обобщённого настраиваемого объекта по входу r(t) как в обученном состояния ИНС, когда настройкой весовых коэффициентов wU) достигается min j(w)=j' или min Q(w)=Q'

и управление u(t)—> u(t), так и в процессе обучения ИНС в соответствие с алгоритмом обратного распространения ошибки.

Алгоритм обучения многослойной ИНС в структуре динамического обобщённого настраиваемого объекта для моментов t=kAt выглядит так:

+

1

эи><" А 8q

алгоритм (17) все ненулевые элементы матрицы могут быть

Учитывая особенности выбора матрицы Г, при её подстановке в

М)

заменены единичными.

Четвёртая глава посвящена исследованию применения динамических ИНС в задачах САПР и разработке методов их решения с

помощью ИНС. К таким задачам относятся оптимизационные и прогностические задачи.

Для решения оптимизационной задачи предложено использование динамической ИНС Хопфилда. Она описывается системой дифференциальных уравнений:

Л " (18)

где и, - внутреннее состояние нейронов, г> - постоянная времени нейронов ИНС, Щ) - вектор параметров состояния ИНС, Г =/7у матрица синапсов, / -вектор смещений.

Энергетическая функция такой сети в общем виде выглядит следующим образом:

= (19)

2

В ряде случаев оправдано применение не чистых динамических ИНС Хопфилда, а динамико-статических, в которых динамическими является только часть нейронов, а остальные не зависят в явном виде от времени. Такие ИНС обладают более общей структурой и более широкими возможностями при решении оптимизационных задач.

Математическая модель динамико-статической ИНС Хопфилда представляется системой дифференциальных и алгебраических уравнений следующего вида:

¿11 и " »

Л г< (20)

¡•А М

где Ук - параметр состояния статического нейрона, К/ = -

нелинейная активационная функция статических нейронов, 1° и 1*к -вектора внешних смещений динамических и статических нейронов соответственно.

Энергетическая функция такой ИНС будет определяться следующим выражением:

I м ¡-\ 1=1 ,.1 Т1 о (»1

где в{У)~\Г{у)с1у.

о

Методика синтеза ИНС для решения оптимизационных задач базируется на свойстве стабилизации в состоянии, соответствующем её минимуму. Следовательно, ИНС можно рассматривать как инструмент решения задачи, состоящей в определении точки покоя сети:

Г=агвшт{Е(К,7\/)}, (22)

Сравнивая задачу (22) с общей задачей математического программирования:

й(х)*0,/ = 1,...,т;, (23)

можно определить основные требования, которым должна удовлетворять ИНС для того, чтобы процесс минимизации её энергии однозначно соответствовал решению оптимизационной задачи.

Основные этапы методики определим так:

1. Интерпретация поставленной оптимизационной задачи в терминах и понятиях аппарата ИНС;

2. Синтез энергетической функции ИНС;

3. Отыскание искомых параметров ИНС.

Этап интерпретации оптимизационной задачи в терминах аппарата ИНС можно разделить на три основные процедуры.

Первая процедура - нейросетевая интерпретация вектора параметров оптимизационной задачи, то есть определение взаимно-однозначного отображения к, ставящего в соответствие вектору параметров исходной задачи х вектор состояния ИНС V:

х—^У. (24)

Вторая процедура заключается в нейросетевой интерпретации ограничений исходной оптимизационной задачи. Иными словами, требуется определить такое отображение Л, которое каждой из функций ограничений ср,{х) и заданных на пространстве параметров

исходной задачи, ставит в соответствие функции-ограничения <р?{У) и

заданные на пространстве состояний ИНС М:

1=\,...,т-] = \,...,р. (25)

При этом для любого состояния сети V е М, удовлетворяющего ограничениям <р"(к) и у/"(У), соответствующий ему вектор параметров

исходной задачи х = А~,(у) удовлетворяет ограничениям ф^х) и у/^х).

Третья процедура состоит в нейросетевой интерпретации оптимизируемой функции, то есть в определении отображения //:

(26)

такого, что любому состоянию ИНС

Г=агёпт{Г(у)} (27)

соответствует вектор параметров исходной задачи х' = А~'(У'), удовлетворяющий условию

х=агё1шп{£>(х)}. (28)

На втором этапе проектирования оптимизирующей ИНС необходимо синтезировать энергетическую функцию. Построим на пространстве состояний ИНС выпуклую скалярную функцию

Ет(У):М -¥ Л1, (29)

такую что для любого состояния ИНС, соответствующего минимуму этой функции

У'=агётт{Е°(У)} (30)

выполняются ограничения:

Г^(К)>0,; = 1.....т

КИ=о,;=1.....р (31)

и минимизируется функция стоимости (27).

Это спроектированная энергетическая функция. Представим эту функцию в виде:

Е<°>(У)= ±Е?{Г)+ ± £?>(У)+ Е?(У), (32)

-I >1

где - слагаемое, отвечающее за минимизацию целевой

функции, ^Е'^^У) и - слагаемые, отвечающие за выполнение

/-1 /-1 '

ограничений исходной задачи.

Третий этап состоит в определении искомых параметров ИНС. Для того, чтобы ИНС в процессе собственной динамики осуществляла решение поставленной задачи (23), необходимо обеспечить равенство её энергетической функции Е(У,Т,1), заданной выражением (19), и энергетической функции Ё0)(У), сконструированной в соответствие с условиями решаемой задачи. Искомые компоненты матрицы синаптических коэффициентов Т и вектора внешних смещений / находятся при решении этого соотношения.

В ходе исследования решения прогностической задачи было установлено, что использование ИНС в системах прогнозирования обусловлено следующими их свойствами: способностью ИНС осуществлять многопараметрический прогноз, оперативностью построения прогноза, нечувствительностью к недостатку априорной информации, возможностью обработки данных, представленных в разнотипных шкалах, отсутствием определяющих ограничений на функцию распределения данных, способностью решать слабо формализованные задачи, голографичностью, возможностью работы в случае, если число объектов достаточно мало и число измеренных признаков превышает число объектов, простотой получения результата без явной привязки к конкретной проблемной области, способностью к дообучению, возможностью прогнозирования параметрических выбросов, скачков и событий, не наблюдавшихся ранее в обучающей выборке.

Алгоритм вывода прогнозных утверждений с использованием функции выработки прототипа динамической ИНС выглядит следующим образом:

1. Формализация обучающей выборки по данным предварительных исследований объекта. Выбор объектов, информация о поведении которых включается в обучающую выборку, осуществляется на основании заданной степени компактности расположения наблюдаемых ситуаций Рк = (z'k,Xt,Kt, Y"'\k = \,...,N в пространстве их признаков;

2. Формирование архитектуры ИНС при условии соблюдения условия N>0,15г, и эмпирическое задание активационной функции;

3. Формирование синаптической карты ИНС {и^} по

сформированной серии входных образов:

%=í>»;. (зз) ■

4-1

4. Начальная активизация нейронов прогнозирующей ИНС входным образом полученным на начальном этапе применения технологического объекта по целевому назначению (протокол Q = (í2t, k ~ 1,..., М)) и не входящим в состав протокола испытаний R;

5. Получение прогноза путём итерационного вычисления выходных сигналов ИНС:

?> + 1) = /(|>,('К ~Ь;) (34)

до тех пор, пока сеть не достиг нет локального минимума по энергии:

min E = E(Z\X\K\Y"). (35)

В пятой главе рассмотрена практическая реализация комплекса методов и алгоритмов АП МО обеспечения САПОМ в форме САПР МО САПОМ.

В рамках такой САПР производится АП нейросетевых моделей ТП на основании критериев скорости и точности по обучению и обобщению. Реализованные методы позволяют отбирать для конкретного случая алгоритм обучения ИНС, обеспечивающий наилучшие показатели качества модели. Спроектированные модели в последствие могут быть -

использованы для проектирования регуляторов СУ ТП ОМ.

Общий вид функциональной структуры САПР МО САПОМ приведён на рис. 1. В рамках укрупнённого подхода к проектированию в такой системе следует выделить к разработке следующие функциональные блоки: систему сбора исходных данных, базу данных (БД), базу знаний (БЗ), диалоговую систему, пакет прикладных протрамм (111111) САПР.

Технологические контроллеры Датчики

Система сбора исходных данных представляет собой комплекс мероприятий и аппаратно-программных средств, предназначенный для формирования выборок технологических параметров тех реальных объектов, нейросетевые модели которых планируется строить с помощью разрабатываемой САПР. Исходным пунктом сбора этой информации служат датчики параметров ТП. При применении систем автоматизации на производстве это данные, собираемые с промышленных компьютеров и технологических контроллеров.

БД САПР МО САПОМ предназначена для хранения данных, имеющих отношение к проектированию. Со структурной точки зрения, БД делится на два участка: участок хранения входных данных и участок хранения результатов.

Участок хранения входных данных предназначен для хранения выборок технологических параметров объектов автоматизации, предназначенных к применению в рамках нейросетевых средств решения задач АП МО. Из этих выборок формируются тренировочные и тестовые наборы для обучения соответствующих ИНС.

Участок хранения результатов служит для создания БД, которые описывают результаты имитационного моделирования при поомщи созданных в рамках САПР нейросетевых моделей. Это необходимо для непрерывного исследования практической эффективности выбранных методов и алгоритмов, их возможного расширения и модификации.

БЗ содержит в себе всю совокупность применяемых методов и алгоритмов проектирования и решения задач. В её состав входят наборы типовых архитектур ИНС, набор методов и алгоритмов синтеза ИНС, набор критериев качества и набор типовых решений (каталог математических моделей).

Диалоговая система САПР МО САПОМ предназначена для организации интерфейса с пользователем и разделяется на собственно интерфейсную часть и подсистему, обеспечивающую ввод исходных данных.

Программное обеспечение САПР состоит из управляющей подсистемы, СУБД и сервисных программ. Управляющая подсистема предназначена для организации процесса АП согласно информации, полученной в интерактивном режиме от пользователя, и выбранным им методам и алгоритмам работы. СУБД обеспечивает работу пользователя с каталогами БД и БЗ САПР. Сервисные программы предназначены для решения вспомогательных задач, непосредственно не связанных с процессом проектирования.

Диалоговая система САПР МО САПОМ предназначена для организации интерфейса с пользователем и разделяется на собственно интерфейсную часть и подсистему, обеспечивающую ввод исходных данных.

Описанный в работе подход к созданию САПР МО САПОМ позволяет достичь следующих результатов:

1. Оптимизации задачи подбора и формирования математического обеспечения за счёт применения единого нейросетевого подхода;

2. Интерактивности процесса проектирования ИНС как инструментального средства;

3. Гибкости в формировании доступного набора сетевых архитектур, методов, алгоритмов и критериев;

4. Расширяемости системы, понимаемой как способность к адаптивному расширению баз данных и знаний в зависимости от специфики решаемых на практике задач;

5. Построения имитационных моделей ТП и ТС производства ОМ, в отношении которых накоплены значительные банки данных технологических параметров;

6. Повышения эффективности АП математических моделей ТП и ТС производства ОМ, моделирование которых классическими методами затруднено либо невозможно;

7. Повышения эффективности решения сложных размерных задач оптимизации проектных решений (на размерных задачах достигнуто уменьшение поискового времени в 5-9 раз);

8. Возможности построения средств мониторинга и краткосрочного прогнозирования параметров ТП и ТС производства ОМ.

В заключении приведены основные результаты работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В ходе работы над диссертацией получены следующие результаты.

1. Обоснован единый (нейросетевой) подход к проектированию МО САПОМ;

2. Разработана САПР МО САПОМ на основе единого нейросетевого подхода к проектированию;

3. Выделены и исследованы алгоритмы, используемые в методах решения задач САПР МО САПОМ.

4. Разработана методика решения задачи идентификации, применяемая в разработанной САПР МО САПОМ

5. Разработана методика решения задача синтеза СУ, применяемая в разработанной САПР МО САПОМ.

6. Разработана методика решения задачи оптимизации, применяемая в разработанной САПР МО САПОМ

7. Разработана методика решения задачи прогнозирования, применяемая в разработанной САПР МО САПОМ.

Основные результаты диссертации опубликованы в следующих работах:

1. Богданов К.В. К применению нейросетевых алгоритмов при автоматизации технологических процессов оптического производства / В сб. «Диагностика и функциональный контроль качества оптических материалов». - СПб.: СПбГУ ИТМО, 2004. - С. 230-233.

2. Богданов К.В. Оптимизация проектных решений в САПР на основе на основе нейросетевых алгоритмов. / В сб. «Вестник конференции молодых учёных СПбГУ ИТМО. Сборник научных трудов. Т.1.» - СПб.: СПбГУ ИТМО, 2004. - С.225-228.

3. Богданов К.В. Проектирование математического обеспечения САПР систем автоматизации производства оптических материалов на основе нейросетевых компонентов. / В сб. «Вестник конференции молодых учёных СПбГУ ИТМО. Сборник научных трудов. Т. 1.» - СПб. : СПбГУ ИТМО, 2004. - С.229-232.

4. Богданов К.В., Коробейников А.Г., Троников И.Б., Гатчин И.Ю. Адаптивное управление технологическими системами на основе нейросетевых алгоритмов. / В сб. «Труды международных научно-технических конференций «Интеллектуальные системы» (ШЕЕ AIS'04) и «Интеллектуальные САПР» (CAD-2004)». - М.: Изд-во физико-математической литературы, 2004. - С.347-351.

5. Богданов К.В., Шалобаев Е.В., Каменева С.Ю., Гречихин C.B.. Самообучение в САПР на базе нейросетевых алгоритмов. / В сб. «Труды международных научно-технических конференций «Интеллектуальные системы» (IEEE AIS'04) и «Интеллектуальные САПР» (CAD-2004)». - М.: Изд-во физико-математической литературы, 2004. - С.352-354.

6. Богданов К.В. Нейросетевые алгоритмы в задачах автоматизации проектирования / В сб. «Научно-технический вестник СПбГУ ИТМО. Выпуск 14», - СПб.: СПбГУ ИТМО, 2004. - С. 307-311

7. Отчёт по НИР 20152 «Интегрированная система автоматизированного производства оптических материалов». № Гос. Регистрации 012.00 306705, СПб.: СПбГУ ИТМО, 2004,104 с. Науч.рук. Гатчин Ю.А., Коробейников А.Г., Ткалич B.JL, Богданов К.В. и др.

Тиражирование и брошюровка выполнены в Центре «Университетские телекоммуникации ». Санкт-Петербург, Саблинская ул., 14. Тел. (812)233-46-69

Тираж 100 экз.

»-2772

РНБ Русский фонд

2006-4 21225

t

\

Введение

Глава 1. Проблемы синтеза МО САПОМ

1.1. Определение состава сложных задач при проектировании МО САПОМ

1.2. Анализ особенностей решения идентификационных задач при проектировании САПОМ

1.3. Анализ особенностей решения задач синтеза систем автоматизированного управления при проектировании САПОМ

1.4. Анализ особенностей решения оптимизационных задач при проектировании САПОМ

1.5. Анализ особенностей решения задач прогнозирования при проектировании САПОМ

Глава 2. Искусственные нейронные сети как аппарат решения задач АП МО САПОМ

2.1. Анализ эволюции представлений об искусственных нейронных сетях

2.2. Принцип действия биологического нейрона

2.3. Построение модели искусственного нейрона

2.4. Процедура выбора активационной функции в модели искусственного нейрона

2.5. Классификация ИНС

2.6. Анализ методов и алгоритмов обучения ИНС

2.6.1. Формальная постановка задачи обучения ИНС

2.6.2. Анализ методов и алгоритмов обучения

ИНС «с учителем»

2.6.3. Анализ методов и алгоритмов обучения

ИНС «без учителя»

2.7. Основные свойства ИНС

Глава 3. Применение статических ИНС в задачах

АЛ МО САПОМ

3.1 Исследование применения статических ИНС в задачах идентификации

3.1.1. Общая формулировка идентификационной задачи в нейросетевом базисе

3.1.2. Критерии качества проектируемой идентификационной модели на основе ИНС

3.1.3. Разработка методики синтеза идентификационной модели на основе ИНС РБФ с помощью генетического алгоритма

3.2. Исследование применения статических ИНС в задачах синтеза систем управления

3.2.1. Анализ использования ИНС в задачах управления

3.2.2. Методы обучения ИНС нейросетевых систем управления

3.2.3. Разработка методики синтеза контроллера нейросетевой системы управления, обучаемой в режиме off-line, на основе генетического алгоритма —

3.2.4. Разработка методики синтеза контроллера адаптивной нейросетевой системы управления, обучаемой в режиме on-line

Н> Глава 4. Применение динамических ИНС в задачах

АП МО САПОМ

4.1. Анализ применения динамических ИНС в решении оптимизационных задач

4.1.1. Анализ особенностей ИНС Хопфилда как средства решения оптимизационных задач

4.1.2. Разработка методики синтеза ИНС Хопфилда для оптимизационной задачи

4.1.3. Показатели качества решения оптимизационных задач с помощью ИНС Хопфилда

4.1.4. Разработка методики решения оптимизационной задачи с использованием динамической

ИНС Хопфилда

4.1.5. Разработка методики решения оптимизационной задачи с помощью динамико-статической ИНС

4.2. Анализ применения динамических ИНС в задачах прогнозирования параметров технологических систем

4.2.1. Анализ особенностей применения ИНС в прогнозных задачах

4.2.2. Разработка математической модели процесса прогнозирования состояния технологической системы с помощью ИНСу» 4.2.3. Разработка алгоритма прогнозирования технического состояния объекта с помощью динамической ИНС Хопфилда

Глава 5. Разработка САПР МО САПОМ

5.1. Разработка концепции и функциональной спецификации САПР МО САПОМ

5.2. Разработка методики решения идентификационной задачи с помощью САПР МО САПОМ

5.3. Разработка методики решения задачи синтеза контроллера системы управления с помощью

САПР МО САПОМ

5.4. Автоматизация проектирования математических моделей ТП производства ОМ с помощью ИНС

5.5. Разработка методики решения оптимизационной задачи с помощью САПР МО САПОМ

5.6. Разработка методики решения задачи прогнозирования с помощью САПР МО САПОМ

Производство оптических материалов (ОМ) включает в себя сложные с точки зрения анализа и управления технологические объекты. Автоматизация производства ОМ, как неотъемлемая в современных условиях часть мероприятий по повышению качества готовой продукции, требует специального математического обеспечения (МО) систем автоматизации производства ОМ (САПОМ) и эффективных методов его автоматизированного проектирования (АП).

Это обусловлено тем, что большинство традиционных подходов к математическому моделированию технологических процессов (ТП) производства ОМ не предоставляют разработчику требуемой адекватности и точности воспроизведения параметров. В основе ТП производства современных ОМ лежат фазовые превращения вещества и сложные физико-химические преобразования под воздействием многочисленных факторов, что затрудняет их аналитическое описание. ТП проводятся на протяжении длительного (до нескольких суток) времени и всё это время требуется стабилизация параметров установок с достаточно высокой точностью и компенсация случайных возмущений, что невозможно без адекватного математического моделирования.

Такое положение вещей вызывает к жизни два требования. Во-первых, это требование разработки достаточно точных математических моделей, чьи алгоритмы построения смогут решить проблему неопределённостей аналитического моделирования ТП производства ОМ. Во-вторых, возрастает потребность в автоматизации проектирования МО САПОМ с целью сокращения времени на разработку и внедрение САПОМ и оптимизации разрабатываемого МО.

В рамках настоящей диссертационной работы предлагается решение задач АП МО САПОМ с использованием технологий искусственных нейронных сетей (ИНС). Как показано далее в диссертационной работе, такой подход позволяет добиться следующих позитивных эффектов в проектировании МО САПОМ:

1. Построения функциональных математических моделей с наперёд заданной точностью без необходимости создания аналитической модели;

2. Разбиения процесса проектирования ИНС как МО САПОМ на отдельные этапы, связанные с выбором архитектурных и параметрических решений, что позволяет, с одной стороны, создать гибкую процедуру проектирования, а с другой — автоматизировать сам процесс проектирования путём использования на каждом этапе критериев и алгоритмов оптимального проектирования;

3. Универсальности МО на базе ИНС как алгоритмического средства, позволяющего решать самые различные задачи, актуальные для построения САПОМ.

Это делает возможным решение актуальной задачи - построения САПР МО САПОМ на основе предложенного подхода к АП МО САПОМ с использованием нейросетевых методов и алгоритмов.

Цель и задачи работы. Целью диссертации, в соответствие с вышеизложенным, является разработка, обобщение и исследование методов и алгоритмов АП МО САПОМ на основании единого нейросетевого подхода.

Достижение поставленной цели потребовало решения задач в следующих направлениях:

- анализ основных проблем проектирования МО САПОМ, связанных с особенностями ТП производства ОМ как объектов автоматизации, а также формулировка актуальных задач АП МО САПОМ;

- анализ архитектур ИНС, выбор и исследование методов и алгоритмов формирования ИНС, предназначенных для решения задач АП МО САПОМ;

- разработка методики решения задачи идентификации на основе применения ИНС;

- разработка методики решения задачи синтеза СУ на основе ИНС;

- разработка методики решения оптимизационной задачи на основе

ИНС;

- разработка методики решения задачи прогнозирования параметров ТП и ТС на основе ИНС;

- разработка концептуальной и функциональной структуры САПР МО САПОМ, построенной на использовании нейросетевого алгоритмического подхода к решению задач АП МО САПОМ.

Методы исследования. Основными методами решения поставленных задач являлись теория и методы САПР, принципы системного подхода, теория ИНС, аппарат линейной алгебры, дифференциальное исчисление, теория алгоритмов, теория идентификации, теория управления.

Положения, выносимые на защиту. В соответствие с целями и задачами на защиту выносятся следующие положения:

1. Методы АП МО на базе ИНС;

2. Методика решения задач идентификации на основе применения

ИНС;

3. Методика решения задач синтеза СУ на основе ИНС;

4. Методика решения оптимизационной задачи на основе ИНС;

5. Методика решения задачи прогнозирования параметров ТС на основе ИНС;

6. Структура САПР МО САПОМ.

Научная новизна. Научная новизна определяется тем, что в ходе работы выполнено обоснование и практическое исследование возможности построения САПР МО САПОМ на едином алгоритмическом аппарате теории ИНС. В ходе работы были разработаны нейросетевые методы и алгоритмы решения задач АП МО САПОМ - идентификации, синтеза СУ, оптимизации и прогнозирования - применяемые в рамках разработанной САПР.

Практическая значимость. Практическая значимость работы заключается в следующем:

1. В ходе работы была разработана САПР МО САПОМ на основе аппарата ИНС - гибкое универсальное средство решения задач АП МО САПОМ;

2. Разработаны методы, алгоритмы и технологии АП МО, имеющие практическое значение;

3. Применение разработанных в настоящем исследовании методов и алгоритмов позволяет добиться повышения эффективности решения задач АП МО САПОМ, в том числе сократить сроки проектирования МО;

4. Полученные результаты использовались в курсах лекций по основам САПР для специальности 220500 «Проектирование и технология ЭВС», что позволило повысить качество подготовки специалистов по автоматизации проектирования.

Внедрение и реализация. Практически результаты работы используются в промышленности и научно-исследовательских организациях, что подтверждено соответствующими актами о внедрении.

В число организаций, внедривших и использующих результаты работы, входят НИИТИОМ ВНЦ «ГОИ им. С.И. Вавилова», СПбФ ИЗМИР РАН и СПбГУ ИТМО.

Апробация работы. Основные результаты докладывались на научных семинарах и конференциях. В их числе:

- XIX Международная конференция «Интеллектуальные САПР -2004» (3-10 сентября 2004 г., Геленджик);

- XXXIII научная и учебно-методическая конференция СПбГУ ИТМО (3-6 февраля 2004 г., СПб.);

- I конференция молодых учёных СПбГУ ИТМО (19-22 февраля 2004 г., СПб.);

- XXXIV научная и учебно-методическая конференция СПбГУ ИТМО, посвященная 100-летию первого выпуска специалистов ВУЗа (2-4 февраля 2005 г., СПб.).

Публикации. Основные результаты диссертации отражены в 6 научных работах и 1 научно-техническом отчёте.

Структура работы. Диссертация состоит из введения, 5 глав, заключения и списка литературы из 122 наименований, изложена на 178 страницах машинописного текста, иллюстрированного 28 рисунками.

Заключение

Суммируя результаты, полученные в ходе работе, можно сказать, что цель диссертации, сформулированная во введении, а именно разработка, обобщение и исследование методов и алгоритмов АП МО САПОМ на основании единого нейросетевого подхода, в основном достигнута.

Диссертация охватывает все основные аспекты проблемы автоматизации проектирования МО САПОМ и пути их решения с помощью разработанного нейросетевого подхода. В работе исследованы особенности решения задач АП МО САПОМ с помощью аппарата теории нейронных сетей, предложены методы и алгоритмы синтеза структуры и настройки параметров ИНС, решающих выделенный в ходе анализа проблематики набор задач МО САПОМ, разработаны методы и алгоритмы АП МО САПОМ для каждой из соответствующих задач, разработана структура САПР МО САПОМ, созданы методы организации АП МО САПОМ на базе ИНС в рамках такой САПР.

Применение единого алгоритмического подхода к проектированию МО САПОМ, основанного на аппарате теории ИНС, позволило предложить методы решения ряда актуальных задач, стоящих перед проектировщиками МО САПОМ, и не подлежащие решению классическими средствами (либо трудно решаемые).

Разработаны методики идентификации и автоматизированного проектирования математических моделей ТП производства ОМ на основе ИНС, методики синтеза контроллеров СУ, методика решения оптимизационных задач, методика решения задач прогнозирования.

Проведено исследование разработанных методик, показана эффективность предложенного подхода, приведено практическое применение разработанных методов и алгоритмов.

Разработана САПР МО САПОМ, в основу которой положен единый нейросетевой подход.

Результаты диссертационной работы позволяют достичь:

1. Оптимизации задачи подбора и формирования математического обеспечения за счёт применения единого нейросетевого подхода;

2. Интерактивности процесса проектирования ИНС как инструментального средства;

3. Гибкости в формировании доступного набора сетевых архитектур, методов, алгоритмов и критериев;

4. Расширяемости системы, понимаемой как способность к адаптивному расширению баз данных и знаний в зависимости от специфики решаемых на практике задач;

5. Построения имитационных моделей ТП и ТС производства ОМ, в отношении которых накоплены значительные банки данных технологических параметров;

6. Повышения эффективности АП математических моделей ТП и ТС производства ОМ, моделирование которых классическими методами затруднено либо невозможно;

7. Повышения эффективности решения сложных размерных задач оптимизации проектных решений (на размерных задачах достигнуто уменьшение поискового времени в 5-9 раз);

8. Возможности построения средств мониторинга и краткосрочного прогнозирования параметров ТП и ТС производства ОМ.

Таким образом, полученные в диссертации результаты позволяют осуществить решение актуальной задачи, имеющей важное прикладное значение.

173

1. Богданов К.В. К применению нейросетевых алгоритмов при автоматизации технологических процессов оптического производства / В сб. «Диагностика и функциональный контроль качества оптических материалов». - СПб.: СПбГУ ИТМО, 2004.

2. Богданов К.В. Нейросетевые алгоритмы в задачах автоматизации проектирования / В сб. «Научно-технический вестник СПбГУ ИТМО. Выпуск 14», СПб.: СПбГУ ИТМО, 2004.

3. Гатчин Ю.А., Коробейников А.Г. Проектирование интегрированных автоматизированных технологических комплексов. СПб: СПбГИТМО(ТУ), 2000.

4. Тараканов К.В., Овчаров JI.A., Тарышкин А.Н. Аналитические методы исследования систем. -М.: Советское радио, 1974.

5. Hvan Dijk et al. Crystal diameter control in Crohralski growth, //Acta Electronica, 1974, v. 17, №1.

6. Лейбович B.C., Семенов B.B. АСУ ТП в производстве кристаллов кремния.//Цветные металлы, 1978, № 1.

7. Bardsley W., Cockayne В., Green G.W. Developments in the weighing method of automatic cristal pulling. //Journal of Crystal Growth, 1974, № 24/25.

8. Власенко A.B., Виноградов С.А, Коробейников А.Г. Выбор и обоснование математической модели автоматизированного процесса выращивания оптических монокристаллов. //Оптико-механическая промышленность, № 6, 1988.

9. Гатчин Ю.А., Петухов Г.А., Лунев А.А. Система автоматизированного управления процессом роста монокристаллов. //В кн. «Проектирование и производство микроэлектронных устройств». -Фрунзе, 1983.

10. Гатчин Ю.А. Разработка системы автоматизированного управления процессом выращивания кристаллов. //В кн. «Пути создания ИЦСС». — Л.,1983.

11. Антонов В.Н., Терехов В.А., Тюкин И.Ю. Адаптивное управление в технических системах. СПб: СПбГУ, 2001.

12. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. М.: Высшая школа, 2002.

13. Базы данных. Интеллектуальная обработка информации. /Корнеев В.В., Гареев А.Ф., Васютин С.В., Райх В.В. М.: Нолидж, 2000.

14. Калинин В.Н., Резников Б.А., Варакин Е.И. Теория систем и оптимального управления. Понятия, модели, методы и алгоритмы оптимального выбора. М.: МО СССР, 1987.

15. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и техника, 2003.

16. Зыков А.А. Основы теории графов. М.: Наука, 1987.

17. Майника Э. Алгоритмы оптимизации на сетях и графах. М.: Мир, 1981.

18. Свами М., Тхуласираман К. Графы, сети и алгоритмы. М.: Мир,1984.

19. Гэри М., Джонсон Д. Вычислительные машины и трудно решаемые задачи. -М.: Мир, 1982.

20. Пападимитриу X., Стиглиц К. Комбинаторная оптимизация. Алгоритмы и сложность. — М.: Мир, 1985.

21. Ивахненко А.Г., Мюллер И.А. Самоорганизация прогнозирующих моделей. Киев: Техшка, 1985.

22. Прохорович В.Е. Прогнозирование состояния сложных технических комплексов. СПб.: Наука, 1999.

23. Дмитриев А.К., Юсупов P.M. Идентификация и техническая диагностика. -М.: МО СССР, 1987.

24. Маккаллок У.С., Питтс У. Логическое исчисление идей, относящихся к нервной деятельности. Автоматы. / Пер. с англ. М.: Иностранная литература, 1956.

25. Pitts W., Mcculloch W.W. How we know universals. //Bulletin of Mathematical Biophysics 9:127-47, 1947.

26. Hebb D.O. Organization of behavior. New York: Science Editions, 1949.

27. Ashby W.R. Design for a brain. NY, Willey Press, 1952.

28. Rochecter N., Holland J.H., Haibt L.H., Duda W.L. Tests on a cell assembly theory of the action of the brain, using a large digital computer. // IRE Transaction on Information Theory, № IT-2, 1956.

29. Minsky M.L. Theory of neural-analog reinforcement systems and it's application to the brain-model problem: Ph.D. Thesis. Princeton, NJ: Princeton University, 1954.

30. Uttley A.M. Information transmission in the nervous system. London: Academic Press, 1979.

31. Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга. М.: Мир, 1965.

32. Widrow В. The speed of adaptation in adaptive control system, paper 1933-61. //American Rocket Society. Guidance Control and Navigation Conference, 1961.

33. Widrow B. Adaptive sampled-data systems, a statistical theory of adaptation. //IRE WE SCON Convention Record, part 4. — New York: Institute of Radio Engineers, 1959.

34. Widrow В., Angell J.B. Reliable, trainable networks for computing and control. //Aerospace Engineering 21:78-123, 1962.

35. Widrow В., Hoff M.E. Adaptive switching circuits. //IRE WESCON Convention Record, part 4, pp. 96-104. New York: Institute of Radio Engineers, 1960.

36. Минский M., Пейперт С. Перцептроны. M.: Мир, 1971.

37. Уоссермен Ф., Нейрокомпьютерная техника: теория и практика. -М., Мир, 1992.

38. Werbos P.J. Beyond regression: New tools for prediction and analysis in the behavioral sciences. Masters thesis. — Harward University, 1974.

39. Fukushima K. Cognitron: a self-organizing multilayered neural network. //Biological Cybernetics, 20:121-136, 1975.

40. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. //Proceedings of the National Academy of Science 79:2554-58,1982.

41. Hopfield J.J., Tank D.W. Neural computation of decisions in optimization problems. //Biological Cybernetics 52:141-52, 1985.

42. Hopfield J.J., Tank D.W. Computing with neural circuits: A model. //Science 233:625-33, 1986.

43. Tank D.W., Hopfield J.J. Simple «neural» optimization networks: An A/D converter, signal decision circuit, and a linear programming circuit. //Circuits and Systems IEEE Transactions on CAS-33(5):533-41, 1986.

44. Kohonen T. Self-organization and associative memory. New-York, Springer-Verlag, 1988.

45. Kohonen Т. Self-organized formation of topologically correct feature maps // Biological Cybernetics. 1982. № 43. P. 59-69.

46. Carpenter G.A., Grossberg S. Pattern Recognition by Self-Organizing Neural Networks, Cambribge, MA: MIT Press, 1991.

47. Carpenter G.A., Grossberg S. Normal and amnesia learning, recognition, and memory by a neural model of cortico-hippocampal interactions / In: Trends in Neuroscience, 16, pp.131-137, 1993.

48. Rumelhart D.E., Hinton G.E., Williams RJ. Learning internal reprentations by error propagation, fin: Parallel distributed processing, vol. 1, pp. 318-62. Cambridge, MA: MIT Press, 1986.

49. Parker D.B. Learning logic. Invention Report S81-64, File 1, Office of Technology Licensing, Stanford University. Stanford, CA, 1982.

50. LeCun, Y. Une procedure d'apprentissage pour reseau a seuil assymetrique. / In: Cognitiva-85, pp.599-604, 1985.

51. Broommhead D.S., Lowe D. Multivariable functional interpolation and adaptive networks. // Complex Systems, №2/1988, pp. 321-355.

52. Ивахненко А.Г. Персептроны. — Киев: Наукова думка, 1974.

53. Ивахненко А.Г. Самообучающиеся системы распознавания и автоматического регулирования. — Киев: Техника, 1969.

54. Фролов А.А., Муравьев И.П. Нейронные модели ассоциативной памяти. -М.: Наука, 1987.

55. Фролов А.А., Муравьев И.П. Информационные характеристики нейронных сетей. М.: Наука, 1988.

56. Барцев С.И., Охонин В.А. Адаптивные сети обработки информации. Красноярск: ИФ СО АН СССР, 1986.

57. Барцев С.И., Охонин В.А., Гилев С.Е. Принцип двойственности в организации адаптивных сетей обработки информации. / В кн.: Динамика химических и биологических систем. Новосибирск: Наука, 1989.

58. Горбань А.Н. Обучение нейронных сетей. М.: изд. USSR-USA JV "ParaGraph", 1990.

59. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996.

60. Дунин-Барковский B.JL, Горбань А.Н., Кирдин А.Н. и др. Нейроинформатика. Новосибирск: Наука, 1998.

61. Cohen М., Grossberg S. Absolute stability of global formation and parallel memory storage by competitive neural networks. //IEEE Transactions on Systems, Man, and Cybernetics, 13, 815-826, 1983.

62. Park J., Sandberg I.W. Universal approximation using radial-based function network. //Neural computation, №3, 1991.

63. Handbook of intelligent control: neural, fuzzy and adaptive approaches. — NY: VanNostrand Reinhold, 1992.

64. Головко B.A. Нейроинтеллект: теория и применение. Брест, БПИ, 1999.

65. McLaren R.W., Mendel J.M. Reinforcement-learning control and pattern-recognition systems. / In: Adaptive, learning and pattern recognition systems: theory and application. (Mendel J.M. eds.)-NY: Academic Press, 1970.

66. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия - Телеком, 2003.

67. Sankar К. Pal, Sushimita Mitra. Multilayer perceptron, fuzzy sets and classification. //IEEE Transactions on Neural Networks, vol.3, №5/1992.

68. Вороновский Г.К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. — Харьков: Основа, 1997.

69. Haykin S. Neural networks: a comprehensive foundation. NY: McMillan, 1994.

70. Girosi F., Poggio T. Networks for approximation and learning. //Proceedings of the IEEE, 78(9): 1481-1497, 1990.

71. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных. //Доклады АН СССР, 1956. Т. 108, No. 2.

72. Арнольд В.И. О функциях трех переменных. //Доклады АН СССР, 1957. Т. 114, No. 4.

73. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного. //Доклады АН СССР, 1957. Т. 114, No. 5.

74. Cybenko G. Approximation by superposition of a sigmoidal function. //Mathematics of Control, Signals, and Systems, Vol. 2, 1989.

75. Hornik K., Stinchcombe M., White H. Multilayer feedforward networks are universal approximators. //Neural Networks. Vol. 2, 1989.

76. Kochenov D.A., Rossiev D.A. Approximations of functions of CA,B. class by neural-net predictors (architectures and results). //AMSE Transaction, Scientific Siberian, Vol. 6. Neurocomputing, Tassin, France: 1993.

77. Funahashi K. On the approximate realization of continuous^mappings by neural networks. //Neural networks, №2/1989.

78. Barron A.R. Neural net approximation //Proceedings of Seventh Yale Workshop on adaptive and learning systems. — New-Haven, CT: Yale University, 1991.

79. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления // В сер. «Нейрокомпьютеры и их применение», сб. под. ред. А.И. Галушкина. -М.: ИПРЖР, 2002.

80. Нейроинформатика и её приложения. // Материалы III Всероссийского семинара 6-8 октября 1995 г. Том 1. / Под ред. А.Н. Горбаня. Красноярск: КГТУ, 1995.

81. Barron A.R. Universal approximation bounds for superposition of a sigmoidal function. //IEEE Transaction on information theory, vol 39, 1993.

82. Hunt K.J., Sbarbaro D., Zbikowski R., Gawthrop P.J. Neural networks for control systems: A survey. //Automatica. 1992, vol.28, №6.

83. Терехов B.A. Динамические алгоритмы обучения многослойных нейронных сетей в системах управления. // Известия РАН, Серия «Теория и системы управления», 1996, №3.

84. Деревицкий Д.П., Фрадков A.JI. Прикладная теория дискретных адаптивных систем управления. М.: Наука, 1981

85. Фрадков A.JI. Адаптивное управление в сложных системах: беспоисковые методы. — М.: Наука, 1990.

86. Балухто А.Н. Нейросетевые системы обработки информации и их применение в космической технике. М.: СИП РИА, 2000.

87. Ефимов В.В. Нейроподобные сети в бортовых информационно-управляющих комплексах летательных аппаратов. СПб.: Изд-во ВИКА им. А.Ф. Можайского, 1996.

88. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применение в экономике и бизнесе. М., 1998.

89. Дунин-Барковский B.JI. Информационные процессы в нейронных структурах. — М.: Наука, 1978.

90. Гилмор Д.В. Автоматизированное приобретение знаний с помощью нейронных сетей. //Техническая кибернетика, 1994, №5.

91. Кохонен Т. Ассоциативная память. М.: Мир, 1982.

92. Кохонен Т. Ассоциативные запоминающие устройства. М.: Мир, 1982.

93. Ефимов Е.И. Проблемы перебора в искусственном интеллекте. // Техническая кибернетика, 1988, №2.

94. Толковый словарь по искусственному интеллекту. М.: Радио и связь, 1992.

95. Нейрокомпьютеры и интеллектуальные роботы. // Сб. под ред. Н.М. Амосова. — Киев: Наукова думка, 1991.

96. Системы параллельной обработки. /Под ред. Д.Ивенса. Пер с англ. — М.: Мир, 1985.

97. Амосов Н.М., Касаткин A.M., Касаткина JI.M. Нейроподобные сети в системах искусственного интеллекта. //В сб. «Нейроподобные сети и нейрокомпьютеры». Киев: ИКАН УССР, 1990.

98. Лисс А.А., Степанов М.В. Нейронные сети и нейрокомпьютеры. — СПб.: Изд-во СПбГЭТУ, 1997.

99. Веденов А.А., Ежов А.А., Левченко Е.Б. Архитектурные модели и функции нейронных ансамблей. // В сб. «Итоги науки и техники. Серия Физические и математические модели нейронных сетей» под ред. А.А. Веденова. Том 1.-М.: ВИНИТИ, 1990.

100. Ефимов В.В., Пугачёв С.В. Типовые модели нейронных сетей и основы их синтеза. //В сб. «Методы и алгоритмы исследования нейроподобных сетей. Вып.1 Динамические свойства нейронных сетей». -СПб.: Изд-во ВИКИ им. А.Ф. Можайского, 1992.

101. Малыхина Г.Ф. Измерение характеристик сложных объектов с использованием динамических нейронных сетей. //Нейрокомпьютеры, 2004, №7-8.

102. Назаров А.В. Алгоритм восстановления данных на основе нейронной сети Хопфилда с неограниченной функцией активации. //Нейрокомпьютеры, 2004, №5-6.

103. Веденов А.А. Моделирование элементов мышления. — М.: Наука, 1988.

104. Grossberg S. The adaptive brain. Amsterdam: North-Holland, 1987.

105. Abu-Mostafa Y.S., St. Jacques, J. Information capacity of the Hopfield model. //IEEE Transactions on Information Theory 31 (4):461-64, 1985.

106. Назаров A.B., Козырев Г.И. Использование ассоциативных свойств нейронной сети Хопфилда для прогнозной экстраполяции технического состояния космических аппаратов. //Тез. докл. VI Всероссийской конференции «Нейрокомпьютеры и их применение». М., 2000.

107. Рабинович М.И. Хаос и нейродинамика. //Известия ВУЗов. Радиофизика, т.З9, 1996.

108. Назаров А.В., Козырев Г.И., Шкляр С.В. Прогнозная модель параметров технического состояния космического аппарата на основе нейросетевой структуры «нейронная сеть прямого распротранения карта Кохонена»//Нейрокомпьютеры, 2001, №12.

109. Нейросетевая обработка сигналов в задачах диагностики газотурбинных авиадвигателей. /Адаменко В.А., Басов Ю.Ф., Дубровин В.И., Субботин С.А. В сб. «Доклады 3-й Международная Конференция DSPA-2000». СПб, 2000.

110. Дубровин В.И., Субботин С.А. Когнитивный анализ и отбор информативных признаков при решении задач неразрушающей диагностики лопаток ГТД. // Hoei матер1али i технологи в металурп1 та машинобудуванш, 2000, №2.

111. Дубровин В.И., Субботин С.А. Алгоритм нейросетевого отбора признаков // «Матер1али м1жнародноТ конференцп з автоматичногоуправлшня «Автоматика-2001», 10-14 вересня 2001 р.» Одесса: ОДПУ, 2001.

112. Сотник C.JI. Идентификация колебательного звена методом группового учета аргументов и искусственной нейронной сетью с генетическим алгоритмом обучения. — Днепродзержинск: Изд-во ДГТУ, 1995.

113. Богданов К.В. Оптимизация проектных решений в САПР на основе на основе нейросетевых алгоритмов. / В сб. «Вестник конференции молодых учёных СПбГУ ИТМО. Сборник научных трудов. Т.1.» СПб.: СПбГУ ИТМО, 2004.

114. Директор НИИТИОМ ВНЦ «ГОИ им С.И. Вавилова» / к.т.н.1. С// К.В. Дукельский20 » d<?j?aJpJL 2004 г.1. АКТо внедрении в НИИТИОМ ВНЦ ГОИ им С.И. Вавилова (Россия, Санкт-Петербург) результатов диссертационной работы БОГДАНОВА Константин Вадимовича

115. БОГДАНОВА Константин Вадимовича.с.н.с. СПбФ ИЗМИР АНк.физ.- мат.н.1. УТВЕРЖДАЮ

116. Ректор Санкт-Петербургского Государственного университета информационных технологий,механики и оптики ^T^J^Sjfy^* профессор1. Н. Васильев2005 г.1. АКТоб использовании результатов диссертационной работы БОГДАНОВА Константина Вадимовича

117. Настоящий акт составлен в том, что при подготовке и чтении лекций по дисциплинам «Экспертные системы и логическое программирование» и «Информационные технологии проектирования ЭВС» были использованы результаты диссертационной работы К.В. Богданова.

118. В учебном процессе используются разработанные К.В. Богдановым методы и алгоритмы автоматизированного проектирования математического обеспечения технологических процессов на " основе нейросетевого математического аппарата.

119. Использование результатов, полученных в диссертационной работе Богданова К.В., даёт возможность повысить качество подготовки специалистов по специальности 220500 «Проектирование и технология ЭВС».

120. Заведующий кафедрой проектированиякомпьютерных систем д.т.н., профессор1. Ю.А. Гатчин