автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Разработка математической модели "состав-свойства" технологического процесса варки оптического стекла

На правах рукописи

Родькин Сергей Владимирович

РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ МОДЕЛИ «СОСТАВ-СВОЙСТВА» ТЕХНОЛОГИЧЕСКОГО ПРОЦЕССА ВАРКИ ОПТИЧЕСКОГО СТЕКЛА

Специальность 05.13.18 - математическое моделирование, численные методы и комплексы п^оп^амм

Автореферат диссертации на соискание ученой степени кандидата технических наук

САРАНСК 2003

Работа выполнена на кафедре автоматизированных систем обработки информации и управления Мордовского государственного университета

им.Н.П.Огарева

Научный руководитель - кандидат технических наук, доцент

Федосин С.А.

Официальные оппоненты:

доктор технических наук, профессор Князьков B.C.

л

кандидат физико-математических наук, доцент Бояркин Д.И.

Ведущая организация - ВНИИС им. А.Н. Лодыгина,

г.Саранск

Защита диссертации состоится 19 ноября 2003г., в 15 час. 30 мин., на заседании диссертационного совета КМ 212.117.07 при Мордовском государственном университете имени Н.П. Огарева по адресу:

430000, г. Саранск, ул.Большевистская, 68.

С диссертацией можно ознакомиться в Научной библиотеке Мордовского государственного университета имени Н.П. Огарева.

Автореферат разослан 17 октября 2003 года.

Ученый секретарь

диссертационного совета

кандидат физико-математических наук

М. А. Борисов

О.оо?-А \Ш8

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В последнее время все большее внимание уделяется применению автоматизированных систем обработки данных на реальном производстве. Это связано, прежде всего, с тем, что современные технологические процессы требуют значительных материальных и временных затрат. Большое количество различных производств практически немыслимо без предварительного создания моделей технологических процессов.

Примером такого производства может служить варка стекла. Помимо большой конкуренции, сложившейся в данной области, существуют и другие проблемы, связанные, прежде всего, с неудовлетворительной проработкой технологии производства.

Недостаточно точно подобранные параметры технологического процесса, такие как состав шихты, температура и давление варки стекла, приводят к тому, что тонны не удовлетворяющего по выходным параметрам стекла подвергаются переплавке. Это в свою очередь приводит к простою оборудования и огромным убыткам. Кроме того, встречаются ситуации, когда неправильные параметры приводят к выходу из строя печи, что требует её перестройки и, следовательно, влечет за собой многомиллионные потери.

При решении этих проблем до последнего времени использовался, в основном, профессиональный опыт, накопленный специалистами. Очевидно, что данная практика губительна для производства. Поэтому единственным выходом из сложившейся ситуации может, по нашему мнению, стать внедрение на начальных этапах технологических процессов программных комплексов, позволяющих заранее смоделировать, «предугадать», «предсказать» ситуацию, которая может сложиться. Эти предсказания должны основываться на ранее полученных данных и обладать точностью, гибкостью настройки, наличием обратных связей.

Существующие пакеты обработки статистических данных не удовлетворяют конечного потребителя, во-первых, по стоимости затрат на внедрение, во-вторых, по сложности обучения персонала работе с этими пакетами. Следовательно, для реального производства необходимо создание программного продукта, удовлетворяющего предъявляемым требованиям качества, быстрого в освоении, позволяющего в кратчайшие сроки получать графические и иные представления технологических процессов.

При анализе статистических данных, полученных в результате некоторых производственных процессов, до недавнего времени использовались модели, основанные на построении и дальнейшем решении уравнений регрессии. У этого подхода есть ряд недостатков, отметим лишь два наиболее существенных: во-первых, регрессионный анализ не учитывает возможную неточность, неадекватность, ошибочность исходных данных, во-вторых, реально построенные модели линейны, создание же нелинейных моделей, которые, естественно, более точно представляют реальную физическую картину, приводит к такому усложнению уравнения регрессии и дальнейших методов его решения, что это становится невыгодным.

Наряду со стандартными подходами при анализе статистических данных все чаще применяются нейронные сети. Особенностью нейросетевых технологий является, во-первых, возможность работы с плохо заданными, неточными данными, во-вторых, нелинейность моделей, позволяющая пттгрлть п итпигпн и ни Т1ТЦ мптп по сравнению со стандартными методами. Кроме

сетей для решения различных задач является приоритетным направлением в связи с переходом компьютеров пятого поколения к новой архитектуре, основанной на элементах интеллектуального поведения систем обработки данных и устройств.

Неоспоримые преимущества нейросетевых алгоритмов перед стандартными и переход к компьютерам пятого поколения определяют актуальность темы диссертационной работы.

Целью работы является разработка моделей многокомпонентных технологических систем с использованием нейронных сетей, модификация алгоритма обратного распространения ошибки для ухода от зависания сети в локальных минимумах и сравнительный анализ предложенного алгоритма с уже имеющимися.

Решаемые задачи. В соответствии с указанной целью в работе поставлены и решены следующие задачи:

- разработка модели многокомпонентной технологической системы «состав-свойства» варки бариево-литиевого стекла;

- разработка модифицированного алгоритма обратного распространения ошибки для ухода от зависания сети в локальных минимумах;

- разработка методики устранения переполнения списка локальных минимумов в процессе работы алгоритма;

-создание программного комплекса для поддержки технологического процесса производства стекла и сравнительный анализ созданного программного комплекса с уже имеющимися.

Методы исследования основаны на теории численных методов, экспертных систем и искусственных нейронных сетей, регрессионного анализа, систем автоматизированного объектно-ориентированного программирования.

Научная новизна работы состоит в следующем:

- на базе теории искусственных нейронных сетей разработана методика проектирования многокомпонентных физико-химических технологических систем процесса варки оптического стекла, которая позволяет учитывать неточность, неадекватность, ошибочность исходных данных при их анализе;

- разработана математическая модель искусственной нейронной сети для физико-химической технологической системы варки оптического стекла и алгоритм обучения искусственной нейронной сети, позволяющий в процессе обучения уходить из ловушек, созданных локальными минимумами целевого функционала;

- разработана методика устранения переполнения списка локальных минимумов в процессе обучения искусственной нейронной сети, позволяющая находить оптимальные решения при использовании минимальных системных ресурсов;

Практическая ценность полученных в работе результатов заключается в следующем:

- выполнен анализ существующих алгоритмов обучения искусственных нейронных сетей, на базе которого обоснованы структуры и методы обучения нейронных сетей для моделирования функционирования многокомпонентных физико-химических технологических систем;

- предложена методика, позволяющая рассчитывать с большой долей уверенности конечные параметры стекла в зависимости от состава шихты, что особенно важно в целях уменьшения потерь предприятия, возникающих в результате применения некачественных компонентов при его производстве, когда это может привести к переплавке готового стекла, либо к выходу печи из строя;

- разработана методика реализации нейронных сетей с различными алгоритмами обучения в виде невизуальных объектно-ориентированных компонент, которая использована при создании программного комплекса для поддержки технологического процесса стекловаренного производства, используемого при прогнозировании выходных параметров стекла по имеющимся входным - составу шихты и условиям варки;

На защиту выносятся следующие положения:

1. Методика моделирования многокомпонентных технологических систем на основе новых моделей нейронных сетей, отличающихся от известных проблемно-ориентированной процедурой обучения

2. Методика устранения переполнения списка локальных минимумов в процессе обучения нейронной сети с применением новой модификации алгоритма обратного распространения ошибки.

I 3. Математическая модель искусственной нейронной сети для моделирования

многокомпонентных физико-химических технологических систем, которая в отличие от известных позволяет избежать появление проблемы локальных минимумов при ее обучении с использованием процедуры обратного распространения ошибки. I 4. Методика получения обратных зависимостей «свойства - состав» для лю-

бых компонентов модели, которая позволяет технологу, не прибегая к осуществлению дополнительных дорогостоящих экспериментальных варок, определять, каким образом необходимо изменить состав шихты для получения требуемых свойств стекла.

Личный вклад автора диссертации. В диссертации использованы результаты исследований по созданию систем моделирования многокомпонентным физико-химических технологических систем, в которых автор являлся непосредственным исполнителем. Научные положения, вынесенные на защиту, отражены в авторских публикациях и внедрены в производство.

Достоверность результатов обоснована корректной постановкой задач исследования и доказана с использованием математического аппарата теории искусст-, венных нейронных сетей и формальной теории физико-химических технологиче-

( ских многокомпонентных систем. Достоверность также подтверждается результата-

ми моделирования и успешным их применением в производстве.

Реализация и внедрение результатов работы. Основные результаты диссер-, тационной работы и разработанное программное обеспечение внедрены и исполь-

зуются для анализа состава шихты при варке бариево-литиевого стекла на Саранском Электроламповом Заводе. Результаты внедрения подтверждены прилагаемым актом.

♦ Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на семинарах Средневолжского математического общества под руководством профессора Воскресенского Е.В.(Саранск 2002-2003гг.), на двух международных конференциях и международном семинаре: V Международной конференции «Актуальные проблемы электронного машиностроения», Новосибирск, 2000г.; VI Международной конференции «Актуальные проблемы электронного машиностроения», Новосибирск, 2002г; Международном семинаре «Супервычисления и математическое моделирование», Саров, 2002г.

Публикации. По теме диссертации опубликовано 6 работ, список которых приведен в конце настоящего автореферата.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и двадцати приложений.

Диссертация изложена на 140 страницах машинописного текста, содержит 53 рисунка, 13 таблиц и список литературы из 77 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении показана актуальность темы диссертационной работы, определены цели и задачи диссертации, показаны научная новизна, практическая ценность и результаты апробации данной работы, приведены структура и объем диссертации.

Первая глава диссертационной работы посвящена описанию физико-химической теории многокомпонентных природных и техногенных систем. Рассмотрены два подхода в современной науке к изучению и моделированию явлений в природе и технике. Первый - дифференциальный, заключается в детальном изучении физико-химических явлений на молекулярном, атомном и квантовом уровне, второй - феноменологический, предполагает изучение вещества, как единого целого, без выделения первичных элементов систем и элементарных стадий процессов.

В работе показаны недостатки дифференциального подхода к изучению сложного вещества. Классическая химия имеет дело с веществами, синтезированными в лаборатории или принудительно изъятыми из естественной природной системы. Исследователи часто игнорируют факт, что вещество в природе и в лаборатории отличается не в меньшей степени, чем дистиллированная вода от речной воды. Любое вещество является не индивидуальным чистым компонентом, а системой веществ. Даже сверхчистые вещества, используемые в микроэлектронике, являются системой с содержанием основного компонента 99,99999%, и включающего остальные соединения в количестве 0,00001%. Но количество этих малых компонентов бесчисленно велико. Эти компоненты несут информацию по происхождению вещества, его эволюции в природе.

Таким образом, при системном подходе к веществу закон постоянства состава не выполняется, суммы компонентов лишь приближенно равны сумме частей. Другой недостаток, препятствующий моделированию сложных систем - стремление к описанию их на уровне взаимодействия элементарных частей системы. Применительно к физико-химическим и экологическим системам такой подход опасен по двум причинам. Во-первых, не ясен детальный химический состав природных систем. Во-вторых, неизвестна вся совокупность химических превращений.

В работе показано, что существует объективное противоречие между необходимостью моделирования сложных систем и дифференциальным, атомно-молекулярным подходом к их описанию. Тем не менее, успехи в области термодинамических исследований сложных физико-химических и биологических систе^ свидетельствуют о необходимости развития феноменологического подхода не только в термодинамике, но и при моделировании химических, технических и экологических систем. Сущность феноменологического подхода заключается в исследовании интегральных характеристик системы без выделения отдельных элементов системы. Поэтому требуется разработка феноменологической теории и методов, которые позволяли бы исследовать многокомпонентные сложные системы без детального изучения состава и структуры компонентов.

В диссертационной работе проанализированы основные методы математического моделирования многокомпонентных систем. Комплексный анализ современных подходов в моделировании многокомпонентных систем показал, что наиболее

часто используется функциональное изучение процесса (см. рис 1.).

В этом случае вводятся в рассмотрение множества входных измеряемых и контролируемые параметров процесса - X, неконтролируемых, случайным образом изменяющихся параметров процесса (т.н. «шум») - 7., и выходных параметров процесса - У. Под неконтролируемыми случайными параметрами Ъ понимаются параметры, которые либо не поддаются учету по тем или иным причинам, либо носят почти постоянное воздействие на процесс в течение всего времени его протекания.

Рис. 1. Функциональное изучение процесса

При такой постановке задачи математической моделью является функция отклика, связывающая входные и выходные параметры:

У/ =4>№\<х2<*г.....*к)

Определение конкретного вида функции отклика для того или иного процесса определяется методами регрессивного анализа. Как правило, функция отклика представляется в виде многочлена следующего вида:

У = А,+20,* +ЦА+»..

¡•I „.I /.I

где

Р --2Е-: Р =

дх,

д2Ч>

Эл„Эд 'ч'

А,-

э>

дх) '

Так как при изучении реальных процессов измеряемые параметры содержат в себе случайные ошибки, при определении функции отклика возможно только нахо-

ждение выборочных коэффициентов

АЛЛ

> уравнения регрессии, которые яв-

ляются оценками теоретических коэффициентов т д 3 этом случае

уравнение регрессии имеет вид:

ГшЬ.+ЪЬ,» +

;-I и«I >1

При использовании математических моделей, описываемых данным уравнением, необходимо учитывать следующие требования:

- адекватность уравнения изучаемому процессу;

- значимость выборочных коэффициентов уравнения регрессии.

Первое требование проверяется по критерию Фишера. Распределение Фишера (/•■-распределение или -распределение) - это распределение случайной величины определенной следующим образом:

р=(5;/ст;)/(52г/(т22)

_2

где аг - дисперсии двух генеральных совокупностей случайной величины, -и •'г - выборочные дисперсии, оценивающие -и "г соответственно.

Различие между выборочными дисперсиями считается значимым, если выполняется неравенство

где и /2 - число степеней свободы случайной величины в выборках (/¡= П|-1,/г = /12-1); р — уровень значимости. Применение критерия Фишера к оценке адекватности уравнения регрессии означает определение значимости различия между дисперсией адекватности ) и дисперсией воспроизводимости (). Гот-ношение имеет вид:

Используя критерий Фишера, можно перейти от бесконечного полинома к линейным или более сложным по структуре, но конечным выражениям математиче- < ских моделей, которые адекватно описывают изучаемые процессы. Анализ практического применения метода показывает, что исследователи останавливаются обычно на линейных моделях, поскольку введение нелинейности на порядок увеличивает сложность моделирования. Это является первым недостатком метода. Второй недос- | таток связан с тем, что для адекватного описания модели требует подготовленных начальных данных - прежде всего непротиворечивых и не зашумленных, что крайне редко встречается при анализе реальных физико-химических и/или технологических процессов. В работе делается акцент на то, что современные исследования в области моделирования многокомпонентных систем направлены либо на упрощение регрессионного анализа, либо, вообще, на избавление от оного.

В этой связи описаны исследования A.C. Бычкова и П.П. Макарычева в области моделирования сложных техногенных многокомпонентных систем, которые привели их к теории системных графов, а так же исследования М.Ю. Доломатова, полностью отрицающие дифференциальный подход в изучении многокомпонентных систем, поэтому предлагается переход к феноменологическому подходу к исследованию сложного вещества. В работе также отмечается, что в последнее время все ' чаще для моделирования многокомпонентных систем применяются искусственные нейронные сети. P.P. Невьянцева и др. предлагают использовать нейронные сети при управлении процессом электроплазменной обработки. Ю.А. Кораблев и др. применяют нейросетевые структуры для идентификации моделей технологических процессов. Еще одним примером использования нейронных сетей может быть, как показала М.В. Прахова финансовое прогнозирование, которое относится к классу многокомпонентных техногенных систем.

В работе рассматривается модель варки бариево-литиевого стекла. Показывается, что модель варки бариево-литиевого стекла относится к классу многокомпонентных систем. Обосновывается нежелательность моделирования системы «состав-свойства» при варке бариево-литиевого стекла стандартными методами регрессивного анализа. г

Во второй главе диссертационной работы исследуются возможности моделирования многокомпонентных систем с использованием нейронных сетей. В связи с этим рассмотрены различные способы реализации искусственных нейронных сетей.

Нейроны могут быть связаны между собой как внутри отдельных слоев, так и между слоями. В зависимости от направления связи могут быть прямыми, или обратными.

Также в работе рассмотрен аппарат нейронных сетей и показаны различные модели нейронных сетей: модель Маккалоха, модель Розенблата, модель Хопфилда, модель сети с обратным распространением ошибки. Для решения проблемы предлагается использовать многослойную нейронную сеть с алгоритмом обратного распространения ошибки. Отмечаются недостатки стандартного алгоритма обратного распространения ошибки.

В работе рассмотрены различные способы реализации нейронных сетей - программная и аппаратная. Предлагается использование программной модели реализации нейронных сетей, поскольку использование аппаратной модели не приведет к улучшению качества моделирования, но, вместе с тем, потребует дополнительных затрат.

В работе предложена модификация стандартного алгоритма обратного распространения ошибки, позволяющая избавиться от зависания сети в локальном минимуме. Предложен метод определения зависания в локальном минимуме для многослойных нейронных сетей с алгоритмом обратного распространения ошибки. Предложены способы решения проблемы переполнения списка локальных минимумов в модифицированном алгоритме и произведен выбор одного из них для дальнейшей реализации. Обоснована необходимость проведения серии экспериментов для оценки работы алгоритма и подбора параметров нейронной сети, позволяющих снизить время обучения, а так же для практической апробации метода определения зависания нейронной сети в локальном минимуме.

Для упрощения рассуждений предположим, что нейронная сеть, обучаемая алгоритмом обратного распространения ошибки, имеет один скрытый слой, т.е. ведется обучение трехслойной нейронной сети с одним входным, одним скрытым и, наконец, с одним выходным слоем.

Состояние нейронной сети на данном шаге алгоритма однозначно определяется двумя матрицами весовых коэффициентов - от входов к скрытому слою W, и от скрытого слоя к выходному V. Кроме того по прошествии каждой итерации легко

определить конечную среднеквадратическую ошибку £ = -Y°f , полученную

к

на данном шаге.

Определение 1. Тройку (W,V,£) для п-го шага обучения обозначим S(n)={W„,V„,E„) и назовем состоянием нейронной сети на п-м шаге обучения.

В случае применения схемы обучения без учителя количество итераций ограниченно, т.е. 3NVn \<п< N. Пусть 1 < п,, /1, < N

Определение 2. Будем говорить, что S(n,) лучше S(n2), если Ещ > Eni

Определение 3. Будем говорить, что 5(«|) хуже S(n2), если E„t < Е„г

Определение 4. Разностью состояний 5(П|) и S(n2) назовем выражение S(nt}-S(n2), равное £Я| - £„,.

В стандартном алгоритме обратного распространения ошибки обучение происходит относительно тех значений матриц весовых коэффициентов, которые достигнуты на предыдущем шаге. Поскольку суть одной итерации алгоритма - изменение по некоторым правилам матриц W и V и, как следствие, изменение конечной средиеквадратической ошибки Е, то можно говорить о некотором функционале, применяемом к состояниям нейронной сети (обозначим его BPA(S) - от англ. back propagation algorithm), который последовательно изменяет матрицы W и V. Таким образом, метод обратного распространения ошибки состоит в достижении некоторо-

го состояния нейронной сети 5*, которое оказалось бы лучше, или, по крайней мере, не хуже всех состояний, которые достигались до него. Тогда достижение этого состояния, а, следовательно, и весь стандартный метод обратного распространения ошибки можно записать следующим образом:

5" = ВРА(ВРА...(ВРА($т1тыт)))

Причем 5„ЯЧ(МЫЮг является случайно заданным.

На этой схеме очень хорошо видно, что поиск решения происходит «вслепую», т.е. без дополнительного анализа состояний на каждом шаге алгоритма, что и приводит к попаданию в локальные минимумы и является причиной вероятного недостижения требуемых исследователю значений конечной среднеквадратической ошибки.

Здесь возникает проблема - как модифицированный алгоритм обратного распространения ошибки сможет «понять», что он попал в локальный минимум? В работе показано, что попадание в локальный минимум приводит к насыщению нейронов сети, что ведет к малому изменению среднеквадратической ошибки от шага к шагу. Таким образом, более или менее логичным будет следующий признак попадания в локальный минимум.

Определение 4. Будем говорить, что нейронная сеть находится в локальном минимуме начиная с шага п на протяжении т шагов с точностью если У5(н,),5(п2) тах(5(п,) - 5(л,)) < |, где п<п,,п2<п + т - шаги алгоритма, 5(«|) и 5(и2) -состояния нейронной сети на шагах щкп2 соответственно.

Рис.2 Иллюстрация алгоритма «случайного скачка» Естественно, что число £ должно быть достаточно малым относительно сред-неквадратических ошибок, иначе сеть будет попадать в локальный минимум согласно вышеприведенному определению почти всегда, вне зависимости от значений п и т. Как бы то ни было, нахождение п, т и % требует для каждой конкретной реальной задачи проведения экспериментов по обучению нейронной сети с анализом конечных полученных результатов. Итак, после определения попадания в локальный минимум требуется найти некие способы по выходу из него.

В работе предполагается осуществить случайный скачок в произвольную сторону и попробовать продолжить дальнейший поиск по алгоритму обратного распространения (см. рис.2).

В этом случае полезна аналогия с шариком, катящимся по неровной поверхности, так, что, при подозрении попадания в локальный минимум, мы случайным образом выталкиваем шарик из него и далее продолжаем опускаться.

Однако может произойти ситуация, когда выход из одного локального минимума приведет к тому, что мы попадем в другой локальный минимум, но с худшими условиями И даже в этом случае остается открытым вопрос о том, что даст случайный скачок, например, если рассматривать ситуацию, показанную на рис., то можно видеть (см. рис.3), что попадание в более худшую ситуацию (В), чем была (А), ещё не влечет за собой того, что методом повторного случайного скачка нельзя достигнуть более стабильной ситуации (С).

Рис.3 Повторное применение случайного скачка приводит к нахождению глобального минимума

Обобщенная схема предлагаемого модифицированного алгоритма обратного распространения ошибки выглядит следующим образом:

Шаг 1. Задание случайным образом начального состояния нейронной сети S(n), п=0.

Шаг 2. Прогон сети по принципу обратного распространения ошибки и приобретение нового состояния S(n+l)=BPA(S(n)), отличного от предыдущего.

Шаг 3. Если n+l=N то перейти к Шагу 6, иначе перейти к Шагу 4.

Шаг 4. Проверка на локальный минимум. Если локальный минимум достигнут, то пополнить список состояний нейронной сети в локальных минимумах $ и Шаг 5, иначе Шаг 2.

Шаг 5. Выбрать случайно один из имеющихся локальных минимумов из списка состояний нейронной сети в локальных минимумах $ и применить метод случайного скачка в произвольную сторону. Перейти к Шагу 2.

Шаг 6. Выбор из имеющегося списка локальных минимумов $ требуемого нам состояния нейронной сети, которое было бы меньше любого другого в этом

WCc С • С - г1

списке, т.е. выбор Sm„, такого, что .

Блок-схема модифицированного алгоритма показана на рис.4

Рис.4 Блок-схема модифицированного алгоритма обратного распространения ошибки Третья глава диссертационной работы посвящена описанию созданного программного комплекса для моделирования многокомпонентных систем с использованием многослойных нейронных сетей.

Структура программного комплекса соответствует стандартным представлениям о комплексах программ, сложившимся в последнее время. Она основана на интуитивно понятном последовательном наборе шагов, которые необходимо выполнять для получения конечного результата моделирования.

В диссертационной работе предлагается реализация нейронных сетей в виде компонент среды Delphi. Компоненты среды Delphi появились как следствие объектно-ориентированного подхода в программировании и являются наиболее удобной формой представления программного кода. Характерной чертой использования компонент в среде Delphi является гибкость их использования: поместив компонент на форму и задав его начальные свойства мы можем использовать в программе его методы и события. Таким образом, использование компонент с одной стороны позволяет шаг за шагом, последовательно, «по кирпичику» создавать целостное приложение, с другой стороны значительно упрощает с точки зрения понимания программный код, который выглядит как последовательный вызов методов компонент приложения и описание обработки событий. Такой подход наиболее логичен и с точки зрения человеческого мышления. Приложение состоит из компонент, для каждого из которых определено его функциональное назначение и связи с другими компонентами. Т.е. компонент и приложение соотносятся как «часть-целое». В работе показано, что реализация нейронной сети в виде отдельного полнофункцио-

12

нального компонента является современным, эргономичным и наиболее подходящим в данном случае способом составления программного кода.

Данные в системе хранятся во внешних файлах различных форматов. Преимуществом такой организации данных является то, что использование внешних файлов позволяет производить работу в комплексе поэтапно, причем нет необходимости возвращаться на предыдущие этапы для выполнения последующих. Это в свою очередь экономит время исследователя, использующего программный комплекс. Так же при такой организации данных выполняется требование к целостности и сохранности данных, а также требование к совместимости данных с широко известными программными продуктами. Большинство внешних файлов, функционирующих в системе, имеют известные и повсеместно используемые форматы, такие как *.txt, *.doc, *.bmp.

Новизна алгоритма реализации нейронных сетей в программном комплексе состоит, во-первых, в использовании технологии создания и проектирования компонент среды Delphi, во-вторых, в применении модифицированного алгоритма обрат-I ного распространения ошибки для обучения многослойных нейронных сетей, по-

зволяющего избегать попадания в локальные минимумы. Р- Возможность моделирования многокомпонентных систем различной приро-

ды, эргономичность и простота использования, экономия времени специалистов, и переход от практического опыта к теоретически обоснованному анализу определяют практическую ценность программного комплекса.

В четвертой главе описаны экспериментальные исследования, выполненные для подтверждения правильности основных теоретических положений, изложенных во второй и третьей главах диссертации.

Исследования проводились на основе модели сети с модифицированным алгоритмом обратного распространения ошибки. Целью экспериментов было моделирование системы «состав-свойства» для бариево-литиевого стекла. Для достижения данной цели было проведено исследование влияния представления данных экспериментальных варок на ошибку нейронной сети. Также были рассмотрены вопросы * влияния структуры НС на скорость обучения сети и ошибку моделирования.

» Исходными данными для моделирования служили результаты проведенных

лабораторных варок бариево-литиевого стекла. Моделировались свойства полученных стекол (температура ТК-100, температура размягчения, TKJIP, термостойкость, ^ температура верхнего предела кристаллизации).

у Основной задачей исследования являлось практическое подтверждение теоре-

тических выкладок относительно предложенного модифицированного алгоритма обратного распространения ошибки. Для решения поставленной задачи были построены зависимости среднеквадратической ошибки от эпохи обучения. Эти зависимости наглядно показывают основные этапы модифицированного алгорит-ма(рис.5.).

На рис.5а представлена работа сети на поверхности, испещренной локальными минимумами. Сеть делает случайные скачки в произвольном направлении, но ошибка падает медленно. Рис. 56 демонстрирует малые случайные скачки в случае гладких и непротиворечивых данных. На рис. 5в показана ситуация, когда быстрое падение ошибки обеспечено малыми скачками - сеть не «чувствует» необходимости в более сильных изменениях. Рис. 5г демонстрирует применение технологии работы со списком локальных минимумов. Случайные скачки могут привести нейронную

сеть в худшие условия, чем она была до этого. Именно поэтому в модифицированный алгоритм был добавлен список локальных минимумов, чтобы в случае неудачи можно было «вернуть» нейронную сеть в «прежнее русло». Эта необходимость возникает при определении положения, когда случайный скачек ухудшает имеющуюся ситуацию (т.е. среднеквадратическая ошибка становится на порядок больше).

б)

в) г)

Рис. 5 Типичные режимы работы модифицированного алгоритма Проведенные эксперименты подтвердили правильность подхода к моделированию многокомпонентных систем с использованием многослойных нейронных сетей с модифицированным алгоритмом обратного распространения ошибки. По результатам экспериментов даны практические рекомендации по варке бариево-литиевого стекла в условиях реального производства.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ

1. Предложена модификация стандартного алгоритма обратного распространения ошибки для обучения многослойных нейронных сстсй, которая как показали теоретические и практические исследования позволяет избавиться от проблемы зависания сети в локальных минимумах, свойственной обычным методам обучения нейронных сетей.

2. Предложен метод определения зависания в локальном минимуме для многослойных нейронных сетей с алгоритмом обратного распространения ошибки. Показана эффективность предложенного метода на данных экспериментальных варок барие-во-литиевого стекла.

3. Предложены различные способы решения проблемы переполнения списка локальных минимумов в модифицированном алгоритме обратного распространения ошибки. Предложен подход, позволяющий при незначительном увеличении сложности алгоритма добиться значительного уменьшения сегмента данных программы, и гарантирующий полную защиту от ошибок переполнения.

4. Предложена методика реализации многослойных нейронных сетей с использованием технологии создания и проектирования компонент среды Delphi. Методика, с одной стороны позволяет шаг за шагом, последовательно, «по кирпичику» созда-

вать целостное приложение, с другой стороны значительно упрощает с точки зрения понимания программный код, который выглядит как последовательный вызов методов компонент приложения и описание обработки событий.

5. На основе полученных теоретических результатов были проведены экспериментальные исследования, которые подтвердили правильность подхода к моделированию многокомпонентных систем с использованием многослойных нейронных сетей с модифицированным алгоритмом обратного распространения ошибки. По результатам экспериментов даны практические рекомендации по варке бариево-литиевого стекла в условиях реального производства.

6. Основные научные и практические результаты работы нашли воплощение в программном комплексе для поддержки технологического процесса стекловаренного производства, используемого в процессе прогнозирования выходных параметров стекла по имеющимся входным - составу шихты и условиям варки.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Родькин C.B. Методика создания Delphi-компонент со свойствами искусственного интеллекта. // Актуальные проблемы естественных наук, Саранск, СВМО, 2000, С.13-15

2. Родькин C.B., Федосин С.А. Программная реализация Delphi-компонент со свойствами искусственного интеллекта на примере когнитивных карт // Труды V Международной конференции «Актуальные проблемы электронного машиностроения», Т.7 Моделирование и вычислительная техника, Новосибирск, 2000, С. 221-222

3. Родькин C.B., Федосин С.А., Томилин О.Б., Кяшкин В.М. Моделирование многокомпонентных систем с использованием нейронных сетей // Труды VI Международной конференции «Актуальные проблемы электронного машиностроения», Т.7 Моделирование и вычислительная техника, Новосибирск, 2002, С. 125-128

4. Родькин C.B., Федосин С.А., Томилин О.Б., Кяшкин В.М. О нестандартном методе математического моделирования многокомпонентных систем // Математическое моделирование, М., №12, 2002г. С. 45-47

5. Родькин C.B., Федосин С.А., Томилин О.Б., Кяшкин В.М. Об использовании нейронных сетей с обратным распространением ошибки при моделировании многокомпонентных систем // Международный семинар «Супервычисления и математическое моделирование», Саров, 2002г. С.25-28

6. Родькин C.B. Исследование методов моделирования физико-химических технологических систем. Препринт№57,СВМО, Саранск, 2003,24с.

Подписано в печать 13.10.03. Объем 1,00 п. л. Тираж 100 экз. Заказ № 1609. Типография Издательства Мордовского университета 430000 Саранск, ул. Советская, 24

%

I

*

i

■s 1

!

а

«

«

i »

* 16 6 4 8

i 'i

)

i

¡i

!

Введение.

Глава I Многокомпонентные системы - описание и методы моделирования.

1.1. Физико-химическая теория многокомпонентных природных и техногенных систем.

1.2 Методы математического моделирования многокомпонентных систем.

1.3 Моделирование свойств свинецсодержащих и безсвинцовых стекол, как пример плохо формализованной многокомпонентной системы.

1.3.1 Общие замечания.

1.3.2 Промышленное производство свинецсодержащего и безсвинцово-го стекол.

1.3.3 Анализ системы «состав-свойства» при варке бариево-литиевого стекла.

1.4 Выводы по главе I.

Глава II Применение искусственных нейронных сетей при моделировании многокомпонентных систем.

2.1. Анализ и выбор нейронной сети для решения задачи моделирования системы «состав—свойства» при варке бариево-литиевого стекла.

2.1.1 Структуры нейронных сетей.

2.1.2 Модели нейронных сетей.

2.1.2.1 Модель Маккалоха.

2.1.2.2 Модель Розенблата.

2.1.2.3 Модель Хопфилда.

2.1.2.4 Модель сети с обратным распространением.

2.1.3 Способы реализации нейронных сетей.

2.1.4 Выбор модели нейронной сети для решения задачи моделирования системы «состав-свойства» при варке бариево-литиевого стекла.

2.3. Выводы по главе II.

Глава III Описание программного комплекса для моделирования многокомпонентных систем.

3.1 Структура программного комплекса.

3.2. Особенности организации данных.

3.2.1. Особенности организации входных данных.

3.2.2. Преобразование входных данных программного комплекса. к' 3.3. Описание программы BPNN и её модификаций.

3.3.1. Загрузка данных для моделирования.

3.3.2. Установка параметров нейронной сети.

3.3.3. Обучение нейронной сети.

3.3.4. Особенности реализации алгоритмов обучения нейронных сетей.

3.3.5. Просмотр результатов, и сохранение последних во внешнем файле.

3.4. Получение графиков изменения среднеквадратических ошибок с использованием электронных таблиц Microsoft Excel.

3.5. Получение таблиц результатов экспериментов с использованием текстового процессора Microsoft Word.

3.6. Получение ЗЭ-моделей и их проекций на координатные плоскости с + использованием программы 3D Grapher.

3.7. Практическая ценность программного комплекса.

3.8. Выводы по главе III.

Глава IV. Моделирование многокомпонентных систем с использованием нейронных сетей с алгоритмом обратного распространения ошибки.

4.1. Общий подход к моделированию многокомпонентных систем с использованием нейронных сетей с алгоритмом обратного распространения ошибки.

4.2. Описание экспериментов.

4.3. Анализ полученных практических данных.

4.3.1. Анализ работы модифицированного алгоритма обратного распространения ошибки.

4.3.2. Анализ работы модифицированного алгоритма обратного распро-* странения ошибки при моделировании обратных данных.

Актуальность темы. В последнее время все большее внимание уделяется применению автоматизированных систем обработки данных в реальном производстве[1-9]. Это связано прежде всего с тем, что современные технологические процессы требуют значительных материальных и временных затрат. Большое количество различных производств практически не мыслимо без предварительного создания моделей технологических процессов.

Примером такого производства может служить варка стекла. Помимо большой конкуренции, сложившейся в данной области, существуют и другие проблемы, связанные, прежде всего, с неудовлетворительной проработкой технологии производства.

Не достаточно точно подобранные параметры технологического процесса, такие как состав шихты, температура и давление варки стекла, приводят к тому, что тонны не удовлетворяющего по выходным параметрам стекла подвергаются переплавке. Это в свою очередь приводит к простою оборудования и огромным убыткам. Кроме того, встречаются ситуации, когда неправильные параметры приводят к выходу из строя печи, что требует её перестройки и, следовательно, влечет за собой многомиллионные потери.

При решении этих проблем до последнего времени использовался, в основном, профессиональный опыт, накопленный специалистами. Очевидно, что данная практика губительна для производства. Поэтому единственным выходом из сложившейся ситуации может, по нашему мнению, стать внедрение на начальных этапах технологических процессов программных комплексов, позволяющих заранее смоделировать, «предугадать», «предсказать» ситуацию, которая может сложиться. Эти предсказания должны основываться на ранее полученных данных и обладать точностью, гибкостью настройки, наличием обратных связей. к Существующие пакеты обработки статистических данных не удовлетворяют конечного потребителя, во-первых, по стоимости затрат на внедрение, во-вторых, по сложности обучения персонала работе с этими пакетами.

Следовательно, для реального производства необходимо создание программного продукта, удовлетворяющего предъявляемым требованиям качества, быстрого в освоении, позволяющего в кратчайшие сроки получать графические и иные представления технологических процессов.

При анализе статистических данных, полученных в результате некоторых производственных процессов, до недавнего времени использовались модели, основанные на построении и дальнейшем решении уравнений регрессии. У этого подхода есть ряд недостатков, отметим лишь два наиболее существенных: во-первых, регрессионный анализ не учитывает возможную неточность, неадекватность, ошибочность исходных данных, во-вторых, реально построенные модели линейны, создание же нелинейных моделей, которые, естественно, более точно представляют реальную физическую картину, приводит к такому усложнению уравнения регрессии и дальнейших методов его решения, что это становится невыгодным.

Наряду со стандартными подходами при анализе статистических данных все чаще применяются нейронные сети. Особенностью нейросете-вых технологий является, во-первых, возможность работы с плохо заданными, неточными данными, во-вторых, нелинейность моделей, позволяющая выиграть в качестве и во времени по сравнению со стандартными методами.

Кроме того, применение моделей нейронных сетей для решения различных задач является приоритетным направлением в связи с переходом компьютеров пятого поколения к новой архитектуре, основанной на элементах интеллектуального поведения систем обработки данных и устройств.

Неоспоримые преимущества нейросетевых алгоритмов перед стан tr дартными и переход к компьютерам пятого поколения определяют актуальность темы диссертационной работы.

Цель исследования. Целью работы является разработка математических моделей многокомпонентных систем на базе нейронных сетей.

К числу подобных систем относится моделирование зависимости «состав-свойства» при варке бариево-литиевого стекла для ОАО «Лисма», г. Саранск.

Для достижения поставленной цели выделяются три основные задачи.

Решение первой задачи предусматривает анализ нейронных сетей с различными модификациями в алгоритмах обучения, а так же выбор наи-^ более подходящего алгоритма.

Решение второй задачи включает в себя написание компонента в среде программирования Delpi 7.0, реализующего выбранный при решении первой задачи алгоритм обучения, а также последующее написание программного продукта для анализа многокомпонентных систем.

Наконец третья задача включает в себя несколько этапов, связанных с обучением полученных нейронных сетей на конкретных экспериментальных данных, и анализом полученных результатов. Составными задачами работы являются:

1. Теоретический анализ современного состояния в области применения нейросетевых технологий и обоснование основных задач исследований диссертационной работы.

2. Анализ набора обучающих выборок - данных экспериментальных варок бариево-литиевого стекла для ОАО «Лисма», г. Саранск.

3.Создание математической модели нейронной сети. Создание программного продукта, реализующего алгоритм выбранной нейронной сети.

4. Установление (с помощью созданного программного продукта) аналитических зависимостей между процентным содержанием компонентов шихты и основными параметрами полученных стекол.

5. Сравнительный анализ эффективности новых способов моделирования.

Научная новизна работы. Для существующей проблемы предложен алгоритм, отвечающий требованиям перехода к компьютерам пятого поколения.

Впервые нейросетевые технологии с применением алгоритма обратного распространения ошибки реализованы для решения круга задач в области моделирования многокомпонентных технологических систем.

Создан невизуальный компонент в среде Delphi 7.0, реализующий алгоритм обратного распространения ошибки для нейронных сетей, а также программный комплекс с интуитивно понятным и «дружественным» интерфейсом для анализа результатов экспериментальных варок бариево-литиевого стекла, построения моделей и получения конечных результатов моделирования в виде графиков изменения среднеквадратических ошибок и трехмерных графиков обратных зависимостей.

На основе программного комплекса создан АРМ технолога для поддержки производства стекла с заданными свойствами из шихты, содержащей произвольные процентные содержания компонентов. Даны рекомендации по производству бариево-литиевого стекла на ОАО «Лисма», г. Саранск.

Практическая значимость результатов исследований.

1. Разработанная математическая модель адекватно отражает зависимость «состав - свойства» для бариево-литиевого стекла. Можно получить обратные зависимости «свойства — состав» для любых компонентов модели. Это позволяет технологу, не прибегая к осуществлению дополнительных дорогостоящих экспериментальных варок, определять, каким образом необходимо изменить состав шихты для получения требуемых свойств стекла.

2.Предложенная методика позволяет рассчитывать с большой долей уверенности конечные параметры стекла в зависимости от состава шихты. Выполнение прогнозирования свойств стекла особенно важно в целях уменьшения потерь предприятия, возникающих в результате применения некачественных компонентов при его производстве, когда это может привести к переплавке готового стекла, либо к выходу печи из строя. 3.Метод нейронных сетей для моделирования многокомпонентных систем универсален. Поэтому программный продукт можно применять и в других, отличных от стекловарения, отраслях производства. Положения, выносимые на защиту.

- Предложенный метод моделирования многокомпонентных систем нейронными сетями, обученными алгоритмом обратного распространения ошибки, отражающий новые подходы к обработке статистических и плохо формализованных данных.

- Разработанная модель нейронной сети с модифицированным алгоритмом обратного распространения ошибки, позволяющим избежать попадания сети в локальные минимумы.

- Методика прогнозирования результирующих качеств стекла по неизвестному начальному процентному содержанию компонентов в шихте ба-риево-литиевого стекла.

- Разработка программного комплекса, осуществляющего моделирование многокомпонентных технологических систем нейронными сетями.

При разработке алгоритмов и проведении исследования в диссертационной работе использовались методы и аппарат численных методов, теории экспертных систем и искусственных нейронных сетей, регрессионного анализа, систем автоматизированного объектно-ориентированного программирования.

Первая глава диссертационной работы посвящена рассмотрению общей теории многокомпонентных систем. Описан вклад российских и зарубежных авторов в теоретическом исследовании проблемы. Рассмотрен регрессионный анализ, как стандартный метод моделирования, указаны его недостатки. Описаны другие сложившиеся подходы в этой области. Приведена система «состав-свойства» для варки бариево-литиевого стекir, ла, показано, что она относится к классу многокомпонентных плохо формализованных систем.

Вторая глава посвящена рассмотрению аппарата нейронных сетей с различными алгоритмами обучения. Производится выбор наиболее эффективного алгоритма. Обосновываются преимущества алгоритма обратного распространения ошибки перед остальными алгоритмами обучения нейронных сетей.

В третьей главе описывается структура созданного программного комплекса, его основные характеристики, а так же способы работы с ним. Рассмотрены программы BPNN и Exchange и их модификации, предназначенные для моделирования многокомпонентных систем с использованием ^ нейросетевых технологий и алгоритма обратного распространения ошибки.

В четвертой главе описаны эксперименты по моделированию многокомпонентных систем с использованием нейронных сетей с алгоритмом обратного распространения ошибки. Для экспериментов, которые показали удовлетворительные результаты обучения, в приложениях приведены таблицы и графики результатов моделирования.

В заключении перечислены основные научные и практические результаты. к

Основные результаты настоящей диссертационной работы состоят в следующем:

1. Предложена модификация стандартного алгоритма обратного распространения ошибки для обучения многослойных нейронных сетей, которая как показали теоретические и практические исследования позволяет избавиться от проблемы зависания сети в локальных минимумах, свойственной обычным методам обучения нейронных сетей.

2. Предложен метод определения зависания в локальном минимуме для многослойных нейронных сетей с алгоритмом обратного распространения ошибки. Показана эффективность предложенного метода на данных экспериментальных варок бариево-литиевого стекла.

3. Предложены различные способы решения проблемы переполнения списка локальных минимумов в модифицированном алгоритме обратного распространения ошибки. Предложен подход, позволяющий при незначительном увеличении сложности алгоритма добиться значительного уменьшения сегмента данных программы, и гарантирующий полную защиту от ошибок переполнения.

4. Предложена методика реализации многослойных нейронных сетей с использованием технологии создания и проектирования компонент среды Delphi. Методика, с одной стороны позволяет шаг за шагом, последовательно, «по кирпичику» создавать целостное приложение, с другой стороны значительно упрощает с точки зрения понимания программный код, который выглядит как последовательный вызов методов компонент приложения и описание обработки событий.

5. На основе полученных теоретических результатов были проведены экспериментальные исследования, которые подтвердили правильность подхода к моделированию многокомпонентных систем с использованием многослойных нейронных сетей с модифицированным алгоритмом обратного распространения ошибки. По результатам экспериментов даны практические рекомендации по варке бариево-литиевого стекла в условиях реального производства.

6. Основные научные и практические результаты работы нашли воплощение в программном комплексе для поддержки технологического процесса стекловаренного производства, используемого в процессе прогнозирования выходных параметров стекла по имеющимся входным -составу шихты и условиям варки.

ЗАКЛЮЧЕНИЕ

1. Вольфсон С.А., Ениколопян Н.С. Расчеты высокоэффективных полимеризационных процессов. М.: Химия, 1980. - 312 с.

2. Кафаров В.В., Дорохов Н.Е., Кольцова Э.М. Системный анализ процессов химической технологии. Энтропийный и вариационный методы неравновесной термодинамики. М.: Наука, 1988. - 367 с.

3. Силинг М.И. Поликонденсация, физико-химические основы и математическое моделирование. М.: Химия, 1988. - 256 с.

4. Александров И.А. Перегонка и ректификация в нефтепереработке. -М.: Химия, 1981. 182 с.

5. Хакен Г. Синергетика. М.: Мир, 1985. - 419 с.

6. Гладышев Г.П. Термодинамика и макрокинетика природных иерархических процессов -М.: Наука, 1988. 287 с.

7. Применение вероятностных методов в физике элементарных частиц М.: Наука, 1989. - 220 с.

8. Сурис A.J1. Термодинамика высокотемпературных процессов. — М.: Металлургия, 1989. 500 с.

9. Ландау Л.Д., Лифшиц Е.М. Краткий курс теоретической физики. Т. 1-2 .-М.: Наука, 1968.

10. Иродов И.Е. Основные законы механики: Учеб. пособие для физ. спец. вузов. М.: Высшая школа, 1985. - 248 с.

11. П.Иванов Б.Н. Принципы современной физики. М.: Наука, 1973.127 с.

12. Николис Г., Пригожин И. Сомоорганизация в неравновесных системах. М.: Мир, 1979.-512 с.

13. Николис Дж. Динамика иерархических систем: Эволюционное представление. М.: Мир, 1989. - 488 с.

14. Дж. Марри. Нелинейные дифференциальные уравнения в биологии. Лекции о моделях. М.: Мир, 1983. - 397 с.

15. Разумихин Б.С. Физические модели и методы теории равновесияв программировании и экономике. М.: Наука, 1975. - 304 с.

16. Гладышев Г.П. Термодинамика и макрокинетика природных иерархических процессов. М.: Наука, 1988. - 289 с.

17. Маркова Е.В., Лисенков А.Н. Комбинаторные планы в задачах многофакторного эксперимента. М.: Наука, 1979. — 348 с.

18. Ферстер Э., Ренц Б. Методы корреляционного и регрессионного анализа. М.: Финансы и статистика, 1983. - 302 с.

19. Розанов Ю.А. Случайные процессы (1. Краткий курс) М.: Наука, 1971.-с. 245

20. А.С. Бычков, П.П. Макарычев Технология моделирования многокомпонентных сложных систем // Материалы IV Международной научно-технической конференции «Новые информационные технологии и системы» Пенза, 2000, 159 с.

21. Доломатов М. Ю. Пределы науки и фрагменты теории многокомпонентных природных систем Уфа, Уфимский Технологический Институт Сервиса - 1998. - 121 с.

22. Ю.П. Адлер, В.Е. Маркова, Ю.В. Грановский. Планирование эксперимента при поиске оптимальных условий.-М.:Наука, 1975,279 с.

23. В.В. Налимов, Н.А. Чернов. Статистические методы планирования экстремальных экспериментов. М.:Наука, 1965,268 с.

24. Абу-Мустафа Я.С., Псалтис Д. Оптические нейронно-сетевые компьютеры//В мире науки, 1987. N 5. С. 42-50.

25. Барцев С.И. Некоторые свойства адаптивных сетей (программная реализация).- Красноярск: Институт физики СО АН СССР, -1987.

26. Барцев С.И., Охонин В. А. Адаптивные сети обработки информации. Красноярск: Институт физики СО АН СССР, 1986.

27. Гольцев А.Д. Яркостная сегментация изображения при помощи нейроподобной сети.//Автоматика 1965 - N 5 - с. 40-50.

28. Джеффри Е. Хинтон. Как обучаются нейронные сети.// В мире науки 1992 - N 11 - N 12 - с. 103-107.

29. Иванченко А.Г. Персептрон системы распознавания образов.//1. К.: Наукова думка, 1972.

30. Картавцев В.В. Нейронная сеть предсказывает курс доллара?// Компьютеры + программы 1993 - N 6(7) - с. 10-13.

31. Куссуль В.М., Байдык Т.Н. Разработка архитектуры нейроподобной сети для распознавания формы объектов на изображении.//Автоматика 1990 - N 5 - с. 56-61.

32. Маккалох Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности.// Автоматы. М.: ИЛ, 1956.

33. Масалович А.И. От нейрона к нейрокомпьютеру.// Журнал доктора Добба 1992 - N 1 - с. 20-23.

34. Минский М., Пейперт С. Персептроны. М.: МИР, 1971. С.261.

35. Розенблат Ф. Аналитические методы изучения нейронных сетей.// Зарубежная радиоэлектроника. 1965 - N 5 - с. 40-50.

36. Розенблат Ф. Принципы нейродинамики.//М.: МИР, 1965.

37. Соколов Е.Н., Вайтнявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру.- М.: Наука, 1989. С. 283.

38. Суворов С.В., Матихина Н.Ю. Программное моделирование нейроподобных структурУ/Распределенная обработка информации.- Улан-Уде, 1989,-с. 28.

39. Трикоз Д.В. Нейронные сети: как это делается?// Компьютеры +программы 1993 - N 4(5) - с. 14-20.

40. Тэнк Д.У., Хопфилд Д. Д. Коллективные вычисления в нейроноподобных электронных схемах.//В мире науки. 1988. N 2. С. 44-53.

41. Цуприков С. Нейронные вычисления берутся на вооружение финансистами.// Computerworld Moscow - 1985 - N 7 - с. 57-58.

42. Чертков М., Грималюк А. Методика валютного прогнозирования.// Одесские деловые новости 1995 - май N 16 - с. 4.

43. Щербаков М.А. Введение в искусственные нейронные сети — Пенза: Информационно-издательский центр Пенз. гос. ун-та, 2002 40 с.

44. Aarts E.H.L., Korst J.H.M. Boltzmann machines and their applications//Lect. Notes Comput. Sci. 1987. V. 258. P. 34-50.

45. Aarts E.H.L., Korst J.H.M. Boltzmann machines for travelling salesman problem//European J. Oper. Res. 1989. V. 39. P. 79-95.

46. Abu-Mostafa Y.S., Jaques J.N.St. Information capacity of the Hopfield model//IEEE Trans. Inform. Theory. 1985. V. 31. P.461.

47. Ackley D.H., Hinton G.E., Sejnowski T.J. A learning algorithm for Bolzmann machines//Cognit. Sci. 1985. V. 9. N 1. P. 147-169.

48. Amari S. Field theory of self-organizing neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. P. 741.

49. Artificial Intelligence. // Amsterdam: Time Life - Books, 1986.

50. Athale R., Stirk C.W. Compact architectures for adaptive neuraal nets//Ibid. 1989. V. 28. N 4.

51. Bardcev S.I., Okhonin V.A. The algorithm of dual functioning (backpropagation): general approach, vesions and applications. Krasnoyarsk: Inst, of biophysics SB AS USSA 1989.

52. Carpenter G.A., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine.//Comput. Vision Graphics Image Process. 1986. V. 37. p. 54-115.

53. Cohen M.A., Grossberg S. Absolute stability of global pattern formation and parallel memory storage by competitive neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. N 5. P. 815-826.

54. Computing with neural circuits: a model .//Science, 1986.V. 233. p. 625-633.

55. Cross Michael. Brain ware hits Japanese computers.// New Sci. 1988- 120, # 1640-p. 33.

56. Dayhoff J. Neural network architectures.//New-York:Van Nostrand reinhold, 1991.

57. Fogelman Soulie F. Neural networks, state of the art, neural computing.//London: IBC Technical Services, 1991.

58. Fox G.C., Koller J.G. Code generation by a generalized neural networks: general principles and elementary examples./Л. Parallel Distributed Comput. 1989. V. 6. N 2. P. 388-410.

59. Hecht-Nielsen R. Neurocomputing: picking the human brain.// IEEE * SPECTRUM 1988 V. 25. N 3 - p. 36-41.

60. HebbD.O. The organization of behaviour. N.Y.: Wiley, 1949.

61. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities.//Proc. Natl. Acad. Sci. 1984. V. 9. p. 147169.

62. Hopfield J.J., Tank D.W. Neural computation of decision in optimization problems.//Biol. Cybernet. 1985. V. 52. p. 112-132

63. Hopfield J.J., Feinstein D.I., Palmer F.G. Unlearning has a stabilizing effect in collective memories//Nature. 1983. V. 304. P. 141-152.

64. Hopfield J.J., Tank D.W. Neural computation of decision inoptimization problems//Biol. Cybernet. 1985. V. 52. P. 141-152.

65. Jeffery W., Rosner R. Neural network processing as a tool for friction optimization.//Neuronet Comput. Conf., Snowbird, Utah, Apr. 13-16, 1986. New York, N.Y., 1986 p. 241-246.

66. Kuzewski Robert M., Myers Michael H., Grawford William J. Exploration of fourword error propagation as self organization structure.//IEEE 1st. Int. Conf. Neural Networks, San Diego, Calif., June 21-24, 1987. V. 2. San Diego, Calif., 1987. - p. 89-95.

67. Lippmonn Richard P. Gold Ben Neuronet classifiers useful for speech recognition.// IEEE 1st. Conf. Neural Networks, San Diego, (Calif), 1987 p.417.425.

68. Montgomery, Douglas C. Forecasting and time series analysis./Douglas C. Montgomery, Lynwood A. Johnson, John S. Gard iner. -2nd ed. ISBN 0-07-042858-1.

69. Neural Computing.// London: IBE Technical Services, 1991.

70. Rosenblatt F. The peseptron: a probabilistic model for information storage and organization in the brain//Psychol. Rev. 1958. V. 65. P. 386.

71. Rosenblatt F. Principles of neurodynamics. Spartan., Washington, D.C., 1962.

72. Rumelhart B.E., Minton G.E., Williams R.J. Learning representations * by back propagating error.// Wature, 1986. V. 323. p. 1016-1028.

73. Takefuji D.Y. A new model of neural networks for error correction.//Proc. 9th Annu Conf. IEEE Eng. Med. and Biol. Soc., Boston, Mass., Nov. 13-16, 1987. V. 3, New York, N.Y., 1987 p. 1709-1710.

74. Treliven P. Neurocomputers.//London: University college, 1989.