автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Разработка ускоренных алгоритмов обучения нейронных сетей и их применение в задачах автоматизации проектирования

На правах рукописи

СИДОРОВ Сергей Георгиевич

РАЗРАБОТКА УСКОРЕННЫХ АЛГОРИТМОВ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ И ИХ ПРИМЕНЕНИЕ В ЗАДАЧАХ АВТОМАТИЗАЦИИ ПРОЕКТИРОВАНИЯ

Специальность 05.13.12 - Системы автоматизации проектирования (электротехника, энергетика)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Иваново 2003

Работа выполнена в Ивановском государственном энергетическом университете.

Научный руководитель:

доктор физико-математических наук, профессор Ясинский Ф.Н.

Официальные оппоненты :

• доктор технических наук, профессор Колганов А.Р. (Ивановский государственный энергетический университет)

• доктор технических наук, профессор Калинин E.H. (Ивановская государственная текстильная академия)

Ведущая организация:

Научный центр нейрокомпьютеров (г.Москва)

Защита состоится 1люл А 2003г. в 11 часов на заседании

диссертационного совета Д.213.064.02 в Ивановском государственном энергетическом университете по адресу: 153003, г.Иваново, ул.Рабфаковская, 34, учебный корпус Б, ауд.237.

Отзывы на автореферат (в 2 экземплярах, заверенные печатью, просьба высылать по адресу: 153003, г.Иваново, ул.Рабфаковская, 34, ИГЭУ, Ученый Совет. Факс: (8-0932) 38-57-01

С диссертацией можно ознакомиться в библиотеке Ивановского государственного энергетического университета.

Автореферат разослан " " 2003 г.

Ученый секретарь диссертационного совета

кандидат технических наук, доцент

оз-А 2е><Г~

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Среди многообразия современных энергетических систем можно выделить значительную группу объектов, проектирование и диагностические исследования которых не могут быть выполнены традиционными методами и средствами автоматизации. Это объясняется следующими причинами:

1. Невозможностью получения формализованного математического описания процессов функционирования, а следовательно и невозможностью использования традиционных проектных процедур и операций автоматизации, основанных на применении методов оптимального проектирования.

2. Случайным характером изменения среды функционирования указанных объектов, в которой возможны как прогнозируемые изменения параметров, так и форс-мажорные события.

3. Экономической нецелесообразностью (дороговизной) непрерывного измерения технологических параметров объектов и возмущающих воздействий со стороны среды функционирования.

В качестве наиболее характерных примеров такого рода объектов и связанных с ними задач проектирования и диагностики можно назвать:

1. Диагностика состояния трубопроводов высокого давления и температуры, по которым пар от котлоагрегата подается к турбине. Структура металла, работающего в экстремальных условиях, подвергается изменению, в результате чего возможность аварии на трубопроводе возрастает. При эксплуатации оборудования важна возможность текущего контроля за состоянием металла. До настоящего времени этот контроль выполнялся экспертами по микрофотографиям шлифов сгибов труб. Недостаток такого подхода состоит в субъективности таких оценок (человеческий фактор).

2. Прогнозирование уровней воды в речной системе. Это весьма сложная задача, одной из причин сложности которой является наличие большого количества скрытых параметров, что делает затруднительным применение динамического прогнозирования. Создание прогнозирующей системы, основанной на использовании обучаемых нейронных сетей может быть весьма эффективно в гидроэнергетике, т.к. позволит на гидроэлектростанциях разрабатывать оптимальные режимы работы. Использование обучаемых нейронных сетей для прогнозирования потребности в электроэнергии позволит повысить эффективность планирования загрузки отдельных

РОС. НАЦИОНАЛЬНАЯ 1 БИБЛИОТЕКА I

С. Петербург 09 Щ? акт'

электростанций. Это в свою очередь даст возможность вести выработку электроэнергии с наилучшим КПД, что приведет к экономии топлива.

В указанных обстоятельствах на помощь приходят быстро развивающиеся нейротехнологии. Они обладают следующими неоспоримыми преимуществами:

1. Нейронные сети являются адаптивными самообучающимися системами, извлекающими информацию из реальных процессов, которые динамически промоделировать трудно, т.к. они содержат много скрытых неконтролируемых параметров.

2. Применение нейронных сетей позволяет решать задачи, которые трудно или невозможно решить традиционными методами в силу отсутствия формализованных математических описаний процессов функционирования.

3. Нейронные сети в процессе работы накапливают информацию и эффективность их со временем возрастает.

4. Использование обучаемых нейронных сетей позволяет сделать диагностический контроль объективным й расширить его применение.

Одной из нерешенных проблем при использовании искусственных нейронных сетей является задача построения быстрых алгоритмов их обучения. В ходе исследований, проведенных автором, обнаружено, что большинство из распространенных алгоритмов обучения сводятся к градиентным методам поиска минимума целевой функции и обладают рядом недостатков, не гарантирующих обучение нейронных сетей за приемлемое время.

В этой связи создание быстрых алгоритмов обучения и применение современных нейронных сетей для разработки и реализации эффективных методов и алгоритмов автоматизации проектирования и диагностики энергетических объектов представляет в настоящее время несомненную актуальность.

Настоящая диссертационная работа выполнена в соответствии с Федеральной целевой программой "Государственная поддержка интеграции высшего образования и фундаментальной науки".

Цель и задачи исследования. Основная цель настоящей работы заключается в повышении эффективности и качества проектных работ и диагностических исследований отдельных энергетических объектов в результате разработки, компьютерной реализации ускоренных алгоритмов обучения нейронных сетей.

Достижение указанных целей сопряжено с решением следующих основных задач:

1. Разработка алгоритмических основ автоматизации проектных работ и диагностических исследований энергетических объектов с использованием нейротехнологий.

2. Разработка ускоренных алгоритмов построения и обучения искусственных нейронных сетей.

3. Реализация нейронных сетей на одно- и многопроцессорных вычислительных системах.

4. Оценка эффективности разработанных средств на примерах решения практических задач проектирования и диагностики энергетических объектов.

Методы исследования. В основе представленного исследования лежат принципы математического моделирования. Объектами исследований явились классические алгоритмы обучения искусственных нейронных сетей: дельта-метод, алгоритм обратного распространения ошибки, оригинальный вариант алгоритма случайного поиска, оригинальный разработанный алгоритм генетической оптимизации, а также варианты этих алгоритмов с применением минимизации целевой функции и штрафной функции за сложность. Программы, реализующие описанные алгоритмы, представлены в вариантах для однопроцессорных ЭВМ, параллельной ЭВМ РошегХркэгег фирмы Раге^ес и многопроцессорной системы МВС-1000. Эффективность разработанных алгоритмов оценивалась по скорости обучения нейронных сетей до приемлемого качества работы при одинаковых исходных параметрах. Качество обученности нейронных сетей оценивалось по значениям среднеквадратичной целевой функции, а также доле ошибочных ответов по сравнению с оценками экспертов (в задаче диагностики металлических конструкций) и истинными значениями (в задаче прогнозирования гидрологических процессов).

Научная новизна. В диссертационной работе впервые получены следующие научные результаты:

1. Обосновано применение искусственных нейронных сетей в задачах автоматизации проектных работ и диагностических исследований энергетических объектов.

2. Разработаны алгоритмы последовательного обучения нейронных сетей, позволяющие вскрыть существенные связи в сложной системе, отличающиеся нечувствительностью к негладкостям целевой функции.

3. Созданы ускоренные методы и алгоритмы обучения искусственных нейронных сетей, обеспечивающие поиск простейших решений за приемлемое время, отличающиеся пригодностью для глобального поиска.

4. Предложены методы распараллеливания алгоритма генетической оптимизации для реализации на многопроцессорной технике, отличающиеся отсутствием передачи массивов весов между процессорами, что позволяет ускорить процесс обучения нейронных сетей.

На защиту выносятся:

1. Математическая модель оригинального генетического алгоритма;

2. Математическая модель варианта случайного поиска;

3. Алгоритм распараллеливания метода генетической оптимизации нейронных сетей при реализации на многопроцессорной технике;

4. Двухслойный нейросетевой алгоритм классификации категорий повреждения металлов по микрофотографиям шлифов;

5. Нейродинамическая модель системы прогнозирования гидрологических процессов.

Практическая ценность. Практическая ценность научной работы заключается в том, что теоретические результаты получили практическое воплощение в виде эффективных алгоритмов обучения искусственных нейронных сетей и их использовании в прикладных компьютерных программах для реализации задачи диагностики состояния металлических конструкций по микрофотографиям шлифов и задачи прогнозирования гидрологических процессов. Разработаны компьютерные программы, реализующие параллельный алгоритм генетической оптимизации для параллельной суперЭВМ Power Xplorer фирмы Parsytec и многопроцессорной вычислительной системы МВС-1000.

Результаты математического моделирования могут быть использованы:

• для более глубокого понимания и дальнейшего развития теории построения и обучения искусственных нейронных сетей;

• для более широкого внедрения нейронных технологий в САПР и систему управления энергетическими объектами, в частности для прогнозирования загрузки энергетических сетей, что позволит вести генерирование энергии в экономичном режиме.

Реализация результатов работы. Основные научные и практические результаты работы реализованы в виде компьютерных программ и внедрены:

1.В составе автоматизированной системы диагностики категорий повреждения металла (КПМ) труб высокого давления и температуры на Костромской ГРЭС.

2. В составе гидрологического пакета программ HydroEcology 1.0 в Комитете Природных ресурсов по Ивановской области.

Апробация работы. Материалы по теме диссертационной работы докладывались и получили одобрение на:

• И-м международном симпозиуме "Математическое моделирование экологических процессов". Доклад на тему: "Прогнозирование процессов с помощью нейронных сетей"., ИГТА (Иваново, 18 мая 2000г.);

• Международной научно-технической конференции "Состояние и перспективы развития элекгротехнологии" (X Бенардосовские чтения). Доклад на тему: "Применение генетического алгоритма для обучения нейронных сетей", ИГЭУ. (Иваново, 6-8 июня 2001г.);

• VIII Всероссийском съезде по теоретической и прикладной механике. Доклад на тему: "Опыт распараллеливания вычислений для моделей процессов в сплошных средах". (Пермь, 27 августа 2001г.);

• VIII Всероссийской конференции "Нейрокомпьютеры и их применение" (НКП-2002). Доклад на тему: "О применении нейронных сетей для оценки состояния металла". (Москва, 2002г.);

• Расширенном заседании кафедры Высокопроизводительных вычислительных систем ИГЭУ (Иваново, 2003г.).

Публикации. Основные результаты исследований, выполненных в рамках настоящей диссертации, опубликованы в восьми статьях во всероссийских научных журналах и международных сборниках научных трудов (см.стр.20).

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав с выводами, общих выводов и рекомендаций, списка литературы, включающего 146 наименований и приложения. Основное содержание изложено на 113 страницах, включая 32 рисунка и 7 таблиц.

СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении представлена общая характеристика проблемы и ее актуальность. Определены общие цели работы, а также теоретическая и методологическая база исследования, сформулированы положения, выносимые на защиту, изложены научная новизна и практическая значимость работы. А также кратко раскрыта структура диссертации.

В первой главе выполнен обзор научных публикаций, освещающих проблему обучения искусственных нейронных сетей, рассмотрены научные предпосылки, история развития теории нейронных сетей, известные алгоритмы их обучения, а также описан спектр задач, решаемых искусственными нейронными сетями.

Показаны недостатки присущие популярным однослойным и многослойным алгоритмам обучения искусственных нейронных сетей: невозможность реализации перцептроном функции "Исключающее ИЛИ", неопределенность выбора числа слоев и количества нейронов в слое, медленная сходимость градиентного метода с постоянным шагом обучения, сложность выбора подходящей скорости обучения, возможность "паралича сети", невозможность различения точек локального и глобального минимумов, влияние неудачной инициализации весовых коэффициентов нейронной сети на поиск минимума функции среднеквадратичной ошибки.

Рассмотрены подходы отечественных и зарубежных ученых к теоретическим и практическим исследованиям процесса обучения нейронных сетей.

Проведен анализ способов обучения нейронных сетей, который показал, что для решения сложных производственных задач с большим числом входной информации требуются дополнительные затраты машинного времени и повышенный объем памяти. Естественным решением возникающих проблем является применение многопроцессорных параллельных вычислительных комплексов.

Показано, что на сегодняшний день не существует универсальных алгоритмов обучения искусственных нейронных сетей, свободных от указанных недостатков, поэтому дальнейшая работа по созданию быстрых алгоритмов обучения нейронных сетей является целесообразной.

Вторая глава посвящена разработке и анализу быстрых алгоритмов обучения нейронных сетей.

Одним из наиболее эффективных способов обучения сети, является минимизация целевой функции, которую можно вычислять по формуле:

0(8) = ¿(У* "У.) <1>

1=1

где: у*| - фактическое значение на выходе ¡-го нейрона,

У1 - требуемое значение, на выходе ¡-го нейрона.

Целевая функция является критерием близости приближенного решения, даваемого сетью, к точному. Задачей обучения нейронной сети является минимизация указанной целевой функции. Преимуществом использования целевой функции является простота оценки степени обученности сети, а также независимость оценки от локальных приближений отдельных нейронов.

Другим, хорошо зарекомендовавшим себя способом ускоренного обучения искусственных нейронных сетей, является алгоритм случайного поиска. Обозначим все весовые коэффициенты как 2Ь ..., 2Н. Тогда набор некоторых их значений можно рассматривать как точку в И-мерном Эвклидовом пространстве Ек, которой соответствует определенное значение целевой функции О^,...^).

Принцип работы предлагаемого варианта случайного поиска состоит в следующем. Пусть 2=(2.^°,...,2^°) некоторая начальная точка. Условно примем ее за удачную. Вокруг нее строится окрестность с размерами А2°] г=1Из этой окрестности с помощью генератора случайных чисел выбирается пробная случайная точка с координатами

лг? (2)

где: | - случайные числа, равномерно-распределенные в

интервале (-1, +1).

В исходной 2Т° и пробной 2Г точках вычисляются целевые функции: 0(г°) и 0(2). Если 0(2) < 0(2°), то пробная точка признается удачной и становится исходной для нового шага 7}=2. В противном случае следующая проба снова делается из старой точки 2°.

Так образуется последовательность удачных точек

г0, г1, г2.....О)

сходящаяся к точке минимума 2*.

Пробы каждый раз берутся из окрестности последней удачной точки. Размеры окрестности дг™ по мере приближения к цели уменьшаются. Теоретически и посредством численного эксперимента установлено, что такой вариант случайного поиска наиболее эффективен, если удачные пробы составляют в нем 25% от общего числа проб. Этот показатель является ориентиром для автоматического регулирования размеров окрестности Дггт. В среднем при очень малых размерах дггт число удачных проб близко к 50%, но в этом случае движение к цели происходит слишком медленно. При больших размерах окрестности Д2гт удачных проб чрезвычайно мало. Поиск тоже становится неэффективным. Поддерживая число удачных проб на уровне 25%, соответственно меняя дг/", получаем эффективный алгоритм, нечувствительный к негладкостям целевой функции и пригодный для глобального поиска.

Наряду с алгоритмом случайного поиска высокую эффективность показал предложенный автором алгоритм генетической оптимизации. Он состоит в следующем. В пространстве поиска Ек выбирается некоторое количество исходных точек 1г (1=1,2,...). Обычно их получают с помощью описанного выше случайного поиска, повторяя его из различных начальных позиций. Это "родители". Они образуют пары. Пары строятся следующим образом. Целевые функции для партнеров должны быть близки, а расстояние между ними максимально.

я

> е2 —> шах

Г=1

(4)

Пара дает потомство. Координаты точек - "потомков" вычисляются по координатам "родителей" с учетом амплитуды генетических мутаций дгг

гг + (5)

где: £ - случайные числа, равномерно распределенные в интервале (-1, +1). Идею такого поиска поясняет рис.1.

Рис.1

На рисунке 0 - родительские точки, * - точки-потомки, С^сог^ - линии равного значения целевой функции, От|П - значение целевой функции в минимуме, 2}, О', О1 - координаты родительских точек и значение в них целевой функции.

Точки - потомки находятся ближе к искомому минимуму, чем родительские точки. Потомков должно быть не меньше, чем родителей, с тем чтобы этот процесс можно было продолжить неограниченно. На практике этот алгоритм оказался весьма эффективным и позволял быстро обучать нейронные сети.

Когда начальная стадия обучения закончится, и нейронная сеть начнет достаточно верно предсказывать поведение объекта, можно перейти к обучению, основанному на минимизации новой целевой функции.

0(е) = <Ш + <Ш (6)

где: СЬ(д) - критерий близости приближенного решения, даваемого нейронной сетью, к точному,

02(д) - "штраф за сложность", штрафная функция, добавление которой заставляет вычислительный процесс идти по линии уменьшения значений некоторых весовых коэффициентов. Это позволяет отыскивать простейшие решения. Штрафную функцию можно вычислить так:

= (7)

где: а- множитель определяющий величину штрафа. В процессе вычислений он должен возрастать.

Если некоторые веса становятся весьма малыми, т.е. меньшими некоторых пороговых значений 8

(

К\<* (8)

то они приравниваются к нулю и соответствующие связи отбрасываются. Соответственно сеть становится проще, а выражение определяющее результирующее значение короче.

Проведенные исследования по прогнозированию поведения динамических систем показывают, что нейронное моделирование позволяет вскрыть существенные связи в сложной системе. Веса важных связей увеличиваются, а слабых и незначительно влияющих снижаются до нулевых значений, в дальнейшем их можно отбросить. Обученные нейронные сети можно в дальнейшем применять для задач математического моделирования. В сложной динамической системе отдельные блоки можно заменять обученными нейронными сетями, что позволяет в некоторых случаях значительно ускорить моделирование.

В ходе проведенных экспериментов было доказано, что нейронное моделирование позволяет найти новые устойчивые разностные схемы для процессов в сплошных средах. Это было исследовано на следующих объектах:

1. Волновая система (задача о колебаниях упругой нити).

2. Тепловые процессы (передача тепла через стенку, при сложном изменении температуры на одной из поверхностей).

3. Движение молекул (колебание молекул в полимерной цепочке).

Процесс колебания упругой нити описывался уравнением:

и реализовался разностной схемой

й™ =20^ -йГ"1 -2-й* +й,у (Ю)

где I' = 2..... N-1- номер точки, К - номер момента времени, и -

смещение струны, нижний индекс соответствует номеру узла, а верхний индекс соответствует номеру момента времени, С -скорость волны, И - шаг сетки, т - шаг по времени. Задачей обучения нейронной сети было прогнозирование последующих положений струны, используя данные, полученные на предыдущих шагах. Нейрокомпьютер искал решение в виде

=о1-й|с_,+о2-и^ +о3-й^+с4-й^1 (11)

В результате обучения значение коэффициентов в оказалось соответствующим точному решению (10). Таким образом нейронная сеть нашла разностную схему дающую решение этой задачи.

Для подтверждения этого также были исследованы два следующих объекта:

Задача о передаче тепла через стенку, при сложном изменении температуры на одной из поверхностей

ди 2 3 и

— = а —-

а дх

2 и V /-10\

= я —Т> (12)

+«<,); и|^=о (13)

где: 11(1,х) - температура.

Реализация выполнялась с помощью метода скалярной прогонки. В качестве обучающего алгоритма нейронной сети применялся генетический поиск.

Задача о колебаниях молекул в полимерной цепочке. Этот процесс описывается уравнениями

ш

й2

^ = В-(|х1-х;_1Г-К+1-х,Г) (14)

где: Х| - координаты частиц; т - их масса; ¡=1

Реализация выполнялась с помощью схемы

хГ+1 = 2х* -х?-' + Щх? -х^Г -|х£, -х^Г); (15)

т VI II I /

где: ¡=2.....N-1

Крайние частицы закреплены = 0; = 1;

Численные эксперименты с этими объектами подтверждают приведенное выше утверждение о целесообразности замены динамических систем их нейронными аналогами.

Замена в сложных системах отдельных подсистем обученными нейронными сетями открывает пути к анализу и синтезу систем, а также построению быстрых и надежных устройств управления технологическими процессами.

Установлено, что частичный выход из строя части нейронной сети не лишает ее способности функционирования, хотя и может ухудшить качество работы. При классическом моделировании динамических систем ошибка или сбой являются для системы фатальными.

Результаты, полученные в ходе обучения нейронных сетей обычным, генетическим и генетическим алгоритмом с мутациями представлены на рис.2.

Приведенные результаты показывают, что хорошо подобранная величина мутаций влияет на уровень эффективности сети.

Q,V. 100

70

30

40

50

90

80

60

шаги

О 1000 2000

4000

8000

кривая а - результаты распознавания нейросети обычным алгоритмом, кривая Ь - результаты применения генетического алгоритма, кривая с - применение мутаций в генетическом алгоритме

В третьей главе приводятся методика ускорения обучения нейронных сетей посредством реализации их на многопроцессорных вычислительных системах и результаты реализации предложенного генетического алгоритма на параллельных ЭВМ.

В качестве объектов для исследования использовались: имитатор параллельной ЭВМ на однопроцессорной машине, имитатор параллельной ЭВМ на локальной вычислительной сети, параллельная суперЭВМ Power Xplorer фирмы Parsytec и многопроцессорная вычислительная система МВС-1000.

Сравнительный анализ графов параллельных вычислительных систем и искусственных нейронных сетей показывает их общность. Топологии, применяемые в многопроцессорных вычислительных системах, могут быть также использованы для построения искусственных нейронных сетей. Это дает возможность проектировать граф искусственной нейронной сети на граф параллельной вычислительной системы.

Искусственные нейронные сети характеризуются наличием большого количества связей между близлежащими слоями. Большой поток информации передаваемый по этим связям является наибольшим препятствием при оптимизации процесса распараллеливания.

Распараллеливание генетического алгоритма обучения

Рис. 2

нейронной сети выполнялось для задачи прогнозирования уровня воды в Уводском водохранилище, питающем город Иваново (задача о паводке). Были опробованы различные топологии и лучшей оказалась топология "звезда", которая показала высокую эффективность при реализации на параллельной супер-ЭВМ Power Xplorer фирмы Parsytec и многопроцессорной вычислительной системе МВС-1 ООО.

Одна из особенностей реализации состояла в следующем.

На каждом процессоре использовалась своя целевая функция и своя доля популяции. На центральном процессоре "звезды" производилось сравнение полученных целевых функций и выбор наилучшей из них. Далее, процессоры уведомлялись о полученных результатах, пересылкой флага лучшего процессора. Прогнозирование течения сложного технологического процесса выполняется процессором, получившим флаг лучшего. Процесс многократно повторяется, до снижения лучшей целевой функции ниже порога (в идеальном случае - до нуля). В процессе обучения флаг лучшего передается от одного процессора к другому, заменяя собой пересылку массивов получаемых весов для проведения прогнозирования. Роль главного процессора, при этом, переходит от одного процессора к другому.

Для улучшения генетического поиска, через определенное количество шагов обучения, производится передача массива весов лучшего процессора другим процессорам участвующим в поиске. Таким образом новый поиск производится в лучших условиях, начиная с точки наиболее близко расположенной к искомому значению минимума целевой функции. Это позволяет ускорить процесс генетического поиска. Интервал шагов обучения между обменами массивами весов, должен быть достаточно большим. В противном случае процесс генетического поиска будет тормозиться за счет пересылки большого количества данных между процессорами.

В четвертой главе приводятся методика и результаты экспериментальных исследований процессов обучения искусственных нейронных сетей в практических задачах связанных, с диагностикой металлических конструкций по микрофотографиям шлифов сгибов труб работающих в тяжелых условиях и задаче прогнозирования экологических процессов в бассейне реки Уводь Ивановской области.

В настоящее время диагностику состояния металлических конструкций проводят в лабораторных условиях по микрообразцам, получаемых с исследуемых объектов. Выборка микрообразцов

осуществляется из наиболее нагруженных и высокотемпературных зон, характерных тем, что при длительной эксплуатации именно в них развиваются опасные микроповреждения.

Для решения проблемы диагностики металла разработана система классификации его состояний: определение категории повреждения металла (КПМ). Однако при определении КПМ сталкиваются с рядом проблем:

1. Оценку металла может дать эксперт в данной области, для подготовки которого требуется длительное время;

2. Оценки разных экспертов часто не совпадают;

3. Четкие алгоритмы определения КПМ отсутствуют.

Задача диагностики категорий повреждения металла решалась для применения на Костромской ГРЭС. В качестве объекта диагностики были предложены микрофотографии шлифов сгибов труб. Для их получения разработан специальный передвижной комплекс, включающий в себя микроскоп и видеокамеру. Изображение с видеокамеры в дальнейшем передается в персональный компьютер, где хранится в виде графических файлов.

Для оценки состояния металла выбрана двухслойная сеть с эффекторным (решающим) слоем, структура которой показана на рис.3. На вход сети подается изображение микрообразца. Примеры исходных изображений приведены на рис.4. Каждый слой сети представляет собой матрицу определенного размера. Подать изображение на рецепторный слой означает заполнить соответствующие элементы матрицы числами, определяющими цвет экранного пикселя. Рецепторный слой связан с первым ассоциативным слоем, а тот, в свою очередь, - со вторым ассоциативным слоем, информация с которого поступает на эффекторный слой. Связи между слоями характеризуются весовыми коэффициентами, которые подбираются при обучении сети. На выходе эффекгорного слоя получается четырехразрядное двоичное число, которое, в двоичном коде, определяет категорию повреждения металла микрообразца.

Технология создания, обучения и эксплуатации нейронной сети, применительно к задаче распознавания образов, строится следующим образом:

^Формируется набор обучающих образов с известными категориями повреждения металла.

2. Осуществляется первоначальная настройка нейронной сети -весовым коэффициентам присваиваются случайные значения.

3. Обучающие последовательности в определенном порядке предъявляются нейронной сети.

4. Нейронная сеть, в соответствии с имеющейся матрицей весов классифицирует предъявленные образы. Полученные результаты сравниваются с оценками экспертов. На основе этого сравнения происходит коррекция весовых коэффициентов нейронной сети.

5. Обучение продолжается до тех пор, пока результаты оценки нейронной сетью с заданной вероятностью, не совпадут с эталонными оценками экспертов.

Рецепторный Первый Второй Эффекторный

слой ассоциативный ассоциативный (решающий) спой

слой слой

Рис.3

После этого нейронная сеть считается настроенной (обученной) на задачу распознавания образов, и ее можно использовать для классификации других снимков. Имеется возможность производить последующее дообучение нейронной сети в процессе ее эксплуатации.

При указанной структуре нейронной сети (рис.3) приходится формировать в оперативной памяти большие массивы данных и весов (512x512 элементов). Использование массивов таких размеров резко замедляет обучение нейронной сети. Предложено, для ускорения работы программы и уменьшения требований к оперативной памяти, поочередное использование массивов меньшего размера. При этом массив 400x400 элементов (первый ассоциативный слой), представляющий собой группу из 400 массивов размером 20x20 элементов, можно заменить одним

массивом 20x20 элементов. При работе программы этот массив поочередно обслуживает все группы, сканируя полное изображение. Результат, полученный с помощью одного такого массива, соответствует входному значению для одной клетки второго ассоциативного слоя.

С целью повышения скорости обучения и улучшения его качества были опробованы различные методики настройки нейронной сети.

Одним из таких способов является последовательное обучение небольшими группами обучающих примеров. Вся последовательность обучающих образов делится на небольшие группы по 3-4 изображения. Обучение производится по образам внутри фуппы с ее последующим частичным обновлением. При смене группы сеть теряет часть предыдущей информации, но при повторных прохождениях процесса обучения по группам, частично ее восстанавливает. Чем меньше образов в группе, тем быстрее идет обучение. Количество изображений в группе имеет и свой нижний предел. Так при использовании только двух образов в группе наблюдались ситуации прекращения обучения сети. Как показала практика, оптимальное число образов в группе составляет 3-4 изображения и ускоряет процесс обучения в 1,5-2 раза.

Другим способом ускорения обучения является спектральный метод. При его использовании обучение нейросети происходит по цветовой насыщенности снимков. До начала процесса обучения формируются файлы спектров, которые в дальнейшем используются как обучающие последовательности. Файлы спектров представляют собой массивы из 256 чисел, каждое из которых показывает долю цвета палитры в анализируемом изображении.

а) категория 1

б) категория 76

Рис. 4

Нейронная сеть в ходе обучения находит те участки спектра, которые являются характерными для той или иной категории опасности. На практике этот метод зарекомендовал себя как наиболее быстрый. Время обучения, по сравнению с традиционным способом, уменьшается в 15-20 раз. Связано это с тем, что в качестве обучающей последовательности подаются не графические массивы размером 512x512 пикселей (262144 элемента), а массивы спектров из 256 элементов. Этот метод имеет еще и то достоинство, что не зависит от ориентации изображения.

В ходе численных экспериментов установлен факт зависимости обучаемости нейронной сети от порядка предъявления обучаемых последовательностей. Если последовательности одной категории опасности следовали без значительных интервалов, то наблюдались ситуации плохой обучаемости сети. Напротив, при чередовании снимков различных категорий, удавалось быстро доводить степень обученности нейронной сети до высокого уровня. Для повышения надежности распознавания целесообразно использовать комбинацию различных методов обучения.

В рамках работы по проекту прогнозирования запасов и качества воды в Уводском водохранилище питающем г.Иваново, была разработана система прогнозирования с применением искусственных нейронных сетей.

Для реализации этой задачи был выбран алгоритм генетического поиска, описание которого приводится во второй главе диссертации.

В качестве входных данных используется семь параметров (уровень поверхностных вод, уровень грунтовых вод, масса снежного покрова, температура воздуха, атмосферные осадки, уровень солнечной радиации, влажность воздуха). Прогнозируемым является уровень поверхностной воды.

Перед прогнозированием производится обучение нейронной сети, во время которого ей предъявляются различные известные исходные значения параметров и результат, к которому они привели. В процессе обучения, веса сети настраиваются таким образом, чтобы подаваемые на ее вход параметры вызывали получение результата совпадающего с предъявляемым. Обученность нейронной сети определяется, исходя из сравнения текущей и наилучшей из рассчитанных целевых функций.

Результат, возвращаемый обученной нейронной сетью при подаче на ее вход текущих значений исходных параметров является прогнозом, который в дальнейшем (при свершении события) может быть уточнен и использован в качестве дополнительной обучающей последовательности.

В параллельных вариантах реализации программы прогнозирования использованы дополнительные алгоритмы ускорения вычислений, основанные на принципах распараллеливания искусственных нейронных сетей, сформулированных во второй главе.

Программы разработанные в качестве практического приложения искусственных нейронных сетей с использованием быстрых алгоритмов реализованы в нескольких вариантах: однопроцессорном варианте для DOS (в среде программирования Паскаль), однопроцессорном варианте для Windows (в среде программирования Delphi), многопроцессорном варианте с использованием Router (на языке высокого уровня Си), многопроцессорном варианте с использованием MPI (на языке высокого уровня Си).

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Разработан оригинальный вариант алгоритма случайного поиска в применении к обучению нейронных сетей. Регулируя размеры окрестности по мере приближения к цели, получаем эффективный алгоритм, нечувствительный к негладкостям целевой функции и пригодный для глобального поиска.

2. Разработан оригинальный алгоритм генетической оптимизации. На практике этот алгоритм позволял быстро обучать моделирующие нейронные сети. Предложен способ распараллеливания указанного алгоритма для применения на многопроцессорных системах.

3. Показано, что в процессе обучения (в особенности при использовании штрафа за сложность) нейронная сеть ищет простейшее решение, отбрасывая лишние связи. Нейронное моделирование позволяет вскрыть существенные связи в сложной системе и найти новые устойчивые разностные схемы для процессов в сплошных средах. В сложной динамической системе отдельные блоки можно заменять обученными нейронными сетями, что позволяет в некоторых случаях ускорить моделирование. Такая замена открывает пути к анализу и синтезу систем, построению быстрых и надежных устройств управления технологическими процессами в энергетике и САПР. Частичный выход из строя нейронной сети не лишает ее способности функционирования, хотя и может ухудшить качество работы. При

классическом моделировании динамических систем ошибка или сбой являются для системы фатальными.

4. Разработан и внедрен оперативный метод диагностики состояния металлических конструкций удобный для использования в условиях предприятия. Разбивка обучающей последовательности на группы по 3-4 образа позволила сократить время обучения в 1,5-2 раза. Предложен спектральный метод распознавания категорий повреждения металла основанный на использовании цветовой гаммы изображений, его применение позволило в 15-20 раз сократить время обучения.

5. Разработан и внедрен метод прогнозирования для оценки запасов и качества воды в Уводском водохранилище. Применение искусственных нейронных сетей для решения этой задачи позволяет упростить подготовку исходных данных и ускорить процесс прогнозирования. Наиболее приемлемым, для обучения искусственной нейронной сети, оказалось применение алгоритма генетической оптимизации.

Публикации, отражающие основное содержание диссертации

1. Сидоров С.Г., Ясинский Ф.Н. "О повышении эффективности нейросетей в системах моделирования и управления технологическими процессами". // Известия вузов. Технология текстильной промышленности. №1 (253), ИГТА, г.Иваново, 2000г.

2. С.Г.Сидоров, В.П.Жуков, Ф.Н.Ясинский. Использование нейронных систем для оценки состояния металла рабочих органов текстильных машин. // Известия вузов. Технологии текстильной промышленности. №5 (257), ИГТА, г.Иваново, 2000г.

3.Сидоров С.Г., Ясинский Ф.Н. Распараллеливание генетического алгоритма, прогнозирующего течение сложных технологических процессов // Вестник ИГЭУ. Вып.2, г.Иваново, 2001г.

4. С.Г.Сидоров, М.Е.Капранова, Ф.Н.Ясинский. Применение генетического алгоритма для обучения нейронных сетей. Тезисы докладов международной научно-технической конференции "Состояние и перспективы развития электротехнологии" (X Бенардосовские чтения) 6-8 июня 2001г., ИГЭУ, г.Иваново, 2001г.

5. Н.В.Нуждин, В.В.Пекунов, С.Г.Сидоров, Л.П.Чернышева, Ф.Н.Ясинский. Опыт распараллеливания вычислений для моделей процессов в сплошных средах // Восьмой Всероссийский съезд по теоретической и прикладной механике. Аннотации докладов. Пермь: УрО РАН. - 2001 г.

i

19

6. С.Г.Сидоров, В.П.Жуков, Б.Л.Ершов, Ф.Н.Ясинский. О применении нейронных сетей для оценки состояния металла // Труды VIII Всероссийской конференции "Нейрокомпьютеры и их применение" (НКП-2002). Тезисы докладов. - М.: Век книги, 2002г.

7. С.Г.Сидоров, Ф.Н.Ясинский. Распараллеливание искусственных нейронных сетей с помощью многопроцессорной вычислительной техники // Вестник научно-промышленного общества - Москва, 2002 г.

8. С.Г.Сидоров, Л.П.Чернышева, Б.Л.Ершов, Ф.Н.Ясинский. Нейрокомпьютеры. Устройство, работа, моделирование на ПК. Методические указания. / Иван. гос. энерг. ун-т. - Иваново, 2002.

Подписано в печать 26.05.2003 г. Формат 60 х 84 1/16.

Печать плоская. Усл.печ.л.1,16.

Заказ № 101. Тираж 100 экз.

Отпечатано в РИО ИГЭУ

153000, г.Иваново, ул.Рабфаковская, 34

P11 2 О 6

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЗОР СОСТОЯНИЯ РАБОТ ПО ПРИМЕНЕНИЮ НЕЙРОТЕХНОЛОГИЙ.

1.1. Аналитический обзор.

1.2. Биологическая модель искусственных нейронных сетей.

1.3. Искусственные нейронные сети.

1.4. Алгоритмы обучения нейронных сетей.

1.5. Линейная разделимость и персептронная представляемость.

ВЫВОДЫ.

ГЛАВА 2. БЫСТРЫЕ АЛГОРИТМЫ.

2.1. Сведение обучения к минимизации.

2.2. Случайный поиск как механизм оптимизации.

2.3. Генетическая оптимизация.

2.4. Оптимизация со штрафом за сложность.

2.5. Гибридные нейродинамические системы.

2.6. Волновая система.

2.7. Тепловые процессы.

2.8. Движение молекул.

2.9. Ускорение моделирования заменой динамических подсистем их нейронными аналогами.

2.10. Результаты численных экспериментов обучения нейросетей.

ВЫВОДЫ.

ГЛАВА 3. УСКОРЕНИЕ РАБОТЫ НЕЙРОННЫХ СЕТЕЙ [ ПОСРЕДСТВОМ ИХ РЕАЛИЗАЦИИ НА МНОГОПРОЦЕССОРНЫХ

СИСТЕМАХ.

3.1. Граф многопроцессорных вычислительных систем.

3.2. Граф искусственной нейронной сети.

3.3. Проектирование графа нейронной сети на граф вычислительной системы и оптимизация этого отображения.

3.4. Генетический алгоритм на многопроцессорной системе.

ВЫВОДЫ.

Среди многообразия современных энергетических систем можно выделить значительную группу объектов, проектирование и диагностические исследования которых не могут быть выполнены традиционными методами и средствами автоматизации. Это объясняется следующими причинами:

1. Невозможностью получения формализованного математического описания процессов функционирования, а следовательно и невозможностью использования традиционных проектных процедур и операций автоматизации, основанных на применении методов оптимального проектирования.

2. Случайным характером изменения среды функционирования указанных объектов, в которой возможны как прогнозируемые изменения параметров, так и форс-мажорные события.

3. Экономической нецелесообразностью (дороговизной) непрерывного измерения технологических параметров объектов и возмущающих воздействий со стороны среды функционирования.

В качестве наиболее характерных примеров такого рода объектов и связанных с ними задач проектирования и диагностики можно назвать:

1. Диагностика состояния трубопроводов высокого давления и температуры, по которым пар от котлоагрегата подается к турбине. Структура металла, работающего в экстремальных условиях, подвергается изменению, в результате чего возможность аварии на трубопроводе возрастает. При эксплуатации оборудования важна возможность текущего контроля за состоянием металла. До настоящего времени этот контроль выполнялся экспертами по микрофотографиям шлифов сгибов труб. Недостаток такого подхода состоит в субъективности таких оценок (человеческий фактор).

2. Прогнозирование уровней воды в речной системе. Это весьма сложная задача, одной из причин сложности которой является наличие большого количества скрытых параметров, что делает затруднительным применение динамического прогнозирования. Создание прогнозирующей системы, основанной на использовании обучаемых нейронных сетей может быть весьма эффективно в гидроэнергетике, т.к. позволит на гидроэлектростанциях разрабатывать оптимальные режимы работы. Использование обучаемых нейронных сетей для прогнозирования потребности в электроэнергии позволит повысить эффективность планирования загрузки отдельных электростанций. Это в свою очередь даст возможность вести выработку электроэнергии с наилучшим КПД, что . приведет к экономии топлива.

В указанных обстоятельствах на помощь приходят быстро развивающиеся нейротехнологии. Они обладают следующими неоспоримыми преимуществами:

1. Нейронные сети являются адаптивными самообучающимися системами, извлекающими информацию из реальных процессов, которые динамически промоделировать трудно, т.к. они содержат много скрытых неконтролируемых параметров.

2. Применение нейронных сетей позволяет решать задачи, которые трудно или невозможно решить традиционными методами в силу отсутствия формализованных математических описаний процессов функционирования.

3. Нейронные сети в процессе работы накапливают информацию и эффективность их со временем возрастает.

4. Использование обучаемых нейронных сетей позволяет сделать диагностический контроль объективным и расширить его применение.

Одной из нерешенных проблем при использовании искусственных нейронных сетей является задача построения быстрых алгоритмов их обучения. В ходе исследований, проведенных автором, обнаружено, что большинство из распространенных алгоритмов обучения сводятся к градиентным методам поиска минимума целевой функции и обладают рядом недостатков, не гарантирующих обучение нейронных сетей за приемлемое время.

В этой связи создание быстрых алгоритмов обучения и применение современных нейронных сетей для разработки и реализации эффективных методов и алгоритмов автоматизации проектирования и диагностики энергетических объектов представляет в настоящее время несомненную актуальность.

Основная цель настоящей работы заключается в повышении эффективности и качества проектных работ и диагностических исследований отдельных энергетических объектов в результате разработки, компьютерной реализации ускоренных алгоритмов обучения нейронных сетей.

Достижение указанных целей сопряжено с решением следующих основных задач:

Разработка алгоритмических основ автоматизации проектных работ и диагностических исследований энергетических объектов с использованием нейротехнологий.

2. Разработка ускоренных алгоритмов построения и обучения искусственных нейронных сетей.

3. Реализация нейронных сетей на одно- и многопроцессорных вычислительных системах.

4. Оценка эффективности разработанных средств на примерах решения практических задач проектирования и диагностики энергетических объектов.

В основе представленного исследования лежат принципы математического моделирования. Объектами исследований явились классические алгоритмы обучения искусственных нейронных сетей: дельта-метод, алгоритм обратного распространения ошибки, оригинальный вариант алгоритма случайного поиска, оригинальный разработанный алгоритм генетической оптимизации, а также варианты этих алгоритмов с применением минимизации целевой функции и штрафной функции за сложность. Программы, реализующие описанные алгоритмы, представлены в вариантах для однопроцессорных ЭВМ, параллельной ЭВМ Ро\уегХр1огег фирмы РагБ^ес и многопроцессорной системы МВС-1000. Эффективность разработанных алгоритмов оценивалась по скорости обучения нейронных сетей до приемлемого качества работы при одинаковых исходных параметрах. Качество обученности нейронных сетей оценивалось по значениям среднеквадратичной целевой функции, а также доле ошибочных ответов по сравнению с оценками экспертов (в задаче диагностики металлических конструкций) и истинными значениями (в задаче прогнозирования гидрологических процессов).

В диссертационной работе впервые получены следующие научные результаты:

1. Обосновано применение искусственных нейронных сетей в задачах автоматизации проектных работ и диагностических исследований энергетических объектов.

2. Разработаны алгоритмы последовательного обучения нейронных сетей, позволяющие вскрыть существенные связи в сложной системе, отличающиеся нечувствительностью к негладкостям целевой функции.

3. Созданы ускоренные методы и алгоритмы обучения искусственных нейронных сетей, обеспечивающие поиск простейших решений за приемлемое время, отличающиеся пригодностью для глобального поиска.

4. Предложены методы распараллеливания алгоритма генетической оптимизации для реализации на многопроцессорной технике, отличающиеся отсутствием передачи массивов весов между процессорами, что позволяет ускорить процесс обучения нейронных сетей.

Ниже сформулированы положения выносимые на защиту:

1. Математическая модель оригинального генетического алгоритма;

2. Математическая модель варианта случайного поиска;

3. Алгоритм распараллеливания метода генетической оптимизации нейронных сетей при реализации на многопроцессорной технике;

4. Двухслойный нейросетевой алгоритм классификации категорий повреждения металлов по микрофотографиям шлифов;

5. Нейродинамическая модель системы прогнозирования гидрологических процессов.

Практическая ценность научной работы заключается в том, что теоретические результаты получили практическое воплощение в виде эффективных алгоритмов обучения искусственных нейронных сетей и их использовании в прикладных компьютерных программах для реализации задачи диагностики состояния металлических конструкций по микрофотографиям шлифов и задачи прогнозирования гидрологических процессов. Разработаны компьютерные программы, реализующие параллельный алгоритм генетической оптимизации для параллельной суперЭВМ Power Xplorer фирмы Parsytec и многопроцессорной вычислительной системы МВС-1000.

Результаты математического моделирования могут быть использованы:

• для более глубокого понимания и дальнейшего развития теории построения и обучения искусственных нейронных сетей;

• для более широкого внедрения нейронных технологий в САПР и систему управления энергетическими объектами, в частности для прогнозирования загрузки энергетических сетей, что позволит вести генерирование энергии в экономичном режиме.

Основные научные и практические результаты работы реализованы в виде компьютерных программ и внедрены:

1. В составе автоматизированной системы диагностики категорий повреждения металла (КПМ) труб высокого давления и температуры на Костромской ГРЭС.

2. В составе гидрологического пакета программ HydroEcology 1.0 в Комитете Природных ресурсов по Ивановской области.

Диссертационная работа содержит четыре главы с выводами, общие выводы и рекомендации, список литературы, включающий 146 наименований и приложения.

В первой главе выполнен обзор научных публикаций, освещающих проблему обучения искусственных нейронных сетей, рассмотрены научные предпосылки, история развития теории нейронных сетей, известные алгоритмы их обучения, а так же описан спектр задач, решаемых искусственными нейронными сетями. Показаны недостатки присущие распространенным однослойным и многослойным алгоритмам обучения искусственных нейронных сетей. Рассмотрены научные подходы отечественных и зарубежных ученых к теоретическим и практическим исследованиям процесса обучения нейронных сетей. Проведен анализ способов обучения нейронных сетей, который показал, что естественным решением сложных производственных задач с большим числом входной информации является применение многопроцессорных параллельных вычислительных комплексов. Показано, что на сегодняшний день не существует универсальных алгоритмов обучения искусственных нейронных сетей, свободных от указанных недостатков, поэтому дальнейшая работа по созданию быстрых алгоритмов обучения нейронных сетей является целесообразной.

Вторая глава посвящена быстрым алгоритмам обучения нейронных сетей. Были рассмотрены следующие способы обучения:

• минимизация целевой функции. Преимуществом ее использования является простота оценки степени обученности сети, а также независимость оценки от локальных приближений отдельных нейронов.

• алгоритм случайного поиска. Поддерживая число удачных проб на уровне 25%, получаем эффективный алгоритм, нечувствительный к негладкостям целевой функции и пригодный для глобального поиска.

• алгоритм генетической оптимизации. На практике этот алгоритм оказался весьма эффективным и позволял быстро обучать нейронные сети.

• обучение, основанное на минимизации целевой функции с использованием "штрафа за сложность". Добавление штрафной функции заставляет вычислительный процесс идти по линии уменьшения значений некоторых весовых коэффициентов. Это позволяет отыскивать простейшие решения.

Проведенные исследования по прогнозированию поведения динамических систем показывают, что нейронное моделирование позволяет вскрыть существенные связи в сложной системе и найти новые устойчивые разностные схемы для процессов в сплошных средах. Веса важных связей увеличиваются, а слабых и незначительно влияющих снижаются до нулевых значений, в дальнейшем их можно отбросить. Обученные нейронные сети можно в дальнейшем применять для задач математического моделирования. В сложной динамической системе отдельные блоки можно заменять обученными нейронными сетями, что позволяет в некоторых случаях значительно ускорить моделирование.

В третьей главе приводятся методика ускорения обучения нейронных сетей посредством реализации их на многопроцессорных вычислительных системах и результаты реализации предложенного генетического алгоритма на параллельных ЭВМ. В качестве объектов для исследования использовались: имитатор параллельной ЭВМ на однопроцессорной машине, имитатор параллельной ЭВМ на локальной вычислительной сети, параллельная суперЭВМ Power Xplorer фирмы Parsytec и многопроцессорная вычислительная система МВС-1000. Распараллеливание генетического алгоритма обучения нейронной сети выполнялось для задачи прогнозирования уровня поверхностных вод в Уводском водохранилище, снабжающем город Иваново.

В четвертой главе приводятся методика и результаты экспериментальных исследований процессов обучения искусственных нейронных сетей в практических задачах связанных, с диагностикой состояния металла паропроводов высокого давления и температуры по микрофотографиям шлифов гибов труб работающих в тяжелых условиях и задаче прогнозирования гидрологических процессов в бассейне реки Уводь Ивановской области.

В приложении приведены программы, разработанные с использованием быстрых алгоритмов обучения искусственных нейронных сетей, реализованные в однопроцессорном и многопроцессорных вариантах.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В соответствии с целью диссертационного исследования были разработаны ускоренные алгоритмы обучения искусственных нейронных сетей, получившие применение в практических задачах.

В диссертации были получены следующие результаты:

1. Показано, что в процессе обучения (особенно при использовании штрафа за сложность) нейронная сеть ищет простейшее решение, отбрасывая лишние связи. Нейронное моделирование позволяет вскрыть существенные связи в сложной системе и найти новые устойчивые разностные схемы для процессов в сплошных средах.

2. В сложной динамической системе отдельные блоки можно заменять обученными нейронными сетями, что позволяет в некоторых случаях ускорить моделирование. Такая замена открывает пути к анализу и синтезу систем, построению быстрых и надежных устройств управления технологическими процессами.

3. Частичный выход из строя нейронной сети не лишает ее способности функционирования, хотя и может ухудшить качество работы. При классическом моделировании динамических систем ошибка или сбой являются для системы фатальными.

4. Одним из наиболее эффективных способов обучения нейросети, является минимизация целевой функции.

5. Разработан оригинальный вариант алгоритма случайного поиска в применении к обучению нейронных сетей. Регулируя размеры окрестности по мере приближения к цели, получаем эффективный алгоритм, нечувствительный к негладкостям целевой функции и пригодный для глобального поиска.

6. Разработан оригинальный алгоритм генетической оптимизации. На практике этот алгоритм позволял быстро обучать моделирующие нейронные сети.

Предложен способ распараллеливания указанного алгоритма для применения на многопроцессорных системах.

7. Предложен и внедрен оперативный способ диагностики состояния металлических конструкций удобный для использования в условиях предприятия. Разбивка обучающей последовательности на группы по 3-4 образа позволила сократить время обучения в 1,5-2 раза. Предложен метод распознавания категорий повреждения металла основанный на использовании спектра изображений, его применение позволило в 15-20 раз сократить время обучения.

8. Предложен и внедрен способ прогнозирования для оценки запасов и качества воды в Уводьском водохранилище. Применение искусственных нейронных сетей и алгоритма генетической оптимизации для решения этой задачи позволяет упростить подготовку исходных данных и ускорить процесс прогнозирования.

1. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика: Пер. с англ. М.: Мир, 1992. - 240 е., ил.

2. Sejnowski, Т.J., and Rosenberg, C.R. 1987. Parallel Networks that learn to pronounce English text. Complex Systems 3:145-68.

3. Burr, D.J. 1987. Experiments with a connectionist text reader. In Proceedings of the First International on Neural Networks, eds. M.Caudill and C.Butler, vol.4, pp.717-24. San Diego, CA: SOS Printing.

4. Cottrell, G.W., Munro, P., and Zipser, D. 1987. Image compressions by backpropagation: An example of extensional programming. Advaces in cognitive science (vol.3). Norwood, NJ: Ablex.

5. Minsky, M., and Papert, S. 1969. Perseptrons. Cambridge, MA: MIT Press. (Русский перевод: Минский M.JT., Пейперт С. Персептроны. М.: Мир. -1971.)

6. Parker D.B. 1987. Second order back propagation: Implementing an optimal O(n) approximation to Newton's method as an artificial newral network. Manuscript submitted for publication.

7. Stornetta W.S., Huberman B.A. 1987. An improwed: three-layer, backpropagation algorithm. In Proceedings of the IEEE First International Conference on Newral Networks, eds. M.Caudill and C.Butler. San Diego, CA: SOS Printing.

8. Rumelhart D.E., Hinton G.E., Williams R.J. 1986. Learning internal reprentations by error propagation. In Parallel distributed processing, vol.1, pp.318-62. Cambridge, M.A.: MIT Press.

9. Wasserman P.D. 1988b. Experiments in translating Chinese characters using backpropagation. Proceedings of the Thirty-Third IEEE Computer Society International Conference. Washington, D.C.: Computer Society Press of the IEEE.

10. Wasserman P.D. 1988a. Combined backpropagation / Cauchy machine. Proceedings of the International Newral Network Society. New York: Pergamon Press.

11. П.Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов: Пер. с англ. -М.: Мир, 1989. 448 е., ил.

12. Копосов А .Я., Израилев Ю.Л. Совершенствование управления процессом обеспечения живучести стареющих ТЭС / В сб. Повышение эффективности работы ТЭС и энергосистем. Иваново, 1998.

13. Ф.Розенблатт. Принципы нейродинамики: Пер. с англ. М.: Мир, 1965 - 480 е., ил.

14. Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. М.: ИПРЖР, 2000. - 416 е.: ил.

15. Сигеру Омату. Нейроуправление и его приложения. Кн.2. / Сигеру Омату, Марзуки Халид, Рубия Юсоф; Пер. с англ. Н.В.Батина; Под ред. А.И.Галушкина, В.А.Птичкина. М.: ИПРЖР, 2000. - 272 е.: ил.

16. Галушкин А.И. Нейрокомпьютеры. Кн.З: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. М.: ИПРЖР, 2000. - 528 е.: ил.

17. Головко В.А. Нейронные сети: обучение, организация и применение. Кн.4: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. М.: ИПРЖР, 2001. -256 е.: ил.

18. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001. - 382 е.: ил.

19. Каллан, Роберт. Основные концепции нейронных сетей. : Пер. с англ. М. : Издательский дом "Вильяме", 2001. - е.: ил.

20. Цыганков В.Д. Нейрокомпьютер и мозг. Учебное пособие. Серия "Информатизация России в XXI веке". М.: СИНТЕГ, 2001, 248 с.

21. Цыганков В.Д. Вселенский разум и квантовый нейрокомпьютер. Серия "Информатизация России в XXI веке". М.: СИНТЕГ, 2002, 176 с.

22. Комарцова Л.Г., Максимов A.B. Нейрокомпьютеры: Учеб. пособие для вузов. М.: Изд-во МГТУ им.Н.Э.Баумана, 2002. - 320 е., ил.

23. Корнеев В.В. Параллельные вычислительные системы. М.: "Нолидж", 1999.-320 е., ил.

24. Многопроцессорные вычислительные системы. Архитектура. Математическое моделирование: Учеб. пособие / Ф.Н.Ясинский, Л.П.Чернышева; Иван. гос. энерг. ун-т. Иваново, 1998.

25. Компьютерные системы и сети: Учеб. пособие / В.П.Косарев и др. / Под ред. В.П.Косарева и Л.В.Еремина. М.: Финансы и статистика, 1999. - 464 е.: ил.

26. Математическое моделирование с помощью компьютерных сетей: Учеб. пособие / Ф.НЛсинский, Л.П.Чернышева, В.В.Пекунов; Иван. гос. энерг. ун-т. Иваново, 2000.

27. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия - Телеком, 2002. - 94с.

28. Корнеев В.В. Архитектура вычислительных систем с программируемой структурой. Новосибирск: Наука, 1985. 168с.

29. В.Воеводин. Математические модели и методы в параллельных процессах. М.: Наука, 1986.

30. Эволюционные вычисления и генетические алгоритмы. Обозрение прикладной и промышленной математики. М. Научное издательство "ТВП", том 3, вып.5,1996.

31. Аведьян Э.Д., Коваленко М.Л., Цитоловский Л.Е., Цыпкин Л.З. Автономные алгоритмы настройки нейронных сетей. Тр. Международной конференции "Математика, компьютер, управление и инвестиции".-М.:Гарант,1993,с.2-11.

32. Аппаратная реализация ускорителя нейровычислений. / А.В.Бочаров, A.C. Грошев, М.В. Захватов и др. Известия вузов. Приборостроение, 1995, т.38, №1-2.

33. Харари Ф. Теория графов. М,: Мир, 1973. 299 с.

34. Бовбель Е.И., Паршин B.B. Нейронные сети в системах автоматического распознавания речи. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4.

35. Бубенников А.Н. Архитектурно-технологический облик интеллектуальных нейронных сетей на кремниевых пластинах и трехмерных нейрокомпьютеров. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4.

36. Галушкин А.И. Нейрокомпьютеры в разработке военной техники США. -Зарубежная радиоэлектроника, 1995, №5.

37. Галушкин А.И. Нейрокомпьютеры в разработке военной техники США. -Зарубежная радиоэлектроника, 1995, №6.

38. Галушкин А.И., Крысанов А.И. Оценка производительности нейрокомпьютеров. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4, с.22-33.

39. Галушкин А.И. Современные направления развития нейрокомпьютеров в России. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4, с.3-17.

40. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976.

41. Комашинский В.И., Смирнов Д.А. Введение в нейро-информационные технологии. СПб.: Тема, 1999.

42. Крысанов А.И. СБИС L-Neuro базовый нейрочип для создания современных нейрокомпьютеров. - Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4, с. 18-21.

43. Куссуль Э.М. Ассоциативные нейроподобные структуры. Киев: Наукова думка, 1990.

44. Логовский A.C. Использование нейронных сетей для решения комбинационных задач с полным перебором. Нейрокомпьютер, 1994, №3, 4, с.41-50.

45. Соколов В.Н. Нейронные механизмы памяти и обучения. М.: Наука, 1981.

46. Хант Э. Искусственный интеллект. М.: Мир, 1978.51 .Цыпкин ЯЗ. Адаптивные методы выбора решений в условиях неопределенности. Автоматика и телемеханика, 1976, №4, с.78-91.

47. Применение нейрокомпьютеров в финансовой деятельности. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, 1998, №4, с.61-68.

48. Галушкин А.И. Многослойные системы распознавания образов. М., МИЭМ, 1970, с.167.

49. Галушкин А.И., Юмашев С.Г. О применении кусочно-линейных разделяющих поверхностей в задаче распознавания образов. // Труды МИЭМ, 1970, с.238-254.

50. Галушкин А.И. Синтез многослойных систем распознавания образов. М., Энергия, 1974, с.368.

51. Галушкин А.И., Шмид A.B. Оптимизация структуры многослойных нейронных сетей с перекрестными связями. // Нейрокомпьютер, №2, 1992, с.7-11.

52. Галушкин А.И. Континуальные модели многослойных систем распознавания образов. Автоматика и вычислительная техника. Рига, АН Латв.ССР, 1977, №2, с.43-48.

53. Галушкин А.И. Континуальные нейронные сети. //Нейрокомпьютер, 1992, №2, с.9-14.

54. Галушкин А.И. Единый подход к решению задач обучения и самообучения систем распознавания образов // Труды МИЭМ, вып.6, 1970, с.104-120.

55. Галушкин А.И., Зак Л.С., Тюхов Б.П. К сравнению критериев оптимизации адаптивных систем распознавания образов // Кибернетика. Киев, №6, 1970, с.122-130.

56. Галушкин А.И. Реализация критериев первичной оптимизации в системах распознавания образов, настраивающихся по замкнутому циклу в режиме обучения. // Труды МИЭМ, вып.23, 1971, с. 191-203.

57. Галушкин А.И. Анализ одного итерационного метода поиска экстремума. // Автоматика и вычислительная техника. Рига, №2, 1970, с.38-40.

58. Цыпкин Я.З. Адаптация и обучение в автоматических системах. М., Наука, 1968, с.399.

59. Цыпкин Я.З. Основы теории обучающихся систем. М., Наука, 1970, с.251.

60. Галушкин А.И., Шмид A.B. Итерационные методы поиска экстремума функций многих переменных при ограничениях типа равенств. // Автоматика и вычислительная техника. Рига, №4, 1971, с.88-91.

61. Галушкин А.И., Тюхов Б.П., Чигринов В.Г. О сходимости одного метода случайного поиска при отыскании локальных и глобальных экстремумов многоэкстремальной функции // Труды МИЭМ, вып.23, 1971, с.205-209.

62. Растригин Л.А. Статистические методы поиска. М., Наука, 1968., С.376.

63. Галушкин А.И. Методы синтеза систем распознавания образов // Труды МИЭМ, вып.6,1970, с.133-171.

64. Викторов Н.С., Галушкин А.И. Построение и исследование систем распознавания образов при произвольной "квалификации учителя" // Медицинская радиоэлектроника. ВНИИ Международной техники, 1976, с.96-106.

65. Ванюшин В.А., Галушкин А.И. Построение и исследование многослойных систем распознавания образов // Сб. Некоторые проблемы биологической кибернетики. / Под ред. А.И.Берга. Д., Наука, 1972.

66. Галушкин А.И., Василькова Т.Ф., Слободенюк В.Н., Тюхов Б.П. Анализ динамики распознавания нестационарных образов // Труды МИЭМ, вып.23, 1971, с.210-227.

67. Герасимова A.B., Грачев JI.B. К вопросу о представительности обучающей выборки для парадигмы нейронных сетей с переменной структурой // Нейрокомпьютер, 1992, №3/4, с.3-6.

68. Фомин Ю.И., Галушкин А.И. Методы технической диагностики сетей пороговых элементов // Техника средств связи, сер. "Системы связи", вып.2, 1980, с.84-94.

69. Фомин Ю.И., Галушкин А.И., О методе параллельной диагностики отказов в сетях пороговых элементов // "Электронное моделирование". Киев: Наукова думка, 1981, №3, с.89-92.

70. Анил К. Джейн, Жианчанг Мао, Моиуддин K.M. Введение в искусственные нейронные сети // Открытые системы. 1997. - №4.

71. Блинов С. BrainMaker прогнозирование на финансовых рынках // Открытые системы, 1998, №4.

72. Блум Ф., Лейзерсон А., Хофстедтер Л. Мозг, разум и поведение. М.: Мир, 1988.

73. Борисов В.В., Круглов В.В., Харитонов Е.В. Основы построения нейронных сетей. Смоленск: Изд-во Военного ун-та войсковой ПВО ВС РФ, 1999.

74. Борисов Ю., Кашкаров В., Сорокин С. Нейросетевые методы обработки информации и средства их программно-аппаратной поддержки // Открытые системы. 1997. - №4.

75. Бэстенс Д.-Э., ван ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. М.: ТВП, 1997.

76. Васильев В.И. Распознающие системы. Киев: Наукова думка, 1988.

77. Галушкин А.И. Современные направления развития нейрокомпьютеров // Зарубежная радиоэлектроника. Успехи современной радиоэлектроники. -1998.-№1.

78. Гелиг А.Х. Динамика импульсных систем и нейронных сетей. Л.: Изд-во ЛГУ, 1982.

79. Горбань А.Н. Обучение нейронных сетей. М.: СП ПараГраф, 1991.

80. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск: Наука, 1996.

81. Горбань А.Н., Дунин-Барковский В.Л. Миркес Е.М. и др. Нейроинформатика. Новосибирск: Наука, 1998.90.3митрович А.И. Интеллектуальные информационные системы. Минск: НТООО ТерраСистемс, 1997.

82. Круглов В.В., Борисов В.В., Харитонов Е.В. Нейронные сети: конфигурации, обучение, применение. Смоленск: Изд-во Моск. Энерг. инта, фил-л в г.Смоленске, 1998.

83. Курейчик В.М. Генетические алгоритмы. Обзор и состояние // Новости искусственного интеллекта, 1998. №3.

84. Логовский A.C. Зарубежные нейропакеты: современное состояние и сравнительные характеристики // Нейрокомпьютер. 1998. - №1-2.

85. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск: Наука, 1998.

86. Нейрокомпьютеры и интеллектуальные роботы / Под ред. Н.М. Амосова. -Киев.: Наукова думка, 1991.

87. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А.Поспелова. М.: Наука, 1986.97.0гнев И.В., Борисов В.В. Ассоциативные среды. М.: Радио и связь, 2000.

88. Перцептрон система распознавания образов / Под ред. А.Г.Ивахненко. -Киев: Наукова думка, 1975.

89. Прикладные нечеткие системы / Под ред. Т.Иэрано, К.Асаи, М.Сугено. М.: Мир, 1993.

90. ЮО.Розенблатт Ф. Принципы нейродинамики: Персептроны и теория механизмов мозга. М.: Мир, 1965.

91. Силов В.Б. Принятие стратегических решений в нечеткой обстановке. М. ИНПРО-РЕС, 1995.

92. Соколов E.H., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989.

93. ЮЗ.Куффлер С., Николе Дж. От нейрона к мозгу. М.: Мир, 1979.

94. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы // Открытые системы. 1998. №4.

95. Ю5.Хьюбел Д. Глаз, мозг, зрение. М.: Мир, 1990.

96. Юб.Нейронные сети на персональном компьютере / А.Н. Горбань, Д.А. Россиев. Новосибирск: Наука, Сибирская издательская фирма РАН, 1996.

97. Ю7.Логовский A.C., Якушин Д.Ж. Нейропакеты: что, где, зачем. Зарубежная радиоэлектроника, №2,1977. С. 11-18.

98. Foundation of Genetic Algorithms, edited by Rawling Gregory. Morgan Kaufman Publishers. Sanmeteo. California, 1991.

99. Байдык Т.Н. Нейронные сети и задачи искусственного интеллекта. Киев: Наукова Думка, 2001.

100. Шевченко П.А., Фомин Д.В., Черников В.М., Виксне П.Е. Архитектура нейропроцессора NeuroMatrix NM6403 // V Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М.: 17-19 февраля 1999г. С.70-80.

101. ПЗ.Бэсменс Д.Э., Ван Ден Берг В.М., Вуд Д. Нейронные сети и финансовые рынки / Пер. с англ.; Под ред. А.П.Коваленко. М.: Научное изд-во ТВП, 1997.

102. Головко В.А., Дунец А.П., Левонюк Д.Н. Метод обучения многослойной нейронной сети // Тр. X научно-технической конференции. Брест: - БПИ, 1998, с.8-15.

103. Скурихин А.Н. Нейронные сети: определения, концепции, применение. -М.: ЦНИИ управления экономики и информатики, 1991.

104. Пб.Тэнк Д., Хопфилд Д. Коллективные вычисления в нейроподобных электронных схемах // В мире науки, 1988, №2, с.45-53.

105. Меламед И.И. Нейронные сети и комбинаторная оптимизация. -Автоматика и телемеханика, 1994, №11, с.3-40.

106. Васильев Ф.П. Численные методы решения экстремальных задач. М.: Наука, 1988.

107. Головко В. Интеллектуальная нейронная система для автономного управления мобильным роботом // Труды X научно-технической конференции. Брест: БПИ, 1998, с. 15-25.

108. Кун С. Матричные процессоры на СБИС: Пер. с англ. М.: Мир, 1991.

109. Головко В. Самоорганизующиеся линейные процессоры // Сб. Трудов конференции "Распознавание образов и обработка информации". Минск: ИТКАНРБ, 1995, с.82-87.

110. Галушкин А.И. Введение в теорию систем распознавания на септронах. -М.: Изд-во МИЭМ, 1970.

111. Галушкин А.И., Зотов Ю.Я., Шикунов Ю.А. Оперативная обработка экспериментальной информации. М.: Энергия, 1972.

112. Галушкин А.И. Распознавание образов на септронах. М.: Энергия, 1974.

113. Галушкин А.И., Судариков В.А., Шабанов Е.В. Нейроматематика: Методы решения задач на нейрокомпьютерах / Препринт. M, 1990.

114. Галушкин А.И., Фомин Ю.И. Нейронные сети как линейные последовательные машины. М.: Из-во МАИ, 1991.

115. Галушкин А.И., Кирсанов Э.Ю. Нейронные системы памяти. М.: Изд-во МАИ, 1991.

116. Аведьян Э.Д., Баркан Г.В., Левин И.К. Каскадные нейронные сети: Сб.докл. V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: Радио и связь, 1999, с.358.

117. Богданов В.И., Нестеров Е.П., Пак А.П. Энергетический подход к моделированию нейронов рекуррентной сети: Сб. докл. V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: Радио и связь, 1999, С.361.

118. Кирсанов Э.Ю., Пиянин А.Г. Neural Maker 1.1 -инструментальный пакет программ моделирования прикладных нейронных сетей с переменной структурой: Сб.докл. V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: Радио и связь, 1999, с.380.

119. Дубровин В.И., Субботин С.А. Построение систем диагностики на основе карт самоорганизации Кохонена: Сб. докл. VI Всероссийской конференции "Нейрокомпьютеры и их применение". М. Радио и связь, 2000, с.464.

120. В.И. Алексеев, А.В.Максимов. Использование нейронных сетей с двухмерными слоями для распознавания графических образов // VIII Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М.: 21-22 марта 2002г. С.69-72.

121. Ковалевский C.B., Ковалевская Е.С. Спектральный анализ изображения и моделирование микрошлифов в металлографических исследованиях // VIII

122. Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М: 21-22 марта 2002г. С.102-106.

123. Панкин Ю.П., Сакаш И.Ю. Прогнозирование концентрации озона в стратосферно-тропосферном слое с помощью нейронных сетей // VIII Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М: 21-22 марта 2002г. С.218-225.

124. Гусев С.Б. Способ распределения коллективов нейронных сетей при решении задач анализа динамических систем // VIII Всероссийская конференция "Нейрокомпьютеры и их применение". Сборник докладов. М.: 21-22 марта 2002г. С.311-314.

125. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. СПб.: БХВ-Петербург, 2002.

126. Немнюгин С.А., Стесик O.JI. Параллельное программирование для многопроцессорных вычислительных систем. СПб.: БХВ-Петербург, 2002. -400с.: ил.

127. Медведев B.C., Потемкин В.Г. Нейронные сети. MATLAB 6 / Под общ. ред. к.т.н. В.Г.Потемкина. М: ДИАЛОГ-МИФИ, 2002. - 496с. - (Пакеты прикладных программ; Кн.4).

128. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. Учеб. пособие для вузов / Общая ред. А.И.Галушкина. — М.: ИПРЖР, 2002. 480с.: ил.

129. Нейрокомпьютеры в системах обработки сигналов. Коллективная монография / Под ред. Ю.В.Гуляева и А.И.Галушкина. М.: Радиотехника, 2003.-224с.: ил.

130. Биомолекулярные нейросетевые устройства. Учеб. пособие для вузов / Под ред. Н.Г.Рамбиди. М.: ИПРЖР, 2002. - 224с.: ил.