автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Синтез нейронных сетей с адаптивной топологией

На правах рукописи

Жолобов Дмитрий Александрович

СИНТЕЗ НЕЙРОННЫХ СЕТЕЙ С АДАПТИВНОЙ ТОПОЛОГИЕЙ .13.01 - системный анализ, управление и обработка информации (по отраслям)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Автор:

Москва 2006

Работа выполнена в Московском инженерно-физическом институте (государственном университете)

Научный руководитель: кандидат технических наук,

доцент Жигирев Николай Николаевич

Официальные оппоненты: доктор технических наук,

профессор Александров Владимир Михайлович

кандидат технических наук, доцент Ильинский Николай Иванович

Ведущая организация: Институт проблем информатики

РАН

Защита состоится 04 октября 2006г. в 14:00 на заседании диссертационного совета Д 212.130.03 в МИФИ по адресу: 115409, Москва, Каширское ш., 31, тел.(495) 324-84-98, 323-91-67.

С диссертацией можно ознакомиться в библиотеке МИФИ.

Автореферат разослан « » и / ^ 2006г.

Просим принять участие в работе совета или прислать отзыв в одном экземпляре, заверенный печатью организации.

Ученый секретарь диссертационного совета д.т.н., профессор

Ю.Ю. Шумилов

^.оо б е

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Диссертационная работа посвящена актуальной теме - разработке математического алгоритма синтеза нейронной сети с пороговой функцией активации, а также программной реализации этого алгоритма для решения задач классификации и исследованию его свойств.

Абстрактная задача классификации в нейросетевой парадигме ставится следующим образом. Многомерное пространство признаков делится на несколько областей (не обязательно линейно-разделимых), каждой из которых ставится в соответствие один из классов (натуральное число, представляющее собой индекс класса). Пара величин - вектор координат точки в этом пространстве и индекс класса, к которому она относится - называется реализацией комплекса признаков (РКП). Необходимо создать нейронную сеть, обеспечивающую минимум меры ошибки классификации, определенной на основе множества РКП, называемого обучающей выборкой. Построение нейронной сети может использовать информацию только о тех РКП, которые входят в обучающую выборку.

Принципиальные отличия предлагаемого алгоритма от классических заключаются в том, что в отличие от последних, конфигурация нейронной сети, в частности число слоев и число нейронов на каждом слое, не является заданной изначально, а зависит от обучающей выборки. Классические методы обучения основаны на

РОС. НАЦИОНАЛЬНАЯ

библиотека

С.-Петероург ОЭ 20(1£аКт¿¿У

градиентном поиске оптимальной конфигурации нейронной сети, что обеспечивает лишь локальный оптимум конфигурации сети. Предлагаемый алгоритм основан на поиске глобального минимума функционала ошибки. Как известно, из всех математических моделей нейронов, наиболее точно описывает биологический нейрон модель с пороговой функцией активации. Классические алгоритмы, основанные на методах минимизации ошибки с дифференцированием функции активации, не способны создавать нейронные сети с подобной функцией, поскольку она имеет разрыв первого рода в области нуля. В таких алгоритмах используются приближения пороговой функции активации - т.н. сигмоидальные функции активации. Представляемый алгоритм не использует дифференцирование для поиска минимума ошибки. Ошибки классификации минимизируются исходя из совершенно другого подхода, основанного на моделях линейного целочисленного программирования, что позволяет использовать пороговую функцию активации.

Алгоритм абстрагируется от содержательной идеи определения параметров рассекающей гиперплоскости. В рамках диссертационной работы был предложен ряд конкретных принципов, основанных на линейном программировании, целочисленном программировании и методе наименьших квадратов. Алгоритм позволяет с помощью метода ветвей и границ комбинировать эти методы синтеза отдельного нейрона для получения конечной нейронной сети.

Объект исследования Объектом исследования данной диссертационной работы является алгоритм синтеза нейронной сети с адаптивной топологией и пороговой функцией активации, а также методы синтеза отдельного нейрона

Цель работы

Целью настоящей работы является создание математического аппарата для синтеза нейронных сетей с адаптивной топологией, разработка программного обеспечения, реализующего этот аппарат, исследование возможности использования алгоритма в прикладных целях и сравнение результатов, полученных с помощью предлагаемого алгоритма с результатами, полученными с помощью классических методов обучения нейронной сети. Для достижения поставленной цели в работе:

• Исследованы классические нейросетевые подходы к решению задач классификации;

• Предложено 5 методов синтеза отдельного нейрона;

• Предложен алгоритм синтеза нейронной сети, основанный на методе ветвей и границ;

• Разработано необходимое программное обеспечение;

• Проведены три вычислительных эксперимента.

Методы исследования При разработке математического и программного обеспечения в диссертационной работе используются методы линейного программирования, целочисленного программирования, математической статистики.

Научная новизна Новизна работы заключается в следующем:

• Предложен метод синтеза нейронной сети, использующий метод ветвей и границ;

• Предложены 5 методов синтеза отдельного нейрона;

• Предложена схема отсева нейронов, удаление которых не влияет на качество нейронной сети.

Практическая ценность Проведен ряд исследований возможности применения предложенного алгоритма в областях распознавания символов и теплофизики, в результате чего:

• Разработана и апробирована система автоматического распознавания символов;

• Создан классификатор типа поля по его параметрам. По тематике диссертационной работы выполнялись

исследования по теме №84-3-013-205 в МИФИ (ГУ) . Эти исследования подробно описаны в соответствующих отчетах о НИР. Разработанные инженерные решения были использованы в МИФИ.

Разработанное программное обеспечение LinProg и Brainstorm прошло регистрацию в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам.

На защиту выносятся:

• Алгоритм синтеза нейронной сети;

• Пакет, реализующий разработанный алгоритм;

• Автоматизированная система распознавания символов;

• Специализированный классификатор типа поля.

Апробация работы Теоретические и практические результаты были доложены на следующих конференциях и семинарах:

• XIV Международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, МАИ, сентябрь 2005;

• Семинар на кафедре системного анализа МИФИ «Синтез нейронной сети с пороговой функцией активации», МИФИ, ноябрь 2005.

Раскрытие результатов Результаты диссертационной работы были раскрыты в 9 печатных работах и 2 отчетах о научно-исследовательских работах.

Достоверность результатов Достоверность научных положений, выводов и рекомендаций подтверждена результатами опытной эксплуатации, апробацией работы на научных семинарах и конференциях.

Структура и объем работы Диссертация содержит 4 главы, введение и заключение, 3 приложения, 54 рисунка, 5 таблицы.

Общий объем — 187 страниц. Список использованных источников содержит 104 наименования.

СОДЕРЖАНИЕ РАБОТЫ Во введении приведена общая характеристика, и дано краткое содержание диссертационной работы.

В первой главе приведен обзор классических

методов обучения нейронной сети для решения задачи классификации.

Задача классификации (дискриминантного анализа) объектов на основании множества признаков ставится следующим образом.

Пусть существует некоторое множество объектов Я = {Р} , конечное или бесконечное. Каждый объект Р описывается многомерным кортежем параметров. Пусть размерность этого кортежа - п.Тогда объект можно записать в следующем виде:

Р = (р1,р2...,рп),

Где

р]- значение го параметра объекта. Также

предположим, что совокупность этих параметров полностью описывает один и только один объект.

Пусть в предметной области задачи существует

некоторое множество £) = , называемое

множеством классов, а также существует непустое подмножество К € Я, элементам которого можно поставить в соответствие один или несколько элементов множества /) . Также возможно существование объектов, которые вообще не относятся ни к одному из классов. Такие объекты входят в множество Я \ Е! .

Задача классификации ставится как задача автоматического отнесения того или иного объекта Р к некоторым классам из множества О .

Индуктивный подход, на котором основываются все положения, приведенные в настоящей работе,

заключается в автоматическом построении правил классификации на основе примеров, предъявленных человеком.

Пусть

5 = {(/>', и )}/ = и,Р' = (р[, р\,..., р')а К, V с О -

множество из р пар «объект-классы». Будем называть это множество обучающей выборкой. Основываясь на этом множестве, необходимо синтезировать автоматический классификатор, который получает на вход некоторый

объект Р = ,р2С /?, и на выходе возвращает

множество £) с/), причем допускается, что Б может быть пустым.

Как правило, методы построения подобного классификатора направлены на минимизацию некоторого функционала ошибки, при вычислении которого используется все та же обучающая выборка. С практической же точки зрения, классификатор должен обеспечивать распознавание произвольных объектов предметной области, в том числе и тех, которые не входили в обучающую выборку. Последнее требование приводит к необходимости выделения дополнительного множества объектов с известной для них информацией о том, к каким классам они относятся. Это множество принято называть тестовой выборкой. Тестовая выборка не должна пересекаться с обучающей. С её помощью становится возможным оценка качества полученного классификатора, а также сравнения различных классификаторов между собой. Значение функционала ошибки на обучающей выборке называется ошибкой

обучения, а на тестовой выборке - ошибкой обобщения.

Пусть существует обучающая выборка 5" = ,

на основании которой синтезирован некоторый классификатор К. Подадим на его вход элемент тестовой

выборки Р с известным множеством классов 15 , к которым должен быть отнесен данный объект. Пусть

классификатор сформировал для объекта множество О .

Если £)=/), то классификация проведена безошибочно. В противном имеют место ошибки классификации. Эти ошибки принято относить к двум видам:

то речь идет о наличии ошибок первого рода, когда классификатор формирует множество классов неполностью.

• При

имеют место ошибки второго рода, когда классификатор ошибочно добавляет

неправильные классы в множество X) Возможно наличие ошибок как первого, так и второго рода одновременно. Мерой ошибки первого рода

служит величина —|—^—, называемая полнотой, второго

рода - —|—^—, называемая точностью.

Одним из наиболее распространенных подходов к решению поставленной задачи классификации является нейросетевой подход. Нейронная сеть представляет собой систему связанных между собой нейронов. Нейрон является простейшим логическим устройством,

10

производящим линейную или нелинейную обработку входного сигнала. Соответствующая этой обработке функция называется функцией активации. Наиболее часто используются нейроны с линейными, пороговыми, сигмоидальными и радиальными функциями активации. Между различными нейронами может существовать синаптическая связь, по которой передается сигнал. С математической точки зрения, синапс представляет собой ориентированную дугу между двумя нейронами, которой приписан некоторый коэффициент усиления. Значения сигналов, поступающих через синапсы на нейрон, умножаются на соответствующие синаптические коэффициенты и суммируются, после чего полученное значение передается функции активации нейрона. Значение функции активации является выходным

сигналом нейрона и передается на все исходящие из него синапсы.

Таким образом, сигналы, подаваемые на вход нейронной сети, изменяются в процессе

распространения, и на её выходе получается результирующее значение, которое интерпретируется в задаче классификации как описание класса (в простейшем случае - его индекс), к которому относится переданный нейронной сети объект (описанный совокупностью входных сигналов). Процедура построения классификатора в нейросетевой парадигме называется обучением нейронной сети. Суть процедуры обучения заключается в направленном поиске такой её конфигурации, которая доставляла бы функционалу ошибки обучения минимальное значение. В зависимости от типа нейронной сети существуют различные механизмы

поиска оптимальной конфигурации.

В самой распространенной топологии нейронной сети, называемой многослойным персептроном, нейроны обладают сигмоидальной функцией активации,

расположены послойно, и связи существуют только между нейронами соседних слоев. Сигнал распространяется от первого слоя, называемого входным, до последнего, называемого выходным. Для определения параметров сети, доставляющих минимум функционалу ошибки, используются градиентные методы. Для вычисления градиента функции ошибки применяется метод обратного распространения ошибки, основанный на теории потоковых графов. После вычисления градиента для определения направления движения в пространстве конфигурации используются различные стратегии, использующие приближение функционала ошибки в виде его разложения в ряд Тейлора.

Другим распространенным типом нейронных сетей, используемым для решения задачи классификации, является сеть на радиальных нейронах. По топологии такая сеть похожа на многослойный персептрон. Её принципиальное отличие от последнего заключается в том, что нейроны обладают радиальной функцией активации. Этот факт определяет технологию обучения радиальной нейронной сети. Для обучения может использоваться как обычный метод обратного распространения ошибки, так и другие методы, например, основанные на кластеризации обучающей выборки, а также вероятностный метод.

Особым методом решения задач классификации является метод, основанный на использовании нейронной

сети Хопфилда. Эта сеть обладает обратной связью между нейронами. Если многослойный персептрон и радиальная нейронная сеть представляют собой сети прямого распространения сигнала, то сеть Хопфилда, благодаря обратной связи, обладает свойством рекуррентности. Выходной сигнал сети одновременно является входным на следующем шаге работы. Подобная структура определяет необходимость формализации критерия остановки работы процессора нейронной сети. Показано, что в пространстве выходных сигналов сети существуют т.н. аттракторы - сигналы, на которых отклик сети стабилизируется, т.е. сигнал в какой-то момент времени совпадает с сигналом в предыдущий момент: у(Ь+1) = у(Ь). Благодаря доказательству наличия подобных аттракторов показана конечность вычислительного процесса сети Хопфилда. Сеть Хопфилда входит в группу алгоритмов (включающую в себя не только нейросетевые средства), называемых

ассоциативной памятью. Класс задач, который можно решать с помощью ассоциативной памяти, лишь частично содержит в себе задачи классификации. Проблема заключается в том, что классификатор, основанный на сети Хопфилда, возвращает не класс предъявленного ему объекта, а сам объект (в виде вектора параметров) из обучающей выборки, который сеть считает наиболее близким к предъявленному. Показано, что существует вероятность появления аттрактора, не соответствующего ни одному из объектов обучающей выборки. Эти проблемы сужают область задач классификации, решаемых с помощью сети Хопфилда.

Во второй главе рассматривается иной алгоритм

синтеза нейронной сети, позволяющей решать задачи классификации. Предлагаемый алгоритм не использует дифференцирование для минимизации ошибки. Вместо этого применяется аппарат линейного целочисленного программирования, что обуславливает использование пороговой функции активации. Особенностями

представленного алгоритма является автоматическое определение топологии нейронной сети в процессе его работы, а также гарантированное достижение глобального минимума (нуля) функционала ошибки в результате его работы.

Рассмотрим задачу классификации, обладающую двумя свойствами:

• Обучающая выборка задачи линейно-разделима

• Каждый объект предметной области задачи относится только к одному из двух классов

Пусть дана обучающая выборка 5" = {Р}. Поскольку в задаче присутствуют всего два класса, к которым могут относиться объекты, разобьем множество 5 на две

части: S=RQ{JRJ, где в /?„ входят все объекты

класса <±о, а в Л, - все объекты класса с(г

Рассмотрим нейронную сеть, имеющую топологию многослойного персептрона. Функция активации нейронов является пороговой:

Поскольку обучающая выборка линейно-разделима, для решения задачи классификации может быть использована сеть, состоящая из одного нейрона.

Рассмотрим вопрос синтеза параметров этого нейрона с позиции последующего обобщения результатов на случай линейно неразделимых областей классов. Примем обозначения:

РГ = (м>0,И>,,..., М>я) - вектор, координата которого У/д

представляет собой смещение, а - веса

синапсов нейрона.

Р = (РО > Р1 >■•■> Рп ) ~ вектор входов нейрона. Здесь предполагается, что рд=1.

Q — PW - скалярное произведение векторов Р и IV (взвешенная сумма входов нейрона с поправкой в виде смещения).

У = _/"(£?)- пороговая функция активации

Задача построения вектора IV — (и',,, М'р. сводится к нахождению коэффициентов разделяющей гиперплоскости Р№ = 0 такой, что для любой РКП Ре. 5" (5=/?0 и^у ) будет иметь место: РЖ > 0, если

РеЛ, и Р№< 0, если Ре Л,.

Для решения этой задачи разработан ряд методов, которые, в основном представляют собой итерационные процедуры решения системы неравенств:

[Р7Г>0 для всех Ре \РЖ<0 для всех РеД,.

Проведем сквозную нумерацию всех объектов обучающей выборки 5" = Яд У Л/ • При этом будем считать,

что объект, имеющий номер а (1 = 1,|5|), - это

реализация комплекса признаков Р' = (р'0, />,',..., р'„) , где

Р'о=1-

Введем два множества: ={ л] Р' 6 Я0} и

п,={ ^ Р1 е Л,} .

Каждому объекту Р' € /?0 (/€ ) поставим в

соответствие булеву переменную Х1 е {0,1} - переменную

ошибки. Эта переменная будет принимать значение "О", если нейрон правильно классифицирует объект (дает на выходе "0"), и "2" - в противном случае (на выходе

Аналогичный смысл имеют переменные у ] £ {0,1} для объектов й, |у'е й,): уу—0, если для объекта

выходной сигнал нейрона имеет значение "1" (безошибочная классификация), и уу = I в случае

ошибки (на выходе нейрона "О").

Теперь задачу построения вектора

IV = (и>0,М'1,...,И'я) можно сформулировать как следующую задачу линейного целочисленного программирования с булевыми переменными:

2>/+ -> тт,

ге&0 /е О,

Р'1Р + Мх,Ь е, /еа0; р1цг~Муу <-е , Уб Пу; 16

х,е {0,1}, /6 П0; {0,1}, уе П,

В этой модели целевая функция представляет собой общее количество ошибок классификации объектов обучающей выборки.

£ - "порог распознавания" - малое положительное число, в качестве которого принимается, например, минимальное евклидово расстояние между объектами разных классов;

М - достаточно большое положительное число,

такое, чтобы для любого объекта Рк е 5" всегда имело

место М >\¥Рк + Е . Таким подбором значения М обеспечивается совместность системы ограничений даже в том случае, если области классов не являются линейно разделимыми. В качестве М можно принять максимальное евклидово расстояние между объектами.

Во второй главе показано, что представленная задача всегда имеет оптимальное решение. Оно содержит в своем составе параметры нейрона, классифицирующего объекты обучающей выборки с минимальной ошибкой в случае линейной неразделимости, и с нулевой в случае линейной разделимости.

Для безошибочной классификации объектов обучающей выборки в случае отсутствия линейной разделимости одного нейрона недостаточно. Далее во второй главе рассматривается итерационный алгоритм синтеза нейронной сети, обеспечивающей безошибочную классификацию объектов произвольной обучающей выборки задачи с двумя классами.

Во второй главе показано, что для синтеза отдельного нейрона необязательно использовать представленную задачу линейного целочисленного программирования - ее вид может быть изменен, равно как можно в принципе отказаться от использования целочисленного программирования. Исследованы и предложены альтернативные методы синтеза отдельного нейрона:

• Предложены две другие модели задач ЛЦП, использующие меру расстояния между объектами обучающей выборки;

• Исследована возможность замены булевых переменных на вещественные и решение значительно более простой с вычислительной точки зрения задачи линейного программирования;

• Предложен метод синтеза нейрона, основанный на множественной пошаговой регрессии

Далее во второй главе приводится обобщенный алгоритм синтеза нейронной сети, основанный на методе ветвей и границ. Алгоритм абстрагируется от содержательной идеи синтеза отдельного нейрона, и с помощью эвристического направленного перебора

комбинаций всех доступных методов синтеза нейронов, с помощью которых можно получить различные нейронные сети, определяет такую, которая обладает минимальным количеством нейронов.

Рассмотрен эффект появления лишних нейронов в нейронной сети, и предложен алгоритм удаления этих нейронов.

В конце второй главы приведены две

альтернативные схемы решения произвольных задач классификации (с количеством классов большем двух).

В третьей главе описывается инженерная реализация представленного алгоритма синтеза.

Функциональные возможности разработанного пакета Brainstorm включают в себя:

• Возможность графического ввода обучающей выборки для двумерного случая;

• Возможность табличного ввода обучающей выборки;

• Синтез нейронной сети с помощью базового алгоритма;

• Синтез нейронной сети минимального размера с помощью метода ветвей и границ;

• Визуализация параметров нейронной сети в древовидном списке;

• Визуализация топологии синтезированной сети;

• Визуализация «мнения» сети - двухцветной карты, показывающей, к какому классу относятся точки в декартовой системе координат двумерного пространства признаков, соответствующие по масштабу пикселам на экране;

Важными особенностями пакета являются

• Возможность разработки и включения в вычислительную схему метода ветвей и границ новых алгоритмов синтеза отдельного нейрона в виде подключаемых библиотек;

• Возможность сохранения снимка вычислительного процесса метода ветвей и границ в файл с целью его дальнейшего возобновления через некоторое время;

• Возможность интеграции пакета во внешние программы

для автоматизации их обращения к пакету; • Поддержка промышленных форматов баз данных с использованием технологии ADO.

Приведена архитектура клиентского приложения, а также диаграмма базы данных моделей. Представлена документация по использованию компонентной версии пакета во внешних программах.

В третьей главе приведен вычислительный эксперимент на двумерных обучающих выборках. С помощью этого эксперимента проведено сравнение нейронных сетей, обучаемых классическими методами в распространенных пакетах с сетями, синтезируемыми в пакете Brainstorm. Этот эксперимент позволяет ограничить круг задач, эффективно решаемых с помощью предложенного алгоритма задачами, области классов которых хорошо разделяются гиперплоскостями. В любом случае показана возможность использования

разработанного алгоритма для обоснования

достаточности количества нейронов в статистически обучаемых нейронных сетях.

В четвертой главе приводится вычислительный эксперимент на задаче распознавания символов. Поскольку размерность использованных обучающих выборок весьма велика, в эксперименте использовался предложенный во второй главе метод замены булевых переменных на вещественные, а для решения получаемых задач линейного программирования был применен градиентный метод LIPSOL, входящий в состав пакета MATLAB.

Классификатор, полученный с помощью

предложенного метода синтеза нейронной сети,

сравнивался с классификаторами, полученными с помощью классических методов обучения многослойного персептрона и вероятностной нейронной сети. Критерием для сравнения классификаторов использовались стандартные для задач распознавания меры полноты и точности. Полученные результаты позволяют уверенно утверждать о целесообразности применения

разработанного метода синтеза нейронных сетей в задаче распознавания символов, поскольку при примерно одинаковом уровне ошибки (у синтезированной нейронной сети он даже был несколько ниже, чем у обученного многослойного персептрона), размер синтезированной нейронной сети оказался в десять раз меньшим, чем у обученной.

Также в четвертой главе приведено решение задачи определения типа поля в ядерной энергетической установке. Одной из проблем систем управления ядерными реакторами является отказ датчиков, поскольку их замена является трудоемкой задачей. Поэтому встает задача аппроксимации показаний отказавшего датчика. Предложена двухступенчатая схема восстановления его показаний. На первой ступени системы работает нейронная сеть, классифицирующая текущее состояние реактора на основании показаний исправных датчиков. В зависимости от

диагностированного состояния реактора, на втором этапе управление передается одному из нескольких аппроксиматоров, который уже восстанавливает показания датчика. Для построения классификатора состояния поля реактора был использован предложенный в работе метод синтеза нейронной сети.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ

1. Проведен анализ классических нейросетевых методов решения задачи классификации. Рассмотрены алгоритмы, основанные на методе обратного распространения ошибки для структур нейронных сетей типа многослойного персептрона, алгоритмы, основанные на вероятностном подходе, предназначенные для радиальных сетей. Рассмотрен алгоритм Хопфилда, обучающий сети, реализующие память ассоциативного типа. Приведен метод БУМ как один из лучших методов решения задачи классификации вне нейросетевой парадигмы. Отмечены основные недостатки этих алгоритмов:

• Недетерминированность конфигурации получаемой нейронной сети, что обуславливает низкую интерпретируемость результата;

• Принцип работы сетей основан на поиске локального минимума ошибки;

• Предопределенность топологии сети, которая задается перед работой алгоритма. Проблемы обоснования правильности выбранной топологии.

2. Предложена модель линейного целочисленного программирования, результатом решения которой являются параметры нейрона (гиперплоскости в пространстве признаков), классифицирующего пространство признаков с минимальным количеством ошибок. Предложен алгоритм синтеза нейронной сети, использующий модель линейного целочисленного программирования для синтеза многослойного персептрона.

Разработаны модификации этой модели линейного

целочисленного программирования. Предложен метод синтеза отдельного нейрона, основанный на пошаговой регрессии. Разработан алгоритм, синтезирующий

нейронную сеть минимального размера, комбинирующий различные методы синтеза отдельного нейрона с помощью метода ветвей и границ. Описан эффект появления «лишних» нейронов в сети, а также предложен алгоритм очистки сети от этих нейронов. Приведены важные свойства предложенного алгоритма:

• Детерминированность получаемой сети. Многократный запуск алгоритма неизменно приводит к одной и той же топологии сети с одинаковыми параметрами нейронов и синапсов;

• Строго пороговая функция активации, соответствующая функции активации биологического нейрона;

• В результате работы алгоритма получается сеть, имеющая нулевой уровень ошибки на обучающей выборке (глобальный минимум). Поскольку эта сеть имеет минимальный размер, эффекта переобученности не возникает;

• Топология сети определяется в процессе работы алгоритма.

3. Разработан пакет, реализующий представленный алгоритм. Пакет позволяет осуществлять ввод обучающей выборки в графическом виде для двумерной задачи (наподобие того, как это делается в графическом редакторе), или в табличном виде для задачи с размерностью больше двух. Пакет производит синтез нейронной сети, позволяет хранить множество нейронных сетей, синтезированных разными методами, позволяет проводить обработку данных с помощью нейронных сетей.

Разработана компонентная версия пакета для внедрения его в другие программы. Основными особенностями пакета являются:

• Современный графический интерфейс;

• Поддержка промышленных СУБД;

• Высокая производительность;

• Модульная структура, что позволяет подключать к

пакету

алгоритмы синтеза, разработанные третьими лицами. 4.Проведен вычислительный эксперимент на задаче классификации символов. Показано, что нейронный классификатор, распознающий 26 латинских символов и 10 цифр, состоящий из 36 нейронов, имеет небольшое преимущество в уровне ошибки по сравнению с многослойным персептроном, состоящем из 360 нейронов, обученным с помощью метода обратного распространения ошибки.

Полученные в процессе работы над диссертацией результаты были использованы в МИФИ, что подтверждено соответствующими документами.

Результаты диссертационной работы были доложены на международных семинарах и конференциях, были отражены в отчете о НИР МИФИ по теме № 84-3-013-205 «Реализация нейросетевыми средствами типовых задач управления, диагностики и обработки данных применительно к ядерным энергетическим установкам».

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ 1. Антюфеев Г.В., Леонов A.A., Жолобов Д.А. Рекламно-аналитическая система регионального туристского

центра. Информационные технологии в проектировании и производстве: Научн.-техн.журн./ФГУП "ВИМИ", 2005, N•2. с.35-39

2. Жолобов Д. А. Алгоритм синтеза нейронных сетей с пороговой функцией активации. Проблемы машиностроения и автоматизации: Научн.-техн.журн./ИМАШ МГЦНТИ, 2006 Н'З

3. Жолобов Д. А. Алгоритм синтеза нейронных сетей с пороговой функцией активации. Современные технологии в задачах управления, автоматики и обработки информации: Труды XIV Международного научно-технического семинара. - Самара: Самарский государственный аэрокосмический университет, 2005. -стр.137

4. Жолобов Д.А. Использование метода синтеза нейронной сети для решения задачи распознавания символов. Информационные технологии в проектировании и производстве: Научн.-техн.журн./ФГУП "ВИМИ", 2006, №2.

5. Жолобов Д.А. Использование нейронных сетей с пороговой функцией активации для решения задачи распознавания символов. Современные технологии в задачах управления, автоматики и обработки информации: Труды XIV Международного научно-технического семинара. - Самара: Самарский государственный аэрокосмический университет, 2005. стр.138

6. Жолобов Д. А. Синтез нейронной сети с пороговой функцией активации. Информационные технологии в проектировании и производстве: Научн.-техн.журн./ФГУП "ВИМИ", 2006, №2.

7. Леонов А.А., Жолобов Д.А. Использование механизма множественной регрессии для синтеза нейронной сети. Научная сессия МИФИ-2003, сборник научных трудов, т.6. -М.: МИФИ, 2003

8. Леонов А.А., Жолобов Д.А., Дикий А. А. Пакет для синтеза нейронных сетей "BRAINSTORM". Научная сессия МИФИ-2002, сборник научных трудов, т.11. -М. : МИФИ, 2002

9. Леонов А.А., Жолобов Д.А., Дикий А.А., Базалевский Р.В. Пакет для решения задач линейного целочисленного программирования LINPR0G. Научная сессия МИФИ-2001, сборник научных трудов, т.6. -М.: МИФИ, 2001

Подписано в печать 07.07.2006 г. Формат 60 х 90/16. Объем 1.0 п.л. Тираж 100 экз. Заказ № 0707062

Оттиражировано в ИП Гурбанов Сергей Талыбович Св. о регистрации № 304770000207759 от 09 июня 2004 года ИНН 770170462581

¿oogft

pi 61 ft«*

I

ВВЕДЕНИЕ

ГЛАВА 1. НЕЙРОСЕТЕВЫЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧИ КЛАССИФИКАЦИИ

1.1. Постановка задачи классификации и основные определения

1.2. Определение нейронной сети.

1.3. Градиентные методы обучения нейронной сети

1.3.1. Выбор начальной точки

1.3.2. Вычисление градиента функции ошибки

1.3.3. Метод наискорейшего спуска.

1.3.4. Ньютоновская стратегия

1.3.5. Метод сопряженных градиентов

1.3.6. Определение величины шага в направлении минимизации

1.3.7. Проблемы использования классических алгоритмов

1.4. Вероятностные нейронные сети

1.4.1. Радиальная нейронная сеть

1.4.2. Обучение сети.

1.5. Автоассоциативная сеть Хопфилда

1.5.1. Принцип работы сети Хопфилда.

1.5.2. Обучение сети Хопфилда

1.5.3. Сравнение сети Хопфилда с сетями прямого распространения

1.6. Метод опорных векторов

1.6.1. Случай линейно-разделимой обучающей выборки.

1.6.2. Линейно-неразделимые обучающие выборки. Ядра.

1.7. Выводы по первой главе.

ГЛАВА 2. АЛГОРИТМ СИНТЕЗА НЕЙРОННОЙ СЕТИ С АДАПТИВНОЙ ТОПОЛОГИЕЙ.

2.1. Идея алгоритма синтеза нейронной сети.

2.2. Алгоритм построения первого слоя.

2.3. Построение нейронов очередного слоя

2.4. Альтернативные методы синтеза нейрона

2.4.1. Алгоритмы, использующие меры расстояния между РКП

2.4.2. Исследование возможности замены булевых переменных на вещественные

2.4.3. Использование множественной регрессии для синтеза нейрона

2.5. Применение метода ветвей и границ для синтеза сети

2.5.1. Общая постановка задачи

2.5.2. Вычисление оценки решения

2.5.3. Рекорды.

2.5.4. Отсеивание бесперспективных ветвей

2.5.5. Критерий оптимальности и признак недопустимости задачи

2.5.6. Расширение неполного решения и уточнение оценок

2.5.7. Разбиение множества возможных решений

2.5.8. Алгоритм построения нейросети.

2.6. Эффект появления'лишних нейронов.

2.7. Обобщение метода для задач классификации с несколькими (более двух) классами.

2.7.1. Постановка задачи

2.7.2. Последовательный метод синтеза классификатора

2.7.3. Параллельный метод синтеза классификатора

2.7.4. Выбор метода синтеза классификатора

2.8. Выводы по второй главе.

ГЛАВА 3. ИНЖЕНЕРНАЯ РЕАЛИЗАЦИЯ АЛГОРИТМА.

3.1. Архитектура системы

3.2. Функциональные возможности клиентского приложения

3.2.1. Работа с обучающей выборкой.

3.2.2. Синтез нейронной сети.

3.2.3. Визуализация результата

3.3. Архитектура клиентского приложения

3.3.1. Слой процессора нейронной сети.

3.3.2. Слой исполнительной среды.

3.3.3. Организация модульности алгоритмов синтеза нейрона

3.3.4. Слой представления.

3.3.5. Архитектура базовых алгоритмов синтеза.

3.4. База данных моделей.

3.5. Компонентная версия пакета

3.6. Эксперимент на двумерных обучающих выборках

3.7. Выводы по третьей главе.

ГЛАВА 4. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ АЛГОРИТМА.

4.1. Вычислительный эксперимент. Решение задачи классификации символов

4.1.1. Постановка задачи.

4.1.2. Формирование обучающей выборки

4.1.3. Метод синтеза отдельного нейрона

4.1.4. Алгоритм LIPSOL.

4.1.5. Тестирование алгоритма.

4.1.6. Технология проведения эксперимента

4.1.7. Обучение сети классическими методами.

4.1.8. Результаты.

4.2. Использование предложенного метода для восстановления показаний отказавшего датчика в реакторе ядерной энергетической установки

4.2.1. Устройство ядерной энергетической установки

4.2.2. Принцип построения нейросетевой системы восстановления показаний отказавшего датчика.

4.2.3. Обучение сети.

4.2.4. Результаты.

4.3. Выводы по четвертой главе

В настоящее время при решении большого количества различных задач встает проблема автоматической классификации. Существует множество прикладных областей, в которых ставятся и решаются задачи классификации: распознавание визуальных объектов, автоматическое рубрицирование текста, системы поддержки принятия решений и т.д. Процесс классификации, потребность в котором существует в этих предметных областях, укрупненно может быть представлен следующим образом: эксперт, хорошо разбирающийся в предметной области задачи, разбивает ограниченную группу объектов на классы. Поскольку работа эксперта представляет собой ценный ресурс, встает задача автоматического (без участия эксперта) отнесения нового (не исследованного экспертом) объекта к тому или иному классу на основании известных параметров этого объекта. Исходными данными для решения этой задачи могут служить либо примеры объектов, уже классифицированных экспертом, либо определенные знания о предметной области. При построении автоматического классификатора с использованием знаний эксперта, основной проблемой является формализация этих знаний в виде стандартизованных метаданных, что является в основном инженерной задачей. В случае, если для построения классификатора доступны только примеры объектов, классифицированных экспертом ранее, встает проблема синтеза знаний о предметной области, на основании которых будет работать классификатор. В настоящее время не существует универсального подхода к решению такой задачи, причем качество работы получаемого классификатора существенно зависит от предъявленных объектов, на основании которых были синтезированы знания о предметной области. Задачи такого типа являются классической областью применения нейросетевых технологий [39,7,77,38,81,82]. В настоящей работе представлен новый метод решения задач классификации, базирующийся на нейросетевой парадигме.

Математически задача классификации объектов ставится следующим образом. Существует некоторое множество объектов (конечное или бесконечное). Каждый объект описывается некоторым конечным множеством параметров (дискретных или непрерывных), совокупность которых называется пространством признаков, а описание объекта в этом пространстве называется реализацией комплекса признаков (РКП). Также существует конечное множество классов, к которым может быть отнесен тот или иной объект, причем в различных постановках задачи объект может относиться как только к одному, так и к нескольким классам одновременно. Из всего множества объектов выделено некоторое конечное подмножество, элементам которого уже поставлен в соответствие один или несколько классов. Это множество называется обучающей выборкой, а отдельный элемент этого множества называется примером. Необходимо синтезировать вычислительную процедуру, получающую на вход любой объект из исходного множества в виде реализации комплекса признаков. На основании этой реализации процедура должна поставить в соответствие этому объекту один или несколько классов (в зависимости от постановки задачи). Для построения процедуры можно использовать только информацию об объектах обучающей выборки.

Качество работы полученного механизма оценивается по двум критериям: количество ошибок запоминания и количество ошибок обобщения. Под ошибками запоминания понимается неправильная классификация объектов из обучающей выборки, а под ошибками обобщения неправильная классификация объектов, не входящих в обучающую выборку. Поскольку для построения автоматизированного классификатора используются только объекты из обучающей выборки, то оптимизируемая в процессе построения целевая функция может быть связана только с ошибками запоминания, тогда как с прикладной точки зрения истинной мерой качества работы классификатора является количество ошибок обобщения.

При такой постановке задачи классификации нейросетевые методы являются весьма подходящим инструментом для её решения. Идея, на которой основаны нейросетевые алгоритмы, заключается в использовании математических моделей процессов, происходящих в нервных тканях головного мозга. В основе любого нейросетевого алгоритма лежит нейронная сеть математическая модель нервной ткани. Нейронная сеть состоит из определенного количества узлов, называемых нейронами (здесь математический термин совпадает со своим биологическим протагонистом). Нейронная сеть представляет собой вычислительную систему с большой степенью параллелизма, что делает её очень эффективной для решения определенного рода задач, к которому в том числе относится рассматриваемая задача классификации.

Актуальность. Диссертационная работа посвящена актуальной теме разработке математического алгоритма синтеза нейронной сети с адаптивной топологией и пороговой функцией активации, а также программной реализации этого алгоритма для решения задач классификации и исследованию его свойств.

Объект исследования. Объектом исследования данной работы является алгоритм синтеза нейронной сети с адаптивной топологией и пороговой функцией активации, методы для синтеза отдельного нейрона.

Цель работы. Целью настоящей работы является создание математического аппарата для синтеза нейронных сетей с адаптивной топологией, разработка программного обеспечения, реализующего этот аппарат, исследование возможности использования алгоритма в прикладных целях и сравнение результатов, полученных с помощью предлагаемого алгоритма с результатами, полученными с помощью классических методов обучения нейронной сети на известных задачах.

Для достижения поставленной цели в работе:

• Исследованы классические нейросетевые подходы к решению задач классификации;

• Предложено 5 методов синтеза отдельного нейрона;

• Предложен алгоритм синтеза нейронной сети, основанный на методе ветвей и границ;

• Разработано необходимое программное обеспечение;

• Проведены три вычислительных эксперимента.

Методы исследования. При разработке математического и программного обеспечения в диссертационной работе используются методы линейного программирования, целочисленного программирования, математической статистики.

Научная новизна работы. Новизна работы заключается в следующем:

• Предложен метод синтеза нейронной сети, использующий метод ветвей и границ;

• Предложены 5 методов синтеза отдельного нейрона/

• Предложена схема идентификации и отсева нейронов, удаление которых не влияет на качество нейронной сети.

Практическая ценность. Проведен ряд исследований возможности применения предложенного алгоритма в областях распознавания символов и теплофизики, в результате чего:

• Разработана и апробирована система автоматического распознавания символов;

• Создан классификатор типа поля по его параметрам.

По тематике диссертационной работы выполнялись научно-исследовательские работы по теме №84-3-013-205 в МИФИ (ГУ) . Эти исследования подробно описаны в соответствующих отчетах о НИР. Разработанные инженерные решения были использованы в МИФИ, что подтверждается соответствующими актами.

Разработанное программное обеспечение LinProg и Brainstorm прошло регистрацию в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам (РОСПАТЕНТ), что подтверждается соответствующими свидетельствами.

На защиту выносятся:

• Алгоритм синтеза нейронной сети;

• Пакет, реализующий разработанный алгоритм;

• Автоматизированная система распознавания символов;

• Специализированный классификатор типа поля.

Границы разрабатываемой темы. Класс задач, решаемых с помощью предложенного алгоритма, ограничен множеством математических моделей, используемых для их описания. Предложенный в работе s алгоритм синтеза нейронной сети, а также все его модификации могут быть реализованы на большинстве аппаратных средств.

Раскрытие результатов. Результаты диссертационной работы были раскрыты в 9 печатных работах [94-102] и 2 отчетах о научно-исследовательских работах [103,104].

Апробация работы. Теоретические и практические результаты были доложены на следующих конференциях и семинарах:

• XIV Международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации», Алушта, МАИ, сентябрь 2005 [96,98];

• Семинар на кафедре Системного анализа МИФИ «Синтез нейронной сети с пороговой функцией активации», МИФИ, ноябрь 2005.

Структура и объем работы Диссертация содержит 4 главы, введение и заключение, 3 приложения, 54 рисунка, 5 таблиц.

4.3. Выводы по четвертой главе

В четвертой главе описаны вопросы, связанные с практической апробацией представленного во второй главе алгоритма.

Поставлена задача аппроксимации показаний неисправного датчика на основе данных, поступающих от исправных датчиков. Задача была разбита на две подзадачи: собственно задача аппроксимации и задача определения наиболее подходящей для этого нейронной сети задача классификации состояния системы на основании показаний исправных датчиков. Представленным в работе методом синтезирована нейронная сеть, решающая задачу классификации. Полученные результаты свидетельствуют о практической применимости представленного алгоритма.

Также в главе рассмотрена классическая задача распознавания символов . для сравнения работы представленного алгоритма с классическими алгоритмами классификации многослойным персептроном и вероятностной нейронной сетью. Полученные результаты позволяют утверждать предлагаемый алгоритм решает задачи распознавания не хуже, а в некоторых случаях (при большом количестве обучающих примеров) лучше, чем известные алгоритмы, имея при этом значительно более высокую производительность (один нейрон, синтезированный представленным алгоритмом дает такой же уровень ошибки, как нейронная сеть из десяти нейронов на скрытом слое, обученная методом обратного распространения ошибки).

ЗАКЛЮЧЕНИЕ

В процессе разработки алгоритма синтеза нейронной сети с пороговой функцией активации, разработки программного обеспечения, реализующего этот алгоритм, а также при апробировании этого алгоритма на прикладных задачах были получены следующие результаты:

1. Проведен анализ классических нейросетевых методов решения задачи классификации. Рассмотрены алгоритмы, основанные на методе обратного распространения ошибки для структур нейронных сетей типа многослойного персептрона, алгоритмы, основанные на вероятностном подходе, предназначенные для сетей с нейронами, функция активации которых представляет собой радиальную базисную функцию. Также рассмотрен алгоритм Хопфилда, обучающий сети, реализующие память ассоциативного типа. Отмечены основные недостатки этих алгоритмов:

• Недетерминированность получаемой нейронной сети, что обуславливает низкую интерпретируемость результата;

• Принцип работы сетей основан на поиске локального минимума ошибки;

• Предопределенность топологии сети, которая задается перед работой алгоритма.

2. Разработана модель линейного целочисленного программирования, результатом решения которой являются параметры нейрона (гиперплоскости в пространстве признаков), классифицирующего пространство признаков с минимальным количеством ошибок. Предложен алгоритм синтеза нейронной сети, использующий модель линейного программирования для синтеза многослойного персептрона.

Разработаны модификации этой модели линейного целочисленного программирования. Предложен метод синтеза отдельного нейрона, основанный на методе наименьших квадратов (пошаговая регрессия).

Разработан алгоритм, синтезирующий нейронную сеть минимального размера, комбинирующий различные методы синтеза отдельного нейрона с помощью метода ветвей и границ. Описан эффект появления «лишних» нейронов в сети, а также предложен алгоритм очистки сети от этих нейронов. Приведены основные преимущества предложенного алгоритма:

• Детерминированность получаемой сети. Многократный запуск алгоритма неизменно приводит к одной и той же топологии сети с одинаковыми параметрами нейронов и синапсов;

• Строго пороговая функция активации, соответствующая функции активации биологического нейрона;

• В результате работы алгоритма получается сеть, имеющая нулевой уровень ошибки на обучающей последовательности (глобальный минимум). Поскольку эта сеть имеет минимальный размер, эффекта переобученности не возникает;

• Топология сети определяется в процессе работы алгоритма.

3. Разработан пакет, реализующий представленный алгоритм.

Пакет позволяет осуществлять ввод обучающей последовательности в графическом виде для двумерной задачи (наподобие того, как это делается в графическом редакторе), или в табличном виде для задачи с размерностью больше двух. Пакет производит синтез нейронной сети, позволяет хранить множество нейронных сетей, синтезированных разными методами, позволяет проводить обработку данных с помощью нейронных сетей. Разработана компонентная версия пакета для внедрения его в другие программы. Основными особенностями пакета являются:

• Современный графический интерфейс;

• Поддержка промышленных СУБД;

• Высокая производительность;

• Модульная структура, что позволяет подключать к пакету алгоритмы синтеза, разработанные третьими лицами.

Проведен вычислительный эксперимент на задаче классификации символов. Показано, что нейронный классификатор, распознающий 26 латинских символов и 10 цифр, состоящий из 36 нейронов, имеет небольшое преимущество в уровне ошибки по сравнению с многослойным персептроном, состоящем из 360 нейронов, обученным с помощью метода обратного распространения ошибки.

Полученные результаты диссертации были использованы в МИФИ, что подтверждено соответствующими документами.

Разработанное программное обеспечение LinProg и Brainstorm прошло регистрацию в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам.

Результаты диссертационной работы были доложены на международных семинарах и конференциях, были отражены в отчете о НИР МИФИ по теме № 84-3-013-205 «Реализация нейросетевыми средствами типовых задач управления, диагностики и обработки данных применительно к ядерным энергетическим установкам».

1. Акулич И.Л. Математическое программирование в примерах и задачах. Учебное пособие для студентов эконом, спец. ВУЗов.- М. : Высшая школа, 1986.

2. Барсегян А. А. Методы и модели анализа данных: OLAP и Data Mining. СПб.: БХВ-Петербург, 2004

3. Бахвалов Н.С. Численные методы. Т.1. М.:Наука, 1975.

4. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. М. : Наука, 1974.- 415 с.

5. Васильев Ф.П., Иваницкий А.Ю. Линейное программирование. М. : Факториал Пресс, 2003 г.

6. Галушкин А.И. и др. Нейроматематика: методы решения задач на нейрокомпьютерах. М.: НИИ "Квант", 1990

7. Галушкин А.И. Синтез многослойных систем распознавания образов. М.: Энергия, 1974

8. Гареев А.Ф. Применение вероятностной нейронной сети для автоматического рубрицирования текстов// Докл. ВК "НИ-99". Ч.З. -М. : МИФИ, 1999.-с.71-78.

9. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей. Сиб. Журнал вычислит, мат. Новосибирск: РАН. Сиб. Отделение, 1998.- 1, №1 - с.11-24

10. Горбань А.Н. Обучение нейронных сетей. М. : СП "Параграф", 1991

11. Горбань А.Н., Россиев Д. А. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996. 256 с.

12. Демидов М.И., Жолобов Д.А. Классификация альтернативных решений транспортной задачи с помощью нейронной сети. Научная сессия МИФИ-2004, сборник научных трудов, т.13. -М.: МИФИ, 2004

13. Емельянов И.Я., Ефанов А.И., Константинов Л. В. Научно-технические основы управления ядерными реакторами: Учеб. пособ. для втузов/Под ред. Н.А.Доллежаля. М: Энергоиздат, 1981

14. Дискуссия о нейрокомпьютерах. Под ред. Клюкова В.И., НИВЦ АН СССР, Пущино, 1988

15. Дубнов П.Ю. Access 2000. Проектирование баз данных. М.:ДМК, 2000

16. Дуда Р. Харт П. Распознавание образов и анализ сцен. М.:Мир, 1976. - 230с.

17. Жигирев Н.Н., Корж В.В., Оныкий Б.Н. Использование асимметрии частотных свойств информационных признаков для построения автоматизированных систем классификации текстовых документов // Докл. ВК "НИ-99". Ч.З.-М.:МИФИ, 1999.-е. 83-91.

18. Зайченко Ю.П. Исследование операций. -Киев: Издательский дом "Слово", 2003

19. Исследование операций.1 том. Пер. с англ. /Под ред. Дж.Моудера, С. Элмаграби. М.: Мир, 1981.

20. Карманов В.Г. Математическое программирование. -М. : Издательство Физико-математической литературы, 2004

21. Кнут Д. Искусство программирования. -М:Вильямс, 2002

22. Кожевников Ю.В. Теория вероятностей и математическая статистика. М: Машиностроение, 2002

23. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций одного переменного и операции сложения. ДАН, 114,953, 1957

24. Коннолли Т., Бегг К. Базы данных. Проектирование, реализация и сопровождение. Теория и практика. -М.: Вильяме, 2003

25. Кохонен Т. Ассоциативная память. М.: Мир, 1980

26. Круглов В.В. Борисов В.В. Искусственные нейронные сети. Теория и практика. -М. .-Горячая линия Телеком, 2001

27. Кэнту М. Delphi 7 для профессионалов. СПб:Питер, 2004

28. Леонов А.А., Леонова М.А. Модель линейного целочисленного программирования в задаче идентификации состояния объекта. Научная сессия МИФИ-2000. Сборник научных трудов, том 6. М.: МИФИ, 2000.

29. Леонов А.А. Методы решения линейных экстремальных задач. Учебное пособие. М.: МИФИ, 1984.

30. Леонов А.А., Леонова М.А. Автоматизированная система синтеза процедуры распознавания объектов. Научная сессия МИФИ-2001. Сборник научных трудов, том 6. М.: МИФИ, 2001. 244 с.

31. Мазуров В. Д. Метод комитетов в задачах оптимизации и классификации. М: Наука, 1990

32. Маклаков С.В. Моделирование бизнес-процессов с BPwin 4.0. -М. : Диалог-МИФИ, 2002

33. Мину М. Математическое программирование. Теория и алго-ритмы: Пер.с фр. -М.: Наука, 1990.

34. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск:Наука,1998.

35. Нейронные сети. STATISTICA Neural Networks: пер. с англ.-М.: Горячая линия Телеком. 2000.

36. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2004. - 344 с.

37. Пантелеев А.В., Летова Т.А. Методы оптимизации в примерах и задачах. -М: Высшая школа, 2002

38. Потапенко П.Т. Динамика ядерного реактора. М.: МИФИ, 1989

39. Потемкин В.Г. Вычисления в среде MATLAB. М:Диалог-МИФИ, 2004

40. Радченко А.Н. Ассоциативная память. Нейронные сети. Оптимизация нейропроцессоров. М.:Наука, 1998

41. Редько В.Г. Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики.- М.: КомКнига, 2005

42. Розенфельд А. Распознавание и обработка изображений. М. : Мир, 1972. - 256 с.

43. Рутковская Д. и др. Нейронные сети, генетические алгоритмы и нечеткие системы. М.:Горячая линия - Телеком, 2004

44. Страуструп Б. Язык программирования С++. Вторая редакция. Киев: "ДиаСофт", 1993

45. Сыслов В. В. Нейросетевой классификатор тематики текстов. Приборостроение. Спец.выпуск: Методы анализа и синтеза нейронных сетей. 1995, N 1-2, стр. 43-47.

46. Таха X. Введение в исследование операций. -М:ДМК, 2000

47. Тихомиров Ю. Microsoft SQL Server 2000. Разработка приложений. СПб.: BHV, 2000

48. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика. -М.: Мир, 1992

49. Холингворт Дж., Сворт Б., Кэшмэн М., Густавсон П. Borland С++ Builder 6. Руководство разработчика. -М.: Вильяме, 2003

50. Шамис В. Borland С++ Builder. -СПб: Питер, 2003

51. Широков Ф.В. Введение в нейрокомпьютинг. ИНФРА-М. Электрон-ное издание. 1995.

52. Яншин В. В. Анализ и обработка изображений: Принципы и алгоритмы: Учебное пособие для студентов вузов М. : Машиностроение, 1995. - 111 с.

53. Beauchemin В., Berglund N., Sullivan D. A First Look at Microsoft SQL Server 2005 for Developers. -Amsterdam: Addison Wesley Professional, 2004

54. Bishop C. (1995). Neural Networks for Pattern Recognition. Oxford: University Press

55. Chauvin Y. A back propagation algorithm with optimal use of hidden units //Advances in NIPS2 / D.Touretzky, Ed. San Mateo: Morgan Kaufmann, 1989. - Pp.519-526

56. Chen S., Cowan C.F., Grant P.M. Orthogonal least squares learning algorithm for radial basis function networks //IEEE Trans. Neural Networks, 1991. Vol. 2. - Pp.302-309

57. Cheng Y.H., Lin C.S. Learning algorithm for radial basis function network with the capability of adding and pruning neurons: Proc.1994 Conf.ICNN. Orlando: 1994. Pp.797-801

58. Chinrungrueng C., Sequin C.H. Optimal adaptive K-means algorithm with dynamic adjustment of learning rate //IEEE Trans. Neural Networks, 1995. Vol.6. - Pp.157-169

59. Cover T. Geometrical and statistical properties of systems of linear inequalities with applications in pattern recognition // IEEE Trans. Electronic Computers, 1965. Vol.14. - Pp. 326-334

60. Davidson J.W. Savic D.A. Walters G.A. Symbolic and numerical regression: experiments and applications // Developments in Soft Computing. Leicester: Physica Verlag, 2000. - Pp.175-182

61. Demuth H., Beale M. Neural Network Toolbox for use with Matlab. Natick: The MathWorks, Inc., 1992

62. Denoeux J., Lengalle R. Unitializing back propagation, networks with prototypes // Neural Networks, 1993. Vol.6. - Pp.351-363

63. Ding Nghia Do, Osowski S. Shape recognition using FFT preprocessing and neural network // Compel, 1998. Vol. 17, No 5/6. - Pp. 658-666

64. Floreen P. The convergence of Hamming memory networks // IEEE Trans. Neural Networks, 1991.- Vol.2 - Pp.449-457

65. Fukushima К. Wake N. Handwritten alphanumeric character recognition by the neocognitron //IEEE Trans. N.N, 1991. Vol.2 -P.p. 355-365

66. Gill P., Murray W., Wright M. Practical Optimization. N.Y.: Academic Press, 1981

67. Girosi F., Jones M. Regularization theory and neural network architecture // Neural Computation, 1995. - Vol.7. - Pp.219-270

68. Goldberg D. Algorytmy genetyczne. WaszawarWNT, 1995

69. Goldberg D. Efficient and Accurate Parallel Genetic Algorithms. Boston, MA: Kluwer Academic Publishers, 2000

70. Haykin S. Neural networks, a comprehensive foundation. N.Y.: Macmillan College Publishing Company, 1994

71. Hebb D. Organization of behaviour. N.Y.: J. Wiley, 1949

72. Hecht-Nielsen R. Neurocomputing.- Amsterdam: Addison Wesley, 1991

73. Hertz J., Krogh A., Palmer R. Wstep do teorii obliczen neuronowych. Wyd. II. Warszawa: WNT, 1995

74. Holland J., Goldberg D. Classifier systems and genetic algorithms, Artificial Intelligence, 40, pp235-282

75. Hopfield J. Neural Networks and physical systems with emergent collective computational abilities // Proc. National Academy of Science USA, 1982. Vol.79. - Pp.2554-2558

76. Hopfield J. Tank D. Computing with neural circuits: a model //Science, 1986. Vol. 233. - Pp.625-633

77. Klimauskas G. Neural Ware User manual. Natick, USA: Neural Ware Inc, 1992.

78. Krzyzak A. Xu L. Suen C.Y. Methods of combining multiple classifiers and their applications to handwritten recognition // IEEE Trans.SMC. Vol.22. - Pp.418-435

79. Leonard J.A. Kramer M.A. Radial basis function networks for classifying process faults //IEEE Control System Magazine, 1991, April. Pp.31-38

80. Linde Y., Buzo A., Gray R. An algorithm for vector quantizer design // IEEE Trans. Comm., 1980. Vol. 28. - Pp.84-95

81. Masters T. Practical neural network recipes in С++. Boston: Academic Press, 1993

82. Mehrotra S. On the Implementation of a Primal-Dual Interior Point Method. SIAM Journal on Optimization. Vol. 2. pp 575-601. -1992.

83. Osowski S. Sieci neuronowe. Warszawa: Oficyna Wydawnicza

84. Rosenblatt F. Principle of neurodynamics. N.Y.: Spartan, 1992

85. Tadeusiewich R. Sieci neuronowe. Waszawa: Akademicka Oficyna Wydawnicza, 1993

86. Tarassenko L., Roberts S. Supervised and unsupervised learning in radial basis function classifiers // IEEE Proc. Vis. Image Signal Process., 1994. Vol.141. - Pp.210-216

87. Widrow В., Hoff M. Adaptive switching circuits // Proc. IRE WESCON Convention Record, 1960. Pp. 107-115

88. Zhang Y. Solving Large-Scale Linear Programs by Interior-Point Methods Under the MATLAB Environment. Department of Mathematics and Statistics, University of Maryland, Baltimore County, Baltimore, MD, Technical Report TR96-01. - 1995.

89. ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

90. Антюфеев Г.В., Леонов А.А., Жолобов Д.А. Рекламно-аналитическая система регионального туристского центра. Информационные технологии в проектировании и производстве: Научн.-техн.журн./ФГУП "ВИМИ", 2005, №2. с.35-39

91. Жолобов Д.А. Использование метода синтеза нейронной сети для решения задачи распознавания символов. Информационные технологии в проектировании и производстве: Научн.-техн.журн./ФГУП "ВИМИ", 2006, №2.

92. Жолобов Д. А. Синтез нейронной сети с пороговой функцией активации. Информационные технологии в проектировании и производстве: Научн.-техн.журн./ФГУП "ВИМИ", 2006, №2.

93. Леонов А.А., Жолобов Д. А. Использование механизма множественной регрессии для синтеза нейронной сети. Научная сессия МИФИ-2003, сборник научных трудов, т.6. -М.: МИФИ, 2003

94. Леонов А.А., Жолобов Д.А., Дикий А.А. Пакет для синтеза нейронных сетей "BRAINSTORM". Научная сессия МИФИ-2002, сборник научных трудов, т.11. -М.: МИФИ, 2002

95. Леонов А.А., Жолобов Д.А., Дикий А.А., Базалевский Р.В. Пакет для решения задач линейного целочисленного программирования LINPR0G. Научная сессия МИФИ-2001, сборник научных трудов, т. 6. -М.: МИФИ, 2001

96. ОТЧЕТЫ О НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ РАБОТАХ

97. Разработка и реализация проекта создания Туристского информационного центра Москвы. Отчет о НИР. Тема №81-3-028-032. Руководитель: Румянцев В.П.; исполнители: Леонов А.А., Жолобов Д.А. и др. М. -.МИФИ, 2003