автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка алгоритмов прямого синтеза аппроксимирующих искусственных нейронных сетей

На правах рукописи

Мохов Василий Александрович

РАЗРАБОТКА АЛГОРИТМОВ ПРЯМОГО СИНТЕЗА АППРОКСИМИРУЮЩИХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Специальность 05.13.11- Математическое и программное

обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Ростов-на-Дону 2005 г.

Работа выполнена на кафедре «Электронные вычислительные машины» государственного образовательного учреждения Южно-Российский государственный технический университет (НПИ), г. Новочеркасск

Научный руководитель: Официальные оппоненты:

Ведущая организация:

доктор технических наук, доцент Ковалев Олег Федорович доктор технических наук, профессор Божич Владимир Иванович (Таганрогский Государственный Радиотехнический Университет, г. Таганрог) кандидат технических наук, доцент Душенко Александр Григорьевич (Донской филиал Центра тренажеростроения, г. Новочеркасск) Научно-исследовательский институт Нейрокибернетики РГУ, г. Ростов-на-Дону

Защита диссертации состоится «20» октября 2005 г. в ^ часов на заседании диссертационного совета К212.208.04 Южно-Российского регионального центра информатизации Ростовского государственного университета по адресу 344090, г. Ростов-на-Дону, пр. Стачки 200/1, корп.2, ЮГИНФО РГУ, аудитория 206.

С диссертацией можно ознакомиться в Зональной научной библиотеке РГУ (по адресу г. Ростов-на-Дону, ул. Пушкинская, 148).

Автореферат разослан « /у7 » йгмн^Ь^ 2005 г.

Ученый секретарь

диссертационного совета К212.208.04 кандидат физико-математических наук, доцент & — Муратова Г.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В последнее время в области моделирования и автоматического управления широкое применение нашли искусственные нейронные сети (ИНС). Возможность сформулировать многие задачи распознавания, идентификации и обработки сиг налов в аннроксимационной постановке обострила вопросы проведения теоретических исследований и разработки программных инструментальных средств для автоматизации процессов проектирования аппроксимирующих ИНС.

Несмотря на широкий спектр возможностей ИНС, решению задач с их применением сопутствует ряд недостатков, среди которых имеют место следующие:

- большинство подходов для проектирования ИНС являются эвристическими и часто не приводят к однозначным решениям;

- для построения модели объекта на основе ИНС требуется выполнение многоцикловой настройки внутренних элементов и связей между ними;

- обучение сети в ряде случаев приводит к тупиковым ситуациям;

- продолжительные временные затраты на выполнение процедуры обучения зачастую не позволяют применять ИНС в системах реального времени;

- поведение обученной ИНС не всегда может быть однозначно предсказуемо, что увеличивает риск применения ИНС для управления дорогостоящими техническими объектами;

- при моделировании линейных участков функций на основе суперпозиции нелинейных функций, традиционно применяемых в ИНС, возникает ряд сложностей;

- большинство известных коммерческих продуктов схемотехнической реализации нейронных сетей, выполняются в виде сверхбольших интегральных схем (СБИС), которые сегодня трудно назвать широкодоступными и др.

Поиск оптимального соотношения параметров нейросетевых моделей и их характеристик в каждом конкретном случае является одной из ключевых задач, для эффективного решения которой необходим широкий спектр методов, алгоритмов и программ синтеза, различающихся по объёму вычислений, качеству получаемых результатов, времени поиска решения, способам представления данных.

Эти обстоятельства позволяют отметить актуальность разработки новых алгоритмов для подбора обучающих примеров, ориентированных на минимизацию аппаратурных затрат при последующей реализации ИНС.

При этом в последнее время на мировом рынке появилось новое технологическое решение в виде программируемых логических интегральных схем (ПЛИС), потенциально подходящих для реализации ИНС (обладающих возможностью локальной организации г—;пределе»- ы 5 ислений).

СОС НАЦИОНАЛЬНАЯ} БИБЛИОТЕКА I

Как следствие, в предлагаемой диссертационной работе основное внимание уделяется разработке, реализации и исследованию возможностей алгоритмов, которые:

1) позволяли бы синтезировать ИНС, моделирующие с заданной точностью функциональные зависимости;

2) использовали бы для синтеза аппроксимирующих ИНС преимущества известных нейросетей;

3) предоставили бы возможность сведения к минимуму числа тренировочных шаблонов для выполнения аппроксимации на базе ИНС.

Очевидно, что сформулированные даже в первом приближении минимальные технологические требования предполагают решение целого ряда специфических задач, представленных в диссертационной работе.

Резюмируя вышесказанное, можно сделать вывод о том, что исследования, ставящие целыо разработку алгоритмов и программных средств для синтеза аппроксимирующих искусственных нейронных сетей в рамках решения отмеченных проблем, являются актуальными и представляют научный и практический интерес.

Цель диссертационной работы заключается в разработке алгоритмов, инструментальных программных средств и методики для автоматического получения формального описания искусственных нейронных сетей.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Разработка аппарата аналитического описания аппроксимирующих ИНС, где количество нейронов является минимизированным для наперед заданной величины погрешности.

2. Разработка методики определения параметров (методики обучения) ИНС указанного класса.

3. Разработка алгоритма формирования обучающей выборки для аппроксимирующих ИНС и соответствующего математического обоснования.

4. Подготовка инструментальной программной системы для синтеза формального описания нейросетевых моделей указанного класса.

5. Осуществление анализа возможности создания и использования спецвычислителей (нейросетевых аппроксиматоров) на базе устройств с программируемой логикой.

Методы исследования. В работе использовались аппарат и методы:

— теории искусственных нейронных сетей;

— теории распознавания образов;

— вычислительной геомеггрии;

— линейной алгебры;

— теории дифференциального и интегрального исчислений;

— теории компиляторов;

— функционального и объектно-ориентированного программирования.

Научная новизна работы:

1. Разработана методика прямого синтеза аппроксимирующих ИНС с простой интерпретацией и получением их гймЛй+Ического описания,

отличающаяся целенаправленной подготовкой обучающей выборки для настройки сети.

2. Разработаны алгоритмы для синтеза ИНС, где количество нейронов является минимизированным для наперед заданной величины погрешности за счет оперативного анализа нелинейности моделируемых функциональных зависимостей.

3. Разработана технология интерпретации получаемого формального описания нсйросетевых моделей для создания и использования спецвычислителей (нейросетевых аппроксимаггоров) на базе устройств с программируемой логикой и возможностью распараллеливания вычислений, обеспечивающая существенное повышение скорости разработки аппаратных устройств за счет сокращения временных и трудозатрат на получение программного кода описания аппаратной реализации нейросетевых спецвычислителей.

Практическая ценность работы. На основе теоретических результатов, полученных в работе, можно выделить следующие практические результаты:

- разработанная методика синтеза ИНС позволяет в автоматическом режиме получать формальное описание нейросетевых моделей, где количество нейронов является минимизированным для наперед заданной величины погрешности;

- алгоритмы, разработанные для анализа моделируемых объектов, позволяют проводить оперативный контроль их нелинейностей непосредственно по ходу исследования;

- на основании формального описания нейросетевых моделей предоставляется возможность выбора одного из проанализированных вариантов их реализации в аппаратном или программном виде.

Данная работа представляет интерес для решения задач синтеза и программной/аппаратной реализации аппроксимирующих ИНС. Особый интерес представляет использование алгоритма целенаправленного формирования обучающей выборки для последующего создания нейросетевой модели. В частности, характерным примером эффективного использования практически всех полученных в диссертационной работе результатов является применение разработанной нейросетевой модели для определения оптимального давления кислорода в бароаппарате при проведении сеансов гипербарической оксигенации у больных с ошестрельными ранениями и ожогами.

Апробация работы и публикации. Научные результаты и положения диссертационной работы докладывались и обсуждались на следующих конференциях, семинарах и коллоквиумах: Всероссийском научно-техническом семинаре с международным участием «Микропроцессорные системы мониторинга, диагностики и управления сложными техническими объектами, организационно-техническими системами и комплексами» (Таганрог, 2003 г.), Международной научно-технической конференции «Интеллектуальные системы (IEEE AIS'03)» (Москва, 2003 г.), XVII Международной конференции «Математические методы в технике и технологиях (ММТТ-17)» (Кострома, 2004 г.), Международной научно-технической конференции «Интеллектуальные системы (IEEE AIS'04)» (Москва,

2004 г.), Международном коллоквиуме но мехатронике в рамках мероприятия «Дни немецкой культуры на Дону» (Новочеркасск, 2004 г.), V Международной научно-практической конференции «Теория, методы и средства измерений, контроля и диагностики» (Новочеркасск, 2004 г.), V Международной научно-практической конференции «Интеллектуальные электромеханические устройства, системы и комплексы» (Новочеркасск, 2004 г.), XVIII Международной конференции «Математические методы в технике и технологиях (ММТТ-18)» (Казань, 2005 г.), ежегодных научно-технических конференциях ЮРГТУ (НПИ) (1996-2005 гг.).

По результатам выполненных исследований опубликовано 16 печатных работ, 3 из которых являются материалами конференций. Семь работ опубликованы автором самостоятельно, 3 - в соавторстве со студентами, остальные 6 - в соавторстве с научным руководителем и сотрудниками кафедр ЭВМ и «Тепловые электрические станции» ЮРГТУ (НПИ).

Структура диссертации. Диссертация, объемом 179 страниц, состоит из введения, 4-х глав, заключения, списка литературы из 104-х наименований и содержит 37 рисунков, 11 таблиц и 10 приложений.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность проблемы, сформулированы цель и основные задачи, решаемые в диссертационной работе.

В первой главе анализируется предметная область исследований и формулируется общая постановка задачи. По результатам анализа публикаций сделано заключение о том, что в общем случае построение нейронной сети производится в два этапа:

1) Выбор структуры (типа) сети.

2) Подбор весовых коэффициентов синаптических связей сети (обучение).

На первом этапе решаются задачи выбора характеристик нейронов, принципа объединения их в сеть, а также определения входов и выходов сети.

На втором этапе производи гея обучение выбранной сети посредством настройки её внутренних элементов и связей между ними.

При этом следует отметить, что сегодня активно пропагандируются альтернативные подходы к созданию так называемых нейрочипов, а точнее - их аналогов. Появилась возможность разработки соответствующих устройств - аппрокси-магоров, спроектированных на основе микросхем с программируемой логикой.

На этом фоне всё многообразие существующих подходов нейросетевого моделирования обладает следующими существенными недостатками:

1) отсутствует чёткое теоретическое обоснование для определения состава обучающей выборки;

2) не существует формул для точного расчёта необходимого числа нейронов сети по заданной обучающей выборке;

3) оценка погрешности нейросетевых моделей возможна лишь апостери-орно (только после проведения процедуры обучения сети).

Таким образом, перечисленные факты делают весьма привлекательной возможность разработки новых, более современных методик автоматизированного проектирования, обучения и использования ИНС с реализацией по-

следних на основе современной технологической базы. В связи с этим обосновывается решение для разработки алгоритмов, инструментальных программных средств и методики для автоматического получения формального описания ИНС, где количество нейронов является минимизированным для наперед заданной величины погрешности, а также проведения анализа возможности создания и использования нейросетевых спецвычислителей (ап-проксиматоров) на базе микросхем с программируемой логикой. Формулируется набор задач, которые необходимо решить в ходе выполнения диссертационного исследования. Каждая из этих задач соответствует отдельной области исследований со своими способами и методами их решения.

Во второй главе рассматриваются вопросы математического обоснования и реализации алгоритма формирования обучающей выборки для аппроксимирующих ИНС.

Для синтеза ИНС был определен базовый элемент структуры нейросети. Базовый элемент «полигон + полином» образуют полигон Pg (заштрихованная область на рис. 1) в совокупности с аппроксимирующим полиномом Р.

Принцип работы предлагаемого аппарата можно представить на примере идентификации некоторой точки из пространства аргументов и последующего

расчёта значения аппрок-У(Хь Х2) ___ симируемой функции (см.

I Р - с^+а^+а^+а^Ла^+а; х,х-!+ | рИС ^

В свою очередь под идентификацией здесь понимается определение принадлежности задаваемой точки к полигону Pg после подстановки её координат в уравнения дис-криминантных функций 5, (г = 1,2,...,п), вычисления соответствующих значений, и проверки выполнения условия для рассматриваемого примера: <0 (г = 1,2,...,«).

В главе показывается, что при использовании выбранного подхода к классификации наборов входных данных имеется возможность непосредственного расчёта параметров классифицирующего слоя ИНС, а не последовательной её настройки путём применения алгоритма обратного распространения ошибки. Обосновывается необходимость использования некоторой оценки точности аппроксимации функциональной зависимости, описывающей поведение моделируемого объекта на конкретном наборе данных и решения задачи целенаправленной подготовки обучающей выборки.

Рис. 1 Идентификация точки пространства аргументов

Работа алгоритма, созданного для целенаправленного формирования обучающих выборок (далее - алгоритма «Исследователь»), базируется на использовании понятая меры отклонения М в поведении линейной модели функции от поведения нелинейной модели в пределах одного полигона. На примере оценки одномерной функции в рамках полигона меру отклонения в поведении моделей можно представить как разность площадей прямолинейной и криволинейной трапеций (рис. 2):

Х2 Х1

М = ¡(ах +Ь1х+с)сЬс~1(кх+Ь2)сЬс. х0 *0 Дня двумерной функции мера отклонения будет являться аналогом разности объёмов треугольной призмы и призмы, образуемой соответствующей радиальной функцией (параболоидом вращения).

В алгоритме для общего случая М вычисляется по следующему шаблону:

График аппроксимируемой функции

Разность площадей прямолинейной и криволинейной трапеций

где

Рис. 2 Пример оценки поведения одномерной функции

1-1 1=1 ] Л <1

I Ы\ /=|

•хг X '=>

х'\, д:"; и хх'^ - минимальные и максимальные значения среди переменных х\,...,ха.

Основная задача, решению которой подчиняется поведение разработанного алгоритма «Исследователь», заключается в подборе множества узловых точек в области определения исследуемого объекта таким образом, чтобы она была покрыта наименьшим количеством полигонов (возможно, всего одним).

Исходными данными для алгоритма «Исследователь» являются:

- набор гиперплоскостей, заданных в виде списка узловых точек Х~ {Хи Хъ ..., Х^ (/ - их общее количество) и ограничивающих область определения исследуемого объекта;

- заданная величина погрешности для построения модели - Е1СН)\

- вектор минимально допустимых размеров полигона

йХ-(скь (Ихг.....«&</) в ¿/ мерном пространстве аргументов.

Величина меры отклонения М применяется в авторском алгоритме для анализа нелинейности поведения объекта в пределах одного полигона (блок-схема приводится на рис. 3):

1. Для анализируемого полигона вычисляется величина М.

2. Рассчитывается среднее значение погрешности в пределах полигона:

где

d - размерность пространства аргументов;

Хтшк0 ~ '-й элемент вектора с максимальными значениями координат

для анализируемого полигона;

XmJJ) - /-Й элемент вектора с минимальными значениями координат для анализируемого полигона.

3. Выполняется сравнение расчетного значения погрешности Е^ и заданного £зск) (результат сравнения определяет последующее решение о дальнейшей детализации поверхности отклика в пределах полигона):

4. Если Е^ ¿Еж, (Result = true), то текущий полигон разбивается на два полигона меньшего размера, для каждого из которых выполняется анализ нелинейности поведения объекта (п.п. 1 - 3).

5. Если Epan < Ею,, (Result ~ false), то анализ прекращается: объект в пределах текущего полигона считается исследованным.

Реализация программных образцов алгоритма «Исследователь» выполнена основе функционального программирования. Для непосредственного вычисления величины М разработан способ расчета коэффициентов полиномов вида

у-у0 = К[{хх -х«)2+(х2-x°2)2 + ... + {xd-х0,)2], где у0 - смещение от начала координат для функции отклика у; х°,х\,.. ,xj -

смещения для переменных х] ,x2,...,xd от начала координат, и выполнена оценка погрешности для созданных нейросетевых моделей.

По завершению анализа полигонов, исследующий алгоритм представляет результаты работы в виде структуры SP, объединяющей в себе следующие переменные:

Х-итоговый список узловых точек, определяющих вершины всех сформированных полигонов;

/ - количество узловых точек, определяющих вершины полигонов; Pg - список полигонов, заданных индексами вершин из Х\

Рис. 3 Блок-схема проведения анализа нелинейности

п -- общее число полученных полигонов;

КОЕЬТ - структура с коэффициентами аппроксимирующих полиномов для каждого из полигонов в списке Р%\

С - массив с координатами центральных точек полигонов из списка Р&

X/ массив значений функции отклика для X;

С/ - массив значений функции отклика для С.

Непосредственно реализация исследующего алгоритма, его тестирование и проведение вычислительных экспериментов проводились в средах МаЛаЬ и Марк.

В третьей главе предложена собственно оригинальная методика конструирования нейросетевых моделей. Данная методика, в отличие от известных, позволяет создавать ИНС с заранее заданными структурой сети и точностью аппроксимации. В общем виде эту методику можно описать следующим образом.

Задача решается в три этапа (рис. 4).

На первом этапе проводится исследование моделируемого объекта с целью определения множества тренировочных шаблонов. Для исследования применяется алгоритм «Исследователь», который на стадии формирования обучающей выборки решает вопросы минимизации её количественного состава с

©

©

Исследуемый (моделируемый) объект

Исследующий алгортм

Yj_i-\XUX2)I,

j-l,n, и-»mm

±

С.

*2 А

S

Е

Вычисление значения функции через полином для /-го полигона Г,-/<*!, *г).

©_С

Реализация профаммной модели ИНС

Реализация модели ИНС на ПЛИС

Рис. 4 Этапы формирования нейросетевой модели

сохранением адекватности представления функциональной зависимости (фактически этот алгоритм выполняет адаптацию будущей модели к характеру функции, описывающей поведение реального объекта).

На втором этапе для построения модели объекта применяется механизм «выкладывания» гиперповерхности функции в области её определения с помощью элементов «полигон + полином», описанных выше. Указанный на рис. 4 блок «CASE>> представляет собой нейросетевой классификатор полигонов.

На третьем этапе выполняется реализация описанной нейросетевой модели объекта в виде исполняемого модуля для использования на персональных ЭВМ, в кластерных системах или же в виде кода прошивки ПЛИС с помощью средств САПР для дальнейшего применения в рамках аппаратных либо программно-аппаратных комплексов.

Предлагаемый подход к построению модели объекта предполагает использование ИНС с вполне определённой структурой: сеть (см. рис. 5) состоит из двух слоёв - распознающего и калькулирующего.

Вход Распознающий слой Калькулирующий слой Выход

> К_J V_✓ V

Рис. 5 Структурная схема искусственной нейронной сети

Первый слой выполняет функцию определения принадлежности входного вектора к одному из полигонов в области определения моделируемой функции. Его параметры рассчитываются с помощью оригинального алгоритма «Создатель» на базе уравнений множества гиперплоскостей, разделяющих пространство области определения моделируемой функции (рис. 6).

Вычислительные шаги разработанного алгоритма основаны на положении о •юм, что казадому нейрону в модели функции от с1 аргументов будет соответствовать грань полигона, задаваемая уравнением:

■Х,м<л + +... + х^ + Ь,=0. (1)

В общем случае для сети с й входами и п полигонами /=1,2, ...Д, к = п*{с1+ 1). Пусть имеется именно ^ точек для определения гиперплоскости, и если Хч =(*,ь*12, ...,*!</), Х2 = (*гь*22, ■ ■ ■,Ха = (ха1,хл, представить в виде матрицы

X, -х,.

хг - хп Хп ~ х\'

Х<1\ xd2 '

xd ~ X\d Xd ~ xld

xd ~ xdd

= 0

иди

А =

dl

*2d

add

= 0

то правило, используемое в алгоритме «Создатель» при вычислении весовых коэффициентов синаптических связей для (1) (см. также рис. 6 правая часть), имеет следующий вид:

где / - порядковый номер нейрона во входном слое ИНС, М\ - детерминант матрицы порядка с1 - 1, полученной из А вычеркиванием первой строки и у-го столбца.

В соответствии с алгоритмом функционирования предлагаемой ИНС после выбора в первом слое единственного полигона на основании информации о соответствующем целевом классе (полиноме) и данных входного вектора во втором слое нейросети производится вычисление её выходного значения. Вычисления проводятся на основании расчётного вектора коэффициентов аппроксимирующего полинома. Для синтеза формального описания ИНС в нейросетевом базисе специально разработаны варианты реализации калькулирующего слоя сети (рис. 7).

У = + q,i-vi +аах2

■V = a,oZ(*j ~ац) r = d +1

М

£и

ш

ш

■ш-н

-0-

гЙЬ.

N..

Рис. 7 Схемы формирования выходного значения ИНС при использовании различных видов аппроксимирующих полиномов

Для хранения в едином формате и обработки структурированных данных, являющихся результатом настройки ИНС разработаны онтологическая модель и соответствующая оригинальная грамматика на языке XML:

< ?xml version^" 1.0" encodings "windows-1251 "?>

< !ELEMENT neuronet (classificlayer.polynomlayer) >

< .'ELEMENT classificlayer (neuron-* )> <!ELEMENT neuron (UPCDATA)> <!ELEMENT polynomlayer (polygon+)>

<!ELEMENT polygon (synapsesfromneuron,

neuronsoutstate, polynom+)> <!ELEMENT synapsesfromneuron (#PCDATA)> «.ELEMENT neuronsoutstate (#PCDATA)> O.ELEMENT polynom (#PCDATA)>

<!ATTLIST neuronet r CD AT A #REQUIRED

k C.DATA »REQUIRED n CD ATA #REQUIRED>

<!ATTLIST neuron «.ATTLIST polygon <!ATTLIST polynom

пит CDATA #REQUIRED> пит CDATA #REQUIRED> type (1\2\3) "/"> На основании данной грамматики, предложенной структуры ИНС, выходных данных алгоритма «Исследователь» и описанного выше механизма расчета параметров сети авторский алгоритм «Создатель» предоставляет возможность синтезировать формальное описание готовых нейросетевых моделей в виде документов * xml.

Глава завершается анализом вариантов реализации ИНС разработанного класса. Анализ позволяет сделать обоснованный вывод о том, что при необходимости обеспечить максимальную вычислительную производительность сети по времени предпочтительным вариантом является её аппаратная реализация на базе ПЛИС.

В результате работы с несколькими различными пакетами CA1IP и микросхемами разных производителей выявлена единая тенденция подготовки программного кода для микросхем ПЛИС, которая оформлена и представлена в виде алгоритма для аппаратной реализации нейросетевых моделей (рис. 8).

0

С

э

Преобразование

формальной модели ИНС в

текст программы на языке

VHDL, Verflog, AM или др.

1

Компиляция файла с Исправлен я* ошибок

расширенном '.vM разработчиком

Рис. 8 Алгоритм подготовки программного кода для ПЛИС

В четвертой главе представлен анализ результатов работы алгоритмов синтеза и экспериментальной проверки нейросетевых моделей. Проверка выполнена на следующих примерах:

- тестовая модель нейронной сети;

- аппроксимация характеристики электромагнита;

- аппроксимация характеристик, применяемых в управлении инжекторным двигателем внутреннего сгорания;

- аппроксимация характеристики кислородного давления для сеансов гипербарической оксигенации (ГБО).

Некоторые из рассмотренных в диссертации примеров приводятся далее.

Принципиальная возможность моделирования функциональных зависимостей, используемых для управления инжекторным двигателем внутреннего сгорания в четвертой главе показана на примере следующих характеристик для первой серийной версии программного обеспечения и калибровки автомобилей ВАЗ 2111-1411020 (двигатель 2111) ЛЛИ3054 от 30.09.1997 г. КС #С562 с электронным блоком управления Bosch Ml.5.4:

- коэффициент коррекции расхода воздуха;

- коэффициент чувствительности потенциометра регулировки СО;

- коррекция порога детонации по оборотам и дросселю;

- угол опережения зажигания в экономичном режиме при работе с датчиком кислорода (УОЗ ЭРсДК).

Для перечисленных характеристик выявлены диапазоны целесообразного применения нейросетевых моделей (по количеству узловых точек). Показана возможность сокращения количества данных при использовании нейросетевых моделей в сравнении с моделями из серийной версии ПО и калибровки автомобилей для различных значений погрешности. При допустимой погрешности в 5% количество данных для отдельных характеристик возможно сократить более чем в 12 раз (см. рис. 9).

Для исследования функциональной зависимости:

Р=АР» h, V),

где

Р - кислородное давление в барокамере для проведения сеанса ГБО; ра -среднее артериальное давление; h - частота сердечных сокращений (пульс); V-ударный объем сердца, алгоритм «Исследователь» использовался в пошаговом режиме как инструмент для организации целенаправленного сбора данных. По результатам построена, программно реализована и внедрена нейросетевая модель, описывающая указанную зависимость с погрешностью в пределах ± 0,1 атм, которая соответствует точности средств управления бароаппаратами, применяемыми для сеансов ГБО.

Полученная модель состоит из 30 полигонов, построенных на 15 узловых точках. Внешний вид поверхностей отклика, формируемых нейросетевой моделью и моделью, построенной на основе кубической интерполяции, получен с помощью сечений вида: Р = f(pa, , некоторые из которых представлены на рис. 10.

Рис. 9 Характеристика УОЗ ЭРсДК

В заключении сформулированы основные результаты работы, намечены пути их практического использования и проведения дальнейших исследований.

Приложения. В Приложении А приведен листинг файла с исходным кодом программы «Исследователь». В Приложении Б представлен листинг файла Gipot NN.xml, содержащий описание тестовой модели нейронной сети. Приложение В содержит листинги исходных текстов программ для реализации тестовой модели ИНС на базе ПЛИС (программа №1 - последовательная и программа №2 - параллельная обработка нейронов). В Приложении Г содержатся листинги файлов отчетов, сгенерированных пакетом Leonardo Spectrum для программ №1 и №2 из приложения В. В Приложении Д представлен листинг файла с объектно-ориентированным описанием параметров ИНС, моделирующей поведение электромагнита в среде Matlab. В Приложении Е приведен листинг файла Р 02 HRO.xml, содержащий формальное описание модели для определения давления кислорода при проведении сеансов ГБО.

Сечение Р = f(pa,h\^omt, V-50

NeurnNpt Model

V-const' NATURAL

t'a„, „-a 026481

Сечение = /Срв, ¿)|И=С0(Ы, у= 70

NeuroNet Model

V=coml' NATURAL

100 """¡вРТя 80 p 80 130 b

0 120

100 11

Сечение P = /(/V^L«,,,,, V= 90

NeuroNet Modol

0

120

100

80 120

Рие. 9 Модели определения кислородного давления для сеансов ГБО (сечения К= 50, ¥= 70 и ¥= 90)

В Приложении Ж представлен акт внедрения алгортма «Исследователь», модели И! 1С дня сеансов ГБО и 1фикладной программы с пользовательским интерфейсом, реализующей данную ИНС на ПК. В Приложениях 3, И и К представлены соответственно: свидетельство об официальной регистрации программы для ЭВМ № 2005610061 от 11.01.2004 г. Мохов В.А. Расчёт обучающей выборки для детерминированного построения ИНС («Исследователь»); свидетельство об отраслевой регистрации разработки № 4550 от 01.04.2005 г. Мохов В.А. «Исследователь 1.0» Формирование обучающей выборки дои детерминированного построения искусственной нейронной сети; свидетельство об отраслевой регистрации разработки № 4551 от 01.04.2005 г. Мохов В.А. «Создатель 1.0» Детерминированное построение и оптимизация структуры искусственной нейронной сети.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ, ВЫНОСИМЫЕ IIA ЗАЩИТУ

1. Разработана методика прямого синтеза аппроксимирующих искусственных нейронных сетей с простой интерпретацией и получением их аналитического описания.

2. Разработан алгоритм, применяемый для целенаправленного формирования обучающей выборки на основе оперативного контроля нелинейности в поведении исследуемого объекта.

3. Разработан алгоритм синтеза искусственных нейронных сетей, где количество нейронов является минимизированным для наперед заданной величины погрешности.

4. Разработана оригинальная грамматика для формального описания нейросетевых моделей на основе правил языка XML.

5. Предложена технология интерпретации формальных моделей для создания и использования спецвычислителей (аппроксиматоров) на базе устройств с программируемой логикой и возможностью распараллеливания вычислений.

ПЕЧАТНЫЕ РАБОТЫ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Ковалев О.Ф., Мохов В.А., Федорова Н.В. Об одном из алгоритмов адаптивной аппроксимации // Известия вузов. Электромеханика, 2004. - № 3 - С. 55 - 59.

2. Ковалев О.Ф., Мохов В.А., Рыбалко A.A. Алгоритмы адаптивной аппроксимации функциональных зависимостей // Материалы 52-й научно-технической конференции студентов и аспирантов ЮРГТУ(НПИ) / Юж.-Рос. гос. тех. ун-т (НПИ). - Новочеркасск: УПЦ «Набла» ЮРГТУ(НПИ), 2003. — С 188 -189.

3. Ковалев О.Ф., Мохов В.А., Потехин A.C. Пакет инструментальных средств для организации кластерных систем на базе ОС RTP QNX 6.1 // Материалы 52-й научно-технической конференции студентов и аспирантов ЮРГТУ(НПИ) / Юж.-Рос. гос. тех. ун-т (НПИ). - Новочеркасск: УПЦ «Набла» ЮРГТУ(НПИ), 2003. — С. 189 - 190.

4. Ковалев О.Ф., Мохов В.А. Модель нейронной сети и алгоритмы адаптивной подготовки обучающих выборок II Математические методы в технике и технологиях — ММТТ-17: Сб. трудов XVII Международ. науч. конф.: В 10 т. Т. 6. Секции 6,13 / Под общ. ред. B.C. Балакирева. — Кострома: Изд-во Костромского гос. технол. ун-та, 2004. — С. 62 - 64.

5. Ковалев О.Ф., Мохов В.А. Адаптивный аппроксиматор. Труды Международных научно-технических конференций «Интеллектуальные системы (IEEE AIS'03)» и «Интеллектуальные САПР (CAD-2003)». Научное издание в 3-х томах. - М.: Физмат, 2003, Т1. — С. 566 - 570.

6. Ковалев О.Ф., Мохов В.А. Детерминированное обучение нейросетевого ап-проксиматора. Труды Международных научно-технических конференций «Интеллектуальные системы (IEEE AIS'04)» и «Интеллеюуальные САПР (CAD-2004)». Научное издание в 3-х томах. - М.: Физмат, 2004, Tl.- С. 376 382.

7. Ковалев О.Ф., Мохов В.А. Алгоритм адаптивного аппроксиматора // Известия ТРТУ. Тематический выпуск: Материалы Всероссийского научно-технического семинара с международным участием «Микропроцессорные системы мониторинга, диагностики и управления сложными техническими

объектами, организационно-техническими системами и комплексами». Таганрог: Изд-во ТРТУ, 2004. - № 2 (37). — С. 48 - 49.

8. Ковалев О.Ф., Мохов В.А., Дынников A.A. Программно-аппаратный комплекс моделирования искусственных нейронных сетей на базе программируемых логических интегральных схем // Студенческая весна - 2004: Материалы 53-й науч.-техн. конф. студентов и аспирантов ЮРГТУ(НПИ) / Юж,-Рос. гос. тех. ун-т (НПИ). - Новочеркасск: ООО НПО «ТЕМП», 2004. — С. 225 - 226.

9. Мохов В.А. Расчет параметров нейросетевого классификатора. Теория, методы и средства измерений, контроля и диагностики: Материалы V между нар. науч.-практ. конф., г. Новочеркасск, 1 октября 2004 г.: В 2 ч. / Юж.-Рос. гос. техн. ун-т. (НПИ). — Новочеркасск: ЮРГТУ, 2004. - Ч. 2. — С.49 - 50.

Ю.Мохов В.А. XI//.-грамматика для формального описания ИНС. Интеллектуальные электромеханические устройства, системы и комплексы: Материалы V Междунар. науч.-практ. конф., г. Новочеркасск, 22 окт. 2004 г. / Юж.-Рос. гос. техн. ун-т (НПИ). - Новочеркасск: ЮРГТУ, 2004. —С. 4-6.

П.Ковалев О.Ф., Мохов В.А. Адаптивный нейросетевой аппроксиматор // Изв. вузов: Сев.-Кавк. регион. Техн. науки. 2005. Спецвыпуск: «Проблемы меха-троники 2004». — С. 44 - 48.

12.Мохов В.А. Алгоритм целенаправленного формирования обучающей выборки // Изв. вузов: Сев.-Кавк. регион. Техн. науки, 2005. Спецвыпуск: «Проблемы мехатроники - 2004». — С. 73 - 76.

13.Мохов В.А. Расчёт обучающей выборки для детерминированного построения ИНС («Исследователь»), Свидетельство об официальной регистрации программы для ЭВМ № 2005610061 от 11.01.2004 г.

Н.Мохов В.А. «Исследователь 1.0» Формирование обучающей выборки для детерминированного построения искусственной нейронной сети. Свидетельство об отраслевой регистрации разработки № 4550 от 01.04.2005 г.

15.Мохов В.А. «Создатель 1.0» Детерминированное построение и оптимизация структуры искусственной нейронной сети. Свидетельство об отраслевой регистрации разработки № 4551 от 01.04.2005 г.

16.Мохов В.А. Оценка погрешности аппроксимации на основе линейной и радиальной гиперболической функций // Математические методы в технике и технологиях — ММТТ-18: Сб. трудов XVIII Международ, науч. конф.: В Ют. Т. 2. Секция 2 / Под общ. ред. B.C. Балакирева. — Казань: Изд-во Казанского гос. технол. ун-та, 2005. С. 161 -163.

Мохов Василий Александрович

РАЗРАБОТКА АЛГОРИТМОВ ПРЯМОГО СИНТЕЗА АППРОКСИМИРУЮЩИХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Подписано в печать «13» сентября 2005 г. Формат 60х 84 1/16 Бумага офсетная.

Печать оперативная. Усл. п.л. 1,0, Тираж 100 экз. Заказ 47-2918.

Южно-Российский государственный технический университет (НПИ)

Центр оперативной полиграфии ЮРГТУ(НПИ)

346428, г. Новочеркасск, ул. Просвещения, 132, тел. 55-222

РНБ Русский фонд

2006-4 13440

ВВЕДЕНИЕ.

Глава 1. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРОБЛЕМЫ

НЕЙРОСЕТЕВОГО МОДЕЛИРОВАНИЯ.

1.1. Особенности реализации моделей.

1.2. Многослойные нейронные сети.

1.3. Сети с радиальными базисными функциями активации.

1.4. Анализ возможных перспектив реализации и применения искусственных нейронных сетей.

Выводы по первой главе.

Глава 2. ЗАДАЧИ САМООРГАНИЗАЦИИ ИНС.

2.1. Анализ подходов к классификации данных ИНС.

2.2. Обоснование принципа работы нейросетевого классификатора.

2.3. Анализ и выбор вида аппроксимирующего полинома.

2.4. Математический аппарат алгоритма формирования обучающей выборки.

2.4.1. Мера отклонения М.

2.4.2. Правила расчета коэффициентов полиномов.

2.4.3. Оценка погрешности нейросетевых моделей.

2.5. Алгоритм формирования обучающей выборки.

Выводы по второй главе.

Глава 3. ПРИНЦИПЫ СОЗДАНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ НА БАЗЕ ПРЕДЛОЖЕННОГО АЛГОРИТМА ФОРМИРОВАНИЯ ОБУЧАЮЩЕЙ ВЫБОРКИ.

3.1. Общие принципы формирования нейросетевой модели.

3.2. Структура искусственной нейронной сети.

3.3. Обучение (настройка параметров) искусственной нейронной сети.

3.3. Разработка грамматики для формального описания ИПС.

3.4. Анализ вариантов реализации ИНС.

3.5. Анализ возможностей реализации ИНС на базе интегральных микросхем с программируемой логикой.

Выводы по третьей главе.

Глава 4. ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА

НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ.

4.1. Абстрактная модель нейронной сети.

4.1.1 Аппаратная реализация и интерфейс для модели нейронной сети

4.2. Аппроксимация характеристики электромагнита.

4.3. Аппроксимация характеристик, применяемых в управлении инжекторным двигателем внутреннего сгорания.

4.4. Аппроксимация характеристики кислородного давления для сеансов ГЪО

4.4.1. Лечение кислородом под повышенным давлением.

4.4.2. Постановка задачи.

4.4.3. План формирования модели, обработка данных и апробация программной модели ИНС.

Выводы по четвёртой главе.

Актуальность

В последнее время в области моделирования и автоматического управления широкое применение нашли искусственные нейронные сети (ИНС). Возможность сформулировать многие задачи распознавания, идентификации и обработки сигналов в аппроксимационной постановке обострила вопросы проведения теоретических исследований и разработки программных инструментальных средств для автоматизации процессов проектирования аппроксимирующих ИНС.

Несмотря на широкий спектр возможностей ИНС, решению задач с их применением сопутствует ряд недостатков, среди которых имеют место следующие:

- большинство подходов для проектирования ИНС являются эвристическими и часто не приводят к однозначным решениям;

- для построения модели объекта на основе ИПС требуется выполнение многоцикловой настройки внутренних элементов и связей между ними;

- обучение сети в ряде случаев приводит к тупиковым ситуациям;

- продолжительные временные затраты на выполнение процедуры обучения зачастую не позволяют применять И11С в системах реального времени;

- поведение обученной ИНС не всегда может быть однозначно предсказуемо, что увеличивает риск применения ИПС для управления дорогостоящими техническими объектами;

- при моделировании линейных участков функций на основе суперпозиции нелинейных функций, традиционно применяемых в ИНС, возникает ряд сложностей;

- большинство известных коммерческих продуктов схемотехнической реализации нейронных сетей, выполняются в виде сверхбольших интегральных схем (СБИС), которые сегодня трудно назвать широкодоступными и др.

Поиск оптимального соотношения параметров нейросетевых моделей и их характеристик в каждом конкретном случае является одной из ключевых задач, для эффективного решения которой необходим широкий спектр методов, алгоритмов и программ синтеза, различающихся по объёму вычислений, качеству получаемых результатов, времени поиска решения, способам представления данных.

Эти обстоятельства позволяют отметить актуальность разработки новых алгоритмов для подбора обучающих примеров, ориентированных на минимизацию аппаратурных затрат при последующей реализации ИНС.

При этом в последнее время на мировом рынке появилось новое технологическое решение в виде программируемых логических интегральных схем (ПЛИС), потенциально подходящих для реализации ИНС (обладающих возможностью локальной организации распределенных вычислений).

Как следствие, в предлагаемой диссертационной работе основное внимание уделяется разработке, реализации и исследованию возможностей алгоритмов, которые:

1) позволяли бы синтезировать ИНС, моделирующие с заданной точностью функциональные зависимости;

2) использовали бы для синтеза аппроксимирующих ИНС преимущества известных нейросетей;

3) предоставили бы возможность сведения к минимуму числа тренировочных шаблонов для выполнения аппроксимации на базе ИНС. Очевидно, что сформулированные даже в первом приближении минимальные технологические требования предполагают решение целого ряда специфических задач, представленных в диссертационной работе.

Резюмируя вышесказанное, можно сделать вывод о том, что исследования, ставящие целью разработку алгоритмов и программных средств для синтеза аппроксимирующих искусственных нейронных сетей в рамках решения отмеченных проблем, являются актуальными и представляют научный и практический интерес.

Объект исследования

Алгоритмы и методики прямого синтеза аппроксимирующих ИПС, основанные на целенаправленной подготовке обучающих выборок, а также программные и аппаратные средства реализации аппроксимирующих ИПС.

Цель и задачи работы

Целью настоящей работы является разработка алгоритмов, инструментальных программных средств и методики для автоматического получения формального описания искусственных нейронных сетей.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Разработка аппарата аналитического описания аппроксимирующих ИНС, где количество нейронов является минимизированным для наперед заданной величины погрешности.

2. Разработка методики определения параметров (методики обучения) ИПС указанного класса. ь 3. Разработка алгоритма формирования обучающей выборки для аппроксимирующих ИНС и соответствующего математического обоснования.

4. Подготовка инструментальной программной системы для синтеза формального описания нейросетевых моделей указанного класса.

5. Осуществление анализа возможности создания и использования спецвычислителей (нейросетевых аппроксиматоров) на базе устройств с программируемой логикой.

Основные научные результаты

1. Разработана методика прямого синтеза аппроксимирующих ИПС с простой интерпретацией и получением их аналитического описания, отличающаяся целенаправленной подготовкой обучающей выборки для настройки сети.

2. Разработаны алгоритмы синтеза ИНС, где количество нейронов является минимизированным для наперед заданной величины погрешности за счет оперативного анализа нелинейности моделируемых функциональных зависимостей.

3. Разработана технология интерпретации получаемого формального описания нейросетевых моделей для создания и использования спецвычислителей (нейросетевых аппроксиматоров) на базе устройств с программируемой логикой и возможностью распараллеливания вычислений, обеспечивающая существенное повышение скорости разработки аппаратных устройств за счет сокращения врег менных и трудозатрат на получение программного кода описания аппаратной реализации нейросетевых спецвычислителей.

Основные положения, выносимые на защиту

1. Методика прямого синтеза аппроксимирующих ИНС с простой интерпретацией и получением их аналитического описания.

2. Быстродействующие алгоритмы для синтеза ИНС, где количество нейронов является минимизированным для наперед заданной величины погрешности.

3. Технология интерпретации получаемого формального описания нейросетевых моделей для создания и использования спецвычислителей (нейросетевых аппроксиматоров) на базе устройств с программируемой логикой и возможностью распараллеливания вычислений.

Практическая ценность

На основе теоретических результатов, полученных в работе, можно выделить следующие практические результаты:

1. Разработанная методика синтеза ИНС позволяет в автоматическом режиме получать формальное описание нейросетевых моделей, где количество нейронов является минимизированным для наперед заданной величины погрешности.

2. Алгоритмы, разработанные для анализа моделируемых объектов, позволяют проводить оперативный контроль их нелинейностей непосредственно по ходу исследования.

3. На основании формального описания нейросетевых моделей предоставляется возможность выбора одного из проанализированных вариантов реализации в аппаратном или программном виде.

Данная работа представляет интерес для решения задач синтеза и программной/аппаратной реализации аппроксимирующих ИНС. Особый интерес представляет использование алгоритма целенаправленного формирования обучающей выборки для последующего создания нейросетевой модели. В частности, характерным примером эффективного использования практически всех полученных в диссертационной работе результатов является применение разработанной нейросетевой модели для определения оптимального давления кислорода в бароаппарате при проведении сеансов гипербарической оксигенации (ГБО) у больных с огнестрельными ранениями и ожогами.

Методы исследования

При выполнении данной работы использовался математический аппарат теории искусственных нейронных сетей, теории распознавания образов, вычислительной геометрии, линейной алгебры, теории дифференциального и интегрального исчислений, теории компиляторов, функционального и объектно-ориентированного программирования.

Апробация работы

Результаты работы докладывались и обсуждались на Международных, Всероссийских научно-технических конференциях, в том числе на:

Всероссийском научно-техническом семинаре с международным участием «Микропроцессорные системы мониторинга, диагностики и управления сложными техническими объектами, организационно-техническими системами и комплексами», Таганрог, 2003;

Международной научно-технической конференции «Интеллектуальные системы (IEEE AISQ3)» и «Интеллектуальные САПР (CAD-2003)», Москва, 2003;

XVII Международной конференции «Математические методы в технике и технологиях (ММТТ-17)», Кострома, 2004;

Международной научно-технической конференции «Интеллектуальные системы (IEEE AIS04)» и «Интеллектуальные САПР (CAD-2004)», Москва, 2004;

Международном коллоквиуме по мехатронике в рамках мероприятия «Дни немецкой культуры на Дону», Новочеркасск, 2004;

V Международной научно-практической конференции «Теория, методы и средства измерений, контроля и диагностики», Новочеркасск, 2004;

V Международной научно-практической конференции «Интеллектуальные электромеханические устройства, системы и комплексы», Новочеркасск, 2004;

XVIII Международной конференции «Математические методы в технике и технологиях (ММТТ-18)», Казань, 2005.

Результаты работы используются в учебном процессе в дисциплинах:

Микропроцессорные системы»;

Технологии программирования».

Достоверность полученных в диссертации результатов подтверждается разработкой действующей программной библиотеки для формирования обучающих выборок и детерминированного построения и оптимизации структуры аппроксимирующих ИНС, а также действующих образцов аппаратно-реализованных ИНС и прикладной программы для определения оптимального давления кислорода в бароаппарате при проведении сеансов ГБО.

Публикации

Результаты, полученные в работе, нашли отражение в 16 печатных работах, среди них 10 статей, 1 свидетельство Всероссийского бюро по патентам и товарным знакам - № 2005610061 «Расчёт обучающей выборки для детерминированного построения искусственной нейронной сети» («Исследователь») и 2 свидетельства Отраслевого фонда алгоритмов и программ: 4550 «Исследователь 1.0» Формирование обучающей выборки для детерминированного построения искусственной нейронной сети»; № 4551 «Создатель 1.0» Детерминированное построение и оптимизация структуры искусственной нейронной сети».

Структура работы

Материал основной части диссертационной работы изложен на 179 страницах машинописного текста. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 104 наименований, содержит 11 таблиц, 37 рисунков, и десять приложений на 39 листах.

Выводы по четвёртой главе

На основании материала, приведенного в данной главе работы можно сделать следующие выводы:

1. В главе даны примеры следующих конкретных задач, решение которых требует формирования ИНС: макетный пример, демонстрирующий технологию создания ИПС в рамках предлагаемой в диссертационной работе методики; задача моделирования работы электромагнита; задача моделирования функциональных зависимостей, используемых для управления инжекторным двигателем внутреннего сгорания; построение и реализация в виде прикладной программы для ПК зависимости кислородного давления в барокамере от артериального давления, частоты сердечных сокращений и ударного объема сердца пациента для проведения сеансов ГБО.

ЗАКЛЮЧЕНИЕ

В диссертационной работе проведен обзор известных алгоритмов и методов синтеза нейронных сетей, показавший, что на данный момент отсутствуют алгоритмы прямого синтеза аппроксимирующих нейросетей, использующие преимущества известных ИНС для моделирования функциональных зависимостей с заданной точностью с предоставлением возможности сведения к минимуму числа тренировочных шаблонов для выполнения аппроксимации. Предложена методика прямого синтеза аппроксимирующих ИНС с простой интерпретацией и получением их аналитического описания, отличающаяся целенаправленной подготовкой обучающей выборки для настройки сети. Предложены алгоритмы синтеза ИНС, где количество нейронов является минимизированным для наперед заданной величины погрешности. Предложена технология интерпретации получаемого формального описания нейросетевых моделей для создания и использования спецвычислителей (нейросетевых ап-проксиматоров) на базе устройств с программируемой логикой и возможностью распараллеливания вычислений, обеспечивающая существенное повышение скорости разработки аппаратных устройств указанного типа.

В отличие от существующих подходов к синтезу ИНС, предлагаемые алгоритмы и методика позволяют создавать ИНС с рассчитываемыми структурой и значениями параметров, что даёт возможность оптимизации количества нейронов в ИНС в соответствии с задаваемой точностью аппроксимации. Для формирования и настройки сети предлагается путь, основанный не на использовании алгоритмов, подобных алгоритму обратного распространения ошибки, а опирающийся на целенаправленную подготовку обучающей выборки с минимизацией её численного состава и последующий расчет характеристик ИНС.

1. Вороновский Г.К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. — Харьков: Основа, 1997.

2. Stone M.N. The generalized Weiersírass approximation theorem II Math. Mag., 1948. Vol.2\.PP. 167—183,237 — 254.

3. Комарцова Л.Г., Максимов A.B. Нейрокомпьютеры: Учебное пособие для вузов. — М.: Изд-во МГТУ им. Н.Э. Баумана, 2002.

4. Park J., Sandberg I. W. Universal approximation using radial basis function networks И Neural Comput. Vol. 3. 1991. P. 246 — 257.

5. Park J., Sandberg I. W. Approximation and radial basis function networks II Neural Comput. Vol. 5. 1993. P. 305 — 316.

6. Говорухин В., Цибулин В. Компьютер в математическом исследовании. Учебный курс. — СПб.: Питер, 2001.

7. Терехов В.А. Нейросетевые системы управления. — М.: ВШ, 2002.

8. Золотов Е. Кормушка для мозгов // Электронное издание журнала «Компьютерра» от 25.10.2004. — http://www.computerra.ru/think/sent inel/ЪЬЪИ/

9. Зенкевич О., Морган К. Конечные элементы и аппроксимация. — М.: Мир, 1986.

10. Сегерлинд Л. Применение метода конечных элементов. —М.: Мир,1979.

11. Грушвицкий Р.И., Мурсаев А.Х., Угрюмов Е.П. Проектирование систем на микросхемах программируемой логики. — СПб.: БХВ-Петербург, 2002.

12. Мохов В.А., Ковалев О.Ф., Федорова Н.В. Об одном из алгоритмов адаптивной аппроксимации // Известия вузов. Электромеханика, 2004. N 3 -С. 55 — 59.

13. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. — М.: Горячая линия Телеком, 2001. — 382 с.

14. Барцев С.И., Гилев С.Е., Охонин В.А. Принцип двойственности в организации адаптивных сетей обработки информации // В кн.: Динамика химических и биологических систем. — Новосибирск: Наука. Сиб. отд-ние, 1989.-с.6 —55.

15. Fletcher R., Reeves С.М. Function minimization by conjugate gradients II Computer Jornal. 1964. Vol. 7. P. 149 — 154.

16. Hagan M.T., Menhaj M. Training feedforward networks with the Marquardt algorithm II IEEE Transactions on Neural Networks. 1994. Vol. 5, N 6. P. 989 — 993.

17. Vogl TP. Mangis J.K. et. al. Accelerating the convergence of the back-propagation method II Biological Cybernetics. 1988. Vol. 59. P. 256 — 264.

18. Rumelhart D.E., Hinton G.E., Williams R.J. Learning representation by back—propagation errors II Nature. 1986. Vol. 323. P. 533 — 536.

19. Маккаллок У.С., Питтс У. Логическое исчисление идей, относящихся к нервной деятельности. Автоматы. М.: ИЛ, 1956.20 .Rosenblatt F. Principles of Neurodynamics. Washington D.S.: Spartan Press, 1961.

20. Minssky M.L., Papert S.A. Perceptrons. — Cambridge, MA: MIT Press,1969.

21. Rumelhart D.E., Hinton G.E., Williams R.J. Learning internal representation dy error propagation //In: D.E. Rumelhart and J.L. McClelland (Eds.) Parral-lel Distributed Processing, Vol. I Foundations. — Cambridge, MA: MIT Press, 1986. P. 318 — 362.

22. Werbos P.J. Beyond regression: New tools for prediction and analysis in the behavioral sciences. PhD Thesis, Harvard University, Cambridge, MA, 1974.

23. Барцев С.И., Охонин В.А., Адаптивные сети обработки информации. — Красноярск, 1986. — 20 с.— (Препринт / АН СССР. Сиб. отд-ние. Ин-т физики; N 59Б).

24. Медведев B.C., Потемкин В.Г. Нейронные сети. MATLAB 6. — М.: Диалог-Мифи, 2002.

25. Wasserman P.D. Advanced Method in Neural Computing. New York: Van Nostrand Reinhold, 1993.

26. Kohonen Т., Self-Organization and Associative Memory. 2nd ed. Berlin: Springer-Verlag, 1987.

27. Haykin S. Neural Network. A Comprehensive Foundation. — New York: Macmillan College Publishing Company, 1994. — 691 p.

28. Hornik K., Stinchcomb M. and White H. Multilayer Feedforward Networks are Universal Approximators II Neural Networks. — 1989. — TV 2. — P. 359 — 366.

29. Cybenko G. Approximators by superposition of sigmoidal functions // Math. Control, Signal Syst. — 1989. —N2. — P. 303 — 314.

30. Уоссерман Ф. Нейрокомпьютерная техника. — M.: Мир, 1992 — 240 с.

31. Stretch, Inc.: Products & Technology, 2004. -http://www. stretchinc. com/products.php

32. Николаевич В. С-ускоритель. // Компьютерра, 2004, №24.

33. Осовский С. Нейронные сети для обработки информации. — М.: Финансы и статистика, 2002.

34. Ивахненко А.Г. Самообучающиеся системы распознавания и автоматизированного управления. — Киев: Техника, 1969.

35. Nils J. Nilsson. Learning machines. New York: McGraw-Hill Book Company, 1965.

36. Препарата Ф., Шеймос M. Вычислительная геометрия: Введение. М.: Мир, 1989.

37. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. Кн. 8: Учебное пособие для вузов / Общая редакция А.И. Галушкина. М.: ИПРЖР, 2002.

38. Linde Y., Buzo A., Gray R. An algorithm for vector quantizer design II IEEE Trans. Comm. 1980. Vol. 28. -P. 84 — 95.

39. Lansner J., Lehmann T. An analog CMOS chip set neural network with arbitrary topologies II Trans. Neural Networks, 1993. Vol. 4. - P. 441 — 444.

40. Chinrungrueng C., Sequin C.H. Optimal adaptive K-means algorithm with dynamic adjustment of learning rate II IEEE Trans. Neural Networks, 1995. -Vol. 6.-P. 157—169.

41. McColloch W. S., Pitts W.H. A logical calculus of ideas immanent in nervous activity //Bull. Math. Biophysics, 1943. Vol. 5- P. 115 — 119.

42. Сыромолотов E.H., Любимова М.И., Милова Т.Б. Основы прикладной математики. Том 1. М.: ВАХЗ, 1989.

43. Линник Ю.В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений, 2 изд. — М.: 1962.

44. Минаев Ю.Н., Филимонова О.Ю. Бенамеур Лиес. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе. М.: Горячая линия-Телеком, 2003.-205 с.

45. Марчук Г.И. Методы вычислительной математики. — М.: Наука,1962.

46. Растригин Л.А. Сравнение методов Гаусса, Монте-Карло и случайного поиска при решении систем линейных алгебраических уравнений. Сб. «Автоматика и вычислительная техника», вып. 7. Рига, Изд-во Латв. АН, 1964.

47. Демидович Б.П., Марон И.А., Основы вычислительной математики. — М.: Физмат, 1963. 660 с.

48. Бахвалов Н.С., Жидков Н.П., Кобельков Г.М. Численные методы. -М.: Лаборатория Базовых Знаний, 2001.

49. Завьялов Ю.С., Квасов Б.И., Мирошниченко В.Л. Методы сплайн-функций. — М.: Наука, 1980.

50. Стечкин С.Б., Субботин Ю.Н. Сплайны в вычислительной математике. — М.: Наука, 1976.

51. Бермант А.Ф., Араманович И.Г. Краткий курс математического анализа: Учебное пособие для втузов. М.: Паука, 1971.

52. Ракитин В.И., Первушин В.Е. Практическое руководство по методам вычислений с приложением программ для персональных компьютеров: Учеб. Пособие. — М.: ВШ, 1998.

53. National Science and Technology Research Center for Computation and Visualization of Geometric Structures (The Geometry Center), University of Minnesota. 1993. http://www.geom. umn. edu/software/qhull/

54. Мохов В.А., Ковалёв О.Ф. Адаптивный аппроксиматор. Труды Международных научно-технических конференций «Интеллектуальные системы {IEEE AIS'03)» и «Интеллектуальные САПР (CAD-2003)». Научное издание в 3-х томах. М.: Физмат, 2003, Т1. — с. 566 — 570.

55. Питге Н. XML за рекордное время. Пер. с англ. М.: Мир, 2000. - 444 с.

56. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем: Учебное пособие. СПБ.: Питер, 2000. - 384 с.

57. Semantic Web: роли XML и RDF И Открытые системы, 2001. N 9. -с. 41 —48.

58. Вендров А.М. Проектирование программного обеспечения экономических информационных систем. М.: Финансы и статистика, 2000. - 352с.

59. Бутомо И.Д., Дробницев Д.Ф., Питько А.Е. Методы распараллеливания алгоритмов и их реализация в вычислительных системах. —JL, 1980.

60. Одинцов И.О. Профессиональное программирование. Системный подход. — СПб.: БХВ-Петербург, 2002.

61. Панельная дискуссия по распределенной обработке. Национальная конференция по ЭВМ. Anaheim. Calif., June 1978.

62. Вейцман К. Распределенные системы мини- и микро-ЭВМ. — М.: Финансы и статисика, 1982.

63. Сантони Э. JavaSpaces основа будущих распределённых систем. — Computerworld, №40,1997.

64. Шумский С. Нейросетевые агенты в Интернете // Компьютерра, 2000.-7V4.-c. 20 — 25.

65. Зотов В.Ю. Проектирование цифровых устройств на основе ПЛИС фирмы XILINX в САПР WebPACK ICE. — M.: Горячая линия — Телеком, 2003. —624С.

66. Олифер В.Г., Олифер H.A. Сетевые операционные системы. — СПб.: Питер, 2001.

67. Головкин Б.А. Расчет характеристик и планирование параллельных вычислительных процессов. — М.: Радио и связь, 1983.

68. Реализация нейронных сетей на ПЛИС Xilinx. — Scan Engineering Telecom, декабрь 2000. http://www.setltd.com

69. Уэйкерли Дж. Ф. Проектирование цифровых устройств. М.: Постмаркет, 2002.

70. Стешенко В. Программируемые логические интегральные схемы: обзор архитектур и особенности применения // Схемотехника. 2000. — iV 1— 2. - с.2 — 4, 2001. -N1-2. - с.22 — 24.

71. Золотухо P. System Designer пакет для разработки устройств на основе Atmel FPSLIC. - // Chip News. 2001. - N 2. - с. 8 — 14.81 .FPSLIC STK594 User Guide. 2Ъ\9A-FPSLI-0H\2№ IM — Atmel Corporation, 2002.

72. Армстронг Дж. Р. Моделирование цифровых систем на языке VHDL. — М.: 2004.

73. Chiptuner.ru'. Серийные прошивки ВАЗ. 2005. http://www.chiptuning.ru

74. Chip Tuning PRO. Программа для настройки калибровок систем управления впрыском топлива GM ISFI-2S, BOSH Ml.5A, BOSH МР7.0, ЯНВАРЬ-4, ЯНВАРЬ-5.1, KS5.1, МИКАС 5.4, МИКАС 7.1. http://www.almisoft.ru

75. Данов Б.А., Титов Е.И. Электронное оборудование иностранных автомобилей: Системы управления двигателем. — М.: Транспорт, 1998.

76. Чижков Ю.П. Электронное оборудование автомобилей. — М.: Машиностроение, 2002.

77. Материалы информационного сервера Медицинского отдела Баро-центра г. Москвы, http://www.barocenter.ru

78. Лосев Я. И., Хитров Я. С., Грачев С. В. Патофизиология гипоксических состояний и адаптация организма к гипоксии: Учеб. пособие. — М., 1982.

79. Завод медицинской техники и товаров народного потребления Космического центра им. М.В. Хруничева (Медтехника и ТИП) http://www.zavodmt.ru

80. Руководство по гипербарической оксигенации / Под ред. С.Н. Ефуни. — М., 1986.

81. Жизневский Я.А. Основы инфузионной терапии: Справ.-практ. пособие. — Мн.: Выш. шк., 1994.

82. Покровский В.И. Домашняя медицинская энциклопедия. М.: Медицина, 1993.

83. Система гипербарическая одноместная БЛКС 301 М. Техническое описание и инструкция по эксплуатации. М.: НПО ЭКРАН, 1991.

84. ГОСТ Р 51316-99 «Бароаппараты одноместные медицинские стационарные. Общие технические требования», 1999.

85. Гипербарическая терапия в военно-медицинской практике / Под ред. Е. В. Ермакова. — М., 1986.

86. Планирование эксперимента // Математический энциклопедический словарь. — М.: Сов. энциклопедия, 1988. — 847 с.

87. Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике: Пер. с англ. — М.: 1986.

88. Мохов В.А. «Исследователь 1.0» Формирование обучающей выборки для детерминированного построения искусственной нейронной сети. Свидетельство об отраслевой регистрации разработки № 4550 от 01.04.2005 г.

89. Мохов В.А. «Создатель 1.0» Детерминированное построение и оптимизация структуры искусственной нейронной сети. Свидетельство об отраслевой регистрации разработки № 4551 от 01.04.2005 г.

90. Мохов В.А. Расчёт обучающей выборки для детерминированного построения ИНС («Исследователь»). Свидетельство об официальной регистрации программы для ЭВМ № 2005610061 от 11.01.2004 г.

91. Листинг файла с исходным кодом программы «Исследователь»----------Процедура составления уравнения квадратичной функции------

92. A:=array(3.n+2,l.n): B:=array(3.n+2,1.1):for i from 3 to n+2 do: for j from 1 to n do:

93. AiJ.:=(Y1.-Y[l]r(X[lj]-X[2,j])/(Y[2]-Y[l])-(X[lj]-X[ij]): end do:

94. Bi,l.:=c[iHY1.-Y[l])*c[2]/(Y[2]-Y[l]): end do:

95. AA :=evalm( 1 /Matrix(n,n, A)) :-----------считаем Xo----------

96. Getcenterpoint := proc( Points, n )local i, j, CP, NewPoints;description "Процедура получения массива со средней точкой": CP:=array(l.n): for j from 1 to n do CP.]:=0: for i from 1 to n+1 do CP[j]:=CP[j]+Points[ij]:end do:1. CPj.:=CP[j]/(n+l):end do:

97. FiforsimpIex := proc( Points, n )description "Процедура вычисления Fi для полигона расчётной по моделиlocal i, j, FiPoints; FiPoints:=array(l .n+2): for i from 1 to n+2 do

98. FiPoints1. :=FiFunction(Pointsi, 1 ., Points[i,2]): end do: FiPoints: end proc:---------------------------------------------------------------------------Процедура вычисления площади полигона по Координатам----

99. Computation := proc( P, N )description "Вычисление ошибок":local X, Y, fl, f2, xmin, xmax, ymin, ymax, F, M, ts, pi, fn, fnl, xlsr, x2sr, flin, Eabssr, Eotn, w, py, pxl 1, pxl2, i;----------задаём начальные условия для передачи в процедуры

100. M:=evalf(abs(int(int(F, x=xmin.xmax), y=ymin.ymax)));print("MEPA отклонения ",evalf(M));-------Вычисляем S полигона pipl:=evalf(PloshadK(N,X,Y));-------Вычисляем среднюю погрешность для полигона

101. P:=[0.01,0.01., [0.1,0.1], [0.1,0.01]]; E:=Computation(P, 2); if E>0.05 then Spisok:=Twutr(P); end if;loop:=2: i:=l: k:=0: while i <= loop do k:=k+l:unassign('NS'): # очищаем переменную NS NS=.:

102. NS 1 :=NS[.,NewTR[ 1 ],NewTR[2]]; loop:=loop+l;unassign('Spisok'): Spisok:=NSl.; else i:=i+l; end if; end do:рпШС'Количество полигонов i-1);

103. Spisok.: # массив с данными для формирования искусственной нейронной сети1. Spisokl.:n:=linalgvectdim.(Spisok[l]):

104. Добавляем значение функции в списки координат для рисования unassign('tochkidlyarisovaniya'): tochkidlyarisovaniya:=.:for i from 1 to i-1 dounassign('element'): # очищаем переменную "element" element:=.:element:=[Spisok1.[l,l.,Spisok[i][l,2],

105. FiFunction(Spisok1. 1,1 .,Spisok[i] [1,2])], [Spisok[i][2,l],Spisok[i][2,2],

106. Отрисовка поверхности моделируемой функции PLOT3D(POLYGONS(tochkidlyarisovaniya.),

107. GHT(0,0,0.0,0.7,0.0), LIGHT( 100,45,0.7,0.0,0.0), LIGHT(100,-45,0.0,0.0,0.7), AMBIENTLIGHT(0.4,0.4,0.4), STYLE(PATCH),COLOR(ZIIUE), AXESSTYLE(BOX));

108. Листинги исходных текстов программ для реализации гипотетической модели ИНС на базе ПЛИС

109. Листинги файлов отчетов, сгенерированных пакетом Leonardo Spectrum

110. Отчет к программе №1 (последовательная обработка нейронов) *******************************************************

111. Cell: neiron View: neironarch Library: work *******************************************************1. Total accumulated area :

112. Number of Gate Equivalents : 101. Number of LUTs : 1051. Number of ibuf : 101. Number of obuf : 7

113. Cell: lpmaddft40 View: LPM Library: OPERATORS *******************************************************1. Total accumulated area :1. Number of LUTs : 41. Number of ports : 131. Number of nets : 01. Number of instances : 0

114. Number of references to this view : 4

115. Cell: 1pm add f t 4 1 View: LPM Library: OPERATORS1. Total accumulated area :1. Number of LUTs : 41. Number of ports : 131. Number of nets : 01. Number of instances : 0

116. Number of references to this view : 3

117. Cell: lpmaddft70 View: LPM Library: OPERATORS *******************************************************1. Total accumulated area :1. Number of LUTs : 71. Number of ports : 221. Number of nets : 01. Number of instances : 0

118. Number of references to this view : 3

119. Cell: lpmaddft42 View: LPM Library: OPERATORS *******************************************************1. Total accumulated area :1. Number of LUTs : 41. Number of ports : 131. Number of nets : 01. Number of instances : 0

120. Number of references to this view : 3

121. Cell: lpmsubft40 View: LPM Library: OPERATORS *******************************************************1. Total accumulated area :1. Number of LUTs : 41. Number of ports : 131. Number of nets : 01. Number of instances : 0

122. Number of references to this view : 5

123. Cell: lpmsubft80 View: LPM Library: OPERATORS1. Total accumulated area :1. Number of LUTs : 81. Number of ports : 251. Number of nets : 01. Number of instances : 0

124. Number of references to this view : 3

125. Cell: lpmsubft70 View: LPM Library: OPERATORS1. Total accumulated area :1. Number of LUTs : 71. Number of ports : 221. Number of nets : 01. Number of instances : 0

126. Number of references to this view : 31. Clock

127. Clock Frequency Report : Frequencywr rd1. NOT rd277 MHz1. N/A1. N/A1. Slack Table at End Points

128. Отчет к программе №2 (параллельная обработка нейронов)

129. Cell: neironl View: neironlarch Library: work it******************************************************1. Total accumulated area :

130. Number of Gate Equivalents : 221. Number of LUTs : 891. Number of ibuf : 101. Number of obuf : 7

131. Number of accumulated instances : 941. Number of ports : 171. Number of nets : 1411. Number of instances : 94

132. Equivalents Equivalents Equivalents1. Equivalents Equivalents

133. Cell: lpmaddft40 View: LPM Library: OPERATORS1. Total accumulated area :1. Number of LUTs : 41. Number of ports : 131. Number of nets : 01. Number of instances : 0

134. Number of references to this view : 4

135. Cell: lpmltf40 View: LPM Library: OPERATORS *******************************************************

136. Total accumulated area : Number of LUTs :1. Number of ports : 91. Number of nets : 01. Number of instances : 0

137. Number of references to this view : 3

138. Cell: lpmaddft4l View: LPM Library: OPERATORS *******************************************************1. Total accumulated area :1. Number of LUTs : 41. Number of ports : 131. Number of nets : 01. Number of instances : 0

139. Number of references to this view : 3

140. Cell: lpmaddft70 View: LPM Library: OPERATORS1. Total accumulated area :1. Number of LUTs : 71. Number of ports : 221. Number of nets : 01. Number of instances : 0

141. Number of references to this view : 3

142. Cell: lpmaddft42 View: LPM Library: OPERATORS *******************************************************1. Total accumulated area :1. Number of LUTs : 41. Number of ports : 131. Number of nets : 01. Number of instances : 0

143. Number of references to this view : 3

144. Cell: lpmsubft40 View: LPM Library: OPERATORS *******************************************************1. Total accumulated area :1. Number of LUTs : 41. Number of ports : 131. Number of nets : 01. Number of instances : 0

145. Number of references to this view : 3

146. Cell: lpmsubft80 View: LPM Library: OPERATORS1. Total accumulated area :1. Number of LUTs : 81. Number of ports : 251. Number of nets : 01. Number of instances : 0

147. Number of references to this view : 3+ + + + + + + + + + + + + * + + + + + + * + + * + + + * + + + + + + + + *

148. Cell: lpmsubft70 View: LPM Library: OPERATORS1. Total accumulated area :1. Number of LUTs : 71. Number of ports : 221. Number of nets : 01. Number of instances : 0

149. Number of references to this view : 3

150. Листинг файла с объектно-ориентированным описанием параметров ИПС, моделирующей поведение электромагнита в среде Matlabмодель магнита с 10-процентной погрешностью % массивы неповторяющихся координат вершин полигонов

151. Х=0.01 0.02125 0.026875 0.0325 0.04375 0.049375 0.055 0.060625 0.06625 0.071875 0.0775 0.083125 0.08875 0.094375 0.1.; Y=[0.01 0.015625 0.02125 0.0325 0.04375 0.055 0.0775 0.1];таблицы связей координат вершин и полигонов

152. Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Trk Tr к10 11 1213