автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Математическое и программное обеспечение массивно-параллельных вычислений в распределенных системах на базе аппарата нейронных сетей

На правах рукописи

КАЛИНИН Александр Викторович

МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ МАССИВНО-ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ В РАСПРЕДЕЛЕННЫХ СИСТЕМАХ НА БАЗЕ АППАРАТА НЕЙРОННЫХ СЕТЕЙ

Специальность 05.13.11 — Математическое и программное обеспечение

вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Воронеж - 2003

Работа выполнена в Воронежском государственном техническом университете

Научный руководитель заслуженный деятель науки РФ,

доктор технических наук, профессор Подвальный Семен Леонидович

Официальные оппоненты:

доктор технических наук, профессор Кудинов Юрий Иванович;

кандидат технических наук, Жданов Алексей Алексеевич

Ведущая организация -

Воронежский государственный университет

Защита диссертации состоится 30 октября 2003 г. в Ю00 в конференц-зале на заседании диссертационного совета Д 212.037.01 Воронежского государственного технического университета по адресу: 394026, г. Воронеж, Московский просп., 14.

С диссертацией можно ознакомиться в библиотеке Воронежского государственного технического университета.

Автореферат разослан 29 сентября 2003 г.

Ученый секретарь „

диссертационного совета Ф-р/ '

Питолин В.М.

1S4&&

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В последние годы в ряде областей, как традиционно относящихся к точным наукам, так и в биологии, медицине, психологии, где по объективным и историческим причинам отсутствует строгая формализация знаний, перспективным является использование универсальных аппроксиматоров широкого класса многомерных нелинейных функций - искусственных нейронных сетей, относящихся к классу MLP (Multi Layer Perceptron - многослойный персептрон) и допускающих как программную, так и аппаратную реализацию. Одной из основных проблем использования нейронных сетей являются высокие требования к вычислительным ресурсам, так как в процессе программирования нейронных сетей приходится многократно производить процедуры глобальной нелинейной оптимизации.

Одним из путей решения этой проблемы является развитие теоретической базы нейронных сетей в области совершенствования алгоритмов глобальной нелинейной оптимизации. Другой путь - использование технологии параллельных вычислений.

Нейронные сети, относящиеся к классу MLP и обучающиеся по методу обратного распространения ошибки, обладают хорошими возможностями для распараллеливания. Обычно выделяют параллелизм на уровне сети в целом, параллелизм на уровне нейронов и параллелизм на уровне синапсов. При этом традиционно для реализации каждого из данных типов параллелизма используются многопроцессорные вычислительные системы или специализированные параллельные машины.

В современных социально-экономических условиях в связи с появлением быстро растущего парка персональных компьютеров и развитием сетевых технологий альтернативой использования специализированных машин может стать технология массивно-параллельных нейросетевых вычислений с использованием ресурсов локальных и глобальных сетей. При таком подходе основной задачей является организация распределенной системы, в которой доступные локальные ресурсы используются с максимальной эффективностью и разработка методов управления параллельными процессами при программировании нейронных сетей в данной распределенной среде.

Таким образом, разработка методов реализации параллельных алгоритмов программирования нейронных сетей в распределенных средах и создание инструментальных средств параллельного нейросетевого программирования является актуальной задачей.

Диссертационная работа выполнена в рамках научного направления Воронежского государственного технического университета — "Вычислительные системы и программно-аппаратные электротехнические комплексы".

Цель и задачи исследования. Целью работы является разработка средств специального математического и программного обеспечения массивно-параллельных вычислений на базе аппарата нейронных сетей, позволяющих повысить эффективность решения нейросетевых задач в распределен-

ных средах, а также апробация разработанных методов Ра~

БИБЛИОТЕКА

О»

дачам медицинской диагностики и численного анализа.

В соответствии с данными целями были поставлены следующие основные задачи исследования:

1. Осуществить анализ современных подходов к построению распределенных систем, а также методов организации параллельных вычислений на базе аппарата нейронных сетей.

2. Разработать средства специального математического и программного обеспечения массивно-параллельных вычислений на базе нейро-сетевых технологий, способных эффективно применяться в распределенных системах.

3. Разработать программно-алгоритмические методы синтеза адаптивной процедуры формирования стратегии параллельного решения нейросетевой задачи в зависимости от специфики распределенной системы.

4. На базе системной методологии разработать структуру и создать компьютерную систему параллельного решения нейросетевых задач, способную адаптироваться к заданной конфигурации распределенной среды.

5. Разработать систему тестовых процедур, способных оценить эффективность параллельного решения задачи при заданной конфигурации распределенной системы.

6. Осуществить апробацию компьютерной системы применительно к задачам медицинской диагностики (осуществление прогнозирования нарушений сердечного ритма у больных ишемической болезнью сердца) и численного анализа (задачи обращения плохо обусловленных матриц, возникающих при дискретизации линейных некорректных задач).

Методы исследования. В работе использованы методы системного анализа, теории искусственных нейронных сетей, параллельных и распределенных вычислений, математического анализа, линейной алгебры, методы теории графов, объектно-ориентированного программирования.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной:

- методы построения обобщенного алгоритма решения нейросетевой задачи, особенностью которых является учет возможностей параллельных реализаций на уровнях динамического формирования структуры сети и проведения вычислительных экспериментов с синтезируемыми нейросетевыми конфигурациями;

- средства специального математического и программного обеспечения массивно-параллельных вычислений в распределенных средах на базе аппарата нейронных сетей, отличающиеся возможностью идентификации параметров аппаратных ресурсов каждого элемента распределенной среды и характеристик каналов связи для целей повышения эффективности отображения нейросетевой задачи;

- эвристическая процедура формирования стратегии параллельного

решения нейросетевой задачи, характеризующаяся возможностью адаптации вычислительного процесса к изменениям распределенной среды;

- структура компьютерной системы массивно-параллельных вычислений в распределенных средах, отличающаяся возможностью интегрировать в унифицированную вычислительную среду совокупность вычислительных узлов, каждый из которых обладает индивидуальными аппаратными и программными характеристиками;

- набор тестовых процедур, позволяющих оценить эффективность решения вычислительной нейросетевой задачи в сформированной распределенной среде.

Практическая значимость работы. Практическая значимость работы заключается в создании специального программного обеспечения, повышающего эффективность процессов нейросетевой обработки данных и знаний за счет организации массивно-параллельных вычислений в распределенной системе.

Реализация результатов работы. Разработанный программный комплекс решения сложных нейросетевых задач, адаптированный для диагностики нарушений сердечного ритма, внедрен в практическую деятельность городской клинической больницы № 9 (БСМП). Материалы диссертации используются в учебном процессе Воронежского государственного технического университета при обучении студентов специальности 220100 в курсах "Системы искусственного интеллекта" и "Теория принятия решений".

Апробация работы. Основные положения диссертации докладывались и обсуждались на международной научной конференции "Математические методы в технике и технологиях" (Смоленск, 2001; Ростов н/Д, 2003), международной научно-технической конференции и Российской научной школе молодых ученых и специалистов "Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий" (Сочи, 2002), V-VIII Республиканских научных конференциях "Современные проблемы информатизации" (Воронеж, 2000-2003), а также на научных семинарах кафедры ABC ВГТУ (Воронеж, 2000-2003).

Публикации. По результатам исследований опубликовано 17 печатных работ, в том числе 3 без соавторов. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателем предложены: в [1-2, 14] основные принципы параллельных вычислений в распределенных системах на базе нейронных сетей, в [3 - 5, 13] методы построения инструментального программного комплекса нейросетевых вычислений, в [9 — 12, 15 - 17] применение аппарата нейронных сетей для решения практических задач в областях медицинской диагностики, численного анализа и адаптивного управления.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, трех приложений, изложена на 132 листах машинописного текста, содержит список литературы из 116 наименований, 45 рисунков, 17 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, определены цели и задачи исследования, их научная новизна и практическая значимость, приведены сведения об апробации и внедрении результатов работы.

В первой главе проанализировано современное состояние теории искусственных нейронных сетей, рассмотрены методы синтеза структуры сетей, алгоритмы их обучения, освещены вопросы полноты нейронных сетей и их возможностей как универсальных аппроксиматоров произвольных нелинейных операторов. Проведен анализ процесса обучения нейронных сетей с точки зрения глобальной нелинейной оптимизации, рассмотрены основные алгоритмы оптимизации, использующиеся в аппарате нейронных сетей. Изложен подход к синтезу структуры нейронных сетей как результата вычислительных экспериментов редукции или наращивания сети и проанализированы возможности практического применения нейронных сетей на ряде тестовых задач.

На основе критического анализа аппарата нейронных сетей делается вывод об основном недостатке, сдерживающим его развитие - высокие требования к вычислительным ресурсам. Рассмотрены возможности повышения быстродействия алгоритмов за счет их параллельной реализации, проанализированы современные параллельные архитектуры, модели программирования, их преимущества и недостатки. Изложен подход анализа распределенных систем как массивно-параллельных машин, рассмотрены современные кластерные архитектуры и программные платформы построения распределенных систем.

На основании проведенного анализа аппарата нейронных сетей и методов построения распределенных систем формулируются задачи диссертационного исследования.

Во второй главе представлены результаты исследования возможностей массивно-параллельного обучения нейронных сетей, проведен анализ наиболее распространенных алгоритмов, использующихся в теории сетей класса MLP, рассмотрены различные методики проведения нейросетевых численных экспериментов. На основании данного анализа синтезирован обобщенный алгоритм программирования нейронных сетей, позволяющий создавать параллельные процедуры на разных уровнях иерархии.

Предложено описание распределенной системы как обобщенного параллельного комплекса с гибкой структурой связей, изменяющейся латент-ностью и пропускной способностью каналов связи. Разработаны методы отображения обобщенного алгоритма программирования нейронных сетей на данную распределенную систему и синтезирована адаптивная процедура создания стратегии решения нейросетевой задачи, на основе анализа ее сложности и выявления текущей конфигурации распределенной среды.

Традиционно методы программирования нейронных сетей класса MLP сводятся к трем основным процедурам - вычисление прямого сигнала и фор-

мирование функции ошибки, зависящей от каждого весового коэффициента; нахождение компонентов градиента данной функции методом обратного распространения ошибки и модификация весовых коэффициентов одним из методов градиентной минимизации.

Вычисление прямого сигнала сводится к совокупности матричных операций:

Входной слой: Скрытый слой: Выходной слой:

X

ыа

ы^м

Г =

А ош J а

ас! (Ки, ^пш

УЫ ~ faa (^Ш XШ )

(1)

где Хш(хц) - матрица входных сигналов, УоШ(у,) - матрица выходных сигналов, Щмц) - матрица весовых коэффициентов.

Функция ошибки формулируется следующим образом:

(2)

1=1

где у,""' - фактический выходной сигнал ¡-го нейрона, с/,""' - ожидаемый выходной сигнал 1-го нейрона, р - число нейронов в выходном слое.

Идея метода обратного распространения ошибки заключается в итерационном вычислении параметра 5:

Лъг

¿г =\

дз)

ч~ 1

(3)

где

= (4)

ду? &» К '

и>?у - весовые коэффициенты связи ¡-го нейрона слоя д с }~ым нейроном предыдущего слоя, у4, — выходной сигнал, а .?г; — внутреннее состояние ]-го нейрона слоя ц.

В свою очередь, постройка весовых коэффициентов определяется следующим соотношением:

чг,

(* + = +

л » Э£«> (5)

Данные процедуры являются базовыми в методологии программирования нейронных сетей. Расширим их описание. Нейронную сеть 0, в обобщенном виде, можно представить в виде совокупности трех параметров: С (матрица топологии), й^ (матрица весов) и {!„ О,} (набор входных и выходных векторов) - &{С,ШЧ,{!,,О,}}. При этом для каждой такой сети суще-

ствует критерий качества, определяющийся по аналогии (2). Можно сказать, что совокупность входных и выходных векторов {!„ О,} определяет нейросе-тевую задачу и для каждой из таких задач существует множество конфигураций с заданным критерием качества:

{/,.,<?,}* .....®т{С%т^Ет (6)

где {/„ 0г}к - к-я нейросетевая задача; ©т{Ст У/щ) - конфигурация нейронной сети, определяющаяся матрицами топологии и весовых коэффициентов, Ет -критерий качества нейронной сети.

При решении практических задач приходится производить как процедуры формулировки нейросетевой задачи {/„ Ог}, так и формирование конфигурации сети ®{С,{1:,0,}} с заданным критерием качества. Всю совокупность таких процедур, начиная от формирования совокупности задач и заканчивая вычислением сигнала нейронов, назовем обобщенным алгоритмом программирования нейронных сетей.

Для анализа такой иерархии процедур удобно пользоваться методологией построения графа нейросетевого алгоритма Данный граф (обозначим его О) можно представить следующим соотношением:

С = (5р,Др)>Р = 1..^ (7)

где N — число вершин, Бр — множество вершин, соответствующих ветвям алгоритма, Яр - множество дуг, представляющих информационные связи между ветвями.

Построим граф б для всей совокупности нейросетевых алгоритмов, учитывающий уровни решения нейросетевой задачи и вычислительного эксперимента:

При этом каждой дуге графа приписываются весовые коэффициенты гри отображающие интенсивность информационного обмена между р и / ветвями программы. Далее введем понятие распределенной системы.

Под распределенной системой будем понимать совокупность независимых компьютеров (узлов) с произвольной архитектурой, которая представ-

ляется пользователю единым вычислительным комплексом. При этом в качестве узлов могут использоваться и мультипроцессорные машины с общей памятью. Поскольку в распределенных системах, в общем случае, не существует фиксированной топологии, положим, что распределенная среда представляет собой полносвязную совокупность узлов, в которой каждый из них доступен для каждого, а характер такой связи определяется двумя параметрами: латентностью и пропускной способностью.

Обозначим каждый вычислительный узел комплекса как V,. В этом случае общая распределенная система представляется как совокупность узлов V{V,}. Для каждого элемента N, определена матрица латентности (L) и

пропускной способности (7): {¿",7""}), где Lm ={Ц}, Тт ={Т/},

i,j = l..m. Дополнительно, каждый узел вычислительной системы обладает вектором параметров, характеризующих его вычислительную мощность Р=(Рх,Р2,...,Рк). Тогда F = {K/}:vs(v, -» {р,,Lm,Tm}). Это выражение описывает все необходимые характеристики распределенной системы и основной целью является максимально эффективная реализация массивно-параллельных вычислений для данной системы в нейросетевом базисе. Такую реализацию будем называть отображением задачи на распределенную систему.

Максимально эффективная реализация массивно-параллельных вычислений означает построение отображения <р графа нейросетевых алгоритмов G в граф структуры распределенной системы V с заданным критерием качества, определяемого функционалом F.

F(<p:G^V) = F{Sp V,(Р,),Rp^V,(Lm,Tm)} (8)

При этом качество определяется как минимизация межузловых коммуникаций при максимально полной загрузке вычислительных узлов.

Рассмотрим методы построения оптимального отображения. Прежде всего, специфика многослойных нейронных сетей такова, что приступить к расчету сигнала на (п+1) слое невозможно без вычисления сигнала на п слое. В теории параллельных систем существуют т.н. законы Амдала, из которых следует, что в любом режиме работы параллельной системы ее ускорение не может превзойти обратной величины доли последовательных вычислений:

R =----(9)

где R — коэффициент ускорения, s - число независимых вычислительных процессов, Р - доля последовательных вычислений.

Из (9) следует, что для повышения эффективности параллельных вычислений прямого сигнала многослойные сети эффективно заменять трехслойными сетями с увеличением размерности скрытого слоя. Рассматривая соотношения (1) - (5) и анализируя граф алгоритма (рис. 1) можно построить следующую диаграмму распространения сигналов:

Анализируя диаграмму можно сделать вывод, что для реализации параллельных процедур данного уровня, необходимо реализовывать единую матрицу весовых коэффициентов, которая отображается по строчкам при вычислении прямого сигнала, и по столбцам при вычислении обратного сигнала. При этом функционал качества (8) данного отображения в основном определяется коэффициентом латентности межузловых связей.

Подбор нейросетевых задач и нейросетевых конфигураций относится к верхним уровням обобщенного алгоритма и определяется соотношением (6). При построении заданного алгоритма мы заранее формируем совокупность конфигураций для распределенных вычислительных узлов (рис. 3), при этом каждый из таких узлов производит цикл сетевых вычислений (1) - (5), формируя оценку качества конфигурации.

Рис. 3. Диаграмма распространения сетей

В данном случае отображение по числу распределенных узлов идет целиком на уровне конфигураций нейронных сетей, и функционал качества (8) определяется, в основном, пропускной способностью каналов связи. Таким образом, при отображении алгоритмов нижнего уровня эффективность в основном определяется латентностью распределенных узлов, а при отображении алгоритмов верхнего уровня - пропускной способностью каналов связи. Поэтому для выработки наиболее эффективной стратегии решения нейросетевой задачи была синтезирована следующая процедура:

1. Каждый вычислительный узел производит тест вычислительной производительности на тестовой нейросетевой задаче (вектор Р).

2. Компонент управления распределенными вычислениями производит оценку латентности и пропускной способности сети, периодически рассылая тестовые сообщения каждому из вычислительных узлов (матрицы Ьт, 7т).

3. Оценивая размерность задачи, определяется эффективность распараллеливания каждого алгоритма нейросетевой задачи. Основным критерием оценки эффективности является вычисление функционала F (8).

4. Исходя из рассчитанной эффективности параллельных методов и количества распределенных вычислительных узлов, компонент управления вычислениями формирует соответствующие задачи, начиная с алгоритмов, обладающих максимальной эффективностью.

Данная процедура позволяет учесть изменения, произошедшие в конфигурации распределенной системы, и, соответственно, адаптировать решение нейросетевой задачи.

В третьей главе рассмотрены вопросы разработки архитектуры инструментальной системы, реализующей изложенные в предыдущей главе методы параллельной реализации основных алгоритмов теории нейронных сетей, предложены способы проектирования подобных распределенных систем. Архитектура программного комплекса разработана с учетом следующих требований:

- ориентация на стандарт взаимодействия передачи сообщений, как наиболее распространенного и обладающего возможностью реализации на широком классе параллельных машин;

- ориентация на современную компонентную архитектуру, как с точки зрения методологии проектирования, так и с точки зрения практической реализации;

- универсальность и возможность реализации разработанного архитектурного решения в рамках произвольной распределенной компонентной платформы.

При этом с точки зрения практического использования, распределенная система должна представляться пользователю как единая виртуальная машина со своим набором протоколов и команд, ориентированная на решение нейросетевых задач (НПВМ- нейросетевая параллельная виртуальная машина). Таким образом, при проектировании распределенной системы с одной стороны необходимо ориентироваться на реализацию алгоритмов в рамках

целостной вычислительной среды, а с другой стороны необходимо учитывать ее распределенный характер. Решение данной проблемы заключается в разделении аспектов проектирования на функциональный и структурный.

Функциональный аспект представляет собой анализ информационных потоков постановки и решения произвольной нейросетевой задачи; структурный аспект раскрывает детали взаимодействия распределенных узлов. Подобное разделение продемонстрировано на рис. 4:

Рис. 4. Схема вызова вычислительных процедур

С точки зрения функционального взаимодействия постановщик задач разбивает нейросетевые процедуры на совокупность независимых вычислительных потоков и предлагает их для решения НПВМ. С точки зрения структурного взаимодействия, НПВМ представляет собой совокупность отдельных вычислительных элементов, каждый из которых, в случае необходимости, подменяет назначенный ему вычислительный поток на удаленный вызов процедуры для одного из связанных с ним узлов. Такой подход позволяет учесть аппаратные возможности каждого элемента распределенной системы и эффективно использовать в том числе и многопроцессорные машины.

Функциональное взаимодействие основывается на понятиях "агент", "сервис" и "роль". Агент представляет собой программный модуль, выполняемый на одном клиентском терминале, несущий определенную информационную нагрузку и организующий взаимодействие в терминах НПВМ. Основная задача агента - это реализация назначенной ему роли в рамках распределенного комплекса.

Выделим следующие роли: диспетчер, постановщик задач, репозитарий алгоритмов, вычислительное ядро, визуализатор. Агенты являются структурными единицами разрабатываемой системы. В рабочем состоянии сеть представляет собой совокупность свободных агентов и агентов, выполняющих назначенные роли.

Основной целью структурного аспекта НПВМ, при разработке которого мы ориентировались на технологию компонентного проектирования, явля-

ется выделение минимальной совокупности компонентов, необходимых для представления распределенных вычислительных узлов в качестве единой виртуальной машины. К таким компонентам (рис. 5) можно отнести:

1. Общее хранилище данных с возможностью сохранения произвольного компонента с любого удаленного узла.

2. Общие и локальные сервисы регистрации, предоставляющие информацию о состоянии и местонахождение программных компонентов как целиком в рамках виртуальной машины, так и в рамках отдельного вычислительного узла.

3. Фабрики классов, предоставляющие функции сериалиазиции и де-сериализации программных компонентов в потоки ввода-вывода.

4. Уровни "каркасов" (устоявшийся термин, с англ. "skeleton") и "заглушек" (устоявшийся термин, с англ. "stub'"), берущих на себя детали сетевого взаимодействия между компонентами.

I

Рис. 5. Структурная схема распределенной системы

Данная структурная организация обеспечивает достаточно эффективный способ управления удаленными вычислительными компонентами, реализуя идею удаленного вызова процедур.

Практически НПВМ реализуется на базе одной из современных программных систем. Одной из таких - является платформа Java, представляющая собой наилучшие средства для создания распределенных систем. Данная платформа представляет глубоко проработанную компонентную архитектуру

с удобными сервисными средствами создания распределенных систем и, в отличие от узконаправленных специальных языков программирования, реализует парадигму современных программных комплексов - создание интерфейса взаимодействия разных групп задач в рамках событийной модели.

В рамках данной платформы были проведены тесты производительности языка Java для математических расчетов и коммуникационной возможностей технологии удаленного вызова сообщений.

В четвертой главе рассмотрены вопросы разработки системы тестовых процедур на основе типовых задач медицинской диагностики и численного анализа, позволяющих оценить эффективность распределенного вычислительного комплекса, а также изложены результаты практического применения разработанной системы.

Выбор данных типовых задач объясняется, с одной стороны, их актуальностью в соответствующих предметных областях, а с другой стороны, -высокими требованиями к вычислительным ресурсам.

Распределенная система развертывалась на тестовом полигоне, представляющим собой неоднородный кластер из 6 машин. Кластер был построен в рамках локальной сети на базе технологии FastEthernet с топологией типа "звезда", алгоритм исследования представлен на рис. 6.

Рис. 6. Алгоритм исследования на тестовом полигоне

Использование разработанного комплекса в области медицинской диагностики заключалось в изучении возможностей нейросетевого прогнозирования рецидивов мерцательной аритмии (МА) и создании на основе процедуры прогнозирования теста эффективности нейросетевых вычислений. Исследование проводилось совместно с кафедрой факультетской терапии ВГМА на ее клинической базе.

Материал исследования составили результаты наблюдения 94 больных с ишемической болезнью сердца (ИБС), госпитализировавшихся в 2002-2003 годах по поводу пароксизмов мерцательной аритмии в КГБ № 9 г. Воронежа. Для формирования пространства признаков использовались клинические данные и данные инструментальных исследований. Вычислительный эксперимент проводился как последовательно - на одной машине, так и распределение - на тестовом полигоне. Результаты эксперимента приведены в табл. 1.

Таблица 1

Результаты нейросетевого эксперимента

Характеристика Значение

Количество тестов: 94

Последовательный эксперимент: |

Общее время: 233 мин (3.87 ч)

Среднее время теста: 148 с.

Параллельный эксперимент: |

Общее время: 62 мин (1.03 ч) |

Среднее время теста: 39 с. |

Распределение по узлам:

10 Число экзаменов |

25-1

20 1 шш т | * ■ шя !

15 10 5 0 Щ Ш Ш В ■ ■ ■ ■ ■

№<1е№ N04« N3 №><1еМ N«1« N5 N0(16 N6

Эффективность (Лса/с): 13.76 |

По результатам вычислительных экспериментов можно сделать следующие выводы:

- нейронная сеть устойчиво обучалась на предлагаемой выборке с результирующей интегральной ошибкой порядка 10"2-10"3;

- точность прогноза при проведении плавающего теста составила от 82% до 88%, что может расцениваться как удовлетворительная;

- реализация плавающего теста экзамена на неоднородном кластере достигла эффективности 78%.

Таким образом, применение аппарата искусственных нейронных сетей для прогнозирования пароксизмов МА показало достаточную эффективность, при этом проведение плавающего экзамена в рамках локальной сети оказалось эффективнее последовательного примерно в 3.76 раз, что может служить базовым показателем оценки распределенного решения.

Использования аппарата нейронных сетей для обратных задач достаточно перспективно, если алгоритм вычисления обратного оператора неизвестен или вычислительно сложен. Однако, этот аппарат может быть применим только в том случае, если будут разработаны нейросетевые методы решения некорректных задач.

Целью апробации распределенного вычислительного комплекса являлось изучение возможности применения нейронных сетей для решения системы линейных уравнений как примера и конечного этапа дискретизации операторных уравнений, в том числе плохо обусловленных, а также построение соответствующей тестовой процедуры.

В качестве источников плохо обусловленных матриц мы использовали аппроксимированные на основе квадратурных формул интегральные уравнения Фредгольма 1-го рода с равномерно ограниченным ядром.

ь

¡К(х,у)и(у)с1у = /(х) (10)

а

Для нейронных сетей были адаптированы регуляризационные методы Тихонова и Лаврентьева и разработан альтернативный метод регуляризации на основе нейросетевого моделирования погрешности. В исследованиях мы использовали следующие два типа нейронных сетей - с одним линейным слоем для матриц с небольшой размерностью и с одним сигмоидальным и одним линейным слоем для матриц больших размерностей. Результаты исследования показаны в табл. 2.

Таблица 2

Относительные погрешности решения системы линейных уравнений __с плохо обусловленной матрицей

Число обусловленности матрицы Метод Лаврентьева Метод Тихонова Нейросетевой метод

1-Ю16-МО1" 0.34-0.42 0.28-0.36 0.25-0.31

1-Ю12-1-Ю14 0.25-0.29 0.22-0.26 0.19-0.24

МО8-1-Ю10 0.14-0.21 0.13-0.18 0.10-0.14

Результаты нейросетевого эксперимента на тестовом полигоне локальной вычислительной сети (рис. 6) приведены в табл. 3.

Таблица 3

Характеристика Значение

Количество эпох обучения 82

Последовательный эксперимент:

Общее время: 74 мин

Среднее время теста: 54 с.

Параллельный эксперимент:

Общее время: 19 мин

Среднее время теста: 13.9 с

Распределение по узлам [□Число эпох |

М1о<1е№ N0(1« N3 №>(1е N4 N0(10 N5 №<1е №

Эффективность (КсЫсУ-

3.89

Таким образом, все исследуемые методы позволили получить регуля-ризированное решение интегрального уравнения Фредгольма 1-го рода с приемлемой точностью, улучшив обусловленность задачи на много порядков. Погрешности регуляризированного решения во всех трех методов были одного порядка, однако лучшие результаты продемонстрировал нейросете-вой метод.

Эффективность параллельной реализации при реализации данных методов составила 81%.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ современных параллельных алгоритмов программирования искусственных нейронных сетей, относящихся к классу MLP и обучающихся по методу обратного распространения ошибки и рассмотрены возможности их эффективного применения в распределенных средах как на уровне нейронных процедур, так и на уровне решения нейросетевой задачи в целом.

2. Предложены методы построения обобщенного нейросетевого алгоритма с учетом возможностей параллельной реализации на уровнях обучения нейронной сети, динамического формирования ее структуры, оценки наиболее значимых нейронных связей и проведения численных экспериментов с различными нейросетевыми конфигурациями.

3. Созданы алгоритмические и программные средства управления параллельными процессами программирования искусственных нейронных сетей в распределенных средах, характеризующиеся возможностью идентификации параметров аппаратных ресурсов каждого элемента распределенной системы и характеристик каналов связи для целей повышения эффективности отображения нейросетевой задачи.

4. Разработана эвристическая процедура формирования стратегии решения нейросетевой задачи, позволяющая учесть изменение параметров распределенной системы, что повышает надежность нейросетевых вычислений и делает возможным применение программного комплекса на широком классе систем.

5. Предложена структура программной системы массивно-параллельных вычислений, позволяющая интерпретировать гетерогенную распределенную среду как единый вычислительный комплекс, что дает возможность эффективным образом на уровне практической реализации адаптировать базовые алгоритмы программирования нейронных сетей.

6. На основе типовых задач медицинской диагностики и численного анализа создан набор тестовых процедур, позволяющий оценить эффективность решения нейросетевой задачи в сформированной распределенной среде и выработать рекомендации по повышению производительности распределенного комплекса.

7. Результаты работы реализованы в виде программной системы нейросетевого анализа, повышающей эффективность процессов обработки дан-

ных и знаний за счет организации массивно-параллельных вычислений в заданной распределенной среде.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ОПУБЛИКОВАНЫ В СЛЕДУЮЩИХ ПЕЧАТНЫХ РАБОТАХ

1. Калинин A.B., Подвальный СЛ. Создание методов параллельной реализации алгоритмов обучения и синтеза структуры нейронных сетей // Электротехнические комплексы и системы управления. Сб. науч. тр. Воронеж: Изд-во ВГТУ, 2003. С. 57-63.

2. Подвальный C.JI., Калинин A.B. Нейросетевые методы вычисления в распределенных вычислительных сетях // Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий: Международная научно-техническая конференция и Российская научная школа молодых ученых и специалистов, Сочи, 2002. С. 49-52.

3. Калинин A.B., Подвальный C.J1. Программный комплекс нейросете-вых вычислений в распределенных системах на основе компонентой архитектуры // Системные проблемы качества, математического моделирования, информационных и электронных технологий. Часть № 8. Москва: Радио и связь, 2003. С 59-63.

4. Калинин A.B., Подвальный C.JI. Оценка эффективности параллельных реализаций алгоритмов обучения нейронных сетей в распределенных системах // Системные проблемы качества, математического моделирования, информационных и электронных технологий. Часть № 8. Москва: Радио и связь, 2003. С 32-35.

5. Калинин А.В, Подвальный C.JI. Применение EJB для создания распределенных нейросетевых систем // Современные проблемы информатизации в непромышленной сфере и экономике: Сб. трудов. Вып. 7. Воронеж: Центрально-Черноземное книжное издательство, 2002. С. 33-34.

6. Калинин A.B. Основные принципы построения распределенных нейронных сетей на основе ядерной архитектуры // Системы управления и информационные технологии. Межвузовский сборник научных трудов. Воронеж: Центрально-Черноземное книжное издательство, 2001. С. 44-48.

7. Калинин A.B. Методы обеспечения надежности сервисной сети анализа данных // Современные проблемы информатизации в технике и технологиях: Сб. трудов. Вып. 8. Воронеж: Центрально-Черноземное книжное издательство, 2003.С. 110-111.

8. Калинин A.B. Оптимизация надежности распределенной сети анализа данных // Новые технологии в научных исследованиях, проектировании, управлении, производстве. Труды региональной научно-технической конференции. Воронеж: ВГТУ, 2003. С. 207.

9. Калинин A.B., Подвальный С.Л. Применение нейронных сетей для решения обратных некорректных задач математической физики // Электротехнические комплексы и системы управления. Воронеж: ВГТУ, 2003. С 4-8.

Ю.Калинин A.B., Подвальный С.Л. Информационное обеспечение тех-

нологических процессов на базе аппарата нейронных сетей // Математические методы в технике и технологиях: Сб. трудов XVI Международной научной конференции. В 10 т. Т.4. Секции 4, 6. Под общ. ред. B.C. Балакирева. РГАСХМ ГОУ, Ростов н/Д, 2003. С. 152-153.

11.Подвальный C.JI., Калинин А.В. Генерация многомерных случайных распределений с заданной матрицей корреляций. // Математические методы в технике и технологиях. ММТТ-14: Сб. трудов Международной научной конференции в 6-и т. Т6. Секции 10, 11, 12. Смоленский филиал Московского энергетического институт. Смоленск, 2001. С. 229-230.

12.Подвальный Е.С., Калинин А.В., Бырко И.А., Абсатаров Д.Р. Об особенностях конструирования пространства при построении диагностических систем хронических заболеваний // Современные проблемы информатизации в непромышленной сфере и экономике. Труды V Международной электронной научной конференции. Воронеж: Центрально-Черноземное книжное издательство, 2000. С. 93-94.

13.0вчинников М.С., Калинин А.В. "Моделирование работы вычислительной сети с помощью нейронной сети" / М.: ФАП ВНТИЦ, 2001, №50200200341, 2002.

14.Kalinin A.V., Podvalny S.L. and Balashov A.A., Chemikova I.A. The neural nets with distributed architecture // Proceedings of the 12-th international conference on flexible automation and intelligent manufacturing. Dresden. Germany, 2002. P. 522-527.

15.S. Podvalniy, A. Kalinin, I. Chernikova Multivariate distribution generation // ICEIS: proceedings of the third international conference on enterprise information systems, Setubal. Portugal, 2001. P. 518-521.

16.S. Podvalniy, V. Burkovskiy, V. Nazarov, A. Kalinin. Instrument of neural net control of complex chemical-technological processes // ICPR, Praga. 2001.

17.Kalinin A., Podvalny S., Chernikova I. The distributed environment of manufacturing control // Proceedings of the 13-th international conference on flexible automation and intelligent manufacturing. Tampa, Florida. USA, 2003.

ЛР № 066815 от 25.08.99. Подписано в печать 25.09.03. Формат 60x84/16. Бумага для множительных аппаратов. Усл. печ. л. 1,0. Тираж 90 экз. Заказ N«326

Воронежский государственный технический университет 394026 Воронеж, Московский просп., 14

Р. 177-181.

#15 188

ï ^fss

i

i

Введение.

Глава 1 Анализ современных алгоритмов программирования искусственных нейронных сетей.

1.1 Основные положения теории нейронных сетей.

1.2 Математическое описание нейросетевого аппарата.

1.3 Синтез нейросетевых конфигураций как задача многомерной оптимизации.

1.3.1 Обучение нейронных сетей.

1.3.2 Синтез топологии сети.

1.3.3 Вычислительные эксперименты в нейросетевом базисе.

1.4 Современные технологии построения распределенных систем.

1.5 Практическое применение нейросетевого аппарата.

1.5.1 Использование нейронных сетей в задачах медицинской диагностики.

1.5.2 Актуальные проблемы численного анализа и нейронные сети.

Постановка задач диссертационного исследования.

Глава 2 Разработка методов реализации параллельных алгоритмов программирования нейронных сетей в распределенных системах.

2.1 Анализ базовых нейросетевых процедур.

2.2 Синтез обобщенного нейросетевого алгоритма.

2.3 Разработка представления распределенной системы.

2.4. Создание методов отображения обобщенного нейросетевого алгоритма на распределенную систему.

2.4.1 Отображение на уровне нейронных процедур.

2.4.2 Отображение на уровне нейросетевых конфигураций.

2.5 Стратегия решения нейросетевой задачи в распределенной системе.

Выводы.

Глава 3 Разработка архитектуры распределенного программного комплекса нейросетевых вычислений.

3.1 Функциональная архитектура.

3.2 Структурная архитектура.

3.3 Внутренняя организация сервисов.

3.4 Проблемы надежности распределенной системы.

3.5 Выбор платформы, тестирование.

Выводы.

Глава 4 Разработка тестовых процедур оценки эффективности распределенного комплекса на основе типовых нейросетевых задач.

4.1 Конфигурация тестового полигона.

4.2 Тестовая процедура на основе задачи диагностики пароксизмов мерцательной аритмии.

4.3 Тестовая процедура на основе решения некорректных задач

4.3 Генерация многомерных тестовых распределений.

Выводы.

Актуальность темы. В последние годы в ряде областей, как традиционно относящихся к точным наукам, так и в биологии, медицине, психологии, где по объективным и историческим причинам отсутствует строгая формализация знаний, перспективным является использование универсальных аппроксиматоров широкого класса многомерных нелинейных функций — искусственных нейронных сетей, относящихся к классу MLP (Multi Layer Perceptron — многослойный персептрон) и допускающих как программную, так и аппаратную реализацию. Одной из основных проблем использования нейронных сетей являются высокие требования к вычислительным ресурсам, так как в процессе программирования нейронных сетей приходится многократно производить процедуры глобальной нелинейной оптимизации.

Одним из путей решения этой проблемы является развитие теоретической базы нейронных сетей в области совершенствования алгоритмов глобальной нелинейной оптимизации. Другой путь - использование технологии параллельных вычислений.

Нейронные сети, относящиеся к классу MLP и обучающиеся по методу обратного распространения ошибки, обладают хорошими возможностями для распараллеливания. Обычно выделяют параллелизм на уровне сети в целом, параллелизм на уровне нейронов и параллелизм на уровне синапсов. При этом традиционно для реализации каждого из данных типов параллелизма используются многопроцессорные вычислительные системы или специализированные параллельные машины.

В современных социально-экономических условиях в связи с появлением быстро растущего парка персональных компьютеров и развитием сетевых технологий альтернативой использования специализированных машин может стать технология массивно-параллельных нейросетевых вычислений с использованием ресурсов локальных и глобальных сетей. При таком подходе основной задачей является организация распределенной системы, в которой доступные локальные .ресурсы используются с максимальной эффективностью и разработка методов управления параллельными процессами при программировании нейронных сетей в данной распределенной среде.

Таким образом, разработка методов реализации параллельных алгоритмов программирования нейронных сетей в распределенных средах и создание инструментальных средств параллельного нейросетевого программирования является актуальной задачей.

Диссертационная работа выполнена в рамках научного направления Воронежского государственного технического университета - "Вычислительные системы и программно-аппаратные электротехнические комплексы".

Цель и задачи исследования. Целью работы является разработка средств специального математического и программного обеспечения массивно-параллельных вычислений на базе аппарата нейронных сетей, позволяющих повысить эффективность решения нейросетевых задач в распределенных средах, а также апробация разработанных методов применительно к задачам медицинской диагностики и численного анализа.

В соответствии с данными целями были поставлены следующие основные задачи исследования:

1. Осуществить анализ современных подходов к построению распределенных систем, а также методов организации параллельных вычислений на базе аппарата нейронных сетей.

2. Разработать средства специального математического и программного обеспечения массивно-параллельных вычислений на базе нейросетевых технологий, способных эффективно применяться в распределенных системах.

3. Разработать программно-алгоритмические методы синтеза адаптивной процедуры формирования стратегии параллельного решения нейросетевой задачи в зависимости от специфики распределенной системы.

4. На базе системной методологии разработать структуру и создать компьютерную систему параллельного решения нейросетевых задач, способную адаптироваться к заданной конфигурации распределенной среды.

5. Разработать систему тестовых процедур, способных оценить эффективность параллельного решения задачи при заданной конфигурации распределенной системы.

6. Осуществить апробацию компьютерной системы применительно к задачам медицинской диагностики (осуществление прогнозирования нарушений сердечного ритма у больных ишемической болезнью сердца) и численного анализа (задачи обращения плохо обусловленных матриц, возникающих при дискретизации линейных некорректных задач).

Методы исследования. В работе использованы методы системного анализа, теории искусственных нейронных сетей, параллельных и распределенных вычислений, математического анализа, линейной алгебры, методы теории графов, объектно-ориентированного программирования.

Научная новизна. В работе получены следующие результаты, характеризующиеся научной новизной:

- методы построения обобщенного алгоритма решения нейросетевой задачи, особенностью которых является учет возможностей параллельных реализаций на уровнях динамического формирования структуры сети и проведения вычислительных экспериментов с синтезируемыми нейросетевыми конфигурациями; средства специального математического и программного обеспечения массивно-параллельных вычислений в распределенных средах на базе аппарата нейронных сетей, отличающиеся возможностью идентификации параметров аппаратных ресурсов каждого элемента распределенной среды и характеристик каналов связи для целей повышения эффективности отображения нейросетевой задачи;

- эвристическая процедура формирования стратегии параллельного решения нейросетевой задачи, характеризующаяся возможностью адаптации вычислительного процесса к изменениям распределенной среды;

- структура компьютерной системы массивно-параллельных вычислений в распределенных средах, отличающаяся возможностью интегрировать в унифицированную вычислительную среду совокупность вычислительных узлов, каждый из которых обладает индивидуальными аппаратными и программными характеристиками;

- набор тестовых процедур, позволяющих оценить эффективность решения вычислительной нейросетевой задачи в сформированной распределенной среде.

Практическая значимость работы. Практическая значимость работы заключается в создании специального программного обеспечения, повышающего эффективность процессов нейросетевой обработки данных и знаний за счет организации массивно-параллельных вычислений в распределенной системе.

Реализация результатов работы. Разработанный программный комплекс решения сложных нейросетевых задач, адаптированный для диагностики нарушений сердечного ритма, внедрен в практическую деятельность городской клинической больницы № 9 (БСМП). Материалы диссертации используются в учебном процессе Воронежского государственного технического университета при обучении студентов специальности 220100 в курсах "Системы искусственного интеллекта" и "Теория принятия решений".

Апробация работы. Основные положения диссертации докладывались и обсуждались на международной научной конференции "Математические методы в технике и технологиях" (Смоленск, 2001; Ростов н/Д, 2003), международной научно-технической конференции и Российской научной школе молодых ученых и специалистов "Системные проблемы качества, математического моделирования, информационных, электронных и лазерных технологий" (Сочи, 2002), V-VIII Республиканских научных конференциях "Современные проблемы информатизации" (Воронеж, 2000-2003), а также на научных семинарах кафедры ABC ВГТУ (Воронеж, 2000-2003).

Публикации. По результатам исследований опубликовано 17 печатных работ, в том числе 3 без соавторов. В работах, опубликованных в соавторстве и приведенных в конце автореферата, лично соискателем предложены: в [1-2, 14] основные принципы параллельных вычислений в распределенных системах на базе нейронных сетей, в [3 - 5, 13] методы построения инструментального программного комплекса нейросетевых вычислений, в [9 - 12, 15 - 17] применение аппарата нейронных сетей для решения практических задач в областях медицинской диагностики, численного анализа и адаптивного управления.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, трех приложений, изложена на 132 листах машинописного текста, содержит список литературы из 116 наименований, 45 рисунков, 17 таблиц.

7. Результаты работы реализованы в виде программной системы нейросетевого анализа, повышающей эффективность процессов обработки данных и знаний за счет организации массивно-параллельных вычислений в заданной распределенной среде.

Возможности распределенного решения задач на базе нейросетевого подхода далеко неисчерпаны. Дальнейшее развитие данной технологии связано со следующими направлениями:

1. Совершенствование методов анализа структур нейронных сетей и создание алгоритмов быстрого синтеза заданной топологии.

2. Создание алгоритмов обучения нейронных сетей, отличающихся большей степенью параллельности и в лучшей степени отвечающих специфике целевой функции.

3. Совершенствование архитектуры системы распределенного обучения с целью повышения степени ее масштабируемости, и создание предпосылок реализации ее в рамках произвольных классов кластерных и GRID систем.

4. Исследование возможности применение нейросетевого анализа для широко класса задач медицинской диагностики, адаптивного управления, принятия решений и вычислительной математики.

Заключение

Теория искусственных нейронных сетей является одной из бурно развивающихся областей современного научного знания. Но одной из основных проблем данного аппарата является высокие требования к вычислительным ресурсам. Поэтому разработка системы распределенного решения задач на основе нейросетевого подхода представляется актуальной проблемой. В рамках реализации данной задачи были получены следующие результаты:

1. Проведен анализ современных параллельных алгоритмов программирования искусственных нейронных сетей, относящихся к классу MLP и обучающихся по методу обратного распространения ошибки и рассмотрены возможности их эффективного применения в распределенных средах как на уровне нейронных процедур, так и на уровне решения нейросетевой задачи.

2. Предложены методы построения обобщенного нейросетевого алгоритма с учетом возможностей параллельной реализации на уровнях обучения нейронной сети, динамического формирования ее структуры, оценки наиболее значимых нейронных связей и проведения численных экспериментов с различными нейросетевыми конфигурациями.

3. Созданы алгоритмические и программные средства управления параллельными процессами программирования искусственных нейронных сетей в распределенных средах, характеризующиеся возможностью идентификации параметров аппаратных ресурсов каждого элемента распределенной системы и характеристик каналов связи для целей повышения эффективности отображения нейросетевой задачи.

4. Разработана эвристическая процедура формирования стратегии решения нейросетевой задачи, позволяющая учесть изменение параметров распределенной системы, что повышает надежность нейросетевых вычислений и делает возможным применение комплекса на широком классе систем.

5. Предложена структура программной системы массивнопараллельных вычислений, позволяющая интерпретировать гетерогенную распределенную среду как единый вычислительный комплекс, что дает возможность эффективным образом на уровне практической реализации адаптировать базовые алгоритмы программирования нейронных сетей.

6. На основе типовых задач медицинской диагностики и численного анализа создан набор тестовых процедур, позволяющий оценить эффективность решения нейросетевой задачи в сформированной распределенной среде и выработать рекомендации по повышению производительности распределенного комплекса.

1. Аведьян Э.Д. Алгоритмы настройки многослойных нейронных сетей // Автоматика и телемеханика. 1995. - N4. - С. 106-118.

2. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей. М.: Финансы и статистика, 1985. - 487 с.

3. Алексеев А.В. Разработка математического и программного обеспечения интеллектуального анализа данных в микроэкономических системах на основе нейросетевых технологий. Диссертация на соискание ученой степени канд. техн. наук. Москва, 2001 .-114с.

4. Аляутдинов М.А., Галушкин А.И., Назаров Л.Е. Методы распараллеливания и программно-аппаратной реализации нейросетевых алгоритмов обработки изображений // Нейрокомпьютеры: разработка, применение, № 2. Москва: Изд-во "Радиотехника". 2003 г. - С. 3-21.

5. Амосов А.А., Дубинский Ю.А, Копченова Н.В. Вычислительные методы для инженеров: Учеб. пособие. М.: Высш. шк., 1994. - 544 с.

6. П.Богачев К.Ю. Основы параллельного программирования. М.: БИНОМ. Лаборатория знаний, 2003. - 342 с.

7. Бухгейм А.Л. Введение в теорию обратных задач. Новосибирск: Наука, 1988,271с.

8. Буцев А.В., Первозванский А.А. Локальная аппроксимация на искусственных нейросетях // Автоматика и телемеханика. 1995. - N9. - с. 127-136.

9. Верлань А.В., Сизков Н.М. Методы решения интегральных уравнений. Справочное пособие.- Киев.: Наукова думка, 1988.-315 с.

10. Вилков Д.В. Алгоритм настройки весовых коэффициентов для многослойного персептрона // Нейроинформатика и ее приложения: Материалы IX Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2001. с.ЗЗ

11. Винокуров В. А. О понятии регуляризуемости разрывных отображений // "Журнал вычислительной математики и математической физики", -1971,-т. 11, №5;

12. Винокуров В. А. Регуляризуемость и аналитическая представимость // "Доклады АН СССР", 1975, - т. 220, № 2.

13. Власова Е.А. Ряды: учеб. для вузов. 2-е изд. (Сер. Математика и техническом университете) / Под ред. Зарубина B.C., Крищенко А.П. М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 612 с.

14. Воеводин В.В. Информационная структура алгоритмов. М. МГУ, 1997.-139 с.

15. Воеводин В.В. Массивный параллелизм и декомпозиция алгоритмов // ЖВМ и МФ. 1995. - Т. 35. N6, - С.988-996

16. Воеводин В.В. Математические модели и методы в параллельных процессах. — М.:Наука, 1986. 296 с.

17. Воеводин В.В. Математические основы параллельных вычислений. М.:МГУ, 1991.-345 с.

18. Воеводин В.В. Параллельные структуры алгоритмов и программ. -М.: ОВМ АН СССР, 1987. 148 с.

19. Воеводин В.В., Воеводим Вл. В Параллельные вычисления. СПб.: БХВ-Петербург, 2002. - 608 с.

20. Галушкин А.И. Теория нейронных сетей. Кн. 1: Учеб. пособие для вузов / Общая ред. Галушкина А.И. М.: ИПРЖР, 2000. - 416 с.

21. Галушкин А.И. Теория нейронных сетей. Кн. 3: Учеб. пособие для вузов / Общая ред. Галушкина А.И. М.: ИПРЖР, 2000. - 416 с.

22. Галушкин А.И., Остапенко Г.П. Пути и средства реализации нейросетевых алгоритмов,VIII Всероссийская конференция. Труды конференции. Москва. 2002.

23. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир, 1985.-509 с.

24. Головко В.А. Нейронные сети: обучение, организация и применение. Кн. 4: Учеб. пособие для вузов / Общая ред. А.И. Галушкина. М.: ИПРЖР, 2001.

25. Горбань А.Н. Быстрое дифференцирование сложных функций и обратное распространение ошибки // Нейроинформатика и ее приложения. Тезисы докладов V Всероссийского семинара. Красноярск: изд. КГТУ, 1997, -с. 54-56.

26. Горбань А.Н. Обучение нейронных сетей. — М.: изд. СССР-США. СП "Параграф", 1990. 160 с.

27. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. Сибирская издательская фирма РАН, 1996.-276 с.

28. Джейн А., Мао Ж., Моиуддин М. Введение в искусственные нейронные сети // Открытые системы, 1997. N4. - С. 16-24.

29. Дубровин В.И., Субботин С.А. Алгоритм ускоренного обучения нейросетей // Нейроинформатика и ее приложения: материалы IX Всероссийского семинара. Красноярск: ИПЦ КГТУ, 2001. с. 63-64

30. Дэннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений. М.: Мир, 1988. - 440 с.

31. Ершов Н.М. Стохастические алгоритмы обучения нейросетей в задаче определения коэффициентов переноса среды // Вест. Моск. ун-та. Сер. 15, Вычислительная математика и кибернетика. 1996. №4. С. 31-34.

32. Калинин А.В. Методы обеспечения надежности сервисной сети анализа данных // Современные проблемы информатизации в технике и технологиях: Сб. трудов. Вып. 8. Воронеж: Центрально-Черноземное книжное издательство, 2003. С. 110-111.

33. Калинин А.В. Оптимизация надежности распределенной сети анализа данных // Новые технологии в научных исследованиях, проектировании, управлении, производстве. Труды региональной научно-технической конференции. Воронеж: ВГТУ, 2003. С. 207.

34. Калинин А.В., Подвальный C.JT. Применение нейронных сетей для решения обратных некорректных задач математической физики // Электротехнические комплексы и системы управления. Воронеж: ВГТУ, 2003. С 4-8.

35. Калинин А.В., Подвальный СЛ. Создание методов параллельной реализации алгоритмов обучения и синтеза структуры нейронных сетей //

36. Электротехнические комплексы и системы управления. Сб. науч. тр. Воронеж: Изд-во ВГТУ, 2003. С. 57-63.

37. Каллан Р. Основные концепции нейронных сетей. : Пер. с англ. -М.: Издательский дом "Вильяме", 2001.-288 с.

38. Козлов В.А., Мазья В.Г., Фомин А.В. Об одном итерационном методе решения задачи Коши для эллиптических уравнений // ЖВМ и МФ.-1991.-Т.31.- № 12.-С. 64-74.

39. Комашинский В.И., Мирнов Д.А. Нейронные сети и их применение в системах управления и связи. М.: Горячая линия-Телеком, 2002. - 94 с.

40. Корженевский А. В. Использование искусственных нейронных сетей для решения обратных задач электроимпедансной и магнитоиндукцион-ной томографии // Журнал радиоэлектроники. 2001, N 12.

41. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия-Телеком, 2002. - 382 с.

42. Круглов В.В., Дли М.И., Годунов Р.Ю. Нечеткая логика и искусственные нейронные сети: учеб. пособие. М.: Издательство физико-математической литературы, 2001. - 224 с.

43. Кушаковский М.С. Аритмии сердца: Руководство для врачей. -СПб.: Гиппократ, 1992. 544 с.

44. Лаврентьев М.М. О некоторых некорректных задачах математической физики.-Новосибирск: Изд-во СО АН СССР.-1962.- 134 с.

45. Лаврентьев М.М., Савельев Л .Я. Теория операторов и некорректные задачи. Новосибирск: Изд-во Ин-та математики, 1999.

46. Латерс Р., Лионе Ж.-Л. Метод квазиобращения и его приложения,-М.: Мир, 1970.-336 с.

47. Лихтциндер Б.Я., Кузякин М.А., Росляков А.В., Фомичев С.М. Интеллектуальные сети связи. М.: Эко-Трендз, 2002. - 206 с.

48. Малышев А.Н. Введение в вычислительную линейную алгебру. -Новосибирск: Наука, 1991.-228 с.

49. Миркес Е.М. Нейрокомпьютер. Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.-418 с.

50. Нейронные сети. Statistical Neural Networks / Пер. с англ. М.: Горячая линия-Телеком, 2000. - 182 с.

51. Нейронные сети: история развития теории. Кн. 5 / Под ред. Гапуш-• кина А.И., Цыпкина Я.З. М.: ИПРЖР, 2001. - 840 с.

52. Полевой Н.Ю. Интеллектуализация принятия решений при лечении больных бронхиальной астмой на основе нейросетевого моделирования. Автореферат диссертации на соискание ученой степени канд. мед. наук. Воронеж, 2001. 19 с.

53. Полевой Н.Ю. Методика построения набора входных параметров для нейросетевых моделей в области медицины // Интеллектуальные информационные системы: тр. Всеросс. конф. Ч. 2. Воронеж: ВГТУ, 1999. С. 2122.

54. Рамм А.Г. Многомерные задачи рассеяния: Пер. с англ. М.: Мир, 1994.-494 с.

55. Розенблат Ф. Аналитические методы изучений нейронных сетей // Зарубежная электроника, 1965.-№ 5. С. 40-50.

56. Розенблат Ф. Принципы нейродинамики. М.:Мир, 1965. - 302 с.

57. Романов А. Г. Обратные задачи математической физики. М.: Наука, 1984, 368 с.

58. Таненбаум Э., Ван Стеен М. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 877 с.

59. Технологии создания распределенных систем. Для профессионалов. / Цимбал А.А., Аншина МЛ. СПб.: Питер, 2003. - 576 с.

60. Тихонов А.Н. Арсенин В.Я. Методы решения некорректных задач.-М.: Наука, 1986.-312 с.

61. Тихонов А.Н. Самарский А.А. Уравнения математической физики.-М.: Наука, 1983.- 735 с.

62. Тихонов А.Н., Гончарский А.В., Степанов В.В., Ягола А.Г. Численные методы решения некорректных задач.- М.: Наука, 1990,226 с.

63. Треногин В.А Функциональный анализ. М.: Наука. Главная редакция физико-математической литературы, 1980. - 494 с.

64. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992. - 184с.

65. Филюшин Ю.И. Концепция и принципы построения интеллектуальных сетей связи. -М.: ЦАТИ "Информсвязь", 1995.

66. Хехт-Нильсен Р. Нейрокомпьютинг: история, состояние, перспективы // Открытые системы. 1998. - N4-5, - с. 11-19.

67. Эндрюс Г.Р. Основы многопоточного, параллельного и распределенного программирования. : Пер. с англ. М.: Издательский дом "Вильяме", 2003.-512 с.

68. Baxt W.G. Use of an artificial neural network for the diagnosis of myocardial infarction // Ann. Intern. Med. 1991. - V. 115, № 11. pp. 843-848.

69. Brodksy M.A., Allen B.J., Capparelli E.V. et. al. Factors determining maintenance of sinus rhythm after chronical atrial fibrillation with left atrial dilatation//Amer. J. Cardiol.- 1989.-Vol. 63.-No. 15.-P. 1065-1068.

70. Campbell C. Constructive Learning Techniques for Design Neural Networks Systems // Neurocomputing. 1997. - V. 10. - P. 178-231.

71. Cybenco G. Approximation by superposition of a sigmoidal function // Math. Control Systems and Signals. 1989. - N2. - P. 303-314

72. Duch W., Korczak J.Optimisation and global minimization methods suitable for neural networks // Neural Networks. 1998. - V.10. - P. 203-244.

73. Emmerich W. Engineering distributed objects. New York: John Wiley,2000.

74. Foster I., Kesselman C. Computation grids: the future of high performance distributed computing. San Mateo, С A: Morgan Kaufman, 1998.

75. Fujiki A., Joshida Sh., Sasayama Sh. Paroxysmal atrial fibrillation with and without primary atrial vulnerability // J. Electrocardiol. 1989. - Vol. 22. -No 2.-P. 153-158.

76. Hoher M., Kestler H.A., Palm G. et. al. Neural network based QRS classification of the signal averaged electrocardiogram // Eur. Heart J. 1994. - V. 15 - Abstr. Supplement ХИ-th World Congress Cardiology (734). - P. 114.

77. Jansen M., Klaver E., Verkaik P., Van Steen M. and Tanenbaum A. Encapsulating distribution in remote objects. Information and software technology, vol. 43, no. 6, 2001. pp. 353-363.

78. Kalinin A., Podvalny S., Chernikova I. The distributed environment of manufacturing control // Proceedings of the 13-th international conference on flexible automation and intelligent manufacturing. Tampa, Florida. USA, 2003. P. 177-181.

79. Kalinin A.V., Podvalny S.L. and Balashov A.A., Chernikova I.A. The neural nets with distributed architecture // Proceedings of the 12-th international conference on flexible automation and intelligent manufacturing. Dresden. Germany, 2002. P. 522-527.

80. Liang Y.C., Feng D.P., Lee H.P., Lim S.P., Lee K.H. Successive approximation training algorithm for feed forward neural networks // Neurocomput-ing, 2002. V. 42. - P. 311-322.

81. Loshin P. Big book of lightweight directory access protocol (LDAP) RFCs. San Mateo, CA: Morgan Kaufman, 2000.

82. Perrone P., Venkata R., Chaganti Building Enterprise Systems with J2EE. Indianapolis, 2000

83. Poli R., Cagnoni S., Livi R. et al. A neural network expert system for diagnosing and treating hypertension // Computer. 1991. - № 3, pp 64-71.

84. Rumelhart D. E., Hinton G. E., Williams R. J. 1986. Learning internal reprentations by error propagation. In Parallel distributed processing, vol. 1, pp. 318-62. Cambridge, MA: MIT Press.

85. S. Podvalniy, A. Kalinin, I. Chernikova Multivariate distribution generation // ICEIS: proceedings of the third international conference on enterprise information systems, Setubal. Portugal, 2001. P. 518-521.

86. S. Podvalniy, V. Burkovskiy, V. Nazarov, A. Kalinin. Instrument of neural net control of complex chemical-technological processes // ICPR, Praga. 2001.

87. Siegel J. Corba 3: Fundamental and Programming. New York, 2000

88. Simon N. Constructive Supervised Learning Algorithms for Artificial Neural Networks // Neural Networks, 1993. V.2. - P. 343-395.

89. Snir M., Otto S., Huss-Lederman S., Walker D. and Dongarra J. MPI: the complete reference the MPI core. Cambridge, MA: MIT Press, 1998.

90. Sun Microsystems: Java Remote Method Invocation Specification, JDK 1.2. Sun Microsystems, Mountain View, Calif., 1998.

91. Sun Microsystems: JavaSpaces service specification, version 1.1. Sun Microsystems, Palo Alto, CA, 2000.

92. Sun Microsystems: Jini architecture specification, version 1.1. Palo Alto, CA, 2000.

93. Sundarajan N. and Saratchandran P. Parallel architectures for artifitial neural networks Computer Society, 1998.

94. Van Steen M., Homburg P. and Tanenbaum A. Globe: a wide-area distributed system. IEEE Concurrency, vol. 7, no. 1, pp. 70-78,1999.

95. Von Eicken Т., Culler D., Goldstein S. and Schauser K. Active messages: a mechanism for integrated communication and computation. Proc. 19th Int'l symp. on computer architecture, 1992. pp. 256-266.

96. White H. Learning in artificial neural networks: A statistical perspective // Neural Computation. 1989. - V.l, N4, - P. 425-464.

97. Wooldridge M. Agent-based computing. Interoperable Communication Networks, vol. 1, no.l, pp. 71-97, 1998.

98. Y. LeCun, L. Bottou, G. Orr, and K. Muller, "Efficient BackProp," in Neural Networks: Tricks of the trade, (G. Orr and Muller K., eds.), 1998.44 pages.

99. Yasinaga M., Yoshida E. Optimization of parallel BP implementation: training speed of 1.056 MCUPS on the massively parallel computer CP-PACS, IJCNN-98 Alaska, May, 1998.