автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Кластерное распараллеливание нейровычислений на основе объектного представления нейронных сетей

На правах рукописи

ООЗОБЗ132

Сиземов Дмитрий Николаевич

КЛАСТЕРНОЕ РАСПАРАЛЛЕЛИВАНИЕ НЕЙРОВЫЧИСЛЕНИЙ НА ОСНОВЕ ОБЪЕКТНОГО ПРЕДСТАВЛЕНИЯ НЕЙРОННЫХ СЕТЕЙ

05 13 01- Системный анализ, управление и обработка информации

(экология)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 А МЙ 2007

Красноярск - 2007

Работа выполнена на кафедре информационных технологий Государственного образовательного учреждения высшего профессионального образования «Сибирский государственный технологический университет»

Научный руководитель-

кандидат технических наук, доцент Якимов Сергей Петрович

Научный консультант

кандидат технических наук, доцент Жуков Леонид Александрович

Официальные оппоненты.

доктор физико-математических наук, профессор Новиков Евгений Александрович

кандидат технических наук, доцент Доррер Михаил Георгиевич

Ведущая организация

ГОУ ВПО «Сибирский государственный аэрокосмический университет им МФ Решетнева»

Защита состоится «30» мая 2007 года в 1400 на заседании диссертационного совета К212 253 01 в ГОУ ВПО «Сибирский государственный технологический университет» по адресу 660049, г Красноярск, ул Марковского 57, ауд А102

С диссертацией можно ознакомиться в научной библиотеке ГОУ ВПО «Сибирский государственный технологический университет»

Отзывы по автореферату в двух экземплярах, заверенные печатью, прошу направлять по адресу 660049, г.Красноярск, ул Мира 82, ученому секретарю диссертационного совета К 212.253 01 Ушанову С В.

Автореферат разослан «_»_2007 года

Ученый секретарь диссертационного совета, к т н , доцент

Актуальность

Для большого числа прикладных задач на сегодня аппарат искусственных нейронных сетей является широко применимым и дающим эффективные решения [Горбань, Россиев, 1996] К числу недостатков данного аппарата может быть отнесена специфичность строения нейронных сетей, определяющая существенную сложность при их реализации с помощью компьютеров с последовательной вычислительной архитектурой

Данная проблема актуальна в задачах, требующих использования нейронных сетей большой размерности Как правило, они связаны с обработкой и распознаванием графики и звука, а также других наборов данных большой размерности (биометрическая аутентификация, сложные экспертные системы, в т ч медицинские, генные исследования и т д) Ввиду встречаемости подобных задач в различного рода экспериментах и прикладных областях, увеличение вычислительной производительности за счет распараллеливания представляется привлекательным

Существующие специализированные аппаратные решения для реализации нейронных сетей зачастую дорогостоящи и недоступны, универсальные кластерные решения не представляются готовыми к использованию в данном случае, поскольку требуют адаптации под специфику вычислений, осуществляемых нейронными сетями

Таким образом, задача распараллеливания нейровычислений [Довженко АЮ, Крашаков С А, 2001] с использованием специализированного вычислительно кластера является актуальной

Объект исследования

Объектом исследования в данной работе является параллельное функционирование нейронных сетей при реализации средствами компьютерных кластеров

Предмет исследования

Предметом исследования является структура нейронных сетей и их вычислительная динамика в контексте производительности, а также зависимость производительности вычислений от структурных особенностей реализации нейросетевых моделей при использовании объектного представления и компьютерных кластеров

Цель диссертации

Целью диссертационной работы является разработка методики, алгоритмического и программного обеспечения для распараллеливания нейровычислений, универсального по отношению к типам реализуемых

нейронных сетей за счет динамической функциональной изменчивости, с использованием специализированных гетерогенных компьютерных кластеров, а также применение полученного решения в задачах здравоохранения

Решаемые задачи

• Разработка объектно-ориентированного представления формального нейрона и искусственной нейронной сети

• Разработка концепции распараллеливания нейровычислений на основе объектно-ориентированного подхода

• Разработка методики реализации параллельных нейровычислений с произвольной степенью масштабируемости для гетерогенного кластера с использованием внешних СУБД

• Разработка программного обеспечения для кластерного распараллеливания нейровычислений, универсального по отношению к типам нейронных сетей за счет динамической функциональной изменчивости

• Исследование эффективности распараллеливания нейровычислений в зависимости от размеров реализуемых нейронных сетей на синтетических задачах и определение уровня вычислительной сложности, задающего эффективность распараллеливания

• Проверка применимости полученного программного средства к решению реальных прикладных задач на примере задачи прогнозирования признаков стоматологического статуса человека

Методы исследования

• Методы системного анализа

• Методы объектно-ориентированного анализа

• Методы технологии структурного проектирования;

• Методы технологии объектно-ориентированного проектирования,

• Методы теории нейроинформатики

• Методы теории распределенных вычислений

• Методы теории реляционных баз данных

Основные результаты работы

• Предложен объектно-ориентированный подход к модельному представлению и программной реализации искусственных нейронных сетей, обеспечивающий их динамическую функциональную изменчивость.

• Разработаны концепция распараллеливания нейровычислений на основе объектно-ориентированного представления нейронной сети и методика ее реализации

• Выполнено проектирование распределенного нейроимитатора, использующего распараллеливание, основанное на объектно-ориентированном представлении нейронной сети

• Разработана методика описания распределенных нейронных сетей, основанная на реляционном представлении данных

• Разработано прикладное программное решение для распределенной реализации искусственных нейронных сетей

• Разработана методика определения зависимости скоростной (временной) эффективности распараллеливания нейровычислений от размерности моделируемых нейронных сетей

• Эмпирически определена область эффективного распараллеливания нейровычислений в пространстве размерности нейронных сетей для экспериментального набора нейронных сетей

• Решена задача выявления прогнозируемости стоматологического статуса пациентов на этапах ортодонтического лечения для малых выборок данных

Научная новизна

• Предложен подход к представлению искусственных нейронных сетей с использованием объектно-ориентированных методов, позволяющий унифицировать описание нейронных сетей относительно их типов и решаемых ими задач, а также осуществлять распараллеливание в пределах специализированного компьютерного кластера

• Разработана концепция распараллеливания вычислений, осуществляемых нейронными сетями, с использованием трехзвенной архитектуры и методика ее реализации в гетерогенных компьютерных кластерах

• Получено описание зависимости эффективности распараллеливания нейровычислений от размерности распараллеливаемой нейронной сети, в окрестности условной точки ресурсной безубыточности распараллеливания

• Выполнено экспериментально подтверждение гипотезы о прогнозируемости признаков стоматологического статуса по данным ранних наблюдений

На защиту выносятся:

1 Концепция распараллеливания нейровычислений на основе объектно-ориентированного представления нейронных сетей

2 Методика построения распределенного нейроимитатора, с использованием гетерогенного вычислительного кластера

3 Методика описания распределенных сетей, ориентированная на хранение данных в БД

4 Трехзвенная архитектура и подход к организации динамической функциональной изменчивости, реализованные в универсальной системе распределенной нейроимитации «Нейропараллель»

5 Определение точки ресурсной безубыточности распараллеливания в пространстве удельной вычислительной эффективности (производительности) и размерности нейронной сети

Теоретическая значимость

Разработанные концепция представления нейронных сетей и методика распараллеливания позволяют оптимизировать распределение ресурсов при построении нейроимитаторов

Методика определения эффективности распараллеливания нейровычислений может быть использована для получения предварительных оценок ресурсозатрат создаваемых решений

Практическая значимость

Предлагаемый подход позволяет за счет компьютерных кластеров, организованных на базе локальных вычислительных сетей, сократить время решения задач при использовании нейронных сетей большой размерности, за счет чего может быть ускорено проведение вычислительных экспериментов и получение практических результатов

Разработанное программное решение («Нейропараллель») внедрено и используется в учебном процессе (Красноярск, СибГТУ) и исследованиях, связанных с применением нейронных сетей больших размерностей Результаты работы были использованы в медицинских исследованиях стоматологического статуса человека (Красноярск, КГМА)

Личный вклад автора:

Основные результаты, представленные в данной работе, получены непосредственно автором, в частности

• предложено объектно-ориентированное представление формального нейрона,

• разработана методика описания распределенных нейронных сетей в БД, а также, технология реализации данной методики,

• разработана клиентская часть системы «Нейропараллель» и ее интерфейс внешней обработки и хранения данных,

• разработаны критерий эффективности распараллеливания нейровычислений и методика эксперимента для ее определения, под непосредственным руководством автора выполнена постановка серии экспериментов

Апробация результатов работы:

Основные результаты и отдельные положения работы докладывались на Всероссийских семинарах «Нейроинформатика и ее приложения» (Красноярск, 2004 - 2005), Всероссийской конференции «Проблемы информатизации региона» (Красноярск, 2005), Межрегиональной школе-семинаре «Распределенные и кластерные вычисления» (Красноярск, 2006), Всероссийской научно-практической конференции «Нейроинформатика-2006, 2007» (Москва), Всероссийской научно-практической конференции «Лесной и химический комплексы проблемы и решения» (Красноярск, 2004), Всероссийской конференции с международным участием «Новые информационные технологии в исследовании сложных структур» (Иркутск, 2004), Всесибирском конгрессе женщин-математиков (Красноярск, 2006), Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2003)

Работа «Построение распределенного нейроимитатора с использованием явно параллельной архитектуры», выполненная при непосредственном участии автора в рамках настоящей диссертационной работы, отмечена дипломом Открытого конкурса на лучшую научную работу по естественным, техническим и гуманитарным наукам в Вузах Российской Федерации, проводимого Рязанской государственной радиотехнической академией в 2004 году

Публикации:

По основным результатам диссертационной работы издано 14 публикаций, в том числе 3 статьи в изданиях, включенных в список ВАК, 1 свидетельство о государственной регистрации программного обеспечения

Структура и объем работы:

Диссертация состоит из введения, 5 глав, заключения и списка использованных источников литературы Основное содержание работы изложено на 153 страницах текста, содержит 35 рисунков, 4 таблицы Список использованных источников литературы содержит 78 наименований

Основное содержание работы:

Во введении показана актуальность разработки технологии распараллеливания вычислений, осуществляемых нейронными сетями большой размерности с использованием объектного подхода и многозвенных архитектур, обеспечивающих естественный параллелизм Сформулированы цели и задачи диссертационной работы, обозначена практическая значимость работы, отражена апробация, определен

непосредственный вклад автора, а также, выделены полученные элементы научной новизны и сформулированы положения, выносимые на защиту

В главе 1 выполнен обзор задач, решаемых с помощью нейронных сетей, их архитектур и методов обучения Определен оптимальный уровень детализации параллелизма с точки зрения программной реализации на компьютерном кластере

Наиболее часто выделяются следующие виды нейронных сетей-

• Слоистые сигмоидные сети (MLP),

• Сети Хопфилда,

• Сети (Кохонена) самоорганизации,

• Двойственные сети

а также, задачи, решаемые с их помощью

• Классификация (кластеризация) данных,

• Организация ассоциативной памяти,

• Распознавание образов,

• Заполнение пробелов в наборах данных

Выделены основные черты методов обучения нейронных сетей

• динамика обучения сконцентрирована в элементах нейронной сети (вычисления) и внешней по отношению к ней среде (управление),

• обучения реализуется в виде множества передач сигналов (значений) между элементами нейронной сети и в порядке обмена с внешней средой,

в обучение представляет собой последовательность единичных проходов примеров выборки

Структурное представление всех типов нейронов может быть обобщено на базе традиционного представления сигмойдного (MLP) нейрона(рисунок 1)

Рисунок 1 — Схематическое (традиционное) представление формального нейрона (X - входной вектор, W - вектор весов синапсов, Net - значение взвешенной суммы, Out - выходной сигнал)

При объединении суммирования и сжатия в некое заменяемое функциональное ядро, модель становится пригодной для реализации всех типов нейронов, ненейронных элементов и учителей

W

Информационной единицей системы является сигнал, передаваемый между двумя элементами нейронной сети, а также, на ее вход извне и выход Маршрутизация передачи сигналов задается связями между элементами

Большинство существующих на сегодня нейроимитаторов не могут рассматриваться, как универсальные решения Используемые ими методы описания нейронных сетей нестандартны Распараллеливание для повышения производительности используется немногими авторами [Жуков Л А, Хомич А В , 2005] и лишь как расширение

Таким образом, предметная область, определяемая применением параллельных вычислений в решениях, предлагаемых нейроинформатикой, является малоизученной, разработка универсального по отношению к типам нейронных сетей прикладного обеспечения организации распределенных нейровычислений представляется

оправданной

В главе 2 представлен обзор реализации проекта «Нейропараллель», проводившейся в рамках данной работы. Объектно-ориентированное представление базового (МЬР-)нейрона не меняет его структурных свойств и функционала (рисунок 2)

Рисунок 2 - Предлагаемое объектно-ориентированное представление формального нейрона

Элемент нейронной сети, реализуется в классе «нейронный процессор» (рисунок 3), с обобщением суммирования и сжатия в конечный набор функциональных ядер

Маршрутизация передачи данных осуществляется с помощью каналов - единиц учета направлений передач (в аналогии с биологическим представлением - аксон нейрона)

Архитектура системы предполагается трехзвенной клиент системы (множество) - сервер системы с интегрированным клиентом БД (один) -

сервер БД (один) Клиент системы обеспечивает реализацию непосредственных вычислений в нейронных процессорах Сервер осуществляет управление и централизует обмена данными Сервер БД обеспечивает базовый функционал хранения данных и доступа к ним

Рисунок 3 - Нейронный процессор диаграмма классов

(Client - клиентское приложение, М - моделирующая подсистема,

LM - локальные менеджер, DM - менеджер данных,

D - диспетчер, СС - центр соединений,

DP - контроллер обмена, SM - контроллер пользовательского интерфейса

Server - серверное приложение, Shell - приложение пользовательского интерфейса

S - сервер, BDMS - СУБД)

Предлагаемая концепция распараллеливания основана на объектном представлении нейронной сети в виде системы элементов и каналов, а также, принципе распределения элементов нейронной сети по вычислительному пространству (рисунок 4)

Передача данных внутри системы унифицирована с помощью собственного протокола, основанного на TCP/IP и предусматривающего несколько уровней абстракций Таким образом, используемый в концепции сигнал произвольного содержания реализуется в виде пакета данных универсального вида

Управление системой предполагается внешним, что призвано снять с серверной машины нагрузку по обслуживанию (графического) пользовательского интерфейса

В системе используется статическое распараллеливание, определяемое предварительно создаваемым сценарием Предусмотрена автоматическая генерация сценария в порядке самоорганизации системы

Используемая методика описания нейронной сети основана на использовании жестко заданной модели данных Нейронная сеть при этом представляется в виде системы с набором задаваемых параметров

Методикой реализации предусматривается два подхода к автоматической генерации сценария распараллеливания (самоорганизации системы), основанных на минимизации времени обработки системой одного вектора (обучающей) выборки за счет перегруппировки элементов нейронной сети по узлам кластера

В первом используется аналитическое объединение всех временных составляющих длительности обработки с учетом производимых вычислений и передач сигналов

п т р Ч

Г = 1я|*|+1*Л+5>,С/+2>,Д,+*,где

7=1 1=1 1=1 1=1

a,— коэффициент кратности при многократной передаче по 1-тому внешнему (по отношению к узлу кластера) каналу,

К,— время передачи данных по i-тому внешнему каналу,

b,— коэффициент кратности при многократной передаче по 1-тому внутреннему каналу,

к, - время передачи данных по i-тому внутреннему каналу,

и,- коэффициент кратности при многократной обработке i-тым

процессором,

С, - время обработки данных i-тым процессором,

V,- коэффициент кратности при многократной обработке i-тым сетевым интерфейсом,

Д,- время обработки данных ьтым сетевым интерфейсом; X - время, расходуемое на извлечение данных из БД а также, пакетирование данных на уровне сервера.

Дня системы с постоянными характеристиками К,, к,, С*, Д, и X оптимизация достигается за счет изменения коэффициентов кратности , Ьи и1 и V., полученных при распределении элементов нейронной сети по узлам кластера.

Рисунок 5 — Оптимизация распределения элементов нейронной сети по узлам кластера (слева — исходное распределение, справа - оптимальное

распределение)

Например, для нейронной сети, состоящей из 4 элементов (рисунок 5), распределяемой по 3-м узлам кластера (1 серверному и 2 клиентским, первый из которых предполагается двухпроцессорным), перераспределение элементов, теоретически, может обеспечить выигрыш, приблизительно, в 1,5 раза. Архитектура робота-анализатора концепцией не определяется, т.к. он может быть реализован в виде самостоятельного по отношению к системе приложения.

Второй подход основан на векторной записи распределения элементов нейронной сети по узлам кластера в виде соотношения их нумерации;

5 = ,V. ^лм ). где: >5 - количество элементов распараллеливаемой нейронной сети; М - количество узлов используемого вычислительного кластера;

N>N1, Щ е [0..М-1].

Задача оптимизации распределения N элементов нейронной сети по М узлам кластера определяется, как:

Т(8)->тт(8),

где Т(8) - функция (без формальной записи), задающая соответствие текущего распределения нейронной сети (81) и времени СП) обработки ей одного вектора выборки - времени цикла (рисунок 6). При решении задачи могут быть использованы различные подходы, в т.ч., метод целочисленной многомерной оптимизации Хука-Дживса.

Рисунок 6 — Пример зависимости времени цикла от распределения элементов нейронной сети по узлам кластера (для 3 элементов и 2 узлов)

В главе 3 рассмотрена концепция «динамического полиморфизма», сформулированная в рамках диссертационной работы. В системе «Нейропараллель» реализована возможность изменения методов объектов нейронных процессоров, на этапе функционирования системы. При этом вновь включаемые в эксплуатацию методы, предполагаются неопределенными на этапе разработки системы. Ввиду несоответствия существующих объектных подходов данным требованиям, в рамках настоящей работы предложено расширение, основанное на разделенном функциональном представлении информационной системы в виде статической и динамической частей, а также, интерфейса их взаимодействия [Якимов С.П., Сиземов Д.Н., 2006].

Программная реализация динамически заменимых функций возможна с помощью нескольких средств, в т.ч. загрузки динамических

библиотек (йЩ Однако, на уровне концепции и методики средства реализации неприменимы, таким образом, рассматриваемая концепция расширяет подхода к проектированию функциональности информационных систем.

Среди популярных современных авторов, в т.ч. классиков [Буч Г., 1998; Бадд Т., 1997; Страуструп Б, 2004; Клоуд П. и д.р., 1999], единство в интерпретации термина «динамический полиморфизм» проследить не удается. Часто под ним понимается избирательность при наследовании среди определенного набора классов, но это же явление иногда называют «полиморфизмом» и «динамической диспетчеризацией».

В рамках предлагаемой концепции все виды изменчивости, связанные с наследованием о пределен но го конечного числа вариантов, считается «полиморфизмом». При этом вводится собственное определение: «Динамический полиморфизм есть заменимость методов и свойств объекта на этапе его функционирования с использованием реализаций, неопределенных при его создании».

Данный подход обеспечивает требуемую функциональную гибкость на этапе проектирования информационных систем, в результате чего исключается необходимость доработки и новой трансляции основной части системы в обозримом будущем. Концепция динамического полиморфизма предполагает представление информационной системы (объекта) в виде 3-х основных частей по схеме 51-1-0 {рис. 7).

Статическая часть (50 объединяет базовый функционал системы, закладываемый на этапе ее разработки, который в дальнейшем не может быть изменен без остановки эксплуатации - ядро системы. Динамической частью (О) является дополнительный функционал, реализуемый на любом этапе жизненного цикла системы; ей поочередно могут использоваться несколько реализаций динамической части. Интерфейсная часть (I), интегрируемое в статическую, обеспечивает сопряжение 51 и О. Реализация проекта «Нейропараллель» выявила наибольшую сложность разработки именно 1, требующей учета существующих и прогнозирования возможных требований со стороны различных реализаций Б.

Статическая часть^О "] Интерфейсная часть (I) ] Динамическая часть Т*

Рисунок 7 — Динамический полиморфизм: схематическое представление

(81-Ю)

Данный подход схож с приемами, используемыми при разработке функционала операционных систем, например, в Microsoft Windows использован именно механизм dll Использование подхода в прикладных разработках, а также его формализация, на сегодня не встречаются Также, концепция вводит дополнительные термины

1 Деформация метода (свойства) - процесс динамической замены системой или ее элементом конкретного метода (свойства), характеризуемый временной недоступностью последнего

2 Обратимость деформации (метода, свойства) — характеристика, определяющая возможность восстановление первоначальной версии динамико-полиморфного метода (свойства) после деформации

Применение концепции динамического полиморфизма в проекте «Нейропараллель» позволило сделать проектирование более прозрачным и упростило программную реализацию Положения концепции также были использованы в других проектах [Якимов С П, Гилев В В , 2004] уже с реализацией средствами СУБД

В главе 4 проведен сравнительный анализ концепций нейрокомпьютера, использованных в проекте «Нейропараллель» и в стандарте нейрокомпьютера [Миркес ЕМ, 1998] Выделены критерии сравнения, в их контексте изучены свойства концепций, дана оценка качеству подхода, использованного в проекте «Нейропараллель»

Основными характерными чертами стандарта нейрокомпьютера могут быть названы следующие

• использование собственного формального языка описания нейронных сетей и раздельное хранение системой сведений для различных нейронных сетей,

• крайне ограниченное использование БД,

• ориентированность на локальную (нераспределенную) реализацию,

• ориентированность на конкретный круг задач и тип нейронных сетей

В данных критериях выявлены существенные отличия концепций (таблица 1) Тем не менее, концепция, используемая в проекте «Нейропараллель» была успешно применена в реализации действующей системы, апробированной и испытанной при решении прикладной задачи и исследовании эффективности распараллеливания. Таким образом, предлагаемая концепция может считаться состоятельной

JN» Признак Стандарт нейрокомпьютера Проект «Нейропараллель»

1 Уровень детализации представления структуры нейронной сети На уровне структурных элементов нейрона, реестр элементов и их свойств содержится в стандарте На уровне элемента нейронной сети Разделяются статический и динамический уровни реализации

2 Параллельность функционирования Не предусматривается На уровне элементов нейронной сети, с учетом способа их распределения по узлам кластера

3 Логика транспорта данных Не описывается Маршрутизация с помощью логических каналов передачи данньв

4 Множественный запуск сетей (клонирование) Не предусматривается На уровне экземпляров нейронной сети, реализующих один прототип

5 Описание функций нейронной сети Модельно-математическое Подробное, с использованием деталей и средств реализации

6 Интерфейс доступа к данным Задачник, неотделимый от нейронной сети, содержащий обучающую выборку в одной таблице Единый для всей системы, с 3-звенной архитектурой и использованием СУБД

7 Предобработка и постобработка, контрастирование нейронной сети Компоненты «предобработчик», «интерпретатор результата», «контрастер» Выносятся за пределы нейрокомпьютера

8 Оценка результата Компонент «оценка» Выполняется учителем

9 Учитель Васкргор-ориентированный, индивидуальный для каждой сети, реализован отдельно Универсальный, с загружаемыми функциями, является элементом сети

10 Пользовательский интерфейс Оконный, \vmdows-подобпый, встроенный в систему Произвольный, сменный, удаленный

11 Средства сетевых коммуникаций Отсутствуют Парные, на уровне клиент-серверных соединений

12 Описание динамики передачи данных Заголовочное, абстрактное Протоколированное

13 Описание базиса реализации (константы и т д) Жесткое, собственное Определяется средством реализации

Таблица 1 - результаты сравнения концепций построения нейрокомпьютера (кратко) Продолжение

® главе 5 представлены результаты экспериментальной эксплуатации системы «Нейропараллель» при решении прикладной задачи прогнозирования стоматологического статуса у пациентов с зубочелюстными аномалиями и деформациями на этапах ортодонтического лечения (данных о клинических исследованиях, предоставлены Е А Бриль) Для 90 пациентов в ходе наблюдений

определялся набор из 8 параметров, описывающих стоматологический статус человека индекс гиены полости рта (ig), папиллярно-маргинально-альвеолярный индекс (рта), значение теста функциональной резистентности эмали (ter), кислотность слюны (рп), общее содержание кальция в слюне (sao), содержание ионизированного кальция в слюне (sai), индекс интенсивности кариеса зубов (kpu), индекс интенсивности кариеса поверхности зубов (крр) Наблюдения проводились пятикратно, в течение 4 лет Требовалось выявить прогнозируемость значений признаков для последнего наблюдения, по данным предыдущих

Для решения задачи использовались полутораслойные нейронные сети [Горбань АН и др , 1998], состоящие из 10 нейронов в скрытом слое и адаптивного сумматора в выходном Обучение нейронных сетей осуществлялось по методу обратного распространения ошибки с частным градиентом, реализация осуществлялась с применением системы «Нейропараллель»

По полной совокупности признаков 1, 2, 3 или 4 наблюдений нейронная сеть обучалась прогнозировать один из признаков 5 наблюдения Для каждой пары (исходный набор, целевой признак) проводилось 10 обучений и тестирований на тестовой выборке (таблица 2) Удовлетворительная (на уровне 50% и более) прогнозируемость получена для 75% всех комбинаций целевых и наборов исходных признаков Наилучшая прогнозируемость наблюдается для sao5, по совокупности признаков 4 наблюдений, а также, крр5, уже по значениям 2 наблюдений Ухудшение уровня прогнозируемости с увеличением количества исходных данных, что вероятно, обусловлено недостаточностью объема используемой выборки

Набл ig5 рша5 ter5 рп5 sao5 sai5 kpu5 kpp5

1 > 39 >33 >28 >33 >33 >50 >33 >44 1

12 >67 >61 >67 >44 >50 >61 >61 шщщ

123 >61 > 50 >50 >50 >56 >50 >56 ЙЩщ

1234 >50 >61 >50 >50 шт >56 >56

Таблица 2 - Процент прогнозируемости отдельных целевых признаков 5 наблюдения по полным наборам признаков 1, 2, 3 и 4 наблюдений (лучшие

показатели)

В силу малой размерности нейронных сетей, использованных при решении данной задачи, распараллеливание вычислений здесь не требуется Однако, получение решения демонстрирует функциональную эффективность системы «Нейропараллель» и состоятельность концепции и методики, лежащих в основе ее реализации

Экспериментальное подтверждение эффективности

распараллеливания нейровычислений на основе предлагаемой методики производилось в ходе решения нейронными сетями большой размерности

Рисунок 8 - Гипотеза о соотношении зависимостей скоростной эффективности нейроимитатора от размерности нейронной сети (сплошная линия - распределенный нейроимитатор, пунктирная - локальный)

Изначально предполагалось, что с ростом размерности нейронной сети, удельная эффективность (производительность, нормированная на количество элементов нейронной сети), для локального нейроимитатора будет убывать ввиду нелинейного по отношению к росту числа элементов увеличения количества связей между ними Вместе с тем, для распределенного нейроимитатора эффективность предположительно должна возрастать При этом, начиная с некоторой точки, в виду достижения оптимума соотношения загрузки узлов кластера и количества сетевых передач данных, параллельный нейроимитатор обретает скоростное преимущество

Для возможности сравнения параллельная и последовательная реализации использовали один нейроимитатор, последовательному запуску соответствовало состояние системы, при котором одно клиентское и серверное приложения, а также, сервер БД реализуются на одном компьютере

Исследовалось 10 двухслойных нейронных сетей, с соотношением размерности скрытого и выходного слоев 2 1 и общим количеством элементов от 45 до 300 Эффективность «удельная производительность» системы определялась обратно пропорционально от «времени цикла» -хронометрической длительности обработки нейронной сетью одного примера выборки при обучении

1 1

/N

где-

N - количество элементов в нейронной сети,

Т - время, обработки вектора выборки при обучении (время цикла), I - удельное время цикла (нормированное на число элементов), V - удельная производительность

Нейронные сети разбивались на равные по размерности сегменты -от 1 до 10, для каждого из которых определялись г и V В итоге для каждой нейронной сетей была определена пара показателей локального и лучшего из распределенных запусков (рисунок 9)

производительности от размерности нейронной сети (серая ломаная - локальные запуски, черная - параллельные, тонкие линии - параболическая аппроксимация)

Искомая точка ресурсной безубыточности обнаружена в окрестности значения 120 Таким образом, проверяемая гипотеза в данной части может считаться экспериментально подтвержденной

В заключении представлены основные научные результаты

1 Предложено объектно-ориентированное представление формального нейрона и нейронной сети

2 Предложена концепция распределенного функционирования нейронной сети с зернистостью параллелизма, соответствующей уровню одного элемента нейронной сети, и централизованным управлением

3 Разработана методика распараллеливания вычислений, осуществляемых нейронными сетями, для реализации в гетерогенных компьютерных кластерах с использованием трехзвенной архитектуры

4 Выполнена разработка системы «Нейропараллель», ориентированной на использование в типовых компьютерных классах

5 Предложен способ оценки эффективности распараллеливания нейровычислений, а также, выполнено экспериментальное определение точки ее ресурсной безубыточности в пространстве размерности нейронных сетей

Дальнейшее развитие предложенного подхода к распараллеливанию

представляется перспективным, поскольку позволит, не прибегая к

дорогостоящим средствам, существенно ускорить решение задач,

требующих применения нейронных сетей больших размеров

Публикации в изданиях, включенных в список ВАК

1 Сиземов, Д Н Распределенный нейроимитатор / Д Н Сиземов, С П Якимов // Вестник 2006-4 Красноярский Государственный Университет Физико-математические науки Редакторы И А Вейсинг, А А Назимова - Красноярск, 2006 - С 147-150

2 Сиземов, Д Н Распределенный нейроимитатор / Д Н Сиземов, С П Якимов // Материалы IV Всесибирского конгресса женщин-математиков (В день рождения Софьи Ковалевской) Приложение к журналу "Открытое образование" - Красноярск, 15-19 января 2006 г Под редакцией ГМ Рудаковой - Красноярск РИО СибГТУ, 2006 С 149-150

3 Якимов СП К вопросу об изменчивости объектов виртуальной природы /СП Якимов, Д Н Сиземов // Материалы IV Всесибирского конгресса женщин-математиков (В день рождения Софьи Ковалевской) - Красноярск, 15-19 января 2006 г Под редакцией ГМ Рудаковой -Красноярск РИО СибГТУ, 2006 С 191-193

Прочие публикации.

4 Сиземов, Д Н Распределенная объектная модель нейронной сети / Д Н Сиземов, С П Якимов, Н А Степаненко // Студент и научно-технический прогресс Материалы ХЫ Международной научной студенческой конференции —Новосибирск НГУ, 2003 -С 12-13

5 Сиземов, Д Н Распределенная объектная модель нейронной сети / Д Н Сиземов, Н А Степаненко, С П Якимов, Л Д Якимова // Теоретические и прикладные вопросы современных информационных технологий Материалы IV Всероссийской научно-технической конференции -Улан-Удэ,2003 -С 85-87

6 Сиземов, Д Н Метод распределенной нейросетевой обработки, реализованный в проекте «Нейросервер» / Д Н Сиземов, Н А Степаненко, СП Якимов, ЛД Якимова // Красноярск, 2004. - 15 с (Рукопись деп в ВИНИТИ 10 06 2004, № 988-В2004)

7 Сиземов, Д Н Распределенная модель нейронной сети / Д Н Сиземов, Н А Степаненко, С П Якимов // Новые информационные технологии в исследовании сложных структур Материалы V Всероссийской конференция с международным участием - Иркутск, 2004 -С 91-97

8 Сиземов, Д Н Моделирование распределенных нейронных сетей, функционирующих в параллельной среде сети / ДН Сиземов, НА Степаненко, С П Якимов // Материалы Всероссийской научно-практической конференции "Лесной и химический комплексы проблемы и решения" - Красноярск, 2004 - С 63-68

9 Сиземов, ДН Распределенный нейроимитатор решение масштабных задач / Д Н Сиземов, С П Якимов, Н А Степаненко // Материалы IX Всероссийской научно-практической конференции "Проблемы информатизации региона" Т.2 - Красноярск ИПЦ КГТУ, 2005 -218 с, С 198-202

10 Сиземов, ДН Задача самоорганизации распределенного нейроимитатора / Д Н Сиземов, С П Якимов // Научная сессия МИФИ-2006 Сборник научных трудов VIII Всероссийской научно-технической конференции "Нейроинформатика-2006" Ч 1 - М МИФИ, 2006 - 236 с, С 104-110

11 Якимов СП К вопросу об изменчивости объектов виртуальной природы /СП Якимов, Д Н Сиземов, В В Гилев // Материалы IV Всесибирского конгресса женщин-математиков (В день рождения Софьи Ковалевской) Приложение к журналу "Открытое образование" -Красноярск, 15-19 января 2006 г Под редакцией ГМ Рудаковой -Красноярск- РИО СибГТУ, 2006 С 207-215

12 Сиземов, Д Н Об эффективности распараллеливания нейровычислений с использованием объектно-ориентированного подхода / Д Н Сиземов // Нейроинформатика и ее приложения Материалы XIV Всероссийского семинара - Красноярск, ИВМ СО РАН, 2006 - С 107109

13 Сиземов, ДН Концепция распределенного нейроимитатора на основе кластерных систем / ДН Сиземов // Распределенные и кластерные вычисления Избранные материалы V школы-семинара — Красноярск ИВМ СО РАН, 2007 -С 149-157

14 Сиземов, Д Н Методика описания структур распределенных нейронных сетей / Д Н Сиземов // Научная сессия МИФИ-2007 Сборник научных трудов IX Всероссийской научно-технической конференции «Нейроинформатика-2007» 4 3 -М МИФИ, 2007 -257 с, С 152-161

Сиземов Дмитрий Николаевич

Кластерное распараллеливание нейровычислений на основе объектного представления нейронных сетей

Автореферат диссертации

Подписано в печать «27» апреля 2007г Формат 60x84/16 Уел печ Л 1 25 Тираж 150 экз

Отпечатано в типографии «Экспресс-Офсет» 660062, Красноярск, ул Крупская, д, 42, оф 07 Лицензия на полиграфическую деятельность №002485 от 16 02 2001 г

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

Глава 1. Основные архитектуры и алгоритмы нейронных сетей и подходы к их распределённой реализации.

1.1 Устройство искусственного нейрона.

1.2 Виды искусственных нейронных сетей и задачи, решаемые при их помощи.

1.2.1 Персептроны.

1.2.2 Звезды Гроссберга.

1.2.3 Модель Липпмана-Хемминга и принцип \\ГГА.

1.2.4 Карты самоорганизации Кохонена.

1.2.5 Нейронная сеть встречного распространения (ВР).

1.2.6 Сети с обратными связями.

1.2.7 Ассоциативность памяти и задача распознавания образов.

1.2.8 Когнитрон: самоорганизующаяся многослойная нейросеть.

1.2.9 Неокогнитрон и инвариантное распознавание образов.

1.2.10 Принцип Адаптивного Резонанса. АРТ-нейросети.

1.4 Методы обучения нейронных сетей.

1.4.1 Основные сведения.

1.4.2 Концепции Хэбба. Правило обучения Хэбба.

1.4.3 Обучение персептрона.

1.4.4 Алгоритм обратного распространения.

1.4.5 Обучение Кохонена.

1.5 Современные решения в области распределённой реализации.

1.5.1 ШИ-технологии.

1.5.2 Проект нейросервера на основе гетерогенного кластера ЭВМ.

Выводы к главе 1.

Глава 2. Проект «Нейропараллель» подход к организации распределённых нейровычислений и сопутствующие вопросы.

2.1 Система распределённой нейроимитации «Нейропараллель»: концепция, методика, реализация.

2.1.1 Концептуальная основа проекта.

2.1.2 Архитектура системы.

2.1.3 Клиентская часть системы.

2.1.4 Серверная часть системы.

2.1.5 Область применения системы.

2.1.6 Методика описания структур распределённых нейронных сетей.

2.2 Исследование эффективности распараллеливания и самоорганизация распределённой нейросистемы.

2.2.1 Анализ эффективности распараллеливания нейровычислений. в зависимости от деталей его организации.

2.2.2 Формулировка и решение задачи самоорганизации системы.

Выводы к главе 2.

Глава 3. Концепция «динамического полиморфизма» и функциональная гибкость информационных систем.

3.1 Предпосылки.

3.2 Явление полиморфизма в ИТ и его виды.

3.3 Динамическое изменение функциональности объекта в ходе эксплуатации ПО.

3.4 Теоретическое представление принципа динамического полиморфизма .ИЗ

Выводы к главе 3.

Глава 4. Сравнительный анализ концепций, использованных в проекте «Нейропараллель» и стандарте нейрокомпьютера.

4.1 Представление формального нейрона и искусственной нейронной сети

4.2 (Укрупнённая) архитектура нейрокомпьютера.

4.2.1 Нейронная сеть и её элементы.

4.2.2 Задачник.

4.2.3 Исполнитель.

4.2.4 Предобработчик и интерпретатор.

4.2.5 Оценка.

4.2.6 Контрастер.

4.2.7 Учитель.

4.3 Методика описания структуры нейронной сети.

4.4 Пользовательский интерфейс и его уровень абстракции относительно системы.

4.5 Типизация данных и её избыточность.

Выводы к главе 4.

Глава 5. Экспериментальная эксплуатация системы «Нейропараллель» при решении прикладных задач.

5.1 Прогнозирование стоматологического статуса на этапах ортодонтического лечения с использованием слоистых нейронных сетей

5.2 Экспериментальное подтверждение эффективности распараллеливания

5.2.1 Первоначальная гипотеза об эффективности распараллеливания.

5.2.2 Методика оценки эффективности нейроимитатора и постановка эксперимента.

5.2.3 Анализ и интерпретация результатов.

Выводы к главе 5.

Актуальность темы

Множество прикладных задач на сегодняшний день могут быть решены с помощью искусственных нейронных сетей (нейроимитаторов). Использование обучаемой нейронной сети, как средства адаптивного поиска решения задачи, в ряде случаев (построение экспертных систем и классификаторов данных) способно конкурировать с прочими методами, давая удовлетворительные результаты при минимуме затрат [13].

К числу достоинств методов данной группы [12] можно отнести техническую универсальность решений, получаемых при их использовании, их гибкость, независимость от чёткости постановки задачи. К недостаткам же зачастую относят недостаток точности, специализированности, принципиальную неочевидность получаемых решений.

Также, одним из недостатков применения искусственных нейронных сетей в решении сегодняшних задач, является несоответствие явно параллельной архитектуры сети последовательной вычислительной архитектуре персональных ЭВМ, используемых в подавляющем большинстве случаев для их реализации. Следствием данного обстоятельства является существенная вычислительная сложность решения нейрозадач с помощью персональных компьютеров, в случаях, когда для получения решения необходимо использование нейронных сетей больших размеров (биометрическая аутентификация, сложные экспертные системы, в т.ч. медицинские, генные исследования и т.д.) [19, 20, 65, 73].

Современная теория нейроинформатики даёт достаточно конкретные рекомендации относительно выбора типа нейронной сети и её структуры, используя в качестве исходных данных, собственно, саму постановку задачи, для решения которой сеть строится [29]. Однако, непосредственно, прикладная часть решения остаётся за пределами теории, что создаёт некоторую неопределённость при алгоритмической реализации вычислительных моделей с использованием ЭВМ. Специально разработанные явно параллельные нейрокомпьютеры и прочие аппаратные решения [15, 72] позволяют устранить упомянутую проблему несоответствия архитектур, однако, на практике они используются крайне редко, по ряду причин, в числе которых не на последнем месте их высокая стоимость.

В данных обстоятельствах наиболее доступным можно считать такое решение проблемы, как распараллеливание задачи при помощи систем, использующих вычислительные ресурсы и пространство памяти одновременно нескольких персональных ЭВМ, объединённых в вычислительную сеть: многоцелевого кластера либо специализированной кластерной системы. Их различие, разумеется, основано на специализации по отношению к задаче. Очевидно, кластерные решения общего назначения, существующие на сегодня (MPI, PVM, и пр.) [71, 76], способны решать задачу распараллеливания вычислений, в т.ч. и в случае вычислений, производимых нейроимитаторами [16]. Однако, такие решения не будут давать высокой вычислительной производительности ввиду не специализированности.

Кроме того, принципы организации параллельного функционирования нескольких сегментов, используемые в многоцелевых решениях, зачастую не способны обеспечить динамическое (т.е. осуществляемое в процессе функционирования) масштабирование вычислительной системы, основанной на нейронной сети, что в действительности желаемо.

Таким образом, представляется актуальным создание распределённой вычислительной системы, некоторого универсального нейроимитатора, в общем случае, произвольно динамически масштабируемой на количество используемых в кластере ЭВМ. Разумеется, подобное решение не может быть реализовано без разработки соответствующей специализированной методики распараллеливания нейровычислений, основанной на выделении основных вычислительных узлов решающей системы и потоков передачи данных, протекающих между ними.

Организация и исследование параллелизма в вычислениях, осуществляемых нейроимитаторами, является малоизученным направлением в области информационных технологий и представляется многообещающим в свете обретающего в последнее время всё большие масштабы внедрения параллельных вычислений в различные прикладные области. Предположительно, наибольшего развития «нейропараллелизм уровня реализации» достигнет в некотором обозримом будущем, определяемом повсеместностью применения параллельных технологий. Таким образом, наибольшее применение, непосредственно, в настоящее время, данная разработка может найти в сфере образования, а также, в силу своей доступности, в здравоохранении и других малобюджетных отраслях.

Цель диссертации

Целью диссертационной работы является разработка методики, алгоритмического и программного обеспечения для распараллеливания нейровычислений, универсального по отношению к типам реализуемых нейронных сетей за счет динамической функциональной изменчивости, с использованием специализированных гетерогенных компьютерных кластеров, а также применение полученного решения в задачах здравоохранения.

Решаемые задачи

- Разработка объектно-ориентированного представления формального нейрона и искусственной нейронной сети.

- Разработка концепции распараллеливания нейровычислений на основе объектно-ориентированного подхода.

- Разработка методики реализации параллельных нейровычислений с произвольной степенью масштабируемости для гетерогенного кластера с использованием внешних СУБД.

- Разработка программного обеспечения для кластерного распараллеливания нейровычислений, универсального по отношению к типам нейронных сетей за счет динамической функциональной изменчивости.

- Исследование эффективности распараллеливания нейровычислений в зависимости от размеров реализуемых нейронных сетей на синтетических задачах и определение уровня вычислительной сложности, задающего эффективность распараллеливания.

- Проверка применимости полученного программного средства к решению реальных прикладных задач на примере задачи прогнозирования признаков стоматологического статуса человека.

Методы, используемые в исследовании

- системного анализа.

- объектно-ориентированного анализа.

- технологии структурного проектирования;

- технологии объектно-ориентированного проектирования,

- теории нейроинформатики.

- теории распределённых вычислений.

- теории реляционных баз данных.

Основные результаты работы

- Предложен объектно-ориентированный подход к модельному представлению и программной реализации искусственных нейронных сетей, обеспечивающий их динамическую функциональную изменчивость.

- Разработаны концепция распараллеливания нейровычислений на основе объектно-ориентированного представления нейронной сети и методика её реализации.

- Выполнено проектирование распределённого нейроимитатора, использующего распараллеливание, основанное на объектно-ориентированном представлении нейронной сети.

- Разработана методика описания распределённых нейронных сетей, основанная на реляционном представлении данных.

- Разработано прикладное программное решение для распределённой реализации искусственных нейронных сетей.

- Разработана методика определения зависимости скоростной (временной) эффективности распараллеливания нейровычислений от размерности моделируемых нейронных сетей.

- Эмпирически определена область эффективного распараллеливания нейровычислений в пространстве размерности нейронных сетей для экспериментального набора нейронных сетей.

- Решена задача выявления прогнозируемости стоматологического статуса пациентов на этапах ортодонтического лечения для малых выборок данных.

Научная новизна

- Предложен подход к представлению искусственных нейронных сетей с использованием объектно-ориентированных методов, позволяющий унифицировать описание нейронных сетей относительно их типов и решаемых ими задач, а также осуществлять распараллеливание в пределах специализированного компьютерного кластера.

- Разработана концепция распараллеливания вычислений, осуществляемых нейронными сетями, с использованием трёхзвенной архитектуры и методика её реализации в гетерогенных компьютерных кластерах.

- Получено описание зависимости эффективности распараллеливания нейровычислений от размерности распараллеливаемой нейронной сети, в окрестности условной точки ресурсной безубыточности распараллеливания.

- Выполнено экспериментально подтверждение гипотезы о прогнозируемости признаков стоматологического статуса по данным ранних наблюдений

На защиту выносятся

1. Концепция распараллеливания нейровычислений на основе объектно-ориентированного представления нейронных сетей.

2. Методика построения распределённого нейрокомпьютера, с использованием гетерогенного вычислительного кластера.

3. Методика описания распределённых нейронных сетей, ориентированная на хранение данных в БД.

4. Трехзвенная архитектура и подход к организации динамической функциональной изменчивости, реализованные в универсальной системе распределенной нейроимитации «Нейропараллель».

5. Определение точки ресурсной безубыточности распараллеливания в пространстве удельной вычислительной эффективности (производительности) и размерности нейронной сети.

Теоретическая значимость

Разработанные концепция представления нейронных сетей и методика распараллеливания позволяют оптимизировать распределение ресурсов при построении нейроимитаторов.

Методика определения эффективности распараллеливания нейровычислений может быть использована для получения предварительных оценок ресурсозатрат создаваемых решений.

Практическая значимость

Предлагаемый подход позволяет сократить время решения задач при использовании нейронных сетей большой размерности, за счёт чего может быть ускорено проведение вычислительных экспериментов и получение практических результатов.

Разработанное программное решение («Нейропараллель») внедрено и используется в учебном процессе (Красноярск, СибГТУ) и исследованиях, связанных с применением нейронных сетей больших размерностей.

Личный вклад автора

Основные результаты, представленные в данной работе, получены непосредственно автором, в частности:

- предложено объектно-ориентированное представление формального нейрона;

- разработана методика описания распределённых нейронных сетей в БД, а также технология реализации данной методики;

- разработана клиентская часть системы «Нейропараллель» и её интерфейс внешней обработки и хранения данных;

- разработаны критерий эффективности распараллеливания нейровычислений и методика эксперимента для её определения; под непосредственным руководством автора выполнена постановка серии экспериментов.

Апробация работы

Основные результаты и отдельные положения работы докладывались на Всероссийских семинарах «Нейроинформатика и её приложения» (Красноярск, 2004 - 2005); Всероссийской конференции «Проблемы информатизации региона» (Красноярск, 2005); Межрегиональной школе-семинаре «Распределённые и кластерные вычисления» (Красноярск, 2006); Всероссийской научно-практической конференции «Нйроинформатика-2006, 2007» (Москва); Всероссийской научно-практической конференции «Лесной и химический комплексы: проблемы и решения» (Красноярск, 2004); Всероссийской конференции с международным участием «Новые информационные технологии в исследовании сложных структур» (Иркутск, 2004); Всесибирском конгрессе женщин-математиков (Красноярск, 2006); Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2003).

Работа «Построение распределённого нейроимитатора с использованием явно параллельной архитектуры», выполненная при непосредственном участии автора в рамках настоящей диссертационной работы, отмечена дипломом Открытого конкурса на лучшую научную работу по естественным, техническим и гуманитарным наукам в Вузах Российской Федерации, проводимого Рязанской государственной радиотехнической академией в 2004 году.

Публикации

По основным результатам диссертационной работы издано 11 публикаций, в том числе 2 статьи в изданиях, включенных в список ВАК.

Структура и объём работы

Диссертация состоит из введения, трёх разделов, заключения и списка использованных источников литературы. Основное содержание работы изложено на 153 страницах текста, содержит 35 рисунков, 4 таблицы. Список использованных источников литературы содержит 78 наименований.

Выводы к главе 5

Экспериментальные испытания нейроимитатора «Нейропараллель» при решении реальных прикладных задач могут считаться успешными ввиду устойчивости решающего процесса и получения конечных решений реальной практической задачи. К сожалению, ввиду относительно простоты рассматриваемой задачи, процесс её решения не требует распараллеливания (по крайней мере, в части метода, используемого в системе «Нейропараллель»), и последнее, скорее, было бы ресурсно-убыточным. Однако вопрос эффективности распараллеливания нейровычислений выходит за рамки освещаемой темы.

В плане эффективности практически на всей протяжённости области проведённых экспериментальных исследований тем или иным способом распараллеленная система преобладает в над локальным вариантом, имитирующим непараллельный нейроимитатор. Таким образом, эффективность методики распараллеливания можно считать доказанной.

Также следует отметить не задействованные возможности рассматриваемой системы (и методики, реализуемой ей), потенциально скрывающие прирост эффективности. Прежде всего, все оценки эффективности в данной работе производились на примерах обучения нейронных сетей; этот процесс характерен двухэтапной загрузкой всех элементов нейронной сети (прямое срабатывание и обучение). Последнее, означает невозможность параллельного прохода через нейронную сеть нескольких векторов обучающей выборки. В случае с непосредственной обработкой выборки уже обученной нейронной сетью такая параллельность становится возможной, поскольку при этом, по прохождении вектора выборки через входной слой, тот уже не будет ничем задействован вплоть до подачи следующего вектора, а значит, может использоваться нейронной сетью для его незамедлительной обработки. Таким образом, открывается возможность организации в нейронной сети динамики, аналогично используемой в систолических матрицах [27], что предположительно, должно обеспечить прирост производительности.

Наконец, рассматриваемая версия системы далеко не является конечной и оставляет массу перспектив для алгоритмической оптимизации. Совершенствование методик обмена данными на различных уровнях также обеспечит скоростные преимущества над локальными нейроимитаторами.

ЗАКЛЮЧЕНИЕ

В настоящей работе реализован полный цикл действий, обуславливающих создание и реализацию подхода к распараллеливанию нейровычислений, универсального по отношению к типам нейронных сетей:

1. Выполнен обзор известных архитектур нейронных сетей и методов их обучения, в результате обобщения которых выявлены основные атрибуты универсального элемента нейронный сети.

2. Осуществлены теоретические и практические разработки, по реализации предложенного распараллеливающего подхода, а также исследование свойств параллелизма в его контексте.

3. Предложено и применено расширение концепции объектно-ориентированного проектирования, обеспечивающее динамическую функциональную изменчивость информационных систем - концепция динамического полиморфизма.

4. Выполнен сравнительный анализ используемого подхода к разработке нейрокомпьютера с подходом, предлагаемым стандартом нейрокомпьютера [30]; объяснена неприменимость стандарта для реализации распределённых нейросистем, удовлетворяющих заявленным в работе требованиям.

5. Осуществлено исследование производительности разработанной системы и её применение в решении задачи области здравоохранения.

В ходе диссертационной работы автором получены следующие научные результаты:

1. Предложено объектно-ориентированное представление формального нейрона и нейронной сети.

2. Предложена концепция распределённого функционирования нейронной сети.

3. Разработана методика распараллеливания вычислений, осуществляемых нейронными сетями.

4. Выполнена разработка универсальной системы организации распределённых нейровычислений «Нейропараллель», ориентированной на использование в типовых компьютерных классах.

5. Предложен способ оценки эффективности распараллеливания нейровычислений, а также выполнено экспериментальное определение точки её ресурсной безубыточности в пространстве размерности нейронных сетей.

Практическими результатами являются:

1. Определение области эффективного распараллеливания нейровычислений в пространстве размерности нейронных сетей для экспериментального набора нейронных сетей.

2. Решение задачи выявления прогнозируемости стоматологического статуса пациентов на этапах ортодонтического лечения для малых выборок данных.

Разработанное в ходе настоящей диссертационной работы решение (система распределённой нейроимитации «Нейропараллель») внедрено и используется в учебном процессе (Красноярск, СибГТУ) и исследованиях, связанных с применением нейронных сетей больших размерностей. Внедрение подтверждено актом (прилагается).

Дальнейшее развитие и использование предложенного подхода к распараллеливанию нейровычислений и системы «Нейропараллель» представляется перспективным, поскольку позволит, не прибегая к дорогостоящим средствам, существенно ускорить решение задач, требующих применения нейронных сетей больших размеров. К их числу, помимо ранее перечисленных задач, также могут относиться задачи всех классов при достаточной сложности аппроксимирования определяемых ими целевых функций.

1. Антонов, A.C. Введение в параллельные вычисления (методическое пособие) / A.C. Антонов М.: Изд-во Физического факультета МГУ, 2002 -70 с.

2. Бадд, Т. Объектно-ориентированное программирование в действии / Т. Бадд СПб.: Питер, 1997. - 464 с.

3. Банников, H.A. Объектно-ориентированные базы данных. (http://ooad.asf.ru/oobd/BD/Index.asp).

4. Барский, А.Б. Нейронные сети: распознавание, управление, принятие решений / А.Б. Барский М.: Финансы и статистика, 2004. - 176 с.

5. Богачев, К.Ю. Основы параллельного программирования / К.Ю. Богачев М.: «БИНОМ. Лаборатория знаний», 2003. - 342 с.

6. Брилюк, Д.В. Распознавание человека по изображению лица нейросетевыми методами / Д.В. Брилюк, В.В. Старовойтов. Минск, 2002. -54 с.

7. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++, 2-е изд. / Г. Буч., пер. с англ. М.: Издательство Бином, 1998. - 560 с.

8. Букатов, A.A. Программирование многопроцессорных вычислительных систем / A.A. Букатов, В.Н. Дацюк, А.И. Жегуло Ростов-на-Дону: Издательство ООО "ЦВВР", 2003 -208с.

9. Воеводин, Вл.В. Курс лекций «Параллельная обработка данных» / Вл.В. Воеводин (http://parallei.ru/parallel/vvv)

10. Воеводин, B.B. Параллельные вычисления / B.B. Воеводин, Вл.В. Воеводин СПб.: БХВ-Петербург, 2002 - 608 с.

11. Горбань, А.Н. Нейроинформатика / А.Н. Горбань, B.JI. Дунин-Барковский, А.Н. Кирдин и др. Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296 с.

12. Горбань, А.Н Нейронные сети на персональном компьютере / А. Н. Горбань, Д. А. Россиев. Новосибирск: Наука. Сибирская издательская фирма РАН, 1996.- 276 с.

13. Горбань, А.Н Обучение нейронных сетей / А.Н. Горбань М.: изд. СССР-США СП «Параграф», 1990 - 160 с.

14. Дитрих, Д. LON технология : построение распределенных приложений / Д. Дитрих, Д. Лой , Г. Ю. Швайнцер. Пер. с нем. - под ред. О.Б. Низамутдинова - Пермь: Звезда, 1999. - 424 с. ISBN 5-88187-052-2.

15. Жуков, JI.A. Формализация технологии применения нейронных сетей с учителем и особенности их использования для решения прикладных задач: Монография / JI.A. Жуков, Н.В. Решетникова Красноярск: ИПЦ КГТУ, 2005.- 168 с.

16. Жуков JI.A. Технология классификации с помощью нейронных сетей без учителя / JI.A. Жуков // Теоретические и прикладные вопросы современных информационных технологий. Материалы всероссийской конференции Улан-Уде: ВСГТУ, 2001. С. 40-47.

17. Иванов, А.И. Биометрическая идентификация личности по динамике подсознательных движений / А.И. Иванов. Пенза: Издательство Пензенского государственного университета, 2000. - 188 с.

18. Иванов, А.И. Симметризация искусственных нейронных сетей как путь ускорения их обучения / А.И. Иванов // Нейрокомпьютеры, разработка, применение 2001, № 3, С. 15-23.

19. Калинин, A.B. Технология нейросетевых распределённых вычислений: Монография / A.B. Калинин, C.JI. Подвальный Воронеж: Воронежский государственный технический университет, 2004. - 122 с.

20. Комарцова, Л.Г. Нейрокомпьютеры: Учеб. пособие для вузов. 2-е изд., перераб. и доп. / Л.Г. Комарцова, A.B. Максимов - М.: Изд-во МГТУ им Н.Э. Бамуана, 2004. - 400 с.

21. Коуд, П. Объектно-ориентированные модели. Стратегии, шаблоны и приложения / П. Коуд, Д. Норт, М. Мейфилд, пер.: П. Быстрое. М.: Лори, 1999.-434с.

22. Коннолли, Т. Базы данных. Проектирование, реализация и сопровождение. Теория и практика. Издание третье / Т. Коннолли, К. Бегг. -Вильяме, 2003. ISBN 5-8459-0527-3, 0-201-70857-4 1436 с.

23. Корнеев, В.Д. Параллельное программирование в MPI / В.Д. Корнеев -Новосибирск: Изд-во СО РАН, 2000 213 с.

24. Матричные процессоры на СБИС / С. Кун, Пер. с англ. М.: Мир, 1991. - 672с.

25. Миркес, Е.М. Нейроинформатика: Учебное пособие для студентов / Е.М. Миркес. Красноярск: ИПЦ КГТУ, 2002. 347 с.

26. Миркес, Е.М. Нейрокомпьютер. Проект стандарта / Е.М. Миркес. -Новосибирск: Наука, Сибирская издательская фирма РАН, 1998. 188 с.

27. Написание и использование DLL в различных средах (http://vvww.progz.ru/articles.php?issue=9).

28. Немнюгин, С. Параллельное программирование для многопроцессорных вычислительных систем / С. Немнюгин, О. Стесик СПб.: «БХВ-Петербург», 2002. - 400 с.

29. Пятковский, О.И. Построение интеллектуальных аналитических блоков с использованием продукционных и нейросетевых методов / О.И. Пятковский, Д.В. Рубцов, C.B. Бутаков // Алтайский государственный технический университет, Барнаул, 1998. УДК 519.8.

30. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечёткие системы / Д. Рутковская. Пер. с польск. И.Д. Рудинского. М.: Горячая линия-Телеком, 2006. 452 с.

31. Сахаров, П. Rational Rose, BPWin и другие аспект анализа бизнес-процессов / П. Сахаров // Директор ИС. Вып. 11. М., 2000.

32. Сиземов, Д.Н. Концепция распределённого нейроимитатора на основе кластерных систем / Д.Н. Сиземов // Распределенные и кластерные вычисления. Избранные материалы V школы-семинара. Красноярск: ИВМ СО РАН, 2007.-С. 149-157.

33. Сиземов, Д.Н. Методика описания структур распределённых нейронных сетей / Д.Н. Сиземов // Научная сессия МИФИ-2007. Сборник научных трудов IX Всероссийской научно-технической конференции «Нейроинформатика-2007». Ч.З. М.:МИФИ, 2007.-257 е., С. 152-161.

34. Сиземов, Д.Н. Распределенная объектная модель нейронной сети / Д.Н Сиземов, С.П. Якимов, H.A. Степаненко // Студент и научно-технический прогресс. Материалы XLI Международной научной студенческой конференции. Новосибирск: НГУ, 2003. - С. 12-13.

35. Страуструп, Б. Язык программирования С++. Специальное издание / Б. Страуструп, пер. с англ. М.: ООО Бином-Пресс, 2004. - 1104с.

36. Струченков, В.И. Методы оптимизации: Основы теории, задачи, обучающие компьютерные программы / В.И. Струченков М.: Экзамен, 2005.-255 с.

37. Теория нейронных сетей. Кн. 1: Учебное пособие для вузов / Общая ред. А. И. Галушкина. -М.: ИПРЖР, 2000.-416 с.

38. Уосермен, Ф. Нейрокомпьютерная техника: теория и практика / Ф. Уосермен, пер.: Ю.А. Зуев, В. А. Точенов. М.: Мир, 1985. - 294 с.

39. Хомич, А. В. Нейросервер Neurogenesis / А. В. Хомич // Нейроинформатика и ее приложения: материалы XIII Всероссийского семинара. Красноярск: ИВМ СО РАН, 2005. - с. 116-117.

40. Царегородцев, В.Г. Извлечение знаний из таблиц данных при помощи обучаемых и упрощаемых нейронных сетей: Дис. канд. техн. наук / В.Г. Царегородцев. Красноярск, 2000. 196 с.

41. Царегородцев, В.Г. Перспективы распараллеливания программ нейросетевого анализа и обработки данных // Материалы III Всерос. конф. «Математика, информатика, управление 2004». - Иркутск, 2004. - 6 с.

42. Червяков, Н.И. Модулярные параллельные вычислительные структуры нейро процессорных систем / Н.И. Червяков, П. А. Сахнюк, A.B. Шапошников, С. А. Ряднов; под. ред. Н.И. Червякова. М.: ФИЗМАТ ЛИТ, 2003.-288 с.

43. Шпаковский, Г.И. Программирование для многопроцессорных систем в стандарте MPI: Пособие / Г.И. Шпаковский, Н.В. Серикова Мн.: БГУ, 2002. -323 с. ISBN 985-445-727-3.

44. Bezroukov N. A Slightly Skeptical View on Scripting Languages / N. Bezroukov (http://www.softpanorama.org/Articles/aslightlyskeptical viewonscriptinglanguages.shtml).

45. B.J. van der Zwaag, L. Spaanenburg, and C. Slump (2002), "Analysis of neural networks in terms of domain functions," in Proceedings IEEE Benelux Signal Processing Symposium SPS-2002 (Leuven, Belgium, 21-22 March), pp. 237-240.

46. Bryliuk, D. Access control by face recognition using neural networks and negative samples / D. Bryliuk, V. Starovoitov // The 2nd International Conference on Artificial Intelligence, September 16-20, Crimea, Ukraine, 2002. pp. 428-436.

47. Dynamic-Link Libraries Microsoft Corporation, 2007. (http ://msdn2 .microsoft.com/en-us/library/ms682589.aspx).

48. FukushimaK. 1980. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition uneffected by shift in position. Biological Cybernetics 36(4): 193-202.

49. Golovko V., Gladyschuk V. Recirculation Neural Network Training for Image Processing // Advanced Computer Systems. 1999. - P. 73-78.

50. Gropp, W. Using MPI, 2nd Edition. Portable Parallel Programming with the Message Passing Interface / W. Gropp, E. Lusk and A. Skjellum. November 1999.-350 pp. ISBN-10: 0-262-57132-3, ISBN-13: 978-0-262-57132-6.

51. Gropp, W. Using MPI-2. Advanced Features of the Message Passing Interface W. Gropp, E. Lusk and R. Thakur. November 1999. - 382 pp. ISBN-10: 0-26257133-1, ISBN-13: 978-0-262-57133-3.

52. Kleiner, M. Patterns konkret: Patterns in modellgetriebenen Projekten durchgängig anwenden. Mit Delphi-, CLX- und C#-Beispielen / M. Kleiner, S. Rothen, B. Angerer November 2003. - 440 Seiten, CD, Softcover. ISBN: 978-3935042-46-8.

53. MPI: A Message-Passing Interface Standard / (c) 1993, 1994, 1995 University of Tennessee, Knoxville, Tennessee http://parallel.ru/docs/Parallel/mpi 1.1/mpi-report.html

54. NEURON С. Руководство для программиста: Пер. с англ. под ред. О.Б. Низамутдинова - Пермь, Пермский государственный технический университет, кафедра АСУб 2000. - 340 с.

55. Official Parallel Virtual Machine site (http://www.epm.ornl.gov/pvm/).

56. Orr, G. Neural Networks: tricks of the trade / G. Orr, К. Muller // Springer, 1998.

57. PVM: Parallel Virtual Machine. A Users' Guide and Tutorial for Networked Parallel Computing. The MIT Press Book Order Department, 55 Hay ward Street, Cambridge, MA 02142. Original in Paperback ISBN 0-262-57108-0.

58. Scripting: Higher Level Programming for the 21st Century / J.K. Ousterhout (http://home.pacbell.net/ouster/scripting.html).

59. Snir, M. MPI: The Complete Reference 2nd Edition, Volume 1 - The MPI Core / M. Snir, S. Otto, S. Huss-Lederman, D. Walker and J. Dongarra -September 1998. ISBN-10: 0-262-69215-5, ISBN-13: 978-0-262-69215-1.