автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели, алгоритмы и реализация нейронных сетей в многопроцессорных и распределенных вычислительных средах

На правах рукописи

4

К/

ПЛОТНИКОВА Наталья Павловна

МОДЕЛИ, АЛГОРИТМЫ И РЕАЛИЗАЦИЯ НЕЙРОННЫХ СЕТЕЙ В МНОГОПРОЦЕССОРНЫХ И РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СРЕДАХ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (в технике и технологиях)

Автореферат диссертации на соискание ученой степени кандидата технических наук

2 О ПАР 2314

005546092

ПЕНЗА 2014

005546092

Работа выполнена на кафедре автоматизированных систем обработки информации и управления Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Мордовский государственный университет им. Н. П. Огарева».

Научный руководитель - кандидат технических наук, профессор

Федосин Сергей Алексеевич

Официальные оппоненты: Прохоров Сергей Антонович,

доктор технических наук, профессор, ФГБОУ ВПО «Самарский государственный аэрокосмический университет им. академика С. П. Королева (национальный исследовательский университет)», заведующий кафедрой «Информационные системы и технологии» (г. Самара); Бабич Михаил Юрьевич, доктор технических наук, доцент, главный специалист ОАО «НПП "Рубин"» (г. Пенза)

Ведущая организация - ОАО «Пензенский научно-

исследовательский электротехнический институт»

Защита диссертации состоится 29 апреля 2014 года, в 14 часов, на заседании диссертационного совета Д 212.186.04 на базе Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Пензенский государственный университет» по адресу: г. Пенза, ул. Красная, д. 40.

Диссертация размещена на сайте Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Пензенский государственный университет»: Ьйр^/ваепсе. рпг§и.пл/Г11ез/Бс1епсе.pnzgu.ru/dissertaciya_plotniko voy_n_p_.pdf.

Автореферат разослан 13 марта 2014 года.

Ученый секретарь ^_ /'

диссертационного совета Косин ко в Юрий Николаевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В индустрии для обеспечения заданных свойств композиционных материалов, зависящих от состава сырья и параметров технологического процесса, в настоящее время широко применяются математические методы на основе нейросетевых технологий, так как для этого случая не существует тривиально программируемого алгоритма принятия решений. Хорошо зарекомендовавшим себя инструментом для решения данной задачи является многослойный персептрон. В процессе проектирования композитов постоянно растет объем данных для обучения многослойного персептрона. Процедура дополнительного обучения с использованием только лишь новых данных без наращивания объема обучающей выборки приводит к снижению точности результирующих вычислений. Единственный способ поддержания сети в актуальном для решения рассматриваемой задачи состоянии — циклическое обучение, которое приводит к значительному увеличению временных затрат. Ускорение процессов обучения и функционирования многослойного персептрона осуществляется посредством использования массивно-параллельных вычислительных систем.

Существует несколько подходов к распараллеливанию работы многослойного персептрона. Данный вопрос рассматривался в российских и зарубежных исследованиях (В. Г. Царегородцев, М. С. Герасименко, С. Д. Ионов, А. А. Краснощёков, А. В. Калинин, О. БЬег). Все они исходят из того, что наиболее ресурсоемким является не столько процесс функционирования сети, сколько процесс ее обучения. Основным подходом, используемым в исследованиях, является распараллеливание на уровне обучающей выборки, разбиение ее на несколько блоков. Согласно другому подходу элементарные вычислительные элементы сети (нейроны) организуются в группы. Шаги алгоритма обучения выполняются для каждой группы нейронов на отдельном вычислительном узле. И, наконец, существует подход, который сводится к эффективному распараллеливанию матричных операций в процессе обучения сети.

Реализация описанных подходов в современных системах моделирования имеет ряд недостатков. В частности, отсутствие обобщенной концепции массивно-параллельных вычислений в многопроцессорных и распределенных вычислительных средах, отсутствие эффективных распределенных алгоритмов обучения.

Многообещающим направлением исследований в области массивно-параллельных вычислений является применение асинхронной обработки данных. Данный подход позволяет максимально использовать вычислительные ресурсы, избегая затрат на синхронизацию между независимыми частями алгоритма. Ранее этот подход не применялся в процессе обучения многослойного персептрона из-за отсутствия адекватной асинхронной нейросетевой модели.

В области обучения искусственных нейронных сетей перспективным является применение алгоритмов обучения на базе методов глобальной оптимизации, поскольку они, как правило, содержат меньшее количество синхронных операций.

Постоянное обучение нейронной сети на новых данных требует повышенной отказоустойчивости, поскольку постоянный контроль работоспособности сети приводит к увеличению времени работы над задачей, а также требует более высокой квалификации специалистов. Повысить отказоустойчивость можно посредством применения специализированных средств. Однако в настоящее время не существует разработок по искусственным нейронным сетям, использующих подобные возможности и достигающих требуемого уровня отказоустойчивости.

Таким образом, актуальной научной задачей является разработка асинхронной модели многослойного персептрона и основанной на ней отказоустойчивой системы моделирования, позволяющей организовывать процессы обучения и функционирования искусственных нейронных сетей в любых многопроцессорных и распределенных вычислительных средах без дополнительных затрат на разработку модулей массивно-параллельных вычислений. Кроме того, актуальной является задача разработки асинхронного распределенного алгоритма обучения, позволяющего добиться максимально возможной минимизации ошибки нейронной сети и организовать распределенные вычисления для наибольшего числа шагов.

Цель диссертационной работы — разработка отказоустойчивой системы моделирования искусственных нейронных сетей, отличительной особенностью которой является возможность развертывания на любых многопроцессорных и распределенных ресурсах. Алгоритмы обучения и функционирования нейронной сети, реализованные в рамках системы, должны удовлетворять требованиям наискорейшей минимизации ошибки сети и максимизации количества шагов алгоритма, подлежащих выполнению в распределенной среде. Система должна обеспечивать решение ряда практических задач в области технологии производства композиционных материалов, в частности для строительной сферы.

Для достижения поставленных целей были решены следующие задачи:

— разработка асинхронной обобщенной модели искусственной нейронной сети, в которой общие и специальные функциональные блоки распределены между различными уровнями модели;

— разработка алгоритма взаимодействия уровней обобщенной модели искусственной нейронной сети, включающего частичную синхронизацию асинхронных операций;

— разработка асинхронного распределенного алгоритма обучения многослойной нейронной сети, основанного на методе глобальной оптимизации;

— выбор и обоснование специализированного средства разработки, позволяющего реализовать отказоустойчивую систему на базе разработанных обобщенной модели и алгоритмов;

— разработка на базе платформы Ег1ап^ОТР отказоустойчивой программной системы, в возможности которой входит проектирование произвольной многослойной нейронной сети для любых многопроцессорных и распределенных вычислительных сред;

— определение параметров производительности разработанной системы и точности выдаваемых ею результатов вычислений;

— апробация системы, применение ее для решения задачи проектирования композиционных материалов.

Объектом исследования диссертационной работы являются системы моделирования многослойных искусственных нейронных сетей.

Предмет исследования - математические модели, а также технические и архитектурные решения для построения эффективной системы моделирования многослойных нейронных сетей.

Методы исследования. Для решения поставленных задач использовались методы системного анализа, теории оптимизации, математической статистики, теории планирования эксперимента, теории искусственных нейронных сетей, функционального и массивно-параллельного программирования.

Научная новизна диссертационной работы состоит в следующем:

1) разработана обобщенная многоуровневая модель искусственной нейронной сети, отличающаяся распределением общих и специальных функциональных блоков между различными уровнями модели и использованием на этих уровнях асинхронных операций;

2) разработан алгоритм взаимодействия уровней обобщенной модели искусственной нейронной сети, особенностью которого является использование частичной синхронизации асинхронных операций;

3) разработан алгоритм обучения многослойной нейронной сети, основанный на методе глобальной оптимизации, отличающийся распределением вычислительных операций по функциональным блокам и введением асинхронного взаимодействия между ними;

4) предложена программная архитектура нейронной сети, отличающаяся максимальным использованием инструментов обеспечения отказоустойчивости платформы Ег1ап^ОТР.

Практическая ценность работы заключается в том, что предложенные модель и алгоритм реализованы в виде программной системы, позволяющей проводить исследования многослойной нейронной сети, а также решать практические задачи, в частности задачу проектирования композиционных материалов.

Достоверность и обоснованность результатов. Обоснованность применения асинхронной распределенной модели и предложенного алго-

ритма обучения многослойной нейронной сети подтверждается корректностью использования математического аппарата. Достоверность результатов исследования подтверждается соответствием результатов вычислительных экспериментов, проведенных в процессе исследования, и результатов лабораторных экспериментов на заводе-изготовителе, на основе которых проводилась проверка корректности предложенных решений.

Соответствие паспорту специальности. Работа соответствует пп. 4, 5, 10, 13 паспорта специальности ВАК 05.13.01 - Системный анализ, управление и обработка информации (в технике и технологиях).

На защиту выносятся:

1) асинхронная распределенная обобщенная многоуровневая модель искусственной нейронной сети;

2) алгоритм взаимодействия уровней обобщенной модели искусственной нейронной сети, включающий использование частичной синхронизации асинхронных операций;

3) асинхронный распределенный алгоритм обучения многослойной нейронной сети, основанный на методе глобальной оптимизации;

4) отказоустойчивая распределенная программная система моделирования искусственных нейронных сетей, созданная на базе платформы Ег1ап§/ОТР.

Внедрение результатов работы и связь с научными программами.

Диссертационные исследования проводились на кафедре «Автоматизированные системы обработки информации и управления» ФГБОУ ВПО «Мордовский государственный университет» (МГУ) при выполнении государственного контракта с Министерством образования и науки Российской Федерации от 11 октября 2011 г. № 14.527.12.0007, шифр «2011-2.7-527-026-006», по теме «Разработка и организация производства вибро-шумопоглощаю-щих материалов нового поколения для авто-, авиа-, судо-, вагоно-, машиностроения и строительства», при выполнении НИР «Совершенствование методов и алгоритмов резервного копирования и восстановления данных» № 01201277361, а также при выполнении НИОКР «Универсализация, совершенствование и тестирование автоматизированной системы проектирования композиционных материалов» (программа «УМНИК» Фонда содействия развитию малых форм предприятий в научно-технической сфере).

Результаты работы используются на ООО «Завод герметизирующих материалов» (г. Дзержинск), что подтверждено актом о внедрении.

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих научно-технических конференциях: ежегодной научной конференции «Огаревские чтения» (Саранск, 2010, 2011, 2012, 2013); III Международной научной конференции «Проблемы управления, обработки и передачи информации (АТМ-2013)» (Саратов, 2013); IX Международной научно-практической конференции «Наука в инфор-

мационном пространстве» (Киев, 2013); Международной конференции «CISSE» (Bridgeport, 2013).

Публикации. По теме диссертации опубликовано 13 печатных работ, в том числе 3 - в журналах, рекомендованных ВАК РФ. Получено одно свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 136 наименований и приложения. Объем работы - 137 страниц основного текста, включающего 62 рисунка и 11 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации; сформулированы цели и задачи исследования; отражены научная новизна работы и практическая значимость; перечислены методы исследования; приведены положения, выносимые на защиту.

В первой главе проводится анализ результатов исследований в области высокопроизводительных вычислений применительно к искусственным нейронным сетям. Дается сравнительная характеристика ряда существующих систем моделирования многослойных искусственных нейронных сетей, таких как MATLAB Neural Networks Toolbox, NeuroSolutions и др. Описывается модель акторов как основа разработки моделей параллельных вычислений. Обосновывается применение платформы Erlang/OTP, на базе которой проводятся дальнейшие исследования.

Платформа Erlang/OTP - это программное окружение для разработки распределенных высокопроизводительных отказоустойчивых систем реального времени, реализованное на функциональном языке Erlang.

Дисциплина программирования на Erlang позволяет сократить количество ошибок в процессе разработки программ, а следовательно, и время отладки. В связи с этим повышается надежность систем, разрабатываемых на Erlang.

Основу Erlang/OTP составляет реализация модели акторов в связке с инструментами обеспечения отказоустойчивости, такими как дерево супервизоров.

Таким образом, итогом первой главы является выбор и обоснование инструмента исследования, а также основных подходов, применяемых в процессе построения моделей.

Во второй главе описываются обобщенная многоуровневая модель искусственной нейронной сети (ИНС), алгоритмы взаимодействия в рамках модели, а также предлагается архитектура системы моделирования многослойных ИНС, построенная на базе концепций модели акторов.

Обобщенная модель включает три уровня абстракций. Первый уровень (НЕЙРОН) инкапсулирует функции элементарных вычислителей ис-

кусственной нейронной сети — формальных нейронов. Второй (МСП) -уровень модели искусственной нейронной сети - реализует функции конкретного вида нейронной сети (в данной работе многослойный персеп-трон). Третий уровень (ОНС) - обобщенная нейронная сеть - управляющий уровень, отвечающий за инициализацию и запуск основных функциональных элементов системы.

Основные функциональные блоки, отвечающие за обучение нейронной сети, а также за обработку сетью данных, реализованы на уровнях МСП и НЕЙРОН. В качестве алгоритма обучения многослойного персеп-трона выбран градиентный алгоритм «упругого» обратного распространения ошибки, включающий большое количество синхронных операций, что в свою очередь может служить хорошим показателем качества асинхронной распределенной модели обучения искусственной нейронной сети.

Взаимодействие уровней МСП и НЕЙРОН изображено на рисунке 1.

Как видно, только 30 % операций, выполняемых в процессе обучения нейронной сети, может бьггь выполнено параллельно. Остальные операции выполняются параллельно лишь в пределах одного слоя.

Ряд авторов утверждают, что использование в качестве базовых элементов модели столь мелких вычислителей — нейронов - может привести к снижению производительности при увеличении размеров сети. Более эффективным считается подход, в основе которого лежит объединение групп нейронов в более крупные вычислительные блоки.

С целью сравнения двух указанных подходов описанная выше модель была дополнена промежуточным уровнем абстракции (ДИСПЕТЧЕР)— уровнем диспетчеризации, который является связующим звеном между уровнями МСП и НЕЙРОН. Обмен сообщениями между нейронами осуществляется только через процессы диспетчеров, а не напрямую, как это осуществляется в описанной выше обобщенной модели многослойного персептрона. Взаимодействие уровней абстракции МСП, ДИСПЕТЧЕР и НЕЙРОН в процессе обучения многослойного персептрона изображено на рисунке 2.

Описанные модели реализуют частично синхронный алгоритм обучения многослойного персептрона, что не позволяет в полной мере использовать преимущества распределенных вычислений. Поэтому на базе распределенной акторной модели был реализован новый алгоритм обучения, основанный на методе глобальной оптимизации, называемом гравитационным поиском. Данный метод хорошо зарекомендовал себя при решении задач оптимизации, схожих с задачами, решаемыми в процессе обучения нейронной сети, однако для непосредственного применения в обучении требуется его модификация.

Рисунок 1 - Асинхронная распределенная модель многослойного персептрона (алгоритм «упругого» обратного распространения)

Рисунок 2 - Асинхронная распределенная модель многослойного персептрона с диспетчеризацией (алгоритм «упругого» обратного распространения)

Основные шаги предложенного алгоритма обучения приведены ниже: 1 Генерация совокупности наборов возможных весовых коэффициентов входных связей для каждого нейрона сети

* = О)

где si = = (и*}, ..., и»")| 1; М- количество наборов; N - количество

нейронов сети; Wj - вектор весовых коэффициентов входных связей7-го нейрона сети; и - количество нейронов, связанных по входу с у-м нейроном.

2 Расчет значения функции ошибки сети для каждого набора возможных весовых коэффициентов:

(2)

где К - количество выходов сети; Р - размер обучающей выборки; У] - фактическое значение нау-м выходе сети, полученное при использовании /-го набора весовых коэффициентов; с^/ — желаемое значение на у'-м выходе сети, соответствующее 1-й паре обучающей выборки.

3 Расчет текущего значения величины

= (3)

где С0 - начальное значение; а - случайная величина, равномерно распределенная на интервале (0; 1); Г - номер текущей эпохи обучения.

4 Расчет величины

,ч Д,- - тах щ -£у

где = —--—5-!-7Г- (5>

тШ7е{1.....М)^~таХМ1.....

5 Расчет набора векторов:

мадй, (6)

и

F9U) = GO) )-„,(,)), (7)

где ^ — вектор случайных величин, равномерно распределенных на интервале (0; 1); е - случайная величина, равномерно распределенная на интервале (0; 1).

6 Расчет величин корректировок весовых коэффициентов для каждого набора:

Aw = {Aw,.(i + l)}^, (8)

щи+1)=(?!, <=п)т (9)

где (qj,...,qn) — вектор случайных величин, равномерно распределенных на интервале (0; 1); * — операция покомпонентного умножения векторов.

7 Обновление значений весовых коэффициентов для каждого набора

wi0 + l) = H',(0 + Aw,(i + l). (10)

8 Выполнение шагов 2-7 до выполнения одного из критериев останова: превышение заданного количества эпох, достижение желаемого значения функции ошибки для одного из наборов весовых коэффициентов.

Предложенная модификация акторной модели многослойной нейронной сети, реализующая алгоритм гравитационного поиска, приведена на рисунке 3.

Вычисления, связанные с алгоритмом гравитационного поиска, практически не привязаны к слоям нейронной сети. Приблизительно 70 % операций предложенного алгоритма обучения может быть выполнено параллельно.

Архитектура программной системы, реализующей описанные алгоритмы, во многом совпадает с приведенной многоуровневой моделью нейронной сети.

Каждому уровню соответствует один (ОНС и МСП) или более (НЕЙРОН) акторов. Каждый актор реализован в виде модели поведения Erlang/OTP обобщенный сервер и в рамках системы запускается как отдельный легковесный процесс виртуальной машины Erlang. Для повышения отказоустойчивости в общей иерархии уровней используются элементы дерева супервизоров платформы Erlang/OTP.

HS

о

X >>

о s №

Третья глава посвящена анализу результатов тестирования реализованных моделей.

Тестирование проводилось в многопроцессорных и распределенных средах четырех видов:

1) система с общей памятью на базе высокопроизводительного вычислительного кластера;

2) распределенная система на базе высокопроизводительного вычислительного кластера;

3) распределенная система на базе локальной вычислительной сети;

4) гибридная система на базе локальной вычислительной сети.

Вычислительный кластер, используемый в исследовании, представляет собой высокопроизводительный кластер ЮМ ЕЛаёеСепгег Ш22, в состав которого входит три блейд-сервера. Блейд-сервер - компьютерный сервер с компонентами, вынесенными и обобщенными в корзине для уменьшения занимаемого пространства. Корзина - шасси для блейд-серверов, предоставляющая им доступ к общим компонентам, а именно блокам питания и сетевым контроллерам. Связь между блейд-серверами осуществляется посредством высокоскоростной шины обмена данными, поддерживающей скорость передачи до 16 Гбит/с.

Система с общей памятью была реализована в виде виртуальной машины с характеристиками, приведенными в таблице 1.

Таблица 1 - Характеристики виртуальной машины, реализующей систему с общей памятью

Оперативная память 2ГБ

Процессор 1 процессор, 8 ядер

Операционная система CentOS 6.4 Linux 2.6.32 - 279.el6.x86 64

Версия программного обеспечения Erlang R15B01 (erts- 5.9.1)

Для реализации распределенной системы на базе вычислительного кластера было создано 15 виртуальных машин (из расчета пять машин на один блейд-сервер). Характеристики каждой виртуальной машины приведены в таблице 2.

Таблица 2 - Характеристики виртуальных машин, реализующих распределенную систему на базе вычислительного кластера ШМ, а также виртуальных машин, реализующих распределенную систему на базе локальной вычислительной сети

Оперативная память 2ГБ

Процессор 1 процессор, 1 ядро

Операционная система CentOS 6.4 Linux 2.6.32 -279.el6.x86 64

Версия программного обеспечения Erlang R15B01 (erts-5.9.1)

Для реализации распределенной системы на базе локальной вычислительной сети использовалось 15 компьютеров, объединенных в сеть со скоростью передачи данных между узлами 100 Мбит/с. На каждой машине было установлено программное обеспечение Oracle VirtualBox 4.2.16 r86992.

На его базе были созданы виртуальные машины с характеристиками, также приведенными в таблице 2.

Гибридная система строилась с использованием системы с распределенной памятью на базе локальной вычислительной сети посредством увеличения количества ядер процессоров всех виртуальных машин.

Характеристики архитектуры многослойной нейронной сети, на которой проводились исследования, приведены в таблице 3.

Таблица 3 - Характеристики предмета исследования

Архитектура многослойного персептрона Структура слоев: N входов, один скрытый слой с количеством нейронов М, один выход Активационная функция скрытого слоя: сигмоидальная Активационная функция выходного нейрона: линейная 100 <N<1000

Характеристики обучающей выборки Объем: Мпар, 10<Л/<50 Особенности: бинарные данные

Подобная архитектура обусловлена в первую очередь двумя фактами из теории нейронных сетей:

— трехслойный персептрон с достаточным количеством нейронов может решить любую задачу, решаемую в общем случае произвольным многослойным персептроном;

— количество нейронов скрытого слоя не должно быть меньше количества входов сети.

В качестве основных критериев производительности использовались два параметра: среднее время обучения многослойной нейронной сети (количество миллисекунд, затраченное на одну эпоху обучения) и относительное ускорение (отношение среднего времени обучения на одном вычислительном узле или ядре к среднему времени обучения при использовании заданного количества вычислительных ресурсов).

Основные результаты вычислительных экспериментов для гибридной системы и трех рассмотренных выше моделей нейронной сети приведены в виде графиков на рисунках 4-6.

Исследования показали, что модель без диспетчеризации эффективней, чем модель с диспетчеризацией. Только в ряде случаев для сетей порядка 401 нейрона модель без диспетчеризации работает медленней (в среднем в 1,2 раза). Для сетей в 801-1201 нейрон модель с диспетчеризацией при тестировании на распределенных системах с большим количеством вычислительных узлов (15) показывает примерно такие же результаты, как и модель без диспетчеризации. Для сетей от 1601 нейрона модель без диспетчеризации начинает стабильно работать быстрее (в среднем в 6,6 раза).

Рисунок 4 — Зависимость среднего времени обучения многослойного персептрона от количества вычислительных узлов для акторной модели с диспетчеризацией на гибридной системе (4 ядра); алгоритм «упругого» обратного распространения

Рисунок 5 - Зависимость среднего времени обучения многослойного персептрона от количества вычислительных узлов для акторной модели без диспетчеризации на гибридной системе (4 ядра); алгоритм «упругого» обратного распространения

Рисунок б — Зависимость среднего времени обучения многослойного персептрона от количества вычислительных узлов для акторной модели без диспетчеризации на гибридной системе (4 ядра); алгоритм гравитационного поиска

Модель, реализующая алгоритм гравитационного поиска, показывает хорошую динамику роста эффективности с ростом количества вычислительных ресурсов для нейронных сетей любых размеров. В частности, на 15 узлах гибридной системы данная модель работает в среднем в 10 раз быстрее, чем на одном узле.

В четвертой главе описывается применение разработанной системы моделирования искусственных нейронных сетей для решения задачи проектирования композиционных материалов.

Проектирование композиционных материалов - отдельная сфера исследований. Меняя составляющие компоненты, их соотношение, технологию изготовления состава, можно получать материалы с различным сочетанием эксплуатационных и технологических свойств.

Разработанная система моделирования искусственных нейронных сетей применялась для решения двух видов задач:

^прогнозирование свойств композиционного материала для различных значений характеристик составляющих его частей;

2) прогнозирование свойств композиционного материала для различных значений параметров технологии получения смеси.

Обучение нейронных сетей проводилось на основе экспериментальных данных исследовательской лаборатории ООО «Завод герметизирующих материалов» (г. Дзержинск).

К задачам первого вида относится определение зависимости пенет-рации композиционного материала от свойств матрицы (основной части

композиционного материала, представляющей собой смесь следующего состава: БК 1675Н, СКЭПТ-40, масло И-20А), наполнителя (тальк, асбест или графит), а тахже доли наполнителя в материале. На входы многослойного персептрона подавались значения пенетрации и адгезии матрицы, коэффициент потерь и плотность наполнителя, а также процентное содержание наполнителя в составе композита. С целью повышения эффективности вычислительного процесса все входные данные переводились в двоичную систему счисления. В результате на выходе нейронной сети формировалось значение пенетрации композиционного материала. Результаты работы сети для наполнителя асбест представлены на рисунке 7.

Рисунок 7 — Результат определения зависимости пенетрации композиционного материала от доли наполнителя асбест

К задачам второго вида относится определение зависимости свойств пенообразователя «Биопор» от особенностей процесса его изготовления. Основу получения пенообразователя составляет гидролиз мицелиальных остатков микробиологической промышленности (мицелия) раствором ИаОН. Наиболее важными свойствами, характеризующими полученный пенообразователь, являются кратность и стабильность пены. С помощью системы моделирования искусственных нейронных сетей была получена зависимость кратности не нейтрализованного раствора пенообразователя от времени гидролиза и объема ЫаОН. Аналогично все входные данные (время гидролиза и объем ЫаОН) переводились в двоичную систему счисления и подавались на входы нейронной сети. На выходе формировалось значение кратности. Результаты работы сети представлены на рисунке 8.

На приведенных графиках линии соответствуют расчетным данным, выданным нейронной сетью, а точки - экспериментальным, полученным в лаборатории. Как видно, результаты, полученные с помощью разработанной системы моделирования, хорошо согласуются с экспериментальными данными. Относительная ошибка по результатам всех проведенных расчетов не превышает 3 %.

Рисунок 8 — Зависимость кратности не нейтрализованного раствора пенообразователя от объема ЫаОН

В заключении формулируются основные результаты диссертационной работы.

Приложение содержит акт о внедрении результатов исследования на ООО «Завод герметизирующих материалов» (г. Дзержинск).

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ ПО РАБОТЕ

В ходе теоретических и экспериментальных исследований, выполненных в диссертационной работе, были получены следующие научные и практические результаты.

1 Разработана акторная асинхронная обобщенная модель искусственной нейронной сети, в которой общие и специальные функциональные блоки распределены между различными уровнями модели. Предложенная модель является универсальной и может быть расширена практически для любого вида многослойных нейронных сетей.

2 Разработан алгоритм взаимодействия уровней обобщенной модели искусственной нейронной сети, включающий частичную синхронизацию асинхронных операций.

3 Разработан асинхронный распределенный алгоритм обучения многослойной нейронной сети, основанный на методе глобальной оптимизации - алгоритме гравитационного поиска.

4 На основе предложенных модели и алгоритма разработана отказоустойчивая программная система, в возможности которой входит моделирование произвольной многослойной нейронной сети для любых многопроцессорных и распределенных сред. Отказоустойчивость системы достигается посредством использования особенностей дисциплины разработки на платформе Ег1ап^ОТР.

5 Проведено исследование разработанной системы моделирования искусственных нейронных сетей, получены зависимости скорости обучения и ускорения, даваемого системой при использовании различного ко-

личества вычислительных узлов. Показана эффективность предложенных обобщенной модели нейронной сети и алгоритма обучения. Обобщенная модель, реализованная в рамках системы, позволяет получить 6-кратное ускорение, а использование эффективно распараллеливаемого алгоритма на максимально доступном количестве узлов - 10-кратное ускорение.

6 На основе проведенных исследований выполнена апробация работы. Разработанная система была применена для решения задачи проектирования композиционных материалов и позволила сократить время проектирования на 41 % за счет уменьшения времени обучения нейронной сети, а также за счет сокращения времени, затрачиваемого на лабораторный эксперимент. Относительная ошибка по результатам всех проведенных расчетов не превышает 3 %.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в изданиях, рекомендованных ВАК РФ

1 Плотникова, Н. П. Анализ производительности распределенной асинхронной модели многослойного персептрона, построенной на базе платформы Ег1ап§/ОТР / Н. П. Плотникова, В. Г. Казаков, С. А. Федосин // Прикаспийский журнал: управление и высокие технологии. — 2013. — № 4. - С. 86-93.

2 Плотникова, Н. П. Построение параллельной модели многослойного персептрона / Н. П. Плотникова, В. Г. Казаков, В. В. Тесля, С. А. Федосин//ИКТ,-2012.-Т. 10, №3.-С. 8-15.

3 Плотникова, Н. П. Способ адаптивной дедупликации с применением многоуровневого индекса размещения копируемых блоков данных / В. Г. Казаков, С. А. Федосин, Н. П. Плотникова // Фундаментальные исследования.-2013.-№ 8 (ч. 6).-С. 1322-1325.

Публикации в других изданиях

4 Плотникова, Н. П. Обобщенная асинхронная архитектура системы моделирования искусственных нейронных сетей на примере многослойного персептрона и рекуррентной сети Элмана / Н. П. Плотникова, С. А. Федосин // Проблемы управления, обработки и передачи информации (АТМ-2013) : сб. тр. III Междунар. науч. конф. : в 2 т. - Саратов, 2013. -Т. 2. - С. 200-202.

5 Плотникова, Н. П. Организация распределенной асинхронной системы вычислений с диспетчеризацией, реализующей обучение и функционирование многослойного персептрона, на базе Ег1ап^ОТР / Н. П. Плотникова, С. А. Федосин // Наука в шформацшному простор! : матер^али IX М1жнар. наук.-практ. конф., 10-11 жовт. 2013 р. : у 8 т. - Днш-ропетровськ : Бша К. О., 2013. - Т. 3. Техшчш науки. - С. 77-79.

6 Плотникова, Н. П. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 1. Стратегии выявления зависимостей между свойствами ком-

позиционных материалов и их составом / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Актуальные вопросы строительства : материалы седьмой Междунар. науч.-техн. конф. - Саранск : Изд-во Мор-дов. ун-та, 2008. - С. 254-256.

7 Плотникова, Н. П. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 2. Выбор архитектуры и алгоритма обучения многослойной нейронной сети при решении различных задач / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Вестник Волжского регионального отделения РААСН. - Н.Новгород : ННГАСУ, 2009. - Вып. 12. -С. 128-139.

8 Плотникова, Н. П. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 3. Определение оптимального количества экспериментов для обучения нейронной сети / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Вестник Волжского регионального отделения РААСН. -Н. Новгород : ННГАСУ, 2009. - Вып. 12. - С. 119-128.

9 Плотникова, Н. П. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 4. Сравнение результатов работы нейронной сети и регрессионного анализа / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Актуальные вопросы строительства : материалы седьмой Междунар. науч.-техн. конф. - Саранск : Изд-во Мордов. ун-та, 2008. -С. 279-291.

10 Плотникова, Н. П. Прогнозирование в цепочке струюура-техноло-гия-свойства композиционных материалов с помощью нейронной сети. Сообщение 5. Применение нейронной сети для определения оптимального состава матрицы композиционного материала / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Актуальные вопросы строительства : материалы седьмой Междунар. науч.-техн. конф. - Саранск : Изд-во Мордов. ун-та, 2008. - С. 291-295.

11 Плотникова, Н. П. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 6. Применение нейронной сети для прогнозирования свойств композиционных материалов / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Вестник Волжского регионального отделения РААСН. - Н. Новгород : ННГАСУ, 2009. - Вып. 12. - С. 114-119.

12 Плотникова, Н. П. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 7. Применение нейронной сети для определения зависимости свойств пенообразователя от технологии его изготовления / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова// Вестник отделения архитектуры и строительных наук. - Москва; Орел : РААСН, АСИ Орел-ГТУ, 2009. - Вып. 13, Т. 2. - С. 114-119.

13 Плотникова, Н. П. Прогнозирование в цепочке структура-технология-свойства композиционных материалов с помощью нейронной сети. Сообщение 8. Применение программного продукта «Кеигосотровке» для решения задач прогнозирования свойств композиционных материалов / В. Д. Черкасов, Ю. В. Юркин, А. Р. Невлютов, Н. П. Плотникова // Актуальные вопросы строительства : материалы седьмой Междунар. науч.-техн. конф. - Саранск : Изд-во Мордов. ун-та, 2008. - С. 305-314.

14 Свидетельство о государственной регистрации программы для ЭВМ № 2013613714. Программа моделирования работы искусственных нейронных сетей / Н. П. Плотникова, В. В. Тесля, С. А. Федосин. - Зарегистрировано в реестре программ для ЭВМ Федеральной службы по интеллектуальной собственности, патентам и товарным знакам РФ 26.02.2013 г.

Зарегистрированные программы

Научное издание

ПЛОТНИКОВА Наталья Павловна

Модели, алгоритмы и реализация нейронных сетей в многопроцессорных и распределенных вычислительных средах

Специальность 05.13.01 - Системный анализ, управление и обработка информации (в технике и технологиях)

Редактор Н. А. Сиделъникова Технический редактор Н. В. Иванова Компьютерная верстка Н. В. Ивановой

Распоряжение № 3/41 от 27.02.2014. Подписано в печать 27.02.2014. Формат 60x841/16. Усл. печ. л. 1,16. Заказ № 161. Тираж 100.

Издательство ПТУ. 440026, Пенза, Красная, 40. Тел./факс: (8412) 56-47-33; e-mail: iic@pnzgu.ru

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ

УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ МОРДОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИМ. Н. П. ОГАРЕВА

На правах рукописи

042014 57241

ПЛОТНИКОВА Наталья Павловна

МОДЕЛИ, АЛГОРИТМЫ И РЕАЛИЗАЦИЯ НЕЙРОННЫХ СЕТЕЙ В МНОГОПРОЦЕССОРНЫХ И РАСПРЕДЕЛЕННЫХ ВЫЧИСЛИТЕЛЬНЫХ СРЕДАХ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (в технике и технологиях)

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель: к. т. н., профессор Федосин С. А.

САРАНСК 2014

>

Оглавление

Введение 5

1 Искусственные нейронные сети и массивно-параллельные вычисления 13

1.1 Современное состояние науки в области исследования искусственных нейронных сетей и массивно-параллельных вычислений...................................................................... 13

1.2 Анализ имеющихся средств моделирования искусственных нейронных сетей............................................................... 17

1.3 Модель акторов.......................................................... 22

1.4 Язык программирования Erlang и фреймворк ОТР............... 24

1.5 Выводы по первой главе................................................ 30

2 Асинхронная распределенная модель многослойной нейронной сети 32

2.1 Обобщенная многоуровневая модель многослойной нейронной сети................................................................ 32

2.2 Обоснование выбора алгоритма «упругого» обратного распространения ошибки (RPROP)........................................ 34

2.3 Асинхронная распределенная модель многослойной нейронной сети (алгоритм обучения RPROP)........................... 37

2.4 Асинхронная распределенная модель многослойной нейронной сети с диспетчеризацией (алгоритм обучения RPROP) 41

2.5 Применение метода гравитационного поиска для обучения многослойного персептрона................................................. 44

2.6 Асинхронная распределенная модель многослойной нейронной сети (алгоритм обучения на основе метода гравитационного поиска).................................................... 47

2.7 Архитектура программной системы моделирования искусственных нейронных сетей.......................................... 50

2.8 Выводы по второй главе................................................ 54

3 Тестирование разработанной системы моделирования искусственных нейронных сетей 56

3.1 Условия, средства и критерии тестирования...................... 56

3.2 Результаты исследования зависимости среднего времени обучения от объема обучающей выборки.............................. 63

3.3 Результаты тестирования асинхронной распределенной модели многослойной нейронной сети (алгоритм обучения ЯРШР)........................................................................... 65

3.4 Результаты тестирования асинхронной распределенной модели многослойной нейронной сети с диспетчеризацией (алгоритм обучения КРЯОР)................................................ 75

3.5 Сравнение результатов тестирования моделей с диспетчеризацией и без диспетчеризации.............................. 85

3.6 Результаты исследование зависимости среднего времени обучения от количества наборов весовых коэффициентов в алгоритме гравитационного поиска....................................... 88

3.7 Результаты тестирования асинхронной распределенной модели многослойной нейронной сети (алгоритм гравитационного поиска).................................................... 89

3.8 Сравнение результатов тестирования моделей без диспетчеризации для алгоритмов КРЯОР и гравитационного поиска............................................................................ 98

3.9 Выводы по третьей главе............................................... 99

4 Применение разработанной системы для решения задачи проектирования композиционных материалов 101

4.1 Постановка задачи проектирования композиционных материалов...................................................................... 101

4.2 Архитектура нейронных сетей, используемых для решения задач проектирования композиционных материалов.................. 103

4.3 Результаты применения разработанной системы для решения задачи проектирования композиционных материалов.................. 104

4.4 Выводы по четвертой главе.............................................. 113

Заключение 115

Список принятых сокращений 117

Словарь терминов 118

Список литературы 123

Приложения 136

А Акт о внедрении результатов исследования на ООО «Завод

герметизирующих материалов», г. Дзержинск........................... 136

Введение

Актуальность темы. В индустрии для обеспечения заданных свойств композиционных материалов, зависящих от состава сырья и параметров технологического процесса, в настоящее время широко применяются математические методы на основе нейросетевых технологий, так как для этого случая не существует тривиально программируемого алгоритма принятия решений. Хорошо зарекомендовавшим себя инструментом для решения данной задачи является многослойный персептрон. В процессе проектирования композитов постоянно растет объем данных для обучения многослойного персептрона. Процедура дополнительного обучения с использованием только лишь новых данных без наращивания обучающей выборки приводит к снижению точности результирующих вычислений. Единственный способ поддержания сети в актуальном для решения рассматриваемой задачи состоянии - циклическое обучение, которое приводит к значительному увеличению временных затрат. Ускорение процессов обучения и функционирования многослойного персептрона осуществляется посредством использования массивно-параллельных вычислительных систем.

Существует несколько подходов к распараллеливанию работы многослойного персептрона. Данный вопрос рассматривался в российских и зарубежных исследованиях (В. Г. Царегородцев, М. С. Герасименко, С. Д. Ионов, А. А. Краснощёкое, А. В. Калинин, О. БЬег) [14, 28-30, 42, 71, 128, 132]. Все они исходят из того, что наиболее ресурсоемким является не столько процесс функционирования сети, сколько процесс ее обучения. Основным подходом, используемым в исследованиях, является распараллеливание на уровне обучающей выборки, которая разбивается на несколько блоков. Согласно другому подходу элементарные вычислительные элементы сети (нейроны) организуются в группы. Шаги алгоритма обучения выполняются для каждой группы нейронов на отдельном вычислительном узле. И, наконец, существует подход, который

сводится к эффективному распараллеливанию матричных операций в процессе обучения сети.

Реализация описанных подходов в современных системах моделирования имеет ряд недостатков. В частности, отсутствие обобщенной концепции массивно-параллельных вычислений в многопроцессорных и распределенных вычислительных средах, отсутствие эффективных распределенных алгоритмов обучения [129].

Многообещающим направлением исследований в области массивно-параллельных вычислений является применение асинхронной обработки данных. Данный подход позволяет максимально использовать вычислительные ресурсы, избегая затрат на синхронизацию между независимыми частями алгоритма. Ранее этот подход не применялся в процессе обучения многослойного персептрона из-за отсутствия адекватной асинхронной нейросетевой модели.

В области обучения искусственных нейронных сетей перспективным является применение алгоритмов обучения на базе методов глобальной оптимизации. Подобные алгоритмы содержат меньшее количество синхронных операций [46, 60].

Постоянное обучение нейронной сети на новых данных требует повышенной отказоустойчивости, поскольку постоянный контроль работоспособности сети приводит к увеличению времени работы над задачей, а также требует более высокой квалификации специалистов. Повысить отказоустойчивость можно посредством применения специализированных средств разработки. Однако в настоящее время не существует разработок по искусственным нейронным сетям, использующих подобные возможности и достигающих требуемого уровня отказоустойчивости.

Таким образом, актуальной научной задачей является разработка асинхронной модели многослойной нейронной сети и основанной на ней отказоустойчивой системы моделирования искусственных нейронных сетей, позволяющей организовывать обучение и функционирование нейронной сети в любых многопроцессорных и распределенных вычислительных средах без

дополнительных затрат на разработку модулей массивно-параллельных вычислений. Кроме того, актуальной является задача разработки асинхронного распределенного алгоритма обучения, позволяющего добиться максимально возможной минимизации ошибки нейронной сети и позволяющего организовать распределенные вычисления для как можно большего числа шагов.

Целью диссертационной работы является разработка отказоустойчивой системы моделирования искусственных нейронных сетей, отличительной особенностью которой является возможность развертывания на любых многопроцессорных и распределенных ресурсах. Алгоритмы обучения и функционирования нейронной сети, реализованные в рамках системы, должны удовлетворять требованиям наискорейшей минимизации ошибки сети и максимизации количества шагов алгоритма, подлежащих выполнению в распределенной среде. Система должна обеспечить решение ряда практических задач в области технологии производства композиционных материалов, в частности, для строительной сферы.

Для достижения поставленных целей были решены следующие задачи:

1. Разработка асинхронной обобщенной модели искусственной нейронной сети, в которой общие и специальные функциональные блоки распределены между различными уровнями модели.

2. Разработка алгоритма взаимодействия уровней обобщенной модели искусственной нейронной сети, включающего частичную синхронизацию асинхронных операций.

3. Разработка асинхронного распределенного алгоритма обучения многослойной нейронной сети, основанного на методе глобальной оптимизации.

4. Выбор и обоснование специализированного средства разработки, позволяющего реализовать отказоустойчивую систему на базе разработанных обобщенной модели и алгоритмов.

5. Разработка на базе платформы Ег1ап^ОТР отказоустойчивой программной системы, в возможности которой входит проектирование произвольной многослойной нейронной сети для любых многопроцессорных и

распределенных вычислительных сред.

6. Определение параметров производительности разработанной системы и точности выдаваемых ею результатов вычислений.

7. Апробация системы, применение ее для решения задачи проектирования композиционных материалов.

Объектом исследования диссертационной работы являются системы моделирования многослойных искусственных нейронных сетей.

Предметом исследования являются математические модели, а также технические и архитектурные решения для построения эффективной системы моделирования многослойных нейронных сетей.

Методы исследования. Для решения поставленных задач использовались методы системного анализа, теории оптимизации, математической статистики, теории планирования эксперимента, теории искусственных нейронных сетей, функционального и массивно-параллельного программирования.

Научная новизна диссертационной работы состоит в следующем:

1. Разработана обобщенная многоуровневая модель искусственной нейронной сети, отличающаяся распределением общих и специальных функциональных блоков функционирования нейронной сети между различными уровнями модели и использованием на этих уровнях асинхронных операций.

2. Разработан алгоритм взаимодействия уровней обобщенной модели искусственной нейронной сети, особенностью которого является использование частичной синхронизации асинхронных операций.

3. Разработан алгоритм обучения многослойной нейронной сети, основанный на методе глобальной оптимизации, отличающийся распределением вычислительных операций по функциональным блокам и введением асинхронного взаимодействия между этими блоками.

4. Предложена программная архитектура нейронной сети, отличающаяся максимальным использованием инструментов обеспечения отказоустойчивости платформы Ег1ап^ОТР.

Практическая ценность работы заключается в том, что предложенные

модель и алгоритм реализованы в виде программной системы, позволяющей проводить исследования многослойной нейронной сети, а также решать практические задачи, в частности задачу проектирования композиционных материалов.

Достоверность и обоснованность результатов. Обоснованность применения асинхронной распределенной модели и предложенного алгоритма обучения многослойной нейронной сети подтверждается корректностью использования математического аппарата. Достоверность результатов исследования подтверждается хорошим соответствием результатов вычислительных экспериментов, проведенных в процессе исследования, и результатов лабораторных экспериментов на заводе-изготовителе, на основе которых проводилась проверка корректности предложенных решений.

Соответствие паспорту специальности. Работа соответствует паспорту специальности ВАК 05.13.01 - Системный анализ, управление и обработка информации (в технике и технологиях), пункты 4, 5, 10 и 13.

На защиту выносятся:

1. Асинхронная распределенная обобщенная многоуровневая модель искусственной нейронной сети.

2. Алгоритм взаимодействия уровней обобщенной модели искусственной нейронной сети, включающий использование частичной синхронизации асинхронных операций.

3. Асинхронный распределенный алгоритм обучения многослойной нейронной сети, основанный на методе глобальной оптимизации.

4. Отказоустойчивая распределенная программная система моделирования искусственных нейронных сетей, созданная на базе платформы Ег1ап§/ОТР.

Внедрение результатов работы и связь с научными программами.

Диссертационные исследования проводились на кафедре «Автоматизированные системы обработки информации и управления» ФГБОУ ВПО «Мордовский государственный университет» (МГУ) при выполнении государственного контракта с Министерством образования и науки Российской

Федерации от 11 октября 2011 г. №14.527.12.0007, шифр «2011-2.7-527-026-006», по теме «Разработка и организация производства вибро-шумопоглощающих материалов нового поколения для авто-, авиа-, судо-, вагоно-, машиностроения и строительства», при выполнении НИР «Совершенствование методов и алгоритмов резервного копирования и восстановления данных» № 01201277361, а также при выполнении НИОКР «Универсализация, совершенствование и тестирование автоматизированной системы проектирования композиционных материалов» (программа «УМНИК» Фонда содействия развитию малых форм предприятий в научно-технической сфере, проект № 9600).

Результаты работы используются на ООО «Завод герметизирующих материалов», г. Дзержинск, что подтверждено актом о внедрении.

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих конференциях: Ежегодная научная конференция «Огаревские чтения», Саранск, 2010 г., 2011г., 2012 г., 2013 г.; III Международная научная конференция «Проблемы управления, обработки и передачи информации (АТМ-2013)», Саратов, 2013 г.; IX Международная научно-практическая конференция «Наука в информационном пространстве», Киев, 2013 г.; Международная конференция «CISSE», Bridgeport (CT, USA), University of Bridgeport, 2013 r.

Публикации. По теме диссертации опубликовано 13 печатных работ, в том числе 3 в журналах, рекомендованных ВАК, получено 1 свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложения. Работа изложена на 137 страницах основного текста, включающего 62 рисунка, 11 таблиц, список литературных источников из 136 наименований, 2 страницы приложений.

Краткое содержание работы. Во введении обоснована актуальность темы диссертации, сформулированы цели и задачи исследования, отражены научная новизна работы и практическая значимость, перечислены методы исследования, приведены положения, выносимые на защиту.

В первой главе проводится анализ результатов исследований в области высокопроизводительных вычислений применительно к искусственным нейронным сетям. Приводится сравнительная характеристика ряда существующих систем моделирования многослойных искусственных нейронных сетей, таких как MATLAB Neural Networks Toolbox, Emergent Neural Network Simulation System, NeuroSolutions и другие). Обосновывается применение платформы Erlang/OTP, на базе которой проводятся дальнейшие исследования.

Во второй главе предлагается асинхронная распределенная модель многослойного персептрона и архитектура системы моделирования многослойных искусственных нейронных сетей, построенная на базе концепций модели акторов. Подробно описывается структура предложенных асинхронных распределенных моделей, а также разработанный асинхронный распределенный алгоритм обучения многослойного персептрона, основанный на методе глобальной оптимизации - гравитационном поиске.

Третья глава посвящена анализу результатов тестирования реализованных моделей в многопроцессорных и распределенных средах четырех видов:

1. Система с обще�