автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели и алгоритмы распределенного решения задач нейросетевого моделирования

На правах рукописи

Щ-

ТЫНЧЕНКО ВАЛЕРИЯ ВАЛЕРИЕВНА

МОДЕЛИ И АЛГОРИТМЫ РАСПРЕДЕЛЕННОГО РЕШЕНИЯ ЗАДАЧ НЕЙРОСЕТЕВОГО МОДЕЛИРОВАНИЯ

05.13.01 - Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Красноярск - 2007

003159851

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева», г, Красноярск

Научный руководитель: кандидат технических наук, доцент

Ефимов Сергей Николаевич

Официальные оппоненты: доктор физико-математических наук, профессор

Попов Евгений Александрович, Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева

кандидат физико-математических наук, до ценз Медведев Алексей Викторович, Кемеровский государственный университет

Ведущая организация: Томский государственный университет

Защита состоится " 25 " октября 2007 года в 14 часов на заседании диссертационного совета Д 212.249.02 при Сибирском государственном аэрокосмическом университете имени академика М.Ф, Решетнева по адресу: 660014, г. Красноярск, пр. им. газеты «Красноярский рабочий», 3 I

С диссертацией можно ознакомиться в научной библиотеке Сибирского государственного аэрокосмического университета имени ак. М.Ф.Решетнева

Автореферат разослан " 24 " сентября 2007 г.

Ученый секретарь диссертационного совета

И.В. Ковалев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. В настоящее время искусственные нейронные сети являются эффективным инструментом решения широкого круга сложных научно-технических задач Однако невозможность формализации структурно-параметрического синтеза нейросетевой модели существенно ограничивает практическое применение данного подхода

Автоматизация процесса построения нейронной сети произвольной архитектуры предполагает решение сложных многопараметрических оптимизационных задач, таких как выбор эффективной структуры нейросети и ее обучение Для решения подобного рода задач оптимизации во многих случаях могут быть применены только алгоритмы прямого адаптивного поиска, не требующие информации о свойствах оптимизируемой функции Универсальными адаптивными поисковыми алгоритмами являются эволюционные алгоритмы

Выполнение расчетов по эволюционным алгоритмам предъявляет значительные требования к системным вычислительным ресурсам Применение параллельных эволюционных алгоритмов для решения оптимизационных задач позволит значительно повысить быстродействие, как за счет параллельного выполнения вычислений, так и за счет эффективных способов реализации алгоритмов, которые невозможны в случае последовательного выполнения программы

В качестве аппаратных средств реализации параллельных вычислений используются распределенные вычислительные системы Высокая стоимость и/или недоступность многопроцессорных и многомашинных вычислительных систем ограничивает возможность их практического применения широким кругом специалистов Наряду с этим в настоящее время наблюдается повсеместное использование доступных по стоимости и высокопроизводительных персональных компьютеров, интенсивное развитие и массовое практическое применение сетевых информационных технологий различного уровня и назначения Это предоставляет конечным пользователям значительные вычислительные ресурсы, которые могут быть эффективно задействованы при решении сложных задач Использование для решения сложных научно-технических задач вычислительных сетей требует разработки и применения формальных методов моделирования и оптимизации для формирования эффективной структуры сетевого аппаратно-программного комплекса, реализующего основные функции Поддержка принятия решений на этапе формирования вычислительных сетей, ориентированных на решение сложных задач, возможна только на базе адекватных математических моделей и соответствующих алгоритмов

Таким образом, разработка математического и программного обеспечения распределенного решения задач нейросетевого моделирования в вычислительных сетях является актуальной научно-технической задачей

Цель диссертационной работы состоит в повышении эффективности распределенного решения задач структурно-параметрического синтеза нейро-сетевых моделей в вычислительных сетях на основе комплексного применения аппарата эволюционной оптимизации и теории массового обслуживания

Сформулированная цель предопределила следующую совокупность решаемых задач

1 Анализ существующих технологий нейросетевого моделирования

2 Разработка подхода к автоматизации проектирования нейросетевых моделей произвольной архитектуры

3 Формализация задачи выбора эффективной структуры нейронных сетей с учетом их вычислительной сложности в виде задачи оптимизации

4 Модификация многопопуляционного параллельного генетического алгоритма посредством разработки процедуры динамической адаптации базовой топологии связей между популяциями к процессу решения оптимизационной задачи

5 Разработка системы автоматизации проектирования нейросетевых моделей произвольной архитектуры на основе предложенного подхода к выбору эффективной структуры нейронной сети и модифицированного многопопуляционного параллельного генетического алгоритма

6 Построение математических моделей оценки производительности и надежности функционирования гетерогенных вычислительных клиент-серверных сетей при решении сложных научно-технических задач

7 Разработка автоматизированной системы поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети с использованием предложенных моделей

8 Апробация разработанного математического и программного обеспечения при распределенном решении практических задач нейросетевого моделирования в гетерогенных вычислительных сетях

Методы исследования При выполнении работы использовался аппарат системного анализа, теории массового обслуживания, теории оптимизации, теории вероятностей и математической статистики, нейросетевого моделирования, методика создания прикладных интеллектуальных систем

Научная новизна работы заключается в следующем

1 Предложена новая формальная модель для выбора эффективной структуры искусственной нейронной сети в виде задачи многокритериальной оптимизации, отличающаяся от известных применением критерия минимизации вычислительной сложности структуры

2 Разработан модифицированный параллельный многопопуляционный генетический алгоритм решения сложных задач оптимизации, отличающийся динамической адаптацией базовой топологии связей между популяциями к процессу решения задачи, и превосходящий по эффективности стандартный параллельный многопопуляционный генетический алгоритм

3 Построен комплекс новых математических моделей оценки производительности и надежности функционирования гетерогенных вычислительных клиент-серверных сетей при решении сложных научно-технических задач

Практическая значимость. На основе предложенных моделей и алгоритмов разработаны современные программные системы, которые могут быть использованы для эффективной реализации нейросетевого моделирования сложных систем различного назначения в распределенной гетерогенной вычис-

лительной среде Программная система автоматизации проектирования нейро-сетевых моделей параллельными многокритериальными генетическими алгоритмами позволяет широкому кругу специалистов 'производить эффективную настройку структуры и весов нейронной, сети в процессе моделирования Автоматизированная система поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети может быть использована в ходе проектирования или модификации архитектуры вычислительных сетей, предназначенных для решения сложных научно-технических задач

Работа выполнена в рамках ФЦНТП «Исследования и разработки по приоритетным направлениям развития науки и техники на 2002-2006 годы» по теме 2006-РИ-19 0/001/377 «Проведение научных исследований молодыми учеными» (IV очередь), НИР «Модели и алгоритмы автоматизации проектирования многопроцессорных информационных систем интеллектуального анализа данных в режиме реального времени» (государственный контракт № 02 442 11 7337), в рамках НИР 4422 «Разработка и исследование эффективности гибридных методов оптимизации алгоритмически заданных функций дискретных переменных», выполняемой по ведомственной научной программе «Развитие научного потенциала высшей школы», а также по темплану СибГАУ «Бионические методы идентификации и оптимизации сложных систем» (№ Б1 1 05)

Реализация результатов работы. Математические модели оценки производительности и надежности функционирования гетерогенных вычислительных клиент-серверных сетей при решении сложных научно-технических задач и разработанная на их основе автоматизированная система поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети использовались в ООО «Региональные информационные технологии-системы» (г Красноярск) в качестве инструмента на первоначальном этапе проектирования вычислительной сети, ориентированной на решение задач нейро-сетевого моделирования, а также при анализе существующих и оценке перспективных средств вычислительной техники потребителей телекоммуникационных услуг данного предприятия, что отражено в соответствующем акте о внедрении научных и практических результатов данной диссертационной работы

Система автоматизации проектирования нейросетевых моделей произвольной архитектуры, реализованная на основе предложенного подхода к выбору эффективной структуры нейронной сети и модифицированного многопо-пуляционного параллельного генетического алгоритма, включена в состав информационно-программного обеспечения предприятия и использована для повышения эффективности организации процесса товарооборота на основе прогнозирования объемов продаж товаров в ГПКК «Губернские аптеки» (г Красноярск), что также отражено в соответствующем акте о внедрении

Разработанная в процессе выполнения диссертационной работы программная система «Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей» прошла отраслевую и государственную экспертизу и зарегистрирована в отраслевом фонде алгоритмов и программ, что делает ее доступной для широкого круга пользователей

Разработанные алгоритмы и программные системы используются в учебном процессе при проведении занятий по курсам «Интеллектуальные технологии и принятие решения», «Интеллектуальный анализ данных» и «Адаптивные и эволюционные методы принятия решений» в Сибирском государственном аэрокосмическом университете, по курсам «Эволюционные алгоритмы моделирования и оптимизации» и «Интеллектуальные технологии анализа данных» в Сибирском федеральном университете (г Красноярск)

Основные положения, выносимые на защиту:

1 Применение новой формальной модели для выбора эффективной структуры искусственной нейронной сети позволяет получать нейросети меньшей вычислительной сложности при сохранении точности решаемой задачи

2 Модифицированный многопопуляционный параллельный генетический алгоритм выполняет динамическую адаптацию базовой топологии связей между популяциями к процессу решения оптимизационной задачи, что позволяет повысить эффективность эволюционного поиска при реализации алгоритма в вычислительной сети

3 Автоматизированная система поддержки принятия решений на основе разработанного комплекса математических моделей оценки производительности и надежности функционирования гетерогенной вычислительной сети позволяет успешно решать задачи проектирования и модификации архитектуры вычислительных сетей, ориентированных на решение сложных научно-технических задач

Апробация работы Процесс разработки и результаты, представленные в работе, докладывались и обсуждались на научных конференциях различного уровня, в том числе 8-й Всероссийской научно-практической конференции «Проблемы информатизации региона» (Красноярск, 2003 г), VIII Всероссийской научно-практической конференции с международным участием «Решет-невские чтения» (Красноярск, 2004 г), Международной научной конференции «Решетневские чтения» (Красноярск, 2006 г), VIII Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2007 г), 4-й Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2007 г)

Публикации По теме данной работы опубликовано 15 печатных работ, среди которых три статьи в научных изданиях, входящих в Перечень ВАК

Структура работы Работа состоит из введения, трех глав, заключения, списка литературы и приложения

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи исследования, рассмотрены вопросы научной новизны и практической ценности проведенных исследований, изложены основные положения, выносимые на защиту

Первая глава работы посвящена разработке алгоритмического обеспечения автоматизированного проектирования эффективных нейросетевых моделей произвольной архитектуры в распределенной вычислительной среде

Искусственная нейронная сеть (ИНС) - это набор формальных нейронов (ФН), соединенных между собой Функционирование ИНС состоит в преобразовании входного вектора в выходной вектор, причем это преобразование задается весовыми коэффициентами сети Процесс построения нейросетевой модели включает в себя выбор структуры ИНС, которая определяется количеством нейронов, их активационными функциями, а также наличием связей между конкретными нейронами, и настройку параметров (обучение) ИНС заданной структуры

Обучение ИНС произвольной структуры, которое заключается в поиске набора весов нейронной сети, минимизирующего целевую функцию ошибки, а также выбор эффективной структуры ИНС - это сложные многопараметрическую оптимизационные задачи Для решения подобного рода задач успешно применяются генетические алгоритмы (ГА), обеспечивающие глобальный просмотр пространства поиска решений и позволяющие эффективно работать с неявно заданными функциями

Стремление получать более простые с вычислительной точки зрения структуры многосвязных ИНС без потери точности обучения говорит о целесообразности добавления критерия минимизации вычислительной сложности структуры Формализуем постановку задачи многокритериальной оптимизации структуры ИНС следующим образом

где Е() — общая среднеквадратичная погрешность обучения ИНС, СВ() - вычислительная сложность ИНС, С - матрица связей ИНС размерности И„хЫн, ¡V — матрица весов связей ИНС размерности Nl,■xNl¡, а/ - вектор активационных функций на нейронах в ИНС размерности И,,, Мн - количество нейронов в ИНС Общая среднеквадратичная погрешность обучения ИНС вычисляется по

значение к-го выхода ИНС, имеющей структуру (С,Ж,а/), при подаче на ее входы ] -го образа, у'к - идеальное (желаемое) выходное состояние к-го нейрона, п - количество нейронов на выходе сети, т - размер обучающей выборки

Вычислительная сложность нейросетевой модели напрямую зависит от временных затрат на обработку всех связей нейросети и на вычисление активационных функций на каждом нейроне, поэтому представляется логичным оценивать вычислительную сложность ИНС следующим образом

Е(С 1¥,а/)-> тщ.,

( » оГ

С£)(С,а7) —>■ шш ,

, где оитк' (С,1¥,а/) - реальное

Л7

где Ысв() - количество связей ИНС, Т,с"() - время обработки г-ой связи ИНС, ТГО - время вычисления активационной функции на г-ом нейроне, Ы„ - количество нейронов ИНС, Р - производительность вычислительной системы

Под временем обработки одной связи ИНС понимается время добавления веса данной связи к сумме весов уже обработанных ранее связей на входе кон-

/?+1 п

кретного нейрона Т"(С,Р) = -ТС£ч>я), где Т(х) - время вычисления х,

у/у - г-ый входу-го нейрона, п=0,1,2, - количество обработанных связей

Время обработки одинаково для всех связей и определяется программной и аппаратной реализацией ИНС Тогда формула (1) примет вид

ы<е,#,р)=N„00 г-(р)+£тг&,р), (2)

где Тв(Р) - время обработки одной связи ИНС

Время Тв(Р) зависит от вычислительной мощности конкретной вычислительной системы, поэтому для унификации оценки вычислительной сложности ИНС перейдем к безразмерным величинам, не зависящим от времени Для этого разделим обе части выражения (2) на Те(Р) ^^^^ = ^ (с) + X Г|

Обозначим С£>(С, а/) = —^ и введем не зависящий от аппаратной реализации коэффициент относительной сложности вычисления активационной функции на г-ом нейроне как К,{а[) = Т' > тогда критерий оценки вычис-

лительной сложности нейросетевой модели примет окончательный вид

Для решения многокритериальной оптимизационной задачи выбора эффективной структуры ИНС предлагается применить эволюционный подход, позволяющий преодолеть сложные моменты, возникающие при использовании классических методов многокритериальной оптимизации

Для проверки эффективности предложенного подхода решалась задача выбора эффективной структуры и параметров ИНС при решении практической задачи моделирования процесса рудно-термической плавки Размерность вектора входных воздействий на процесс равна 10, вектора выходных параметров -10 Для проведения экспериментов использовалась выборка из 47 точек Задача решалась с применением эволюционного алгоритма ЬТ'ОА Параметры ГА максимальное и минимальное значение весов 5 и -5, шаг дискретизации -0,0001, численность популяции - 100 для обучения, 20 для выбора структуры, число поколений - 100, селекция - турнирная (10 индивидов в турнире для обучения, 5 - для выбора структуры ИНС), скрещивание равноточечное, мутация средняя, максимальное число скрытых нейронов - 10, количество видов ак-тивационных функций - 8

Данная задача решалась как задача оптимизации в двух постановках -однокритериальной и многокритериальной При решении однокритериальной

задачи оптимизации были получены следующие усредненные результаты по 10 запускам средняя ошибка настройки ИНС - 0,113 (3,49%), средняя вычислительная сложность ИНС - 486,17 При решении многокритериальной задачи оптимизации была получена аппроксимация множества Парето - множество из 16-ти нейросетевых моделей с ошибкой настройки от 3,41% до 3,74% и вычислительной сложностью от 357,04 до 369,27 Полученные результаты свидетельствуют о том, что формализация задачи нейросетевого моделирования как многокритериальной задачи оптимизации с применением критерия минимизации вычислительной сложности структуры ИНС позволяет понизить вычислительную сложность получаемых структур нейросетей при той же точности обучения, а также предоставить ЛПР возможность выбора нейросетевой модели из множества альтернатив

Выполнение расчетов по адаптивным поисковым алгоритмам требует значительных вычислительных ресурсов и занимает большое количество времени Чтобы повысить быстродействие, целесообразно применить параллельные генетические алгоритмы (ГТГА) и осуществлять вычисления с использованием распределенной вычислительной системы Способ распараллеливания ГА определяется способом оценивания пригодности и применения мутации, количеством используемых субпопуляций (одна или несколько), способом обмена индивидами между субпопуляциями, способом применения селекции (глобально или локально) ПГА с массовым параллелизмом, ПГА с динамическими субпопуляциями, стационарные, нестационарные, гибридные методы распараллеливания ГА требуют либо наличия общей памяти, либо значительного информационного обмена между вычислительными узлами, что делает их недостаточно приемлемыми для реализации в вычислительной сети

ПГА с распределенной оценкой пригодности использует единственную популяцию и распараллеливает операцию оценивания пригодности индивидов, за счет чего достигается рост быстродействия, приближающийся к количеству вычислительных узлов Потери производительности в этом случае связаны с затратами на передачу информации

В мультипопуляционных ПГА (МП ПГА) используется небольшое количество крупных субпопуляций, эволюционирующих изолированно на различных вычислительных узлах Для связи между субпопуляциями добавляется оператор миграции Характер миграции зависит от топологии связей между субпопуляциями (изолированные популяции, полный граф, кольцо и др), скорости миграции (количества перемещаемых индивидов), схемы миграции (какие индивиды будут перемещаться в другую популяцию и замещаться в ней - «лучшие», «худшие», отобранные случайным образом), миграционного интервала (частоты перемещения) МП ПГА был выбран для подробного исследования в силу следующих преимуществ покрытие большого пространства поиска, малая вероятность преждевременной сходимости, сокращение времени работы алгоритма в количество раз, большее, чем количество вычислительных узлов, что объясняется возможностью более эффективной реализации алгоритма В данной работе исследовалось влияние изменения параметров оператора миграции на результаты работы алгоритма Наилучшие по быстродействию результаты

(при заданном пороге ошибки настройки ИНС в 3,5%) для задачи структурно-параметрического синтеза нейросетевой модели процесса рудно-термической плавки были получены для топологии «кольцо» при среднем значении интервала миграции, поскольку усложнение топологии при реализации в сети приводит к существенному увеличению информационного обмена

В связи с этим предлагается модифицировать оператор миграции МП ПГА посредством добавления к базовой топологии в ходе решения оптимизационной задачи временных связей между изолированными друг от друга популяциями, чтобы недостаточно хорошо функционирующие в текущий момент популяции могли получить дополнительных мигрантов из лучших индивидов тех популяций, которые показывают достаточно хорошие результаты Схема модифицированного многопопуляционного ПГА Схема миграции - «лучший» заменяет «худшего» N - количество популяций, т, - скорость миграции г-й популяции (/ = к,- период миграции г-й популяции (г = ) Рассмотрим работу алгоритма на примере 1-я популяции

1 Выполнить кI циклов стандартного ГА

т,

__

2 Вычислить £) =-¿2—, где г = 1,Я, / - пригодность у-го индивида в

т,

г-й популяции из набора лучших т, индивидов

/V

3 Если (2, < -И—, то добавить временную связь от популяции у, для

N

N И

0 10 которой QJ >>к популяции I с вероятностью Р1 = , где <2к >

к

4 Выполнить миграцию в соответствии с полученной топологией Описанный МП ПГА применялся при решении в сети однотипных персональных компьютеров с процессорами АШоп64 3200+ задачи выбора эффективной структуры и параметров нейросетевой модели процесса рудно-термической плавки Усредненные результаты по 10 запускам, представленные в таблице 1, показывают время работы алгоритма (мин) Порог ошибки настройки ИНС - 3,5%, временной порог 90 мин

Таблица 1 - Результаты исследования модифицированного МП ПГА_

Базовая топология связей Интервал миграции, (кол покол) Количество вычислительных узлов

3 4 5 6 7 8

Кольцо 1 17,55 13,18 10,76 8,20 6,68 5,48

3 17,31 12 68 10,49 8,02 6,50 5,38

5 18,84 15,30 11,54 9,31 8,14 7,07

Среднее увеличение быстродействия в сравнении со стандартным MP PGA (%) 9,31 7,00 9 94 9,52 9,77 10,17

Таким образом, предложенная модификация позволяет повысить быстродействие стандартного МП ПГА в среднем на 9,29%, что свидетельствует о работоспособности и эффективности применения данного алгоритма для решения сложных задач в вычислительной сети

Во второй главе разрабатывается комплекс математических моделей функционирования гетерогенных вычислительных сетей для оценки их производительности и надежности при решении сложных научно-технических задач, предназначенный для использования на этапе системотехнического проектирования, а также при модификации архитектуры уже существующих сетей На начальном этапе проектирования целесообразно рассматривать ВС как абстрактную вычислительную систему, состоящую из вычислительных узлов, объединенных каналами связи Выбор эффективной структуры ВС определяется ее назначением, требованиями к ее производительности и надежности Для ВС, ориентированной на решение сложных задач, требуется согласование структуры вычислительной сети со структурой параллельно выполняемого алгоритма решаемой задачи Методика крупноблочного распараллеливания алгоритма сложной задачи хорошо согласуется с использованием клиент-серверной архитектуры сети На клиентах запускаются процессы, циклически реализующие вычисления по параллельным ветвям алгоритма, а сервер реализует логику управления параллельными процессами, информационный обмен между ними, а также интерфейс с пользователем

Построим аналитическую модель производительности гетерогенной клиент-серверной ВС, состоящей из произвольного количества типов клиентов, произвольного числа клиентов каждого типа и многопроцессорного сервера Характеристики моделируемой РВС N - количество типов клиентов, т, - количество клиентов г-го типа (г = 1,7^), п - количество однородных процессоров сервера, со, - быстродействие клиентов г-ro типа (FLOPS), ojsn - быстродействие процессоров на сервере (FLOPS), v, - быстродействие канала связи клиентов г-го типа с сервером (бит/с) Характеристики решаемой задачи NOaig — средняя вычислительная сложность (оп ) одной итерации вычислений на одной ветви алгоритма решения задачи (on), NOaH - средняя вычислительная сложность алгоритма управления одной ветвью алгоритма решения задачи (on ), Vaig - средний объем данных клиент-серверного обмена (бит), Тдоп - максимально допустимое время решения задачи Представим процесс функционирования ВС замкнутой системой массового обслуживания (СМО) с ожиданием и случайным распределением заявок всех типов по всем процессорам сервера без взаимодействия между собой Пусть имеется N типов клиентов, количество клиентов каждого типа соответственно m1, т2, , mN Каждый клиент в некоторые случайные моменты времени нуждается в обслуживании, которое осуществляется посредством п однородных процессоров сервера Поток заявок на обслуживание от клиентов каждого типа - пуассоновский с параметром Я„ где г = 1 ,N Интенсивность обслуживания каждой заявки подчиняется экспоненциальному закону распределения с параметром ц, Вновь поступившая на обслуживание заявка направляется с равной вероятностью на любой из свободных процессоров сер-

вера и принимается на обслуживание Если все процессоры заняты, то поступившая заявка становится в очередь и ждет своего обслуживания Дисциплина обслуживания — случайный равновероятный выбор из очереди Рассматриваемая СМО может находиться в следующих состояниях «0°0°

на обслуживание нет, все процессоры сервера свободны,

в системе заявок 0 - в системе находится одна заявка от клиента первого типа, на одном процессоре сервера обслуживается одна заявка, очереди нет, аЦ , - в системе находится одна заявка от клиента //-го типа, на одном процессоре сервера обслуживается одна заявка, очереди нет, , ак/ д - в системе находится у, заявок от клиента г-го типа (?= 1,2, Ы), к процессоров сервера занято обслуживанием, I заявок находятся в очередях на обслуживание, , анп"~* - в системе находится т, заявок от клиентов каждого типа, к процессоров сервера занято обслуживанием, (М-К) заявок находятся в очередях на обслуживание, где М - суммарное число клиентов,

и, при М >п

к = О,А,

/ = 0,(М-к)

М = Ут , й =

[м, при М <п

Система дифференциальных уравнений рассматриваемой СМО

„(0

с!Рк

А

-£т,Л,Р0°° О(0 + Мо° о(0 + ^0,° о(')+ +АЛ'О ,(0

=[<т. ~ + <!л]рЦ „ (о+(щ - у, +1А ^-^-р':

+ (т2 ~]г + 1)4г

-к + 1

(/)+ + (т„ - )ы + 1)Я„ -

-к + 1

п п ' л 1

¿-1 *

¿-1 4

1-

1

(0

Л

где и =

\;„при1<к При ^

1 <1 существует стационарный режим, а функ-

[к, при ],>к

ционирование СМО описывается системой линейных уравнений Определим соотношение параметров вычислительной системы со,, и V,, при котором выполняется условие стационарности исследуемой СМО Параметры Я, и ¡л, зависят от величин То, и т„ где Тп, - среднее время между заявками клиента г-го типа, которое представляет собой среднее время выполнения одной итерации алгоритма на клиентах г-го типа и зависит от аппаратной реализации клиентов

г-го типа, а также от заданного параметра задачи г0, =

т, - среднее

время обслуживания заявки клиента г-го типа, которое зависит от аппаратной реализации сервера, пропускной способности каналов связи, а также от задан-

ных параметров задачи ЫОа,е и Уа,г т,=гт,+тт, т1п„,=^, следова-

V, й>тп

тельно = + Интенсивность потока заявок на обслуживание - это среднее число заявок, поступающих в единицу времени, следовательно

X =---= —-—■, где 1 - среднее количество итераций на одной ветви алго-

' I Т0,~1 г, г0,- г,

ритма решения задачи Интенсивность обслуживания заявок - это величина, обратная среднему времени обслуживания заявки, следовательно, /л, определяется по следующей формуле ¡л,=— Тогда условие стационарности примет

вид

а, < —--

2 NO„r, оз, v,

йЛ» ^ -

Для стационарного режима решение системы линейных уравнений имеет вид

1=) _

ki-t A+f-/, k*(-R

Совокупность стационарных вероятностей = ХЛ*' j (*+г-л) Средняя

Jf О / «О Д -1=0

h M-к

длина очереди = £ £ А ? Коэффициенты средних потерь производительно-

к=] Г=1

Р т

сти для клиентов каждого типа в, ^ + Т ср ' Средняя производительность ВС

N

fI Д®1 реальных вычислительных систем потоки отличаются от пуас-

м ' в,

ооновских и экспоненциальных и зависят от архитектуры вычислительной системы и параметров выполняемых на ней алгоритмов Для ВС рассматриваемого типа з__!_, ,,=__!__, где г= 1,2,3, Д Зная Пст можно оце-

<у, v, co%n v,

нить среднее время решения задачи Тср в проектируемой гетерогенной вычислительной сети тср = N°a>& Предложенный подход позволяет осуществлять выбор структуры эффективной по производительности гетерогенной клиент-серверной ВС, настроенной на решение сложных задач определенного класса с заданным ограничением на допустимое время решения Тд0„

Построим аналитическую модель надежности функционирования гетерогенной ВС клиент-серверной архитектуры радиального типа, состоящей из произвольного количества типов клиентов, произвольного числа клиентов каждого типа и многопроцессорного сервера Моделируемая ВС включает в себя N

типов клиентов по т, клиентов каждого типа (г = 1, N) Все клиенты подключены к серверу посредством каналов связи через концентратор В состав сервера входят п однородных процессоров Каждый элемент вычислительной системы в некоторые случайные моменты времени выходит из строя и нуждается в восстановлении Потоки отказов от всех элементов вычислительной системы являются простейшими с параметрами Л;1 ~ интенсивности отказов клиентских узлов г-го типа (г = 1,7^), - интенсивность отказов процессоров сервера, я!'"1' — интенсивность отказов концентратора Время восстановления для всех вышедших из рабочего состояния элементов вычислительной системы подчиняется экспоненциальному закону распределения с параметрами ^ - интенсивности восстановления клиентских узлов г-го типа (г = 1,7У), ц™ - интенсивность восстановления процессоров сервера, /л""" - интенсивность восстановления концентратора Если вновь поступивший на восстановление запрос застанет обслуживающий прибор свободным, то он принимается на обслуживание Если же поступивший запрос застанет обслуживающий прибор занятым, он становится в очередь и ждет своего обслуживания Дисциплина обслуживания - случайный равновероятный выбор из очереди Процесс функционирования такой ВС представляется замкнутой СМО с ожиданием, которая может находиться в следующих состояниях а0 0 0 0 - все элементы ВС неисправны и восстанавливаются - вычислительный процесс остановлен, а, 0 0 0 - исправен один процессор сервера, (п-1) процессор неисправен и восстанавливается, все остальные элементы неисправны и восстанавливаются - вычислительный процесс остановлен, а0 ] о о - исправен концентратор, все остальные элементы неисправны и восстанавливаются - вычислительный процесс остановлен, ай 0, 0 - исправен один клиент 1-го типа, {тг 1) клиент 1-го типа неисправен и восстанавливается, все остальные элементы неисправны и восстанавливаются — вычислительный процесс остановлен, , а000 исправен один клиент N -го типа, (тг\) клиент N -го типа неисправен и восстанавливается, все остальные элементы неисправны и восстанавливаются - вычислительный процесс остановлен, ,

С ГУ г .сг-у-.

А' 1» - 3 процессоров сервера исправны, а (и - у ) - неисправны и восстанавливаются, концентратор неисправен и восстанавливается, ^f клиентов 1 -го типа исправны, а (от, - у,'') — неисправны и восстанавливаются, , ^ клиентов N -го типа исправны, а (тЛ - у«) - неисправны и восстанавливаются - вычислительный процесс остановлен, , а^ 1 „ ^ - процессоров сервера

исправны и участвуют в вычислительном процессе, а (и - /") - неисправны и восстанавливаются, концентратор исправен и участвует в вычислительном процессе, клиентов 1 -го типа исправны и участвуют в вычислительном процессе, а («, - у,") - неисправны и восстанавливаются, , ^ клиентов N -го типа исправны и участвуют в вычислительном процессе, а {тн-]с^) - неисправны и восстанавливаются, , а„, щ — все элементы ВС исправны и участвуют в

вычислительном процессе Запишем систему дифференциальных уравнений рассматриваемой СМО

аРй"л °(0 = +1>Х')-Гооо о(0 + ^„„ о(0 +

J у >■/[ J \ __

dt

î=I

+ (m, -/ +/,„ + + К - + ЫРГ у- ,f Jtjt) + + О - + „ +1 ^ ^ + (1 - /» V^ „ , Л- ¿(0 +

Л

Для стационарного режима получаем решение системы уравнений

л1 /»» -А- 772 ' ,<■/

Л- 11,

р (и-;'")' V («,-;,")'

2j L 2s 2-1 г w4,An PtoJ, I I 7 577 Pi riajKоJfCo £o(n-J У1 M {m,-J, У

Тогда коэффициент готовности рассматриваемой гетерогенной клиент-серверной ВС радиального гипа определяется следующим образом

и т, пъ " Л1L -I '"Л

Kr=T.tt S',-..- „-

/"=1_/Г'=1/|'-0 Д'=0 /"-ljf-0 Д'-l

Задача выбора эффективного варианта гетерогенной ВС формализуется в виде многокритериальной задачи оптимизации

П{п, а, от,, û),, v,, , то „, юА,, v „, NOa lg, МЭ„,.(, ,g ) -> max, C{n,œ^,mx юpV,, ,mN,aN,vN) mm, при условиях n <niri,

m~ < m, < m*, i = 1, N, где П - критерий производительности, С - критерий стоимости, вид которого зависит от конкретного применения модели, К, - коэффициент готовности гетерогенной ВС, КЧ - предельно допустимый уровень коэффициента готовности, n m ri — соответственно максимально и минимально возможное количество процессоров сервера, m * и т,' - соответственно максимально и минимально возможное количество клиентских вычислительных узлов г-го типа (г = 1,Л0 Сложность свойств целевых функций и ограничения по надежности предопределила выбор метода решения задачи - многокритериальный генетический алгоритм, использующий динамические или адаптивные штрафные функции

Третья глава диссертации посвящена практической реализации разработанных моделей и алгоритмов и их апробации

Для решения первой практической задачи - прогнозирования объемов продаж товаров в аптеке №310 ГПКК «Губернские аптеки» (г Красноярск) -использовалась разработанная система автоматизации проектирования нейро-сетевых моделей параллельными многокритериальными генетическими алгоритмами Задача решалась в локальной сети радиального типа из пяти компьютеров с процессорами Celeron D315 и 4-х процессорным сервером (процессоры Xeon 3,6GHz) Осуществлялось прогнозирование продаж товаров на первую неделю августа 2007г по имеющимся данным о продажах за июнь-июль 2007г по 213-ти типам товаров Среднее время прогнозирования одного типа товара составило 7,2 мин Ошибка прогнозирования составила 3,27% Полученные результаты подтверждают эффективность примененного подхода к решению поставленной задачи

Для решения второй практической задачи - выбора эффективной структуры гетерогенной клиент-серверной ВС, ориентированной на решение задач нейросетевого моделирования - в качестве инструмента на первоначальном этапе проектирования использовалась автоматизированная система поддержки принятия решений, разработанная на основе математических моделей оценки производительности и надежности функционирования гетерогенных ВС Был разработан следующий критерий стоимости

С(п, от,, су, , v,, ,mN, wN, v,v ) = 60<>ге®°° + 500C(и -1) + С°",п> + (60Cte™° + Cf d + 250Cte,

в котором учтены основные рыночные тенденции экспоненциальной зависимости цены процессора от его производительности и учитывается стоимость дополнительного оборудования (которое устанавливается по желанию и выбору заказчика) серверного и клиентских узлов Для решения задачи было выделено 4 основных типа клиентских узлов компьютеры для операторов (справка, электронная биржа) - тип 1, компьютеры для бухгалтерии, общего отдела и продавцов - тип 2, компьютеры для дирекции, топ-менеджеров, экономистов - тип 3, компьютеры для разработчиков и аналитиков данных - тип 4 Применение СППР обусловлено необходимостью решения заказчиком на разработанной гетерогенной ВС сложных задач со следующими параметрами средняя вычислительная сложность одной итерации вычислений на одной ветви алгоритма решения задачи - 10000 оп, средняя вычислительная сложность алгоритма управления- 5000 оп , средний объем данных клиент-серверного обмена - 200 Кб Поскольку разрабатываемая ВС предназначается также и для решения текущих задач персоналом, на количество клиентских узлов каждого типа были наложены ограничения по количеству и производительности - естественные ограничения 10 < щ < 20,30 < т2 < 45, 8 < ж, < 10,10 < щ < 13 - ограничения на количество, 5000 < со, <8000, 7000 <w2 <9000, 9000 <12000, 13000 < o)i <18000- ограничения на производительность (MFLOPS)

При решении задачи была получена аппроксимация Парето-множества, а также его фронта По значениям стоимости и производительности полученных

конфигураций ВС заказчиком был выбран вариант, в соответствии с которым гетерогенная вычислительная сеть должна иметь следующий состав 15 клиентских узлов с производительностью 5867 MFLOPS и каналом передачи данных со средней скоростью в 83 Mbit/s, 38 клиентских узлов с производительностью 8373 MFLOPS и каналом передачи данных со средней скоростью в 114 Mbit/s, 10 клиентских узлов с производительностью 11635 MFLOPS и каналом передачи данных со средней скоростью в 273 Mbit/s, 11 клиентских узлов с производительностью 16112 MFLOPS и каналом передачи данных со средней скоростью в 351 Mbit/s, четырехпроцессорный серверный узел с производительностью каждого процессора 13462 MFLOPS Стоимость выбранной гетерогенной ВС составляет 1 595 220 руб , производительность - 623,745 GFLOPS, коэффициент готовности - 99,03% После анализа компьютерного рынка готовой продукции, структура вычислительной сети принимает вид 15 клиентских узлов с процессорами Celeron D420, 38 клиентских узлов с процессорами Pentium Dual Core Е2160, 10 клиентских узлов с процессорами Intel Core 2 Duo Е4400, 11 клиентских узлов с процессорами Intel Core 2 Duo Е6600, серверный узел на базе четырех процессоров Xeon 3000 Таким образом, с использованием предложенного подхода была выбрана структура эффективной радиальной гетерогенной вычислительной сети клиент-серверного типа, позволяющей, помимо решения текущих задач персоналом, осуществлять сложные распределенные вычисления

В заключении диссертации приведены основные результаты и выводы ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В ходе выполнения диссертационной работы получены следующие результаты

1 На основе анализа существующих технологий нейросетевого моделирования разработан подход к автоматизации проектирования нейросетевых моделей произвольной архитектуры с применением аппарата эволюционной оптимизации

2 Формализована задача выбора эффективной структуры нейронных сетей с учетом их вычислительной сложности в виде многокритериальной задачи оптимизации

3 Многопопуляционный параллельный генетический алгоритм модифицирован посредством разработки процедуры динамической адаптации базовой топологии связей между популяциями к процессу решения оптимизационной задачи

4 Разработана, апробирована и внедрена система автоматизации проектирования нейросетевых моделей произвольной архитектуры на основе предложенного подхода к выбору эффективной структуры нейронной сети и модифицированного многопопуляционного параллельного генетического алгоритма

5 Построены математические модели оценки производительности и надежности функционирования гетерогенных вычислительных клиент-серверных сетей при решении сложных научно-технических задач

6 Разработана, апробирована и внедрена автоматизированная система поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети с использованием предложенных моделей.

Таким образом, в данной диссертации разработаны модели и алгоритмы, позволяющие эффективно решать задачи нейросетевого моделирования сложных объектов и процессов в гетерогенных вычислительных сетях, а также повысить обоснованность выбора эффективной конфигурации аппаратных средств реализации распределенных вычислений, что имеет существенное значение для теории и практики системного анализа и обработки информации

Публикации по теме работы:

1 * Ефимов, С H Проектирование вычислительной сети эффективной архитектуры для распределенного решения сложных задач [Текст] / С H Ефимов, В. В. Тынченко, В С Тынченко // Вестник Сиб гос аэрокосмич ун-та -2007 -Вып 3(16) -С 15-19

2* Тынченко, В В Многокритериальная оптимизация структуры нейро-сетевых моделей параллельными генетическими алгоритмами [Текст] / В В Тынченко//Вестник Сиб гос аэрокосмич ун-та -2007 -Вып 3(16) - С 2024

3* Тынченко, В В О применении параллельных генетических алгоритмов для автоматизации нейросетевого моделирования [Текст] / В В Тынченко, В С Тынченко // Вестник Сиб гос аэрокосмич ун-та - 2006 - Вып 6 (13) -С 22-24

4 Тынченко, В В Мультипопуляционные генетические алгоритмы для выбора и оптимизации структуры нейросетевых моделей [Текст] / В В Тынченко // VIII Всероссийская науч -технич конф «Теоретические и прикладные вопросы современных информационных технологий» материалы . в 2 ч / Воет -Сиб гос технологии ун-т — Улан-Удэ Изд-во ВСГТУ, 2007 - Ч 1 - С 206-210

5 Ефимов, С H Модель выбора эффективной архитектуры распределенной вычислительной сети для параллельного решения сложных задач [Текст] / С H Ефимов, В. В. Тынченко // Сборник трудов 4-й Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» -СПб ИОА СО РАН, 2007 -С 221-222

6 Ефимов, С H Многокритериальный выбор эффективной структуры нейросетевых моделей параллельными генетическими алгоритмами [Текст] / С H Ефимов, В. В. Тынченко // Сборник трудов 4-й Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» - СПб ИОА СО РАН, 2007 -С 223-224

7 Семенкин, Е С Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей [Текст] / Е С Семенкин, В. В. Тынченко, В. С. Тынченко // Компьютерные учебные программы и инновации - 2007 -№7 -С 12

8. Тынченко, В. В. Настройка параметров нейронных сетей произвольной структуры параллельными генетическими алгоритмами [Текст] / В. В. Тынченко, В. С. Тынченко К X Между пар. науч. кокф. «Решетневские чтения». Красноярск : СибГАУ, 2006. - С. 322.

9. Семенкин, Е, С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей [Текст] / Е, С. Семенкин, В. В. Тынченко,

B. С. Тынченко. -М. : ВНТИЦ, 2006. - № гос. per. 50200601955.

10. Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей [Текст] / F,. С. Семенкин, В. В. Тынченко, В. С. Тынченко // Инновации в науке и образовании. - 2006. - № 11 (22). -С. 3.

11. Жуков, В. Г. О влиянии параметра селекции на работу генетического алгоритма [Текст] / В. Г. Жуков, В. В- Тынченко // VIII Всероссийская науч. конф. с между ттар, участием «Рсшетневские чтения». — Красноярск : СибРАУ, 2004.-С. 176-177.

12. Тынченко, В. В. Параллельные генетические алгоритмы для автоматизации проектирования интеллектуальных информационных систем в экономике [Текст] / В. В. Тынченко, Р. Р. Кагиров // VIII Всероссийская науч.-практ. конф. «Проблемы информатизации региона: ПИР-2003»: материалы. Красноярск : ИПЦЮТУ, 2003.-С. 126-131.

13. Кагиров, Р. Р. О применении параллельных генетических алгоритмов для автоматизации генерирования интеллектуальных информационных технологий [Текст] / Р. Р. Кагиров, В. В. Тынченко // Вестник НИИ СУВГГГ : сб. науч. тр. - Красноярск: ПИИ СУВПТ, 2003. Вып.13. - С. 230-236.

14. Тынченко, В. В. Повышение эффективности работы систем управления сложными техническими объектами [Текст] / В. В. Тынченко // Информатика и системы управления: сб. науч. тр. - Красноярск'. КГТУ, 2000. - Вып. 5. -

C. 111-119.

15. Тынченко, В. В, Определение вероятностных характеристик вычислительной системы с фиксированным числом типов потоков требований при организации параллельных вычислений [Текст1 / В. В. Тынченко // Информатика и системы управления: сб. науч. гр. — Красноярск: КГТУ, 1998, — Вып. 3. - С. 56-61.

Тынченко Валерия Валериевна Модели и алгоритмы выбора распределен ногп решения задач нейросетевого моделирования Автореферат

Подписано к печати 20.09.2007. Формат 60x84/16

Уч. изд. л. 1.0 Тираж 100 экз. Заказ № Зб^

Отпечатано в отделе копировальной и множительной техники СибГАУ. 660014, г. Красноярск, пр. им. газ. «Красноярский рабочий», 31

Введение.

1 Технологии нейросетевого моделирования.

1.1 Искусственные нейронные сети.

1.2 Применение генетических алгоритмов для параметрической настройки и синтеза структуры нейросетевой модели.

1.3 Применение многокритериальных генетических алгоритмов для синтеза структуры нейросетевой модели.

1.4 Применение параллельных генетических алгоритмов для синтеза структуры нейросетевой модели.

Выводы.

2 Выбор эффективной конфигурации гетерогенной вычислительной сети для решения сложных задач.

2.1 Модель оценки производительности гетерогенной вычислительной сети клиент-серверной архитектуры.

2.2 Модель оценки надежности гетерогенной вычислительной сети клиент-серверной архитектуры радиального типа.

2.3 Модель оценки эффективности однородной вычислительной сети с программируемой структурой.

2.4 Постановка задачи выбора эффективной конфигурации гетерогенной вычислительной сети.

Выводы.

3 Практическая реализация моделей и алгоритмов.

3.1 Программная система «Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей».

3.2 Система автоматизации проектирования нейросетевых моделей параллельными многокритериальными генетическими алгоритмами.

3.3 Автоматизированная система поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети.

3.4 Проверка работоспособности системы автоматизации проектирования нейросетевых моделей параллельными многокритериальными генетическими алгоритмами.

3.5 Проверка работоспособности автоматизированной системы поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети.

Выводы.

В настоящее время искусственные нейронные сети являются эффективным инструментом решения широкого круга сложных научно-технических задач. Однако невозможность формализации структурно-параметрического синтеза нейросетевой модели существенно ограничивает практическое применение данного подхода.

Автоматизация процесса построения нейронной сети произвольной архитектуры предполагает решение сложных многопараметрических оптимизационных задач, таких как выбор эффективной структуры нейросети и ее обучение. Для решения подобного рода задач оптимизации во многих случаях могут быть применены только алгоритмы прямого адаптивного поиска, не требующие информации о свойствах оптимизируемой функции. Универсальными адаптивными поисковыми алгоритмами являются эволюционные алгоритмы.

Выполнение расчетов по эволюционным алгоритмам предъявляет значительные требования к аппаратным вычислительным ресурсам, что затрудняет эффективную реализацию данных алгоритмов на фон-неймановских ЭВМ. Для сокращения времени, затрачиваемого на решение задачи, целесообразно применить параллельные эволюционные алгоритмы и осуществлять вычисления с использованием распределенной вычислительной системы. Такой подход позволит значительно повысить быстродействие как за счет параллельного выполнения вычислений, так и за счет эффективных способов реализации алгоритмов, таких, которые невозможны в случае последовательного выполнения программы.

В качестве аппаратных средств реализации параллельных вычислений используются распределенные вычислительные системы. Высокая стоимость и, зачастую, отсутствие многопроцессорных и многомашинных вычислительных систем ограничивает возможность их практического применения широким кругом специалистов для распределенного решения сложных научно-технических задач. Наряду с этим в настоящее время наблюдается повсеместное использование доступных по стоимости и высокопроизводительных персональных компьютеров, интенсивное развитие и массовое практическое применение сетевых информационных технологий различного уровня и назначения. Все это делает доступными значительные вычислительные ресурсы, которые могут быть эффективно задействованы при решении сложных задач.

Использование для решения сложных научно-технических задач вычислительных сетей требует разработки и применения формальных методов моделирования и оптимизации для формирования эффективной структуры сетевого аппаратно-программного комплекса, реализующего основные функции. Поддержка принятия решений на этапе предварительного проектирования вычислительных сетей, а также при модификации их архитектуры позволяет повысить эффективность создаваемых для решения сложных задач систем и выйти на качественно новый уровень развития наукоемких технологий. .

Таким образом, можно утверждать, что разработка математического и программного обеспечения распределенного решения задач нейросетевого моделирования в вычислительных сетях является актуальной научно-технической задачей.

Цель диссертационной работы состоит в повышении эффективности распределенного решения задач структурно-параметрического синтеза ней-росетевых моделей в вычислительных сетях на основе комплексного применения аппарата эволюционной оптимизации и теории массового обслуживания.

Сформулированная цель предопределила следующую совокупность решаемых задач:

1. Анализ существующих технологий нейросетевого моделирования.

2. Разработка подхода к автоматизации проектирования нейросетевых моделей произвольной архитектуры.

3. Формализация задачи выбора эффективной структуры нейронных сетей с учетом их вычислительной сложности в виде задачи оптимизации.

4. Модификация многопопуляционного параллельного генетического алгоритма посредством разработки процедуры динамической адаптации базовой топологии связей между популяциями к процессу решения оптимизационной задачи.

5. Разработка системы автоматизации проектирования нейросетевых моделей произвольной архитектуры на основе предложенного подхода к выбору эффективной структуры нейронной сети и модифицированного многопопуляционного параллельного генетического алгоритма.

6. Построение математических моделей оценки производительности и надежности функционирования гетерогенных вычислительных клиент-серверных сетей при решении сложных научно-технических задач.

7. Разработка автоматизированной системы поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети с использованием предложенных моделей.

8. Апробация разработанного математического и программного обеспечения при распределенном решении практических задач нейросетевого моделирования в гетерогенных вычислительных сетях.

Методы исследования. При выполнении работы использовался аппарат системного анализа, теории массового обслуживания, теории оптимизации, теории вероятностей и математической статистики, нейросетевого моделирования, методика создания прикладных интеллектуальных систем.

Научная новизна работы заключается в следующем:

1. Предложена новая формальная модель для выбора эффективной структуры искусственной нейронной сети в виде задачи многокритериальной оптимизации, отличающаяся от известных применением критерия минимизации вычислительной сложности структуры.

2. Разработан модифицированный параллельный многопопуляцион-ный генетический алгоритм решения сложных задач оптимизации, отличающийся динамической адаптацией базовой топологии связей между популяциями к процессу решения задачи, и превосходящий по эффективности стандартный параллельный многопопуляционный генетический алгоритм.

3. Построен комплекс новых математических моделей оценки производительности и надежности функционирования гетерогенных вычислительных клиент-серверных сетей при решении сложных научно-технических задач.

Практическая значимость. На основе предложенных моделей и алгоритмов разработаны современные программные системы, которые могут быть использованы для эффективной реализации нейросетевого моделирования сложных систем различного назначения в распределенной гетерогенной вычислительной среде. Программная система автоматизации проектирования нейросетевых моделей параллельными многокритериальными генетическими алгоритмами позволяет широкому кругу специалистов производить эффективную настройку структуры и весов нейронной сети в процессе моделирования. Автоматизированная система поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети может быть использована в ходе проектирования или модификации архитектуры вычислительных сетей, предназначенных для решения сложных научно-технических задач.

Работа выполнена в рамках ФЦНТП «Исследования и разработки по приоритетным направлениям развития науки и техники на 2002-2006 годы» по теме 2006-РИ-19.0/001/3 77 «Проведение научных исследований молодыми учеными» (IV очередь), НИР «Модели и алгоритмы автоматизации проектирования многопроцессорных информационных систем интеллектуального анализа данных в режиме реального времени» (государственный контракт № 02.442.11. 7337), в рамках НИР 4422 «Разработка и исследование эффективности гибридных методов оптимизации алгоритмически заданных функций дискретных переменных», выполняемой по ведомственной научной программе «Развитие научного потенциала высшей школы», а также по темплану СибГАУ «Бионические методы идентификации и оптимизации сложных систем» (№ Б1.1.05).

Реализация результатов работы. Математические модели оценки производительности и надежности функционирования гетерогенных вычислительных клиент-серверных сетей при решении сложных научно-технических задач и разработанная на их основе автоматизированная система поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети использовались в ООО «Региональные информационные технологии-системы» (г. Красноярск) в качестве инструмента на первоначальном этапе проектирования вычислительной сети, ориентированной на решение задач нейросетевого моделирования, а также при анализе существующих и оценке перспективных средств вычислительной техники потребителей телекоммуникационных услуг данного предприятия, что отражено в соответствующем акте о внедрении научных и практических результатов данной диссертационной работы.

Система автоматизации проектирования нейросетевых моделей произвольной архитектуры, реализованная на основе предложенного подхода к выбору эффективной структуры нейронной сети и модифицированного мно-гопопуляционного параллельного генетического алгоритма, включена в состав информационно-программного обеспечения предприятия и использована для повышения эффективности организации процесса товарооборота на основе прогнозирования объемов продаж товаров в ГПКК «Губернские аптеки» (г. Красноярск), что также отражено в соответствующем акте о внедрении.

Разработанная в процессе выполнения диссертационной работы программная система «Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей» прошла отраслевую и государственную экспертизу и зарегистрирована в отраслевом фонде алгоритмов и программ, что делает ее доступной для широкого круга пользователей.

Разработанные алгоритмы и программные системы используются в учебном процессе при проведении занятий по курсам «Интеллектуальные технологии и принятие решения», «Интеллектуальный анализ данных» и «Адаптивные и эволюционные методы принятия решений» в Сибирском государственном аэрокосмическом университете, по курсам «Эволюционные алгоритмы моделирования и оптимизации» и «Интеллектуальные технологии анализа данных» в Сибирском федеральном университете (г. Красноярск).

Основные положения, выносимые на защиту:

1. Применение новой формальной модели для выбора эффективной структуры искусственной нейронной сети позволяет получать нейросети меньшей вычислительной сложности при сохранении точности решаемой задачи.

2. Модифицированный многопопуляционный параллельный генетический алгоритм выполняет динамическую адаптацию базовой топологии связей между популяциями к процессу решения оптимизационной задачи, что позволяет повысить эффективность эволюционного поиска при реализации алгоритма в вычислительной сети.

3. Автоматизированная система поддержки принятия решений на основе разработанного комплекса математических моделей оценки производительности и надежности функционирования гетерогенной вычислительной сети позволяет успешно решать задачи проектирования и модификации архитектуры вычислительных сетей, ориентированных на решение сложных научно-технических задач.

Апробация работы. Процесс разработки и результаты, представленные в работе, докладывались и обсуждались на научных конференциях различного уровня, в том числе 8-й Всероссийской научно-практической конференции «Проблемы информатизации региона» (Красноярск, 2003 г.), VIII Всероссийской научно-практической конференции с международным участием «Решетневские чтения» (Красноярск, 2004 г.), Международной научной конференции «Решетневские чтения» (Красноярск, 2006 г.), VIII Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2007 г.), 4-й Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2007 г.).

Публикации. По теме данной работы опубликовано 15 печатных работ, среди которых три статьи в научных изданиях, входящих в Перечень ВАК.

Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения.

Основные результаты и выводы

В ходе выполнения диссертационной работы получены следующие результаты:

1. На основе анализа существующих технологий нейросетевого моделирования разработан подход к автоматизации проектирования нейросетевых моделей произвольной архитектуры с применением аппарата эволюционной оптимизации.

2. Формализована задача выбора эффективной структуры нейронных сетей с учетом их вычислительной сложности в виде многокритериальной задачи оптимизации.

3. Многопопуляционный параллельный генетический алгоритм модифицирован посредством разработки процедуры динамической адаптации базовой топологии связей между популяциями к процессу решения оптимизационной задачи.

4. Разработана, апробирована и внедрена система автоматизации проектирования нейросетевых моделей произвольной архитектуры на основе предложенного подхода к выбору эффективной структуры нейронной сети и модифицированного многопопуляционного параллельного генетического алгоритма.

5. Построены математические модели оценки производительности и надежности функционирования гетерогенных вычислительных клиент-серверных сетей при решении сложных научно-технических задач.

6. Разработана, апробирована и внедрена автоматизированная система поддержки принятия решений при выборе эффективной структуры гетерогенной вычислительной сети с использованием предложенных моделей.

Таким образом, в данной диссертации разработаны модели и алгоритмы, позволяющие эффективно решать задачи нейросетевого моделирования сложных объектов и процессов в гетерогенных вычислительных сетях, а также повысить обоснованность выбора эффективной конфигурации аппаратных средств реализации распределенных вычислений, что имеет существенное значение для теории и практики системного анализа и обработки информации.

Заключение

1. Акопян, А. М. Генетические алгоритмы для решения задачи глобальной оптимизации. URL: http://www.cp.niif.spb.sU/inpe/4/gaover/gaover.htm

2. Архангельский, А. Я. Язык С++ в С++ Builder 5 : справочное пособие Текст. / А. Я. Архангельский. М. : ЗАО «Издательство БИНОМ», 2000. -224 с.

3. Батищев, Д. И. Генетические алгоритмы решения экстремальных задач : учеб. пособие Текст. / Д. И. Батищев. Воронеж : ВФТИ, 1995. - 210 с.

4. Бройдо, В. JI. Вычислительные системы, сети и телекоммуникации Текст. / В. Л. Бройдо. СПб.: Питер, 2003. - 688 с.

5. Виленкин, Н. Я. Комбинаторика Текст. / Н. Я. Виленкин, А. Н. Ви-ленкин, П. А. Виленкин. М.: МЦНМО, 2006. - 400 с.

6. Вишневский, В. М. Теоретические основы проектирования компьютерных сетей Текст. / В. М. Вишневский. М.: Техносфера, 2003. - 512 с.

7. Воеводин, В. В. Параллельные вычисления: Учеб. для вузов Текст. / В. В. Воеводин, Вл. В. Воеводин. СПб.: БХВ-Петербург, 2002. - 608 с.

8. Вороновский, Г. К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности Текст. / Г. К. Вороновский, К. В. Махотило, С. Н. Петрашев, С. А. Сергеев. X .: ОСНОВА, 1997. - 112 с.

9. Гонебная, О. Е. Экспертная система рудно-термической плавки: дисс. . кандидата технических наук Текст. / О. Е. Гонебная. Красноярск : ГУЦ-МиЗ, 2004.-136 с.

10. Горбань, А. Н. Нейронные сети на персональном компьютере Текст. / А.Н. Горбань, Д. А. Россиев. Новосибирск : Наука, 1996. - 276 с.

11. Горбань, А. Н. Обучение нейронных сетей Текст. / А. Н. Горбань -М.: СП Параграф, 1990. 198 с.

12. Горелова, В. JI. Основы прогнозирования систем : учеб. пособие для инж.-экон. спец. вузов Текст. / В. JI. Горелова, Е. Н. Мельникова. М. : Высш. шк., 1986.-287 с.

13. Гранберг, А. Г. Статистическое моделирование и прогнозирование : учеб. пособие Текст. / А. Г. Гранберг. М. : Финансы и статистика, 2001. -317 с.

14. Ефимов, С. Н. Проектирование вычислительной сети эффективной архитектуры для распределенного решения сложных задач Текст. / С. Н. Ефимов, В. В. Тынченко, В. С. Тынченко // Вестник Сиб. гос. аэрокосмич. унта. -2007. -Вып. 3 (16). -С. 15-19.

15. Жуков, В. Г. О влиянии параметра селекции на работу генетического алгоритма Текст. / В. Г. Жуков, В. В. Тынченко // VIII Всероссийская науч. конф. с междунар. участием «Решетневские чтения». Красноярск : Сиб-ГАУ, 2004.-С. 176-177.

16. Заенцев, И. В. Нейронные сети: основные модели Текст. / И. В. За-енцев. Воронеж : ВФТИ, 1999. - 76 с.

17. Исаев, С. А. Популярно о генетических алгоритмах. URL: http ://saisa.chat.ru/ga/ga-pop .html#top

18. Канатников, А. Н. Аналитическая геометрия: учеб. для вузов. 2-е изд. Текст. / А. Н. Канатников, А. П. Крищенко. - М. : МГТУ им. Н. Э. Баумана, 2000.-388 с.

19. Канер, С. Тестирование программного обеспечения Текст. : Пер. с англ. / С. Канер, Дж. Фолк, Енг Кек Нгуен. К.: ДиаСофт, 2000. - 544 с.

20. Керниган, Б. Язык программирования С. 2-е издание Текст. : Пер. с англ. / Б. Керниган, Д. Ритчи. М.: Вильяме, 2006. - 304 с.

21. Кини, P. J1. Принятие решений при многих критериях: предпочтения и замещения Текст. : Пер. с англ. / P. Л. Кини, X. Райфа // Под ред. И.Ф. Шахнова. М.: Радио и связь, 1981. - 560 с.

22. Клейнрок, JI. Теория массового обслуживания Текст.: Пер. с англ. / Л. Клейнрок. -М.: Машиностроение, 1979. 432 с.

23. Комашинский, В. И. Нейронные сети и их применение в системах управления и связи Текст. / В. И. Комашинский, Д. А. Смирнов. М.: Горячая линия - Телеком, 2003. - 94 с.

24. Круглов, В. В. Искусственные нейронные сети. Теория и практика Текст. / В. В. Круглов, В. В. Борисов. М.: Горячая линия - Телеком, 2002. -139 с.

25. Ларионов, А. М. Вычислительные комплексы и сети Текст. / А. М. Ларионов, С. А. Майоров, Г. И. Новиков. Л.: Энергоатомиздат, 1987. - 178 с.

26. Лебедев, В.А. Моделирование и оптимизация многопроцессорных систем оперативного управления Текст. / В.А. Лебедев, В.А. Терсков. М.: МАКС Пресс, 2002. - 330 с.

27. Липаев, В. В. Распределение ресурсов в вычислительных системах Текст. / В.В. Липаев. М.: Статистика, 1979. - 247 с.

28. Липаев, В. В.Эффективность однородных вычислительных систем, работающих в реальном масштабе времени Текст. / В. В. Липаев, А. А. Штрик // Управляющие системы и машины, 1978. -№1. С. 58-64.

29. Литвак, Б. Г. Экспертные оценки и принятие решений Текст. / Б. Г. Литвак. М.: Патент, 1996. - 295 с.

30. Миркес, Е. М. Нейрокомпьютер, проект стандарта Текст. / Е. М. Миркес. Новосибирск.: Наука, 1999. - 337 с.

31. Мкртчян, С. О. Нейроны и нейронные сети. Введение в теорию формальных нейронов Текст. / С. О. Мкртчян. М.: Энергия, 1971. - 232 с.

32. Мочалов, В. П. Теоретические основы разработки и анализ вероятностно-временных характеристик распределенных систем управления телекоммуникационными сетями и услугами Текст. / В. П. Мочалов. М.: ФИЗ-МАТЛИТ, 2006.-365с.

33. Немнюгин, С.А. Параллельное программирование для многопроцессорных вычислительных систем Текст. / С. А. Немнюгин, О. Л. Стесик. -СПб.: БХВ-Петербург, 2002. 400 с.

34. Олзоева, С.И. Моделирование и расчет распределенных информационных систем : Учебное пособие Текст. / С.И. Олзоева. Улан-Удэ : ВСГТУ, 2004.-67 с.

35. Орлов, С. А. Технологии разработки программного обеспечения. Разработка сложных программных систем : учеб. пособие. 2-е издание Текст. / С. А. Орлов. - СПб.: Питер, 2003. -480с.

36. Оссовский, С. Нейронные сети для обработки информации Текст.: Пер. с польского И.Д. Рудинского / С. Оссовский. М. : Финансы и статистика, 2002. - 344 с.

37. Павловская, Т. А. C/C++. Программирование на языке высокого уровня : учебник Текст. / Т. А. Павловская. СПб.: Питер, 2001.- 464с.

38. Подбельский, В. В. Язык С++ : учеб. пособие для вузов. 5-е издание Текст. / В. В. Подбельский. - М.: Финансы и статистика, 2003. - 560с.

39. Подиновский, В. В. Парето-оптимальные решения многокритериальных задач Текст. / В. В. Подиновский, В. Д. Ногин. М.: Наука. Главная редакция физико-математической литературы, 1982. - 256 с.

40. Растригин, JI. А. Случайный поиск Текст. / J1. А. Растригин. М. : Знание, 1979.-196 с.

41. Редько, В. А. Прикладное эволюционное моделирование. Генетический алгоритм. Оценка эффективности генетического алгоритма. URL: http://www.keldysh.ru/BioCvber/Lecture 10.html

42. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы Текст. : Пер. с польск. / Д. Рутковская, М. Пилиньский, JI. Рутков-ский. М.: Горячая линия Телеком, 2004. - 452 с.

43. Саати, Т. JI. Элементы теории массового обслуживания и ее приложения Текст. : Пер. с англ. Е.Г. Коваленко / Т. JI. Саати. М. : С.в. радио, 1991.-520 с.

44. Саульев, В.К. Математические теории массового обслуживания Текст. / В.К. Саульев. М.: Статистика, 1979. - 96 с.

45. Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей Текст. / Е. С. Семенкин, В. В. Тынченко, В. С. Тынченко // Компьютерные учебные программы и инновации.-2007.-№7.-С. 12.

46. Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей Текст. / Е. С. Семенкин, В. В. Тынченко, В. С. Тынченко. -М.: ВНТИЦ, 2006. -№ гос. per. 50200601955.

47. Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей Текст. / Е. С. Семенкин, В. В. Тынченко, В. С. Тынченко // Инновации в науке и образовании. 2006. - № И (22). - С. 3.

48. Семенкин, Е. С. Метод обобщенного адаптивного поиска для синтеза систем управления сложными объектами Текст. / Е.С. Семенкин, В.А. Лебедев. М.: МАКС Пресс, 2002. - 320 с.

49. Семенкин, Е. С. Оптимизация технических систем : учеб. пособие Текст. / Е. С. Семенкин, О. Э. Семенкина, С. П. Коробейников. Красноярск : СИБУП, 1996.-284 с.

50. Стариков, А. Генетические алгоритмы математический аппарат. URL: http://www.basegroup.ru/genetic/math.htm

51. Столлингс, В. Операционные системы: 4-е издание Текст. : Пер. с англ. / В. Столлингс. М.: Вильяме, 2002. - 848 с.

52. Страуструп, Б. Язык программирования С++. Специальное издание Текст.: Пер. с англ. / Бьёрн Страуструп. М.: Бином-Пресс, 2005. - 1104 с.

53. Таненбаум, Э. Распределенные системы. Принципы и парадигмы Текст.: Пер. с англ. / Э. Таненбаум, М. Ван Стен. СПб.: Питер, 2003. - 880 с.

54. Таненбаум, Э. Современные операционные системы Текст.: Пер. с англ. / Э. Таненбаум. 2-е изд. - СПб.: Питер, 2002. - 1040 с.

55. Трахтенгерц, Э. А. Субъективность в компьютерной поддержке управленческих решений Текст. / Э. А. Трахтенгерц. М. : Синтег, 2001. -256 с.

56. Тынченко, В. В. Многокритериальная оптимизация структуры ней-росетевых моделей параллельными генетическими алгоритмами Текст. / В.

57. B. Тынченко // Вестник Сиб. гос. аэрокосмич. ун-та. 2007. - Вып. 3 (16).1. C. 20-24.

58. Тынченко, В. В. О применении параллельных генетических алгоритмов для автоматизации нейросетевого моделирования Текст. / В. В. Тынченко, В. С. Тынченко // Вестник Сиб. гос. аэрокосмич. ун-та. 2006. - Вып. 6 (13).-С. 22-24.

59. Тынченко, В. В. Настройка параметров нейронных сетей произвольной структуры параллельными генетическими алгоритмами Текст. / В. В. Тынченко, В. С. Тынченко // X Междунар. науч. конф. «Решетневские чтения». Красноярск : СибГАУ, 2006. - С. 322.

60. Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика Текст.: Пер. с англ. / Ф. Уоссермен. М.: Мир, 1984. - 256 с.

61. Фридман, A. JI. Основы объектно-ориентированной разработки программных систем Текст. / A. JL Фридман. М. : Финансы и статистика, 2000. - 92с.

62. Хорошевский, В. Г. Архитектура вычислительных систем Текст. / В. Г. Хорошевский. М.: МГТУ им. Н.Э. Баумана, 2005. - 512 с.

63. Хэзфилд, Р. Искусство программирования на С. Фундаментальные алгоритмы, структуры данных и примеры приложений: Энциклопедия программиста Текст.: Пер. с англ. / Р. Хэзфилд, JL Кирби, Д. Корбит и др. К.: Диасофт, 2001.-736 с.

64. Шамис, В. Borland С++ Builder 5 : учебный курс Текст. : Пер. с англ. / В. Шамис. СПб.: Питер, 2002. - 688с.

65. Шилдт, Г. Полный справочник по С: 4-е издание Текст. : Пер. с англ. / Г. Шилдт. М.: Вильяме, 2002. - 704 с.

66. Эриашвил, Н. Д. Практическое руководство по реинжинирингу бизнес-процессов Текст. / Н. Д. Эриашвил. М.: Бизнес, 2000. - 205 с.

67. Якобовский, М. В. Распределенные системы и сети: Учебное пособие Текст. / М. В. Якобовский. М.: МГТУ "Станкин", 2000. - 118 с.

68. Adewuya, A. A new methods in genetic search with real-valued chromosomes. Master's thesis Text. / A. Adewuya. Cambridge : Massachusetts Institute of Technology, 1996.-P. 115-129.

69. Aleksandr, I. An Introduction to Neural Computing Text. /1. Aleksandr, H. Morton. London, U.K.: Chapman & Hall, 1990. - 21 p.

70. Anderson, D. Artificial neural networks technology Text. / D. Anderson, G. McNeill // DACS report. 1992. - 87 p.

71. Baluja, S. The evolution of genetic algorithms: Towards massive parallelism Text. / S. Baluja // the Tenth International Conference on Machine Learning: Proceedings. San Mateo, С A : Morgan Kaufmann, 1993. - P. 1-8.

72. Baluja, S. A massively distributed parallel genetic algorithm (mdpga) Text. / S. Baluja // Technical Report CMU-CS-92-196R. Pittsburg, PA : Car-nagie Mellon University, 1992.-P. 134-158.

73. Bartlett, P. Training a neural network with a genetic algorithm Text. / P. Bartlett, T. Downs // Technical Report, Dept. of Electrical Engineering. University of Queensland, 1990. - P. 54-68.

74. Booker, L. Improving search in genetic algorithms Text. / L. Booker // L. Genetic algorithms and Simulated Annealing. London : Pitman, 1987. - P. 61-73.

75. Cantu-Paz, E. Designing scalable multi-population parallel genetic algorithms Text. / E. Cantu-Paz // I11GAL Report 98009. The University of Illinois, 1998.-P. 82-122.

76. Cantu-Paz, E. Migration policies and takeover times in parallel genetic algorithms Text. / E. Cantu-Paz // I11GAL Report 98009. The University of Illinois, 1998.-P. 56-81.

77. Cantu-Paz, E. Designing efficient master-slave parallel genetic algorithms Text. / E. Cantu-Paz // I11GAL Report 97004. The University of Illinois, 1997.-P. 48-72.

78. Cohon, J. Multiobjective Programming and Planing Text. / J. Cohon. -New York : John Wiley, 1978. 175 p.

79. De Jong, K. A Genetic Algorithms: A 10 Year Perspective Text. / K. De Jong // The First Int. Conf. on Genetic Algorithms: Proceedings. 1985. - P. 167177.

80. Fourman, M. P. Compaction of symbolic layout using genetic algorithms Text. / M. P. Fourman // The First International Conference on Genetic Algorithms and Their Applications : Proceedings. Hillsdale, NJ : Lawrence Erlbaum, 1985.-P. 141-153.

81. Girosi, F. T. Regularization theory and neural network architecture Text. / F. Girosi, M. Jones, T. Poggio // Neural Computation. 1995. - Vol. 7. - P. 219270.

82. Goldberg, D. A comparative analysis of selection schemes used in genetic algorithms Text. / D. Goldberg, K. Deb // In Foundations of Genetic Algorithms. San Mateo, CA : Morgan Kaufmann, 1991. - P. 69-93.

83. Goldberg, D. Genetic algorithms in search, optimization and machine learning Text. / D. Goldberg. Reading, MA: Addison-Wesley, 1989. - P. 230241.

84. Goldberg, D. Messy genetic algorithms: Motiation, analysis, and first results Text. / D. Goldberg, D. Kalyanmoy, K. Bradley // Complex Systems. -1989.-Vol.3.-P. 493-530

85. Hassoun M. Fundamentals of Artificial Neural Networks Text. / M. Hassoun. Cambridge, MA : MIT Press, 1995. - 36 p.

86. Haupt, R.L. Practical Genetic Algorithms Text. / R.L. Haupt, S.E. Haupt. 2ed. - Wiley, 2004. - 26lp.

87. Hopfield, J. Neural computations of decisions in optimization problems Text. / J. Hopfield, D. Tank // Biological Cybernetics. 1985. - Vol. 52. - P. 141-152.

88. Horn, J. A niched Pareto genetic algorithm for multiobjective optimization Text. / J. Horn, N. Nafpliotis, D. Goldberg // The First IEEE Conference on Evolutionary Computation: Proceedings. Piscataway, 1994. - Vol. 1 - P. 82-87.

89. Janikow, С. Z. Genetic algorithms simulating nature's methods of evolving the best design solution Text. / C. Z. Janikow, D. St. Clair // IEEE Potentials. 1995, October. - Vol. 39, No. 14. - P. 31-35.

90. Koski, J. Multi-criteria Desighn Optimization Text. / J. Koski, A. Oscyczka. Springer-Verlag, 1990. - 154 p.

91. Koza, John R. The Genetic Programming Paradigm: Genetically Breeding Populations of Computer Programs to Solve Problems Text. / John R. Koza. -Cambridge, MA : MIT Press, 1992. 127 p.

92. Kursawe, F. Breeding ES first results Text. / F. Kursawe // Seminar on Evolutionary algorithms and their applications. - 1996.

93. Muller, B. Neural networks Text. / B. Muller, J. Reinhardt. Springer-Verlag, 1990.-267 p.

94. Nowostawski, M. Review and taxonomy of parallel genetic algorithms Text. /М. Nowostawski // School of Computer Science, The University of Birmingham, UK, May 1999.

95. Schaffer, J. D. Multiple objective optimization with vector evaluated genetic algorithms Text. / J. D. Schaffer // An International Conference on Genetic Algorithms and Their Applications : Proceedings. Pittsburgh, PA, 1985. -P. 93-100.

96. Srinivas, Deb. Multiobjective Optimization Using Nondominated Sorting in Genetic Algorithms Text. / Deb. Srinivas // Evolutionary Computation. -1995. Vol. 2, No. 3. - P. 39-44.

97. Steuer, R.E. Multiple Criteria Optimization Text. / R.E. Steuer. New York : John Wiley, 1986. - 267 p.

98. Wright, A. Genetic algorithms for real parameter optimization Text. / A. Wright // Foundations of Genetic Algorithms. San Mateo, CA: Morgan Kauf-mann, 1991. - Vol. 19, No. 4. - P. 205-218.

99. Zitzler, E. Multiobjective evolutionary algorithms: A comparative case study and the strength Pareto approach Text. / E. Zitzler, L. Thiele // IEEE Transactions on Evolutionary Computation. 1999.