автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Формирование распределенных систем структурно-параметрического синтеза нейросетевых моделей

На правах рукописи

ТЫНЧЕНКО ВАДИМ СЕРГЕЕВИЧ

ФОРМИРОВАНИЕ РАСПРЕДЕЛЕННЫХ СИСТЕМ СТРУКТУРНО-ПАРАМЕТРИЧЕСКОГО СИНТЕЗА НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ

05.13.01 - Системный анализ, управление и обработка информации (космические и информационные технологии)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

□0345304 1

Красноярск - 2008

003453041

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева», г. Красноярск

Научный руководитель: кандидат технических наук, доцент

Ефимов Сергей Николаевич

Официальные оппоненты: доктор технических наук, профессор

Ловчиков Анатолий Николаевич

кандидат физико-математических наук Победаш Павел Николаевич

Ведущая организация: Томский политехнический университет

Защита состоится «11» декабря 2008 года в 14 часов на заседании диссертационного совета Д 212.249.02 при Сибирском государственном аэрокосмическом университете имени академика М.Ф. Решетнева по адресу: 660014, г. Красноярск, пр. им. газеты «Красноярский рабочий», 31

С диссертацией можно ознакомиться в научной библиотеке Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева

Автореферат разослан « 7 » ноября 2008 г.

Ученый секретарь диссертационного совета

Е. П. Моргунов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Искусственные нейронные сети успешно применяются для решения самых разнообразных научно-технических задач, таких как автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и др. Однако эффективное применение на практике данного подхода широким кругом специалистов не всегда возможно по причине отсутствия формализованных процедур, полностью охватывающих весь процесс построения нейросетевых моделей. "

Для автоматизации структурно-параметрического синтеза нейросетевой модели с произвольными связями между нейронами требуется решать сложные многопараметрические оптимизационные задачи выбора эффективной структуры нейросети и настройки ее весовых коэффициентов. При решении подобного рода задач оптимизации хорошо себя зарекомендовали генетические алгоритмы (ГА), которые не требуют информации о свойствах оптимизируемой функции и позволяют вести глобальный поиск в пространстве решений.

Генетические алгоритмы в процессе своей работы нуждаются в значительных вычислительных ресурсах, что затрудняет их применение. Однако ГА потенциально обладают свойством массового параллелизма при обработке информации, что допускает их эффективную параллельную реализацию. Распараллеливание генетических алгоритмов на базе распределенной вычислительной системы позволяет существенно сократить время, затрачиваемое на решение задачи, как за счет параллельного выполнения вычислений, так и за счет применения более эффективных, чем в последовательном случае, способов реализации алгоритмов.

Повсеместное использование высокопроизводительных и доступных по стоимости персональных компьютеров, разработка и массовое практическое применение сетевых информационных технологий различного уровня и назначения - все это позволяет говорить о распределенных компьютерных сетях как об эффективной и значительно более дешевой альтернативе многопроцессорным и многомашинным вычислительным системам в качестве аппаратных средств реализации параллельных вычислений при решении сложных и ресурсоемких задач. Однако основной проблемой широко распространённых технологий глобальных компьютерных сетей является невозможность универсально и эффективно использовать удалённые вычислительные ресурсы, поскольку изначально так называемые Мегпе^технологии ориентировались на доступ к данным, а не к вычислительным мощностям. Преодолеть ограничения и недоработки существующих в этой области решений позволяет интенсивное развитие и внедрение перспективной сетевой технологии О ЯГО, в основе которой лежит идея создания географически распределенной вычислительной инфраструктуры, объединяющей ресурсы различных типов с коллективным доступом к этим ресурсам в рамках виртуальных организаций, состоящих из предприятий и специалистов, совместно использующих эти общие ресурсы. Используя эту технологию и наполняя ее конкретным содержанием, можно реализовать ту

или иную GRID-систему, предназначенную для решения того или иного класса прикладных задач. Особый интерес GRID-технология представляет для организаций и учреждений, уже имеющих в своём распоряжении большой парк персональных компьютеров, объединение которых в единую GRID-систему позволяет эффективно использовать простаивающие мощности и повысить производительность труда конечных пользователей.

Важным свойством GRID-систем является то, что вся работа по управлению, перераспределению и оптимизации использования ресурсов при решении конкретной задачи ложится на системное программное обеспечение и выполняется незаметно для пользователя, создавая тем самым единое виртуальное информационное пространство, обладающее огромными вычислительными мощностями и объемом памяти. Автоматизация распределения ресурсов GRID-системы и их координации в процессе решения сложных научно-технических задач требует разработки и применения формальных методов моделирования и оптимизации для формирования эффективной конфигурации вычислительных ресурсов GRID-системы, реализующей основные функции.

Таким образом, можно утверждать, что разработка математического и алгоритмического обеспечения формирования распределенных систем структурно-параметрического синтеза нейросетевых моделей на базе технологии GRID является актуальной научно-технической задачей.

Цель диссертационной работы состоит в повышении эффективности распределенного решения задач структурно-параметрического синтеза нейросетевых моделей сложных систем на базе технологии GRID посредством комплексного применения аппарата эволюционной оптимизации и теории массового обслуживания.

Сформулированная цель предопределила следующую совокупность решаемых задач:

1. Анализ существующих технологий пейросетсвого моделирования.

2. Разработка подхода к автоматизации проектирования нейросетевых моделей произвольной архитектуры.

3. Формализация выбора эффективной структуры нейронных сетей с учетом качества получаемых решений и вычислительной сложности в виде задачи многокритериальной оптимизации.

4. Разработка параллельного генетического алгоритма решения задач многокритериальной оптимизации.

5. Реализация системы автоматизированного проектирования искусственных нейронных сетей произвольной архитектуры на основе разработанных формальных моделей и алгоритмов.

6. Построение математических моделей оценки производительности и надежности функционирования GRID-систем при решении сложных научно-технических задач.

7. Формализация задачи выбора эффективной конфигурации GRID-системы для решения сложных задач.

8. Разработка автоматизированной системы поддержки принятия решений при выборе эффективной структуры GRID-системы с использованием предложенных моделей.

9. Апробация разработанного математического и программного обеспечения при распределенном решении практических задач нейросетевого моделирования сложных систем на базе технологии GRID.

Методы исследования. При выполнении работы использовался аппарат системного анализа, теории массового обслуживания, теории оптимизации, теории вероятностей и математической статистики, нейросетевого моделирования, методика создания прикладных интеллектуальных систем.

Научная новизна работы заключается в следующем:

1. Разработан модифицированный многопопуляциошшй параллельный генетический алгоритм для решения задач многокритериальной оптимизации нейросетевых моделей, отличающийся от известных использованием оператора миграции на основе концепции Парето-доминирования.

2. Разработан новый многокритериальный многопопуляционный параллельный генетический алгоритм решения сложных задач оптимизации, отличающийся от известных использованием процедуры реструктуризации топологии связей между популяциями в ходе решения.

3. Построена новая математическая модель оценки производительности централизованного варианта GRID-системы при реализации задачи с синхронным стартом.

4. Построена новая математическая модель оценки надежности централизованного варианта GRID-системы при реализации задачи с синхронным стартом.

Практическая значимость. На основе предложенных моделей и алгоритмов разработаны современные программные системы, которые могут быть использованы для эффективной реализации структурно-параметрического синтеза искусственных нейронных сетей произвольной архитектуры в GRID-системах. «Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами» позволяет широкому кругу специалистов производить эффективную настройку структуры и весов нейронной сети в процессе моделирования. Автоматизированная система поддержки принятия решений «Формирование эффективной конфигурации GRID-системы» может быть использована в ходе проектирования или модификации архитектуры систем типа GRID, настроенных на решение сложных задач определенного класса.

Работа выполнена в рамках ФЦНТГ1 «Исследования и разработки по приоритетным направлениям развития науки и техники на 2002-2006 годы» по теме 2006-РИ-19.0/001/377 «Проведение научных исследований молодыми учеными» (IV очередь), НИР «Модели и алгоритмы автоматизации проектирования многопроцессорных информационных систем интеллектуального анализа данных в режиме реального времени» (государственный контракт № 02.442.11. 7337), в рамках НИР 4422 «Разработка и исследование эффективности гибридных методов оптимизации алгоритмически заданных функций дискретных пе-

ременных», выполняемой по ведомственной научной программе «Развитие научного потенциала высшей школы», по темпланам ЕЗН СибГАУ «Бионические методы идентификации и оптимизации сложных систем» (№ Б 1.1.05), «Разработка теоретических основ решения задач автоматизации проектирования распределенных многопроцессорных вычислительных комплексов интеллектуального анализа данных в режиме реального времени» (№ Б 1.7.08), а также инновационного молодежного проекта СибГАУ «Разработка системы поддержки принятия решения для формирования многопроцессорных вычислительных систем обработки информации и управления в реальном времени». Работа поддержана грантом 12В8107 Красноярского краевого фонда науки.

Реализация результатов работы. Математические модели оценки производительности и надежности функционирования централизованного варианта ОКШ-системы при реализации задачи с синхронным стартом, а также разработанная на их основе автоматизированная система поддержки принятия решений «Формирование эффективной конфигурации ОКШ-системы» использовались в ООО «Региональные информационные технологии-системы» (г. Красноярск) в качестве инструмента при проектировании СЖГО-системы, ориентированной на решение задач нейросетевого моделирования, что отражено в соответствующем акте о внедрении научных и практических результатов данной диссертационной работы.

«Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами», реализованная на основе предложенного многокритериального многопопуляционного параллельного генетического алгоритма, включена в состав информационно-программного обеспечения ГПКК «Губернские аптеки» (г. Красноярск) и использована для повышения эффективности организации процесса товарооборота на основе прогнозирования объемов продаж товаров, что также отражено в соответствующем акте о внедрении.

Разработанные в процессе выполнения диссертационной работы программные системы «Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей», «Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами» и «Формирование эффективной конфигурации ОЫБ-системы» прошли отраслевую и государственную экспертизу и зарегистрированы в отраслевом фонде алгоритмов и программ, что делает их доступными для широкого круга пользователей.

Разработанные алгоритмы и программные системы используются в учебном процессе при проведении занятий по курсам «Интеллектуальные технологии и принятие решения», «Интеллектуальный анализ данных» и «Адаптивные и эволюционные методы принятия решений» в Сибирском государственном аэрокосмическом университете, по курсам «Эволюционные алгоритмы моделирования и оптимизации» и «Интеллектуальные технологии анализа данных» в Сибирском федеральном университете (г. Красноярск).

Основпые положения, выносимые на защиту:

1. Применение модифицированного многопопуляционного параллельного генетического алгоритма для решения задач многокритериальной оптимизации нейросетевых моделей позволяет быстрее получать искусственные нейронные сети меньшей вычислительной сложности.

2. Многокритериальный многопопуляционный параллельный генетический алгоритм решения сложных задач оптимизации с реструктуризацией топологии связей между популяциями позволяет повысить эффективность эволюционного поиска при реализации алгоритма в распределенных вычислительных системах. ;

3. Комплекс математических моделей оценки производительности и надежности функционирования централизованной GRID-системы с синхронным стартом позволяет осуществлять автоматизированный выбор эффективной конфигурации такой системы.

Апробация работы. Процесс разработки и результаты, представленные в диссертации, докладывались и обсуждались на научных конференциях различного уровня, в том числе V, VII, VIII Межвузовской научно-практической конференции «Актуальные проблемы экономики, информатики и права» (г. Красноярск, 2005, 2007, 2008 гг.), X, XI Международной научной конференции «Решетневские чтения» (г. Красноярск, 2006, 2007 гг.), конференции-конкурсе «Технологии Microsoft в теории и практике программирования» (г. Новосибирск, 2008 г.), IV Всероссийской научно-практической конференции «Современные проблемы авиации и космонавтики» (г. Красноярск, 2008 г.), а также на трех молодежных научных конференциях.

Публикации. По теме данной работы опубликовано 19 печатных работ, среди которых четыре статьи в научном издании, входящем в Перечень ВАК.

Структура работы. Работа состоит из введения, трех глав, заключения и списка литературы.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи исследования, рассмотрены вопросы научной новизны и практической ценности проведенных исследований, изложены основные положения, выносимые на защиту.

Первая глава работы посвящена разработке алгоритмического обеспечения автоматизированного проектирования эффективных нейросетевых моделей произвольной архитектуры в распределенной вычислительной среде.

Процесс построения искусственной нейронной сети (ИНС) включает в себя два этапа: выбор структуры ИНС (количество нейронов, их активационные функции, наличие связей между конкретными нейронами) и обучение ИНС заданной структуры, которое заключается в поиске набора весов нейронной сети, минимизирующего целевую функцию ошибки. Для решения подобного рода сложных многопараметрических оптимизационных задач успешно применяются генетические алгоритмы.

Формализуем постановку задачи многокритериальной оптимизации структуры ИНС с учетом критерия минимизации ее вычислительной сложности:

где С - матрица связей ИНС; Иг- матрица весов связей ИНС; а/ - вектор акти-вационных функций на нейронах; Атн - количество нейронов; О итк; (С, IV, а/) -реальное значение к-го выхода ИНС, имеющей структуру (С, ¡V, а/), при подаче на ее входы у'-го образа; у{ - идеальное выходное состояние к-то нейрона; п -количество нейронов на выходе сети; пг - размер обучающей выборки; Лгм - количество связей ИНС; К, = — коэффициент относительной сложности вычисления активационной функции на г'-ом нейроне; Т'т - время вычисления ак-тивационной функции на 1-ом нейроне; Тв - время обработки одной связи ИНС.

Преодолеть сложности, возникающие при использовании классических методов многокритериальной оптимизации, позволяет использование эволюционного подхода. Поскольку ГА в процессе своей работы нуждаются в значительных вычислительных ресурсах, целесообразно осуществлять расчеты параллельно с использованием распределенной вычислительной системы.

В результате сравнительного анализа эффективности различных способов распараллеливания ГА в вычислительной сети для подробного исследования был выбран многопопуляционный параллельный ГА (МП ПГА), в котором небольшое количество крупных популяций (субпопуляций) эволюционирует изолированно друг от друга на различных вычислительных узлах, а некоторые индивиды периодически перемещаются от одной субпопуляции к другой в соответствии с параметрами оператора миграции: топологии связей между субпопуляциями (изолированные популяции, полный граф, кольцо и др.), скорости миграции (количества перемещаемых индивидов), схемы миграции (какие индивиды будут перемещаться в другую популяцию и замещаться в ней), миграционного интервала (частоты перемещения).

Для применения МП ПГА к решению задачи многокритериальной оптимизации необходимо его адаптировать, чтобы учесть многокритериальный характер решаемой задачи. В этом случае каждая популяция эволюционирует в соответствии с некоторым многокритериальным генетическим алгоритмом, а их взаимодействие определяется выбранной схемой реализации ПГА. Оценивание качества индивидов для выполнения оператора миграции предлагается выполнять на основе концепции Парето-доминировапия: индивид тем «лучше», чем меньшее количество индивидов в популяции его доминируют и наоборот.

Рассмотрим схему миграции на основе концепции Парето-доминирования на примере взаимодействия г-й и у'-й популяций. Миграция выполняется из популяции г в популяцию у. Обозначим: 1пс1, - множество индивидов популяции г; М1 - множество индивидов популяции г, выбранных для ми-

грации; щ - скорость миграции индивидов из популяции i в популяцию j; POI¡ -множество Парето-недоминируемых индивидов в Ind,\ N,F0! - количество Паре-то-недоминируемых индивидов в Ind¡. Индивиды для миграции в популяции i выбираются в соответствии со следующим алгоритмом:

Шаг 1. Найти в Ind¡ множество Парето-недоминируемых индивидов POI¡. Шаг 2. а) если Nf01 = nt¡, то M¡ = POI¡. Перейти к шагу 3.

б) если N™ > n¡¡, то добавить во множество M¡ случайным образом пу индивидов из POI,. Перейти к шагу 3.

в) если Nm! < n:J, то положить М, -M;uPOIn Indt= Indl\POIi и пц = ntJ - N'0!. Перейти к шагу 1.

Шаг 3. Произвести миграцию индивидов из множества M¡. Для проверки эффективности предложенного подхода решалась задача выбора эффективной структуры и параметров ИНС при решении практической задачи моделирования процесса рудно-термической плавки. Постановка данной задачи и исходные данные предоставлены О. Е. Гонебной. Задача решалась двумя способами: стандартным МП ПГА в однокритериальной постановке; модифицированным МП ПГА в многокритериальной постановке.

Усредненные результаты по 20 запускам, представленные в табл. 1, показывают время работы алгоритма (мин.). Порог ошибки настройки ИНС - 3,5%, временной порог 30 мин.

Таблица 1 - Результаты исследования модифицированного МП ПГА.

Топология связей Интервал миграции, (кол.покол.) Количество вычислительных узлов

3 4 5 6 7 8 Среднее увеличение быстродействия в сравнении со стандартным МП ПГА

Кольцо 1 18,63 13,87 11,33 8,62 7,14 5,78 6,23%

3 18,09 13,2 10,94 8,35 6,7 5,62 6,51%

5 18,87 14,34 11,81 9,47 8,16 7,21 6,46%

Среднее увеличение быстродействия в сравнении со стандартным МП ПГА (%) 6,10 6,31 6,38 6,24 6,76 6,63 6,4%

При решении задачи стандар тным МП ПГА в однокритериальной постановке средняя вычислительная сложность получаемых нейросетевых моделей составила 486,17. Применение модифицированного МП ПГА для решения поставленной задачи в многокритериальной постановке позволило понизить сложность получаемых нейросетевых структур на 25,3% до среднего значения 363,15 при той же ошибке 3,5%.

Таким образом, применение разработанной модификации МП ПГА позволяет повысить скорость нейросетевого моделирования на 6,4%, а также понизить сложность получаемых структур ИНС.

В данной работе было предложено добавить в многокритериальный МП ПГА следующую процедуру реструктуризации топологии связей между попу-

ляциями в ходе решения задачи: к изначально выбранной базовой топологии динамически добавляются временные связи между изолированными друг от друга популяциями, чтобы недостаточно хорошо функционирующие в текущий момент популяции могли получить дополнительных мигрантов из лучших индивидов тех популяций, которые показывают достаточно хорошие результаты.

Основными характеристиками, по которым можно оценивать качество работы параллельно функционирующих популяций, являются: количество глобально Парето-недоминируемых индивидов в популяции; разброс глобально Парето-недоминируемых индивидов популяции на множестве Парето. Под глобально Парето-недоминируемыми индивидами будем понимать индивидов, которые являются недоминируемыми как при сравнении с индивидами своей популяции, так и при сравнении со всеми индивидами всех остальных популяций.

Тогда критерий качества /-го параллельно функционирующего алгоритма будет иметь вид:

Л?"0'-!

£К-,я4

л / _ 1 4=1 /=4+1

где = ¿Г!~ количество глобально Парето-оптимальных индивидов

4=1 ы

в популяции г-го алгоритма; Л',™' - количество Парето-оптимальных индивидов

в популяции /-го алгоритма; Лг0|8 - количество параллельно функционирующих

тк, ¡0, при Ш', ,, . „

алгоритмов; I, = •! 1 ' , где Ш — г-и недоминируемыи индивид ;-го

[1, иначе

алгоритма; ||.|| - метрика в пространстве индивидов.

При =1: 0= / ,при КГ1 =0: / Ъ>

1 / >1 У=1 / у=1

где к- коэффициент участия «плохих» алгоритмов.

Рассмотрим схему многокритериального МП ПГА с реструктуризацией топологии связей на примере /-й популяции.

Введем обозначения: Ы- количество популяций; от,- - скорость миграции г'-й популяции (; = 1,Л'); к{ - период миграции 1-Й популяции (г = 1, N).

1. Выполнить кI циклов многокритериального ГА.

2. Вычислить значения д,, г = 1,А' показателей качества работы всех алгоритмов.

1 "

3. Если <2, <—У ¡2,, то добавить временную связь от популяции у, для ко-

N ы

2 N б 1 "

торой (¿1 >—, к популяции 1 с вероятностью Р] = „' , где б* >—.

N ,=1 N И1

4

4. Выполнить миграцию в соответствии с полученной топологией. Разработанный МП ПГА применялся при решении в сети однотипных

персональных компьютеров с процессорами А1Ыопб4 3200+ задачи выбора эффективной структуры и параметров нейросетевой модели процесса рудно-

термической плавки. Усредненные результаты по 20 запускам, представленные в табл. 2, показывают время работы алгоритма (мин.). Порог ошибки настройки ИНС - 3,5%, временной порог 30 мин.

Таблица 2 - Результаты исследования нового МП ПГА._

Базовая юполопш связей Интервал миграции, (кол.покол.) Количество вычислительных узлов

3 4 5 6 7 8 Среднее увеличение быстродействия в сравнении со стандартным МП ПГА

Кольцо 1 16,76 12,54 10,06 7,68 6,32 5,12 16,33%

3 16,08 11,86 9,90 7,52 6,11 5,09 15,7%

5 17,13 13,03 10,69 8,64 7,57 6,61 14,6%

Среднее увеличение быстродействия в сравнении со стандартным МП ПГА (%) 15,60 15,33 15,80 15,49 15,32 15,70 15,54%

Таким образом, применение предложенного многокритериального МП ПГА с реструктуризацией топологии связей между популяциями позволяет повысить быстродействие стандартного МП ПГА при решении тестовых и практических задач нейросетевого моделирования в среднем на 15,54%, что свидетельствует об эффективности применения предложенного подхода.

Во второй главе разрабатывается комплекс математических моделей для оценки производительности и надежности централизованного варианта GRID-систем при реализации задачи с синхронным стартом.

Для эффективного выполнения параллельных вычислений в процессе нейросетевого моделирования необходимо принимать решения, касающиеся аппаратной конфигурации вычислительных систем, на которых будет производиться структурно-параметрический синтез ИНС. Основным инструментом при исследовании эффективности функционирования вычислительных систем являются аналитические модели оценки производительности и надежности.

Построим аналитическую модель оценки производительности централизованного варианта GRID-системы при реализации задачи с синхронным стартом. Пусть в конфигурацию GRID-системы входит произвольное количество клиентских вычислительных узлов различной производительности и многопроцессорный сервер. Характеристики моделируемой GRID-системы: N— количество клиентских ресурсов; п - количество однородных процессоров сервера; а, - быстродействие г-го клиентского ресурса (FLOPS); cosn - быстродействие процессоров на сервере (FLOPS); v; - быстродействие канала связи г-го клиентского ресурса с сервером (бит/с). Характеристики решаемой задачи: NOaig -средняя вычислительная сложность одной итерации вычислений на одной ветви алгоритма решения задачи (on.); NOctri — средняя вычислительная сложность алгоритма управления одной ветвью алгоритма решения задачи (on.); Va!g -средний объем данных клиент-серверного обмена (бит). С учетом установленного расписания работы вычислительных ресурсов GRID-системы обозначим: t°", tf - соответственно время включения и выключения г-го ресурса, i = \,N;

' [ 0, ииаче

где 5 (У - показатель доступности г'-го узла в момент времени и

Представим процесс функционирования СТИП-системы замкнутой системой массового обслуживания (СМО) с ожиданием и случайным распределением заявок всех типов по всем процессорам сервера без взаимодействия между собой. Поток заявок на обслуживание от клиентов каждого типа - пуассонов-ский с параметром Я/, где ; = 1,ЛГ. Интенсивность обслуживания каждой заявки подчиняется экспоненциальному закону распределения с параметром д-.

Рассматриваемая СМО может находиться в состояниях а*-' , когда в системе находится заявок от г'-го клиентского ресурса С ЯГО-систсмы, где 1=1,2,...Ы, к процессоров сервера занято обслуживанием, I заявок находятся в очередях на обслуживание. Обозначим Ру* 'г ^ - вероятность нахождения системы в состоянии ик. Составляя систему дифференциальных уравнений рассматриваемой СМО и решая ее аналитически для стационарного режима, получаем:

иМ г л _ " м

Р(Л _-

ЛЛ. Л1' А М-к N » :

где 5/1,],)--

»-1 1=0 И Ы0,1) 1-1

Л<М

(л =ома =1)л(с

= ,1 ,при V{{j¡=\)A,(tГ>tf)л{t>tnл{t>tf))v

О, иначе

Среднюю производительность СЯГО-систсмы можно определить, используя понятия совокупности стационарных вероятностей Рц, средней длины очереди 1ср и коэффициентов в1 средних потерь производительности: " т / (71Т н

1=1 ^АО 1„1+г1 н м

¡ЛИ)

где Т0, - среднее время между заявками от г'-го клиентского ресурса ОШП-системы, т, - среднее время обслуживания заявки от г'-го клиентского ресурса.

Для рассматриваемой ОЯГО-системы значения параметров интенсивности поступления заявок Я, и интенсивности их обслуживания вычисляются соответственно по формулам:

V, V,

Построим аналитическую модель оценки надежности централизованного варианта ОЫО-системы при реализации задачи с синхронным стартом. Пусть в конфигурацию ОЯГО-системы входит произвольное количество клиентских

вычислительных узлов различной производительности, соединенных концентратором с многопроцессорным сервером. Характеристики моделируемой GRID-системы: N - количество типов клиентских ресурсов; от,- - количество клиентских ресурсов г-го типа; п - количество однородных процессоров серверного узла системы.

Каждый вычислительный ресурс GRID-системы в некоторые случайные моменты времени выходит из строя и нуждается в восстановлении. Пусть потоки отказов от всех вычислительных ресурсов являются простейшими и имеют интенсивность Af, а время восстановления для любого вышедшего из рабочего состояния ресурса подчиняется экспоненциальному закону распределения с параметром /лс' - интенсивность восстановления отказавших ресурсов виртуальным восстанавливающим устройством (ВУ). Для случая GRID-системы интенсивность ¡лс> интерпретируется как среднее число вычислительных ресурсов, включаемых в единицу времени ВУ в состав GRID вместо отказавших ресурсов. При этом среднее время восстановления одного вычислительного ресурса равно т = (//')' = т, + + гл, где тк, тд и тр - математические ожидания времени соответственно контроля, диагностики и реконфигурации системы. Потоки отказов от всех элементов серверной части GRID-системы являются простейшими и имеют следующие интенсивности: Л- интенсивность отказов процессоров сервера; Лы - интенсивность отказов концентратора. Время восстановления для всех вышедших из рабочего состояния процессоров сервера и концентратора подчиняется экспоненциальному закону распределения с параметрами: /г™ - интенсивность восстановления процессоров сервера; у.ыъ - интенсивность восстановления концентратора. Для учета расписания работы вычислительных ресурсов GRID-системы введем: t°", - соответственно время включения и выключенияу'-го ресурса z'-го типа, i = l,N, j = 1, m,; s (t)\\,npu{(fZ <'5)л(Г>/,™)л(Г<фМ((™ >/,5)л(<>г£)л(*>i,5))v((f™ >^)л((<^)л(г<ф) 5

" | 0, иначе

где S (t) - показатель доступностиу'-го ресурса i-го типа в заданное время t.

Процесс функционирования такой ВС представляется замкнутой СМО с ожиданием, которая может находиться в состояниях ^ , когда f" про-

цессоров сервера исправны, а (п - f") - неисправны и восстанавливаются, jf клиентских ресурсов GRID-системы 1-го типа исправны, a (m, - у,") - неисправны и восстанавливаются,..., у'.г клиентских ресурсов GRID-системы ЛГ-го типа исправны, а (m,, - j'i) - неисправны и восстанавливаются. Если jhub=0, то концентратор неисправен и восстанавливается, а вычислительный процесс остановлен, в противном случае все исправные элементы участвуют в вычислительном процессе. Обозначим Р„ ]Ы - вероятность нахождения системы в

состоянии а „ „ „. Составляя систему дифференциальных уравнений рас-

J .J ,Ji , Jn

сматриваемой СМО и решая ее аналитически для стационарного режима, получаем:

-t^pZ-PC-WM I Пм>

\п~ J )• i=l .....

р „ (Л =_^_,

.л. -jí i i ч a »i „ * ,

S №,(0

í—,0 /"'=(> yf'-O Ä'-oV" У /=1 «)C{1, ,m,¡ gtoi

M "Jf

_jui" _//"" 1

Psrv - -rn. > РыЪ ~ ' Pel, ~ id, , _ , _ \ '

Самым распространённым показателем надежности для стационарного режима функционирования ВС является коэффициент готовности вычислительной системы (Кг ), который с учетом определения вероятности Гу„ у,

для рассматриваемой GRID-системы определяется следующим образом:

п m¡ mi mfj п Щ яг if- I ти

ад- S s ?■•■ ?

Построенный комплекс моделей позволяет перейти к формализации задачи выбора эффективной конфигурации GRID-системы для решения сложных задач определенного класса.

Nr-l

ю-См-о N

-а--> max, СГ + У С? ■ г, \tf -1Г U min,

Ч F м 1 1

при условиях:

ХЧкДГ. ■ (fM-t.) Xn(t„nk,ml,z).(íM - Г,) ->K°JP, min -

tNl '-»• ч

ЛГ <JV\ w

где z - вектор показателей включенности клиентских узлов в рассматриваемую структуру GRID:

11, i-й клиентский узел включен

в рассматриваемую конфигурацию GRID, i — \,N\ О, иначе,

Nt - количество точек в упорядоченном по возрастанию множестве моментов времени включения и выключения ресурсов GRID-системы, включая начала

ло и конец интервала времени, NT =2J>, +2.

н

Ввиду сложности свойств целевых функций и ограничений данной оптимизационной задачи, эффективным методом ее решения является генетический алгоритм, использующий динамические или адаптивные штрафные функции.

Третья глава диссертации посвящена практической реализации разработанных моделей и алгоритмов и их апробации.

Разработанный многокритериальный многопопуляционный параллельный генетический алгоритм был реализован в рамках «Системы автоматизации проектирования искусственных нейронных сетей параллельными генетическими

алгоритмами», которая позволяет широкому кругу специалистов производить эффективную настройку структуры и весов ИНС в процессе моделирования.

На основе комплекса математических моделей оценки производительности и надежности функционирования GRID-систем была разработана автоматизированная система поддержки принятия решений (СППР) «Формирование эффективной конфигурации GRID-системы» для выбора эффективной по производительности, надежности и стоимости структуры GRID-системы. Разработанная СППР может быть использована в ходе проектирования или модификации архитектуры систем типа GRID, настроенных на решение сложных задач определенного класса. :

Первая практическая задача решалась для ООО «Региональные информационные технологии-системы» (г. Красноярск) и состояла в выборе эффективной структуры централизованной GRID-системы, настроенной на решение вычислительно сложной задачи нейросетевого моделирования. В качестве программного инструмента для решения задачи использовалась разработанная СППР «Формирование эффективной конфигурации GRID-системы».

Характеристики распределенно решаемой задачи: средняя вычислительная сложность одной итерации вычислений на одной ветви алгоритма решения задачи - 10000 оп.; средняя вычислительная сложность алгоритма управления одной ветвью алгоритма решения задачи - 5000 оп.; средний объем данных клиент-серверного обмена - 200 Кб. Для построения GRID-системы имеется в наличии 153 клиентских узла, параметры которых варьируются в пределах: производительность от 4200 до 17345 MFLOPS; скорость каналов передачи данных от 10 Mbit/s до 27 Mbit/s; стоимость аренды за 1 час использования от 1,03 руб. до 3,82 руб.; по надежности все клиентские узлы разбиваются на 2 группы с интенсивностями отказов 0,00001 и 0,000001. Задано расписание работы всех клиентских узлов. Выбор серверного узла проектируемой GRID-системы не производится по причине того, что предприятие-заказчик предоставляет свой серверный узел со следующими параметрами: количество процессоров - 2; производительность каждого процессора сервера - 11500 MFLOPS; стоимость аренды - 0; интенсивность отказов процессоров сервера - 0,000001.

При решении задачи была получена аппроксимация Парето-множества (6 точек), из которой по значениям стоимости и производительности полученных конфигураций GRID-систем был выбран следующий вариант: средняя производительность - 81,522 GFLOPS; стоимость - 466,71 руб. в сутки; коэффициент готовности - 99,92%; минимальная производительность - 51 GFLOPS.

Таким образом, с использованием предложенного подхода была выбрана эффективная конфигурация GRID-системы централизованного типа, позволяющая осуществлять распределенные вычисления по заданному алгоритму.

Для решения второй практической задачи - прогнозирования объемов продаж товаров в аптеке №310 ГПКК «Губернские аптеки» (г. Красноярск) -использовалась разработанная «Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами».

Задача решалась в локальной сети радиального типа из пяти компьютеров с процессорами Celeron D315 и 4-х процессорным сервером (процессоры Xeon

3,6GHz). Осуществлялось прогнозирование продаж товаров на первую неделю августа 2008г. по имеющимся данным о продажах за июнь-июль 2008г. по 213-ти типам товаров. Среднее время построения ИНС и прогнозирования одного типа товара составило 6,7 мин. Ошибка прогнозирования составила: объемов продаж товаров по дням - 3,19%; недельных объемов продаж товаров - 2,79%. Полученные результаты подтверждают эффективность примененного подхода к решению поставленной задачи.

При решении третьей практической задачи - прогнозирования деградации электрических характеристик солнечных батарей (БС) космического аппарата (КА) - использовалась разработанная «Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами». В постановке задачи требовалось по имеющимся результатам измерения параметров БС в полёте (параметры секций БСЗ и БС4 на КА ЭКС-ПРЕСС-А №2) и результатам измерения параметров активного Солнца с КА ЭКСПРЕСС-А и GOES в период с 12.03.2000 по 20.12.2003 (всего 950 измерений) построить модель, прогнозирующую деградацию электрических характеристик БС. Модель настраивается на определение электрических характеристик солнечных батарей в зависимости от следующих факторов: интегральный флю-енс протонов с энергиями от 1 до 100 МеВ; интегральный флюенс электронов с энергиями от 0,6 до 2 МеВ; ресурс КА; коэффициент освещенности КА. Вышеперечисленным данным в соответствие ставятся следующие выходные параметры: напряжение холостого хода Uxx БС; сила тока 1га БС.

В результате моделирования была получена аппроксимация Парето-множества (2 точки), из которой была выбрана ИНС с пятью скрытыми нейронами, пятьюдесятью двумя связями между нейронами и средней ошибкой моделирования 2,41%, что при сравнимой точности значительно меньше по вычислительной сложности, чем результаты полученные ранее.

В заключении диссертации приведены основные результаты и выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В ходе выполнения диссертационной работы получены следующие результаты:

1. На основе анализа существующих технологий нейросетевого моделирования разработан подход к автоматизации проектирования нейросетевых моделей произвольной архитектуры с применением аппарата эволюционной оптимизации.

2. Формализована задача выбора эффективной структуры нейронных сетей с учетом их вычислительной сложности в виде многокритериальной задачи оптимизации.

3. Разработан модифицированный многопопуляционный параллельный генетический алгоритм решения задач многокритериальной оптимизации, отличающийся от известного использованием оператора миграции на основе концепции Парето-доминирования.

4. Разработан новый многокритериальный многонопуляционный параллельный генетический алгоритм решения сложных задач оптимизации, отличающийся от известных использованием процедуры реструктуризации топологии связей между популяциями в ходе решения.

5. Разработана, апробирована и внедрена «Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами» на основе разработанного многокритериального многопопуляци-онного параллельного генетического алгоритма.

6. Построены математические модели оценки производительности и надежности функционирования ОШВ-систсм при рейгении сложных научно-технических задач.

7. Формализована задача выбора эффективной конфигурации СЛГО-системы для решения сложных задач.

8. Разработана, апробирована и внедрена автоматизированная система поддержки принятия решений «Формирование эффективной конфигурации ОЯГО-системы» на основе разработанного комплекса математических моделей оценки эффективности функционирования ОЛГО-систем.

Таким образом, в данной диссертации разработаны модели и алгоритмы, позволяющие эффективно решать задачи структурно-параметрического синтеза искусственных нейронных сетей для моделирования сложных объектов и процессов в распределенных вычислительных сетях с использованием ОКП> технологии, а также повысить обоснованность выбора эффективной конфигурации вычислительных ресурсов ОЯГО-системы, что имеет существенное значение для теории и практики системного анализа и обработки информации.

Публикации по теме работы

Статьи в ведущих рецензируемых научных журналах и издапиях:

1 Ефимов, С. Н. Модели и алгоритмы формирования ОКШ-систем для структурно-параметрического синтеза нейросетевых моделей [Текст] / С. Н. Ефимов, В. С. Тынченко // Вестник Сиб. гос. аэрокосмич. ун-та. - 2008. - Вып. 4 (21).-С. 18-22.

2 Панфилов, И. А. Концепция функционирования универсальной системы поддержки принятия решений, обработки информации и управления [Текст] / И. А. Панфилов, Л. В. Липинский, А. С. Егоров, С. Ю. Кузин, В. С. Тынченко // Вестник Сиб. гос. аэрокосмич. ун-та. - 2008. - Вып. 1 (18). - С. 41—44.

3 Ефимов, С. Н. Проектирование вычислительной сети эффективной архитектуры для распределенного решения сложных задач [Текст] / С. Н. Ефимов,

B. В. Тынченко, В. С. Тынченко // Вестник Сиб. гос. аэрокосмич. ун-та. - 2007. -Вып. 3(16).-С. 15-19.

4 Тынченко, В. В. О применении параллельных генетических алгоритмов для автоматизации нейросетевого моделирования [Текст] / В. В. Тынченко, В.

C. Тынченко // Вестник Сиб. гос. аэрокосмич. ун-та. - 2006. - Вып. 6 (13). - С. 22-24.

Публикации в журналах и сборниках:

5 Тынченко, В. В. Модификация мультипопуляционного генетического алгоритма для структурно-параметрического синтеза нейросетевых моделей в вычислительной сети [Текст] / В. В. Тынченко, В. С. Тынченко // Вестник Восточно-Сибирского государственного технологического университета. - 2008. -№1,-С. 57-62.

6 Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей [Текст] /Е, С. Семенкин, В. В. Тынченко, В. С. Тынченко // Компьютерные учебные программы и инновации. - 2007. - №7. - С. 12.

7 Тынченко В. С. О применении эволюционного алгоритма для настройки параметров нейронных сетей [Текст] / В. С. Тынченко // Вестник НИИ СУВПТ выпуск 7(21) - Красноярск: НИИ СУВПТ, 2006. - С. 173-177.

8 Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей [Текст] / Е. С. Семенкин, В. В. Тынченко, В. С. Тынченко // Инновации в науке и образовании. - 2006. - № 11 (22). - С. 3.

9 Тынченко В. С. Параллельные генетические алгоритмы для автоматизации проектирования интеллектуальных информационных систем, в экономике [Текст] / B.C. Тынченко // Актуальные проблемы экономики, права и информационных технологий: Сборник научных статей. - Красноярск: Красноярский филиал МЭСИ, 2005. -Часть 2. - С. 95-101.

Публикации в сборпиках трудов конференций:

10 Тынченко, В. С. Система поддержки принятия решений, обработки информации и управления [Текст] / B.C. Тынченко, A.C. Егоров, С.Ю. Кузин // Конференция-конкурс "Технологии Microsoft в теории и практике программирования". -Новосибирск: НГУ, 2008. - С. 178-180.

11 Тынченко, B.C. Особенности применения GRID-технологии для распределенного решения крупномасштабных задач / B.C. Тынченко, В.В. Тынченко // Актуальные проблемы экономки, информатики и права. - Красноярск: КФ МЭСИ, 2008. - С. 132-135.

12 Тынченко, В. С. Оценка производительности распределенной вычислительной сети при решении крупномасштабных задач [Текст] / B.C. Тынченко // XI Междунар. науч. конф. «Решетневские чтения». - Красноярск : Сиб-ГАУ, 2007. - С. 258-259.

13 Тынченко, В. С. Структурно-параметрический синтез искусственных нейронных сетей параллельными многокритериальными генетическими алгоритмами [Текст] / В. С. Тынченко, В. В. Тынченко // XI Междунар. науч. конф. «Решетневские чтения». - Красноярск : СибГАУ, 2007. - С. 260-261.

14 Панфилов, И. А. Система поддержки принятия решений для формирования многопроцессорных вычислительных систем обработки информации и управления в реальном времени [Текст] / И. А. Панфилов, Л. В. Липинский, В. С. Тынченко, А. С. Егоров, С. Ю. Кузин // XI Междунар. науч. конф. «Решетневские чтения». - Красноярск : СибГАУ, 2007. - С. 249-250.

15 Тынченко, В. В. О решении задачи нейросетевого моделирования процесса рудно-термической плавки параллельными генетическими алгоритмами [Текст] / В.В. Тынченко, B.C. Тынченко // Актуальные проблемы экономики, информатики и права. - Красноярск : КФ МЭСИ, 2007. - С. 156-163.

16 Тынченко, В. В. Настройка параметров нейронных сетей произвольной структуры параллельными генетическими алгоритмами [Текст] / В. В. Тынченко, В. С. Тынченко // X Междунар. науч. конф. «Решетневские чтения». -Красноярск : СибГАУ, 2006. - С. 322.

Зарегистрированные программные системы::

17 Тынченко В. С. Автоматизированная система поддержки принятия решений «Формирование эффективной конфигурации GRID-системы» [Текст] / В. С. Тынченко, Е. С. Семенкин, С. Н. Ефимов. - М. : ВНТИЦ, 2008. - № гос. per. 50200802059.

18 Тынченко В. С. Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами [Текст] / В. С. Тынченко, В. В. Тынченко, Е. С. Семенкин. - М. : ВНТИЦ, 2008. - № гос. per. 50200802058.

19 Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей [Текст] / Е. С. Семенкин, В. В. Тынченко, В. С. Тынченко. - М.: ВНТИЦ, 2006. - № гос. per. 50200601955.

Тынченко Вадим Сергеевич Формирование распределенных систем структурно-параметрического синтеза нейросетевых моделей Автореферат

Подписано к печати 06.11.2008. Формат 60x84/16

Уч. изд. л. 1.0 Тираж 100 экз. Заказ №

Отпечатано в отделе копировальной и множительной техники СибГАУ. 660014, г. Красноярск, пр. им. газ. «Красноярский рабочий», 31

Введение.

1 Технологии структурно-параметрического синтеза искусственных нейронных сетей.

1.1 Искусственные нейронные сети.

1.2 Применение генетических алгоритмов для параметрической настройки и синтеза структуры пейросетевой модели.

1.3 Применение многокритериальных генетических алгоритмов для синтеза структуры нейросетевой модели.

1.4 Применение параллельных генетических алгоритмов для синтеза структуры нейросетевой модели.

1.5 Многокритериальный многопопуляциопный параллельный генетический алгоритм'.

Выводы.j.

2 Выбор эффективной конфигурации GRID-системы для решения сложных задач.

2.1 Технология GRID.

2.2 Модель оценки производительности GRID-системы.

2.3 Модель оценки надежности GRID-системы.

2.4 Постановка задачи выбора эффективной конфигурации GRID-системы и методы ее решения.

Выводы.

3 Практическая реализация моделей и алгоритмов.1.

3.1 Программная система «Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей».

3.2 Система автоматизации проектирования искусственных нейронных сетей на основе разработанного многокритериального параллельного генетического алгоритма.

3.3 Автоматизированная система поддержки принятия решений «Формирование эффективной конфигурации GRID-системы».

3.4 Проверка работоспособности автоматизированной системы поддержки принятия решений при выборе эффективной структуры централизованной GRID-системы.

3.5 Проверка работоспособности системы автоматизации проектирования

I • J искусственных нейронных сетей.

3.6 Прогнозирование деградации электрических характеристик солнечных батарей космического аппарата.

Выводы.

I I ; i

Актуальность. Искусственные нейронные сети успешно применяются для решения самых разнообразных научно-технических задач, таких как автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и др. Однако эффективное применение на практике данного подхода широким кругом специалистов не всегда возможно по причине отсутствия формализованных процедур, полностью охватывающих весь процесс построения нейросетевых моделей.

Для автоматизации структурно-параметрического синтеза- нейросете-вой модели с произвольными связями между нейронами требуется решать сложные многопараметрические оптимизационные задачи .выбора эффективной структуры нейросетк и настройки ее весовых коэффициентов. При решении подобного рода за]цач оптимизации хорошо себя зарекомендовали геI нетические алгоритмы (ГА), которые не требуют информации о свойствах оптимизируемой функции и позволяют вести глобальный поиск в пространстве решений.

Генетические алгоритмы в процессе своей работы нуждаются в значительных вычислительных ресурсах, что затрудняет их применение. Однако ГА потенциально обладают свойством массового параллелизма при обработке информации, что допускает их эффективную параллельную реализацию. Распараллеливание генетических алгоритмов на базе распределенной вычислительной системы позволяет существенно сократить время, затрачиваемое на решение задачи, как счет параллельного выполнения вычислений, так и за счет применения более эффективных, чем в последовательном случае, способов реализации алгоритмов.

Повсеместное использование высокопроизводительных и доступных по стоимости персональных компьютеров, разработка и массовое практическое применение сетевых информационных технологий различного уровня и назначения - все это позволяет говорить о распределенных компьютерных сетях как об эффективной и значительно более дешевой альтернативе многопроцессорным и многомашинным вычислительным системам в качестве аппаратных средств реализации параллельных вычислений при решении сложных и ресурсоемких задач. Однако основной проблемой широко распространенных технологий глобальных компьютерных сетей является невозможность универсально и эффективно использовать удалённые вычислительные ресурсы, поскольку изначально так называемые Internet-технологии ориентировались на доступ к данным, а не к вычислительным мощностям. ПреодоI леть ограничения и недоработки существующих в этой области решений позволяет интенсивное развитие и внедрение перспективной сетевой технологии GRID, в основе которой лежит идея создания географически распределенной вычислительной инфраструктуры, объединяющей ресурсы различных типов с коллективным доступом к этим ресурсам в рамках виртуальных организаций, состоящих из предприятий и специалистов, совместно использующих эти общие ресурсы. Используя эту технологию и наполняя ее конкретным содержанием, можно реализовать ту или иную GRID-систему, предназначенную для решения того или иного класса прикладных задач. Особый интерес GRID-технология представляет для организаций и учреждений, уже имеющих в своём распоряжении большой парк персональных компьютеров, объединение ^оторых в единую GRID-сисгему позволяет эффективно использовать простаивающие мощности и повысить производительность труда конечных пользователей.

Важным свойством GRID-систем является то, что вся работа по управлению, перераспределению и оптимизации использования ресурсов при решении конкретной задачи ложится на системное программное обеспечение и выполняется незаметно для пользователя, создавая тем самым единое виртуальное информационное пространство, обладающее огромными вычислительными мощностями и объемом памяти. Автоматизация распределения ресурсов GRID-системы и их координации в процессе решения сложных науч-но-чехнических задач требует разработки и применения формальных методов моделирования и оптимизации для формирования эффективной конфигурации вычислительных ресурсов GRID-системы, реализующей основные функции.

Таким образом, можно утверждать, что разработка математического и алгоритмического обеспечения формирования распределенных систем структурно-параметрического синтеза нейросетевых моделей на базе технологии GRID является актуальной научно-технической задачей.

Цель диссертационной работы состоит в повышении эффективности распределенного решения задач структурно-параметрического синтеза нейросетевых моделей сложных систем на базе технологии GRID посредством комплексного применения аппарата эволюционной оптимизации и теории массового обслуживания.

Сформулированная цель предопределила следующую совокупность решаемых задач:

1. Анализ существующих технологий нейросегевого моделирования.

2. Разработка подхода к автоматизации проектирования нейросетевых моделей произвольной архитектуры.

3. Формализация выбора эффективной структуры нейронных сетей с учетом качества получаемых решений и вычислительной сложности в виде задачи многокритериальной оптимизации.

4. Разработка параллельного генетического алгоритма решения задач многокритериальной оптимизации.

5. Реализация системы автоматизированного проектирования искусственных нейронных сетей произвольной архитектуры на основе разработанных формальных моделей и алгоритмов.

6. Построение математических моделей оценки производительности и 1 надежности функционирования GRID-систем при решении сложных научно-технических задач.

7. Формализация задачи выбора эффективной конфигурации GRID-системы для решения сложных задач.

8. Разработка автоматизированной системы поддержки принятия решений при выборе эффективной структуры GRID-системы с использованием предложенных моделей.

9. Апробация разработанного математического и программного обеспечения при распределенном решении практических задач пейросетевого моделирования сложных систем на базе технологии GRID.

Методы исследования. При выполнении работы использовался аппарат системного анализа, теории массового обслуживания, теории оптимизации, теории вероятностей и математической статистики, нейросетевого моделирования, методика создания прикладных интеллектуальных систем.

Научная новизна работы заключается в следующем: t ' 'j

1. Разработан модифицированный миогопопуляционный параллельный генетический алгоритм для решения задач многокритериальной оптимизации нейросетевых моделей, отличающийся от известных использованием оператора миграции на основе концепции Парето-доминирования.

2. Разработан новый многокритериальный миогопопуляционный параллельный генетический алгоритм решения сложных задач оптимизации, отличающийся от известных использованием процедуры реструктуризации топологии связей между популяциями в ходе решения.

3. Построена новая математическая модель оценки производительности централизованного варианта GRID-системы при реализации задачи с синхронным стартом. | 1 I

4. Построена новая математическая модель оценки надежности централизованного варианта GRID-системы при реализации задачи с синхронным стартом.

Практическая значимость. На основе предложенных моделей и алгоритмов разработаны современные программные системы, которые могут быть использованы для эффективной реализации структурно-параметрического синтеза искусственных нейронных сетей произвольной архитектуры в GRID-системах. «Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами» позволяет широкому кругу специалистов производить эффективную настройку структуры и весов нейронной сети в процессе моделирования. Автоматизированная система поддержки принятия решений «Формирование эффективной конфигурации GRID-системы» может быть использована в ходе проектирования или модификации архитектуры систем типа GRID, настроенных на решение сложных задач определенного класса.

Работа выполнена в рамках ФЦНТП «Исследования и разработки по I приоритетным направлениям развития пауки и техники на 2002-2006 годы» но теме 2006-РИ-19.0/001/377 «Проведение научных исследований молодыми учеными» (IV очередь), НИР «Модели и алгоритмы автоматизации проектирования многопроцессорных информационных систем интеллектуального анализа данных в режиме реального времени» (государственный контракт № 02.442.11. 7337), в рамках НИР 4422 «Разработка и исследование эффективности гибридных методов оптимизации алгоритмически заданных функций дискретных переменных», выполняемой по ведомственной научной программе «Развитие научного потенциала высшей школы», по темпланам ЕЗН СибГАУ «Бионические методы идентификации и оптимизации сложных систем» (№ Б 1.1.05), «Разработка теоретических основ решения задач автоматизации проектирования распределенных многопроцессорных вычислительных комплексов интеллектуального анализа данных в режиме реального времени» (№ Б1.7.08), а также инновационного молодежного проекта СибГАУ «Разработка системы поддержки принятия решения для формирования многопроцессорных вычислительных систем обработки информации и управления в реальном времени». Работа поддержана грантом 12BS107 Красноярского краевого фонда науки.

Реализация результатов работы. Математические модели оценки производительности и надежности функционирования централизованного варианта GRID-системы при реализации задачи с синхронным стартом, а также разработанная на их основе автоматизированная система поддержки принятия решений «Формирование эффективной конфигурации GRID-сиетемы» использовались^ в ООО «Региональные информационные технологии-системы» (г. Красноярск) в качестве инструмента при проектировании GRID-системы, ориентированной иа решение задач нейросетевого моделирования, что отражено в соответствующем акте о внедрении научных и практических результатов данной диссертационной работы.

Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами», реализованная на основе предложенного многокритериального многопопуляционного параллельного генетического алгоритма, включена в состав информационно-программного обеспечения ГПКК «Губернские аптеки» (г. Красноярск) и использована для повышения эффективности организации процесса товарооборота на основе j прогнозирования объемов продаж товаров, что также отражено в соответст

I i ! вующем акте о внедрении.

Разработанные в процессе выполнения диссертационной работы программные системы «Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей», «Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами» и «Формирование эффективной конфигурации GRID-системы» прошли отраслевую и государственную экспертизу и зарегистрированы в отраслевом фонде алгоритмов и программ, что делает их доступными для широкого круга пользователей.

Разработанные алгоритмы и программные системы используются в учебном процессе при проведении занятий по курсам «Интеллектуальные технологии и принятие (решения», «Интеллектуальный анализ данных» и «Адаптивные и эволюционные методы принятия решений» в Сибирском гоI сударственном аэрокосмическом университете, по курсам «Эволюционные алгоритмы моделирования и оптимизации» и «Интеллектуальные технологии анализа данных» в Сибирском федеральном университете (г. Красноярск).

Основные положения, выносимые на защиту:

1. Применение модифицированного многопопуляционного параллельного генетического алгоритма для решения задач многокритериальной оптимизации иейросетевых моделей позволяет быстрее получать искусственные нейронные сети меньшей вычислительной сложности.

2. Многокритериальный многопопуляционный параллельный генетический алгоритм решения сложных задач оптимизации с реструктуризацией топологии связей между J популяциями позволяет повысить эффективность эволюционного поиска при реализации алгоритма в распределенных вычис лительных системах.

3. Комплекс математических моделей оценки производительности и | надежности функционирования централизованной GRID-системы с синхронным стартом позволяет осуществлять автоматизированный выбор эффективной конфигурации такой системы.

Апробация работы. Процесс разработки и результаты, представленные в диссертации, докладывались и обсуждались на научных конференциях различного уровня, в том числе V, VII, VIII Межвузовской научно-практической конференции «Актуальные проблемы экономики, информатики и права» (г. Красноярск, 2005, 2007, 2008 гг.), X, XI Международной научной конференции «Решетпевские чтения» (г. Красноярск, 2006, 2007 гг.), конференции-конкурсе «Технологии Microsoft в теории и практике программирования» (г. Новосибирск, 2008 г.), IV Всероссийской научно-практической конференции «Современные проблемы авиации и космонавтики» (г. Красноярск, 2008 г.), а также на трех молодежных научных конференциях.

Публикации. По теме данной работы опубликовано 19 печатных работ, среди которых четыре статьи в научном издании, входящем в Перечень ВАК.

Структура работы. Работа состоит из введения, трех глав, заключения и списка литературы.

Основные результаты и выводы

В ходе выполнения диссертационной работы получены следующие результаты: I

1. На основе анализа существующих технологий нейросетевого моделирования разработан подход к автоматизации проектирования нейросетевых моделей произвольной архитектуры с применением аппарата эволюционной оптимизации.

2. Формализована задача выбора эффективной структуры нейронных сетей с учетом их вычислительной сложности в виде многокритериальной задачи оптимизации.

3. Разработан модифицированный многопопуляционный параллельный генетический алгоритм решения задач многокритериальной оптимизации, отличающийся от и

-доминирования.

4. Разработан новый многокритериальный многопопуляционный параллельный генетический алгоритм решения сложных задач оптимизации, отличающийся от известных использованием процедуры реструктуризации топологии связей между популяциями в ходе решения.

5. Разработана, апробирована и внедрена «Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами» на основе разработанного многокритериального много-популяционного параллельного генетического алгоритма.

6. Построены математические модели оценки производительности и надежности функционирования GRID-систем при решении сложных научно-технических задач.

7. Формализована задача выбора эффективной конфигурации GRID-системы для решения сложных задач. основе концепции Парето I звестного использованием оператора миграции на

8. Разработана, апробирована и внедрена автоматизированная система поддержки принятия решений «Формирование эффективной конфигурации GRID-системы» на основе разработанного комплекса математических моделей оценки эффективности функционирования GRID-систем.

Таким образом, в данной диссертации разработаны модели и алгоритмы, позволяющие эффективно решать задачи структурно-параметрического синтеза искусственных нейронных сетей для моделирования сложных объектов и процессов в распределенных вычислительных сетях с использованием GRID-технологии, а также повысить обоснованность выбора эффективной конфигурации вычислительных ресурсов GRID-системы, цто имеет существенное значение для теор формации. ии и практики системного анализа и обработки инI I

Заключение

1. Акопян, А. М. Генетические алгоритмы для решения задачи глобальной оптимизации. URL: http://www.cp.niif.spb.Su/inpe/4/gaover/gaover.htm

2. Архангельский, А Я. Язык С++ в С++ Builder 5 : справочное пособие

3. Текст. / А. Я. Архангельский. М. : ЗЛО «Издательство1 БИНОМ», 2000.1 1224 с. J

4. Батищев, Д. И. Генетические алгоритмы решения экстремальных задач : учеб. пособие Текст. / Д. И. Батищев. — Воронеж : ВФТИ, 1995. 210 с.

5. Бройдо, В. Л. Вычислительные системы, сети и телекоммуникации Текст. / В. Л. Бройдо. СПб. : Питер, 2003. - 688 с.

6. Виленкин, Н. Я. Комбинаторика Текст. / Н. Я. Виленкин, А. Н. Ви-ленкин, П. А. Виленкин. М. : МЦНМО, 2006. - 400 с.

7. Вишневский, В. М. Теоретические основы проектирования компьютерных сетей Текст. / В. М. Вишневский. М. : Техносфера, 2003. - 512 с.

8. Воеводин, В. В. Параллельные вычисления: Учеб. для вузов Текст. /

9. В. В. Воеводин, |Вл. В. Во1водин. СПб. : БХВ-Петербург, 2002. - 608 с.j i

10. Вороновский, Г. К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности Текст. / Г. К. Вороновский, К. В. Махотило, С. Н. Петрашев, С. А. Сергеев. X . : ОСНОВА, 1997. - 112 с.

11. Гонебная, О. Е. Экспертная система рудно-термической плавки: дисс. . кандидата технических наук Текст. / О. Е. Гонебная. — Красноярск : ГУЦМиЗ, 2004,- 136 с.

12. Горбань, A. IT. Нейронные сети на персональном компьютере Текст. / А.Н. Горбань, Д. А. Россиев. Новосибирск : Наука, 1996. - 276 с.

13. Горбань, А. Н. Обучение нейронных сетей Текст. / А. Н. Горбань — М. : СП Параграф, 1990. ^ 198 с.

14. Горелова, В. Л. (||)сновы прогнозирования систем :' учеб. пособие для инж.-экон. спец1, вузов Текст. / В. Л. Горелова, Е. IT. Мельникова. М. : Высш. шк., 1986.-287 с.

15. Гранберг, А. Г. Статистическое моделирование и прогнозирование :Iучеб. пособие Текст. / А. Г. Граиберг. М. : Финансы и статистика, 2001. -317с. I

16. Ефимов, С. Н. Модели и алгоритмы формирования GRID-систем для структурно-параметрического синтеза нейросетевых моделей Текст. / С. Н. Ефимов, В. С. Тынченко // Вестник Сиб. гос. аэрокосмич. ун-та. 2008. — Вып. 4 (21).-С. 18-22.

17. Ефимов, С. Н. Проектирование вычислительной сети эффективной архитектуры для распределенного решения сложных задач Текст. / С. Н. Ефимов, В. В. Тынченко, В. С. Тынченко // Вестник Сиб. гос. аэрокосмич. унта. 2007. - Вып. 3 (16). - С. 15-19.1.j

18. Заенцев, И. В. Нейронные сети: основные модели Текст. / И. В. За-енцев. Воронеж : ВФТИ, 1999. - 76 с.

19. Исаев, С. А. Популярно о генетических алгоритмах. URL: hllp://saisa.chat.ru/ga/ga-pop.html#lop

20. Канер, С. Тестирование программного обеспечения Текст. : Пер. с1.Iангл. / С. Канер, Дж. Фол|, Енг Кек Нгуен. К. : ДиаСофт, 2000. - 544 с.

21. Керниган, Б. Язык программирования С. 2-е издание Текст. : Пер. с англ. / Б. Керниган, Д. Ритчи. — М. : Вильяме, 2006. 304 с.

22. Кини, P. JI. Принятие решений при многих критериях: предпочтения и замещения Текст. : Пер. с англ. / P. J1. Кини, X. Райфа // Под ред. И.Ф. Шахнова. -М. : Радио и связь, 1981. 560 с.

23. Кирьянов, А. К. Введение в технологию Грид: Учебное пособие Текст. / А. К. Кирьянов, Ю. Ф. Рябов. Гатчина : ПИЯФ РАН, 2006. - 39 с.

24. Клейнрок, JI. Теория массового обслуживания Текст. : Пер. с англ. / Л. Клейнрок. М. : Машиностроение, 1979. - 432 с.

25. Коваленко, В. И. Организация ресурсов грид Текст. / В. Н. Коваленко, Д. А. Корягин // Препринт ИПМ им. М.В.Келдыша РАН. 2004. -№63.-С. 14-17.

26. Комашинский, В. И. Нейронные сети и их применение в системах управления и связи Текст. / В. И. Комашинский, Д. А. Смирнов. М. : Горячая линия - Телеком, 2003. — 94 с.

27. Круглов, В. В. Искусственные нейронные сети. Теория и практика Текст. / В. В. Круглов, В. В. Борисов. М. : Горячая линия — Телеком, 2002. - 139 с.

28. Ларионов, А. М. Вычислительные комплексы и сети Текст. / А. М. Ларионов, С. А. Майоров1, Г. И. Новиков. Л. : Энергоатомиздат, 1987. - 178 с.

29. Лебедев, В.А. Моделирование и оптимизация многопроцессорных систем оперативного управления Текст. / В.А. Лебедев, В.А. Терсков. -М. : МАКС Пресс, 2002. 330 с.

30. Липаев, В. В. Распределение ресурсов в вычислительных системах Текст. / В.В. Липаев. М. : Статистика, 1979. - 247 с.

31. Липаев, В. В.Эффективность однородных вычислительных систем,работающих в реальноммасштабе времени Текст. / В. В. Липаев, А. А.

32. Штрик // Управляющие системы и машины, 1978. №1. - С. 58-64.

33. Литвак, Б. Г. Экспертные оценки и принятие решений Текст. / Б. Г. Литвак. М. : Патент, 1996. - 295 с.1.!

34. Миркес, Е. М. Нейрокомпьютер, проект стандарта Текст. / Е. М. Миркес. Новосибирск. : Наука, 1999. - 337 с.

35. Мкртчян, С. О. Нейроны и нейронные сети. Введение в теорию формальных нейронов Текст. / С. О. Мкртчян. М. : Энергия, 1971. — 232 с.

36. Немнюгин, С.А. Параллельное программирование для многопроцессорных вычислительных систем Текст. / С. А. Немнюгин, О. Л. Стесик. -СПб. : БХВ-Пегербург, 2002. 400 с.

37. Орлов, С. А. Технологии разработки программного обеспечения. Разработка сложных программных систем : учеб. пособие. — 2-е издание Текст. / С. А. Орлов. СПб. : Питер, 2003. - 480с.

38. Оссовский, С. Нейронные сети для обработки информации Текст. :

39. Пер. с польского И.Д. Рудипского / С. Оссовский. — М. : Финансы и статистика, 2002. 344 с.

40. Павловская, Т. А. C/C++. Программирование на языке высокого уровня : учебник Текст. / Т. А. Павловская. СПб. : Питер, 2001 -464с.

41. Панфилов, И. А. Концепция функционирования универсальной системы поддержки принятия решений, обработки информации и управления1.J

42. Текст. / И. А. Панфилов! л. в. Липинский, А. С. Егоров, С. Ю. Кузин, В. С.

43. Тынченко // Вестник Сиб. гос. аэрокосмич. ун-та. — 2008. Вып. 1 (18). - С. 41-44.

44. Подбельский, В. В. Язык С++ : учеб. пособие для вузов. 5-е издание Текст. / В. В. Подбельский. - М. : Финансы и статистика, 2003. - 560с.

45. Подиновский, В. В. Парето-оптимальные решения многокритериальных задач Текст. / В. В. Подиновский, В. Д. Ногин. — М. : Наука. Главная редакция физико-математической литературы, 1982. 256 с.45 Растригин, JI. А.1. Знание, 1979. -46 Редько96 с.

46. Случайный поиск Текст. / JI. А. Растригин. М. :

47. В. А. Прикладное эволюционное моделирование. Генетический алгоритм. Оценка эффективности генетического алгоритма. URL: http://www.keldysh.ru/BioCyber/Lecture 10.html

48. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы Текст. : Пер. с польск. / Д. Рутковская, М. Пилиньский, J1. Рутков-ский. М. : Горячая линия Телеком, 2004. - 452 с.

49. Саати, Т. JI. Элементы теории массового обслуживания и ее приложения Текст. : Пер. с англ. Е.Г. Коваленко / Т. JI. Саати. М. : С.в. радио, 1991.-520 с.

50. Саульев, В.К. Математические теории массового обслуживания Текст. / В.К. Саульев. jl. : Статистика, 1979. — 96 с. I

51. Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей Текст. / Е. С. Семенкин, В. В. Тынченко, В. С. Тынченко // Компьютерные учебные программы и инновации. 2007. - №7. - С. 12.

52. Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей Текст. / Е. С. Семенкин, В. В. Тынченко, В. С. Тынченко. -М. : ВНТИЦ, 2006. -№ гос. per. 50200601955.

53. Семенкин, Е. С. Генетические алгоритмы выбора структуры и настройки искусственных нейронных сетей Текст. / Е. С. Семенкин, В. В.

54. Тынченко, В. С. Тыичеико // Инновации в науке и образовании. 2006. - № 11 (22).-С. 3.I

55. Семенкип, Е. С. Метод обобщенного адаптивного^ поиска для синтеза систем управления сложными объектами Текст. / Е.С. Семенкин, В.А. Лебедев. М. : МАКС Пресс, 2002. - 320 с.

56. Семенкип, Е. С. Оптимизация технических систем : учеб. пособие Текст. / Е. С. Семенкин, О. Э. Семенкина, С. П. Коробейников. Красноярск : СИБУП, 1996. - 284 с.

57. Стариков, А. Генетические алгоритмы — математический аппарат. URL: http ://www, base group .ru/gencti c/math. h tm

58. Столлингс, В. Операционные системы: 4-е издание Текст. : Пер. с англ. / В. Столлингс. М. : Вильяме, 2002. - 848 с.

59. Страуструп, Б. Язык программирования С++. Специальное издание Текст. : Пер. с англ. / Бьёрн Страуструп. М. : Бином-Пресс, 2005. - 1104 с.

60. Таненбаум, Э. Современные операционные системы Текст. : Пер. с1.Iангл. / Э. Таненбаум. — 2-е изд. СПб. : Питер, 2002. - 1040 с.

61. А. Субъективность в компьютерной поддержке

62. Трахтенгерц, Э управленческих решений 256 с.

63. Текст. / Э. А. Трахтенгерц. — М. : Синтег, 2001.

64. Тынченко, В. Bi О применении параллельных генетических алгоритмов для автоматизации нейросетевого моделирования Текст. /В.В. Тынченко, В. С. Тынченко // Вестник Сиб. гос. аэрокосмич. ун-та. 2006. - Вып. 6 (13).-С. 22-24.

65. Тынченко, В. В. Настройка параметров нейронных сетей произвольной структуры параллельными генетическими алгоритмами Текст. / В. В. Тынченко, В. С. Тынченко // X Междунар. науч. конф. «Решетневские чтения». Красноярск : СибГАУ, 2006. - С. 322.

66. Тынченко В. С. Автоматизированная система поддержки принятия решений «Формирование эффективной конфигурации GRID-системы» Текст. / В. С. Тынченко,'е. С. Семепкип, С. Н. Ефимов. -М. : ВНТИЦ, 2008.- № гос. per. 50200802059'

67. Тынченко В. С. О применении эволюционного алгоритма для настройки параметров нейронных сетей // Вестник НИИ СУВПТ выпуск 7(21) -Красноярск: НИИ СУВПТ, 2006., с. 173-177.

68. Тынченко, B.C. Особенности применения GRJD-технологии для распределенного решения крупномасштабных задач / B.C. Тынченко, В.В. Тынченко // Актуальные проблемы экономики, информатики и права. — Красноярск: КФ МЭСИ, 2008. С. 132-135.

69. Тынченко, В. С. Оценка производительности распределенной вычислительной сети при решении крупномасштабных задач Текст. / В. С. Тынченко // XI Междунар. науч. копф. «Решетневские чтения». — Красноярск1. СибГАУ, 2007. С. 258-259.

70. Тынченко В. С. Система автоматизации проектирования искусственных нейронных сетей параллельными генетическими алгоритмами Текст. / В. С. Тынченко, В. В. Тынченко, Е. С. Семенкин. М. : ВНТИЦ, 2008. - № гос. per. 50200802058.

71. Тынченко, В. С. Система поддержки принятия решений, обработкиинформации и управления Текст. / B.C. Тынченко, А.С. Егоров, С.Ю. Кузинi

72. Конференция-конкурс работ студентов, аспирантов и молодых ученых1.I

73. Технологии Microsoft в ,теории и практике программирования". Материалы1.1конференции. Новосибирск: НГУ, 2008. - С. 178-180.

74. Уоссермен Ф. Нейрокомпыотерная техника. Теория и практика Текст. : Пер. с англ. / Ф. Уоссермен. М. : Мир, 1984. - 256 с.

75. Фридман, A. JT. Основы объектно-ориентированной разработки программных систем Текст. / A. JI. Фридман. — М. : Финансы и статистика,1.2000.-92с.t ,

76. Г. Архитектура вычислительных систем Текст. /

77. МГТУ им. Н.Э. Баумана, 2005. 512 с.76 Хорошевский, В1.1

78. Хэзфилд, Р. Искусство программирования па С. (Фундаментальныеалгоритмы, структуры данных и примеры приложений: Энциклопедия проjграммиста Текст. : Пер. с англ. / Р. Хэзфилд, JL Кирби, Д. Корбит и др. К. : Диасофт, 2001.-736 с.

79. Шамис, В. Borland С++ Builder 5 : учебный курс Текст. : Пер. с англ. / В. Шамис. СПб. : Питер, 2002. - 688с.

80. Шилдт, Г. Полный справочник по С: 4-е издание Текст. : Пер. с англ. / Г. Шилдт. М. : Вильяме, 2002. - 704 с.

81. Эриашвил, Н. Д. Практическое руководство по реинжинирингу бизнес-процессов Текст. / Н. Д. Эриашвил. — М. : Бизнес, 2000. — 205 с.

82. Якобовский, М. В. Распределенные системы и сети: Учебное пособие Текст. / М. В. Якобовский. М. : МГТУ "Станкин", 2000. - 118 с.

83. Adewuya, A. A new methods in genetic search with real-valued chromosomes. Master's thesis Text. / A. Adewuya. Cambridge : Massachusetts Institute of Technology, 1996.-P. 115-129.

84. Aleksandr, I. An Introduction to Neural Computing Text. /1. Aleksandr, I-I. Morton. London, U.K. : Chapman & Hall, 1990. - 21 p.

85. Anderson, D. Artificial neural networks technology Text. / D. Anderson, G. McNeill // DACS report. 1992. - 87 p.

86. Baluja, S. The evolution of genetic algorithms: Towards massive parallelism Text. / S. Baluja // the Tenth International Conference on Machine Learning: Proceedings. San Mateo, CA : Morgan Kaufmann, 1993. - P. 1-8.

87. Baluja, S. A massively distributed parallel genetic algorithm (mdpga) Text. / S. Baluja // Technical Report CMU-CS-92-196R. Pittsburg, PA : Carna-gie Mellon University, 1992. - P. 134-158.I

88. Bartlett, P. Training a neural network with a genetic algorithm Text. / P. Bartlett, T. Downs // Technical Report, Dept. of Electrical Engineering. University of Queensland, 1990. - P. 54-68.

89. Berman, F. Application-Level Scheduling on Distributed Heterogeneous Networks Text. / F. Berman, R. Wolski, S. Figueira, J. Schopf, G. Shao // In Proc. Supercomputing '96, 1996. P. 69-75.

90. Booker, L. Improving search in genetic algorithms Text. / L. Booker // L. Genetic algorithms and Simulated Annealing. London : Pitman, 1987. — P. 61-73.

91. Cantu-Paz, E. Designing scalable multi-population parallel genetic algorithms Text. / E! Cantu-Paz // I11GAL Report 98009. The University oflllinois, 1998.-P. 82-122.

92. Cantu-Paz, E. Migration policies and takeover times in parallel genetic algorithms Text. / E. Cantu-Paz // I11GAL Report 98009. The University oflllinois, 1998.-P. 56-81.

93. Cantu-Paz, E. Designing efficient master-slave parallel genetic algorithms Text. / E. Cantu-Paz // I11GAL Report 97004. The University oflllinois, 1997.-P. 48-72.

94. Casanova, H. NetSolve: A Network Server for Solving Computational Science Problems Text. /II. Casanova, J. Dongarra// International Journal of Supercomputer Applications and Iiigh Performance Computing. — 1997. — 11(3). — P. 212-223. |

95. Cohon, J. Multiobjective Programming and Planing Text. / J. Cohon. —i

96. New York : John Wiley, 1978.- 175 p.

97. De Jong, K. A Genetic Algorithms: A 10 Year Perspective Text. / K. De Jong // The First Int. Conf. on Genetic Algorithms: Proceedings. 1985. — P.167-177.

98. Foster, I. The Anatomy of the Grid: Enabling Scalable Virtual Organizations Text. / I. Foster, C.

99. Kesselman, S. Tuecke // International Journal of High

100. Performance Computing Applications. 2001. - 15(3). - P. 200-222.

101. Foster, I. The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. / I. Foster, C. Kesselman, J. M. Nick, S. Tuecke // URL: http://www.globus.org/research/papers/ogsa.pdf

102. Fourman, M. P. Compaction of symbolic layout using genetic algorithms Text. / M. P. Fourman // The First International Conference on Genetic Algorithms and Their Applications : Proceedings. Hillsdale, NJ : Lawrence Erlbaum, 1985.-P. 141-153.

103. Girosi, F. T. Regularization theory and neural network architecture Text. / F. Girosi, M. Jones, T. Poggio // Neural Computation. 1995. - Vol. 7.1. P. 219-270. i1.1

104. Goldberg, D. A comparative analysis of selection schemes used in geinetic algorithms Text. / D. Goldberg, K. Deb // In Foundations of Genetic Algorithms. San Mateo, С A : Morgan Kaufmann, 1991. - P. 69-93.

105. Goldberg, D. Genetic algorithms in search, optimization and machine learning Text. / D. Goldberg. Reading, MA: Addison-Wesley, 1989. - P. 230241.

106. Goldberg, D. Messy genetic algorithms: Motiation, analysis, and first results Text. / D. Goldberg, D. Kalyanmoy, K. Bradley // Complex Systems. -1989.-Vol. 3.-P. 493-530

107. Hassoun M. Fundamentals of Artificial Neural Networks Text. / M. I-Iassoun. Cambridge, Ma! : MIT Press, 1995. - 36 p. i

108. Haupti, R.L. Practical Genetic Algorithms Text. / R.L. Haupt, S.E. ITaupt. 2ed. - Wiley, 2004. - 261 p.

109. Hop field, J. Neural computations of decisions in optimization problems Text. / J. Hopfield, D. Tank // Biological Cybernetics. 1985. - Vol. 52. - P. 141-152.<

110. Нот, J. A niched Pareto genetic algorithm for multiobjective optimization Text. / J. Horn, N. Nafpliotis, D. Goldberg // The First IEEE Conference on Evolutionary Computation: Proceedings. -Piscataway, 1994. — Vol. 1 P. 82-87.

111. Janikow, C. Z. Genetic algorithms simulating nature's methods of evolving the best design solution Text. / C. Z. Janikow, D. St. Clair // IEEE Potentials. 1995, October. - Vol. 39, No. 14. - P. 31-35.

112. Kursawe, F. Breeding ES first results Text. / F. Kursawe // Seminar on Evolutionary algorithms and their applications. - 1996.

113. Michalewicz, Z. Evolutionary algorithms for constrained optimization problems Text. / Z. Michalewicz, M. Schoenauer // Evolutionary Computation, 4:1, pp. 1-32, 1996.

114. Muller, B. Neural networks Text. / B. Muller, J. Reinhardt. Springer-Verlag, 1990.-267 p.

115. Nowostawski, M. Review and taxonomy of parallel genetic algorithms Text. /М. Nowostawski // School of Computer Science, The University of Birmingham, UK, May 1999. 1

116. Schaffer, J. D. Multiple objective optimization with vector evaluated genetic algorithms Text. / J. D. Schaffer // An International Conference on Genetic Algorithms and Their Applications : Proceedings. — Pittsburgh, PA, 1985. P. 93-100.

117. Srinivas, Deb. Multiobjective Optimization Using Nondominated Sorting in Genetic Algorithms Text. / Deb. Srinivas // Evolutionary Computation. — 1995. Vol. 2, No. 3. - P. 39-44.

118. Steuer, R.E. Multiple Criteria Optimization Text. / R.E. Steuer. — New York : John Wiley, 1986. -267 p.

119. Tynchenko, V. S. Multiobjective genetic algorithms for artificial neural networks structure-parametric synthesis Text. / V. S. Tynchenko // VII Всероссийская научная студенческая конференция с международным участием1 I

120. Молодежь. Общество. Современная наука, техника и инновации». Крас1 ! Iпоярск : СибГАУ, 2008. -'С. 66-68.

121. Wright, A. Genetic algorithms for real parameter optimization Text. / A. Wright // Foundations of Genetic Algorithms. — San Mateo, CA: Morgan Kaufmann, 1991.-Vol. 19, No. 4.-P. 205-218.

122. Zitzler, E. Multiobjective evolutionary algorithms: A comparative case study and the strength Pareto approach Text. / E. Zitzler, L. Thiele // IEEE Transactions on Evolutionary Computation. 1999.i