автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Эволюционные алгоритмы формирования коллективов нейронных сетей для решения задач моделирования и прогнозирования

На гтяму тлчп^мтмг.гт

г у

БУХТОЯРОВ ВЛАДИМИР ВИКТОРОВИЧ

ЭВОЛЮЦИОННЫЕ АЛГОРИТМЫ ФОРМИРОВАНИЯ КОЛЛЕКТИВОВ НЕЙРОННЫХ СЕТЕЙ ДЛЯ РЕШЕНИЯ ЗАДАЧ МОДЕЛИРОВАНИЯ И ПРОГНОЗИРОВАНИЯ

05.13.17 - Теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 5 НОЯ 20Ю

Красноярск - 2010

004614393

Работа выполнена в ФГОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнёва», г. Красноярск

Научный руководитель:

доктор технических наук, профессор Семенкин Евгений Станиславович

Официальные оппоненты:

доктор технических наук, профессор Миркес Евгений Моисеевич

кандидат технических наук Цой Юрий Робертович

Ведущая организация:

Институт проблем управления РАН им. В.А. Трапезникова (г. Москва)

Защита состоится «10» декабря 2010 г. в 16 часов на заседании диссертационного совета Д 212.099.11 при Сибирском федеральном университете по адресу 660074 , г. Красноярск, ул. Киренского, 26, ауд. УЖ 115.

С диссертацией можно ознакомиться в библиотеке Сибирского федерального университета по адресу: г. Красноярск, ул. Киренского, 26, ауд. Г 2-74.

Автореферат разослан «29» октября 2010 г.

Ученый секретарь диссертационного совета

Покидышева Л.И.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. В настоящее время интенсивность использования интеллектуальных, информационных технологий (ИИТ) возрастает во многих отраслях человеческой деятельности. Этому способствуют не только расширяющиеся вычислительные мощности, которые могут быть использованы для решения насущных практических задач, но и сама суть ИИТ, выражающаяся в способности систем, основанных на их использовании, эффективно решать широкий спектр задач. В этой связи можно говорить, что рост заинтересованности в использовании интеллектуальных технологий анализа данных не в последнюю очередь связан с их способностью к интенсификации процессов обработки информации.

Уже сейчас очевидно, что одним из основных направлений дальнейшего развития систем на основе ИИТ, помимо совершенствования и использования лишь одной из таких технологий, является совместное использование в рамках одной системы нескольких ИИТ, что, порой, позволяет получить качественные улучшения характеристик системы в целом.

Можно выделить два способа совместного использования нескольких ИИТ в рамках одной системы, решающей конкретную прикладную задачу. Первый способ - это совместное параллельное использование нескольких интеллектуальных технологий для выработки общего решения задачи. Примером такого объединения может служить коллектив искусственных нейронных сетей. Существенным представляется вопрос о выборе способа выработки общего решения задачи в таких объединениях.

Вторым способом объединения ИИТ в рамках одной системы является использование 0Д1шх технологий для автоматического проектиро вания других. Потребность в таком объединении может быть обоснована как необходимостью повышения эффективности проектирования ИИТ, так и стремлением к автоматизации процесса проектирования систем на основе ИИТ. Последний аргумент представляется особенно важным ввиду все более возрастающих масштабов систем, использующих ИИТ, а так же жесткостью ограничений на временные и человеческие ресурсы, характерные для современного состояния большинства отраслей технической деятельности. Одним из примеров такого объединения ИИТ может служить использование эволюционных алгоритмов для проектирования и обучения нейронных сетей.

Объединение в одной системе обоих способов совместного использования ИИТ позволило бы сущсивеино повысить качество решений, получаемых с помощью такой системы, при минимизации требований к дорогостоящим ресурсам, необходимым для ее проектирования, за счет интенсификации и автоматизации процессов генерации технологий. В конечном счете, использование для интеллектуального анализа данных таких объединений ИИТ способно существенно повысить эффективность решения прикладных задач во многих отраслях человеческой деятельности, а следовательно, создание методов

проектирования коллективов ИИТ является актуальной научно-технической задачей.

Целью диссертационной работы является повышение эффективности использования нейронных сетей при решении задач моделирования и прогнозирования за счет совершенствования процедуры синтеза структур нейронных сетей и разработки эффективных методов объединения нейронных сетей в коллектив на основе эволюционных алгоритмов.

Достижение поставленной цели работы предполагает решение следующей совокупности задач:

1. Проведение сравнительного исследования методов обучения нейронных сетей па основе эволюционных алгоритмов.

2. Анализ существующих методов проектирования искусственных нейронных сетей. Программная реализация основных эволюционных методов проектирования структур нейронных сетей и исследование эффективности их применения на наборе тестовых задач.

3. Разработка нового метода проектирования структур искусственных нейронных сетей и сравнение разработанного метода с другими методами проектирования нейронных сетей на тестовых задачах.

4. Анализ существующих методов проектирования коллективов искусственных нейронных сетей.

5. Разработка гибридного алгоритма генетического программирования, сочетающего в себе стандартный метод генетического программирования и локальный поиск на структуре дерева.

6. Разработка нового метода формирования коллективов искусственных нейронных сетей на основе метода гибридного генетического программирования.

7. Сравнительное исследование разработанного метода и других методов формирования коллективов нейронных сетей на наборе тестовых задач.

8. Апробация на практических задачах в рамках единого эволюционного подхода разработанных методов проектирования нейронных сетей и методов их объединения в коллектив.

Методы исследования. При выполнении диссертационной работы использовались методы теории обработки информации, системного анализа, теории вероятности и математической статистики, теории оптимизации, методики разработки интеллектуальных информационных систем.

Научная новизна результатов диссертационной работы состоит в следующем:

1. Предложен новый вероятностный эволюционный метод проектирования структур искусственных нейронных сетей, отличающийся от известных меньшим числом настраиваемых параметров и уменьшением числа операций кодирования-декодирования структуры нейросетевых моделей, связанных с бинаризацией.

2. Предложен новый гибридный алгоритм генетического программирования, отличающийся от стандартного наличием процедуры

локального поиска на структуре дерева и позволяющий достичь более высокой точности построения регрессионных моделей.

3. Предложен новый метод формирования коллективов нейронных сетей на основе операторов разработанного метода гибридного генетического про1раммирования, отличающийся от известных возможностью автоматического выбора способа формирования коллективного решения и позволяющий достичь более высокой эффективности при решении задач моделирования и прогнозирования.

Теоретическая зпачимость результатов диссертационного исследования состоит в том, что разработаны новые эволюционные алгоритмы для автоматического проектирования искусственных нейронных сетей и их коллективов, предназначенных для решения задач моделирования и прогнозирования, обладающие более высокой эффективностью я адаптивностью, что имеет существенное значение для теории интеллектуальных технологий представления знаний и практики их применения в системах обработки информации и интеллектуального анализа данных.

Практическая значимость. На основе предложенных алгоритмов разработаны современные программные системы, которые позволяют в рамках единого комплексного эволюционного подхода осуществлять проектирование коллективов нейронных сетей для решения задач моделирования и прогнозирования. Полученные в диссертационной работе рекомендации по настройке параметров эволюционных алгоритмов проектирования коллективов нейронных сетей позволяют конечным пользователям, пе владеющим аппаратом эволюционной оптимизации и нейросетевого моделирования, используя разработанные программные системы решать сложные задачи, возникающие в реальной практике.

В целом предложенный в работе подход и разработанные алгоритмы могут быть использованы в системах обработки информации и системах интеллектуального анализа данных, а также в системах поддержки принятия решений различного назначения.

Реализация результатов работы.

Разработанные программные системы были использованы в качестве лабораторной установки для обучения студентов Сибирского государственного аэрокосмического университета по дисциплине «Интеллектуальные технологии и представление знаний».

Разработанные методы применялись во время стажировки в Высшей технической школе г. Ульм (Hochschule Ulm), Германия, в 2008 году в ходе выполнения практической работы по созданию системы прогнозирования скорости и объема потока жидкости в открытых каналах для предупреждения чрезвычайных ситуаций.

Диссертационная работа поддержана Фондом содействия развитию малых форм предприятий в научно-технической сфере по программе «У.М.Н.И.К.» («Участник молодежного научно-инновационного конкурса») в рамках НИОКР «Разработка коэвошоционного вероятностного алгоритма для

автоматизированного проектирования интеллектуальных информационных технологий» на 2008-2011 гг. Работа финансировалась из средств госбюджета в рамках НИР Б 1.01.05 «Разработка и исследование бионических методов идентификации и оптимизации сложных систем» ЕЗН СибГАУ, а также в рамках выполнения проекта «Система поддержки принятия решения при проектировании интегрированных систем безопасности», ставшего победителем конкурса инновационных проектов СибГАУ в 2007-2008 гг.

Диссертационное исследование проводилось также в рамках НИР № 2.1.1./2710 «Математическое моделирование инвестиционного развития региональных экономических систем» АВЦП «Развитие научного потенциала высшей школы (2009-2010 годы)» и НИР НК-136П/3 «Автоматизированная система решения сложных задач глобальной оптимизации многоагентными стохастическими алгоритмами» ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы.

Созданные в ходе работы над диссертацией программные системы зарегистрированы в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам Российской Федерации (Свидетельства о государственной регистрации программы для ЭВМ №№ 2010610862, 2010613317, 2010613617).

Основные защищаемые положения:

1. Разработанный вероятностный эволюционный метод проектирования структур нейронных сетей не менее эффективен, чем метод, использующий генетический алгоритм с локальным поиском для настройки структуры нейронной сети.

2. Разработанный гибридный метод генетического программирования позволяет более эффективно решать задачи символьной регрессии по сравнению с каноническим методом генетического программирования.

3. Разработанный эволюционный подход к проектированию коллективов нейронных сетей позволяет повысить эффективность применения коллективного нейросетевого подхода при решении задач моделирования и прогнозирования по сравнению с другими методами.

Апробация. Результаты диссертационной работы были доложены и обсуждены на следующих научных и научно-практических конференциях: Всемирный конгресс по вычислительному интеллекту (IEEE World Congress on Computational Intelligence (WCCI'2010), г. Барселона, Испания, 2010); XII Национальная конференция по искусственному интеллекту с международным участием КИИ-2010 (г. Тверь, РАИИ, ИСА РАН и ТГТУ, 2010); I Всероссийская научная конференции «Теория и практика системного анализа» (г. Рыбинск, ИСА РАН и РГАТА, 2010); конференция-конкурс «Технологии Microsoft в теории и практике программирования» (г. Томск, ТПУ, 2010, г. Новосибирск, НГУ, 2008); Международные научно-практические конференции «Решетневские чтения» (г. Красноярск, СибГАУ, 2006-2009), Всероссийская научно-практическая конференция, студентов, аспирантов и молодых специалистов

«Актуальные проблемы авиации и космонавтики», (г. Красноярск, СибГАУ, 2005-2009) и также на ряде молодежных и студенческих конференций.

Публикации. По теме диссертации опубликовано 23 работы, из них 3 статьи в изданиях из перечня ВАК, 3 программные системы зарегистрированы в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам Российской Федерации («Роспатент»),

Структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 95 наименований и содержит 168 страниц основного текста, 28 таблиц, 57 рисунков и 6 приложений.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении приведена общая характеристика работы, сформулированы цели и задачи исследования, приведены основные результаты и защищаемые положения.

Первая глава посвящена разработке вероятностного эволюционного метода для автоматизированного проектирования структуры искусственных нейронных сетей (ИНС).

Формально задачу проектирования оптимальной структуры ИНС можно сформулировать как задачу поиска в пространстве, в котором каждая точка соответствует некоторой определенной структуре. Существенное распространение получили два следующих подхода в решении вопроса о выборе структуры ИНС: наращивание сети и упрощение структуры сети. Основным недостатком этих методов является их склонность к сходимости к локальным оптимумам. К недостаткам упомянутых выше подходов также относят требовательность к ресурсам из-за высокой вычислительной сложности и то, что такие методы позволяют исследовать лишь о1раниченное подмножество структур, границы которого часто в значительной мере определяются субъективно заданными экспертом начальными условиями.

В то же время исследователями доказана высокая эффективность применения эволюционных алгоритмов поисковой оптимизации (генетических алгоритмов (ГА)) именно при решении задач, в которых целевая функция обладает свойствами, характерными для целевой функции в задаче проектирования структуры ИНС, и затрудняющими иди делающими невозможным применение классических методов. Кроме того ограничения на структуру проектируемых нейронных сетей при использования эволюционных алгоритмов гораздо менее жесткие, и обусловлены в общем случае лишь ограничениями на максимальный размер ИНС и конечностью списка используемых в сети функций активации.

Несмотря на относительно высокую эффективность проектирования структуры ИНС с помощью ГА, неизменно встает вопрос о дальнейшем повышении эффективности подобных поисковых методов. В частности, практика применения таких алгоритмов демонстрирует необходимость в разработке методов, обладающих меньшим числом настраиваемых параметров, возможностью использования дополнительных процедур, ускоряющих

сходимость алгоритма, и более высокой эффективностью в смысле критериев качества конкретной задачи. Поэтому для повышения эффективности решения задачи выбора структуры ИНС в диссертационной работе предлагается новый вероятностный метод.

Предлагаемый метод проектирования структуры ИНС основан на вычислении и использовании оценок вероятностей

где г - номер скрытого слоя нейронной сети; ] - номер нейрона на скрытом слое сети; М!ауег- максимальное число скрытых слоев; ЛГ,„„„ - максимальное число нейронов на скрытом слое; к - идентификатор, значение которого интерпретируется следующим образом:

Если к = 0, то ~~ это °Ценка вероятности того, что ] -й нейрон на г -ом слое сети отсутствует.

- Если £ е [1, А'г ], то р^ - это оценка вероятности того, что j~й

нейрон на ¡'-ом слое сети существует и его активационная функция — это активационная функция с номером к из набора активационных функций, доступных алгоритму. Л> - мощность множества активационных функций, которые могут быть использованы при проектировании структуры нейронной сети.

Нумерация слоев и нейронов осуществляется в соответствии с номерами слоя и номером нейрона на слое в полной сети с параметрами Ы1ауа. и . В качестве максимально полной в смысле количества слоев и количества нейронов на слоях архитектуры ИНС была выбрана сеть с топологией, характерной для полного многослойного персептрона. Это обусловлено фактом использования сетей именно с такой топологии в 80% реальных приложений ИНС.

Общая схема предлагаемого метода автоматического формирования структуры ИНС:

1. Выполнить шаги инициализации метода.

2. Случайным образом сформировать N представляющих собой закодированные решения векторов = 1 ,Ы, установить счетчик итераций к~0.

3. На к-м шаге поиска произвести оценку решений, представленных 5'*'', I = 1, N, положить промежуточное множество 5'= 0.

4. С помощью оператора селекции выбрать N решений из текущего

множества = [з*'1,8к'2и поместить их в промежуточное множество 5".

5. Используя решения из множества б", вычислить набор оценок вероятностей Р = = , 1 = 1,АТ,, / =

6. В соответствии с вычисленными оценками вероятностей с помощью датчика псевдослучайных чисел сформировать промежуточное множество , состоящее из N новых решений.

7. К решениям из множества Я* применить оператор случайного поиска, аналогичный оператору мутации в генетических алгоритмах, но адаптированный для применения на строках целых чисел.

8. Из множеств и Зк формируется новое множество решений 51*41.

9. Если выполняется условие остановки, то лучшее найденное решение объявить результатом работы. Иначе к = к +1, повторить шаги 3-8.

Для оценки работоспособности и эффективности предлагаемого метода формирования структуры ИНС было проведено сравнительное исследование разработанного метода и метода, основанного на использовании гибридного ГА (ГА с локальным поиском на каждом шаге). Гибридный ГА был выбран в качестве конкурирующего подхода ввиду того, что была показана его более высокая эффективность в среднем на множестве тестовых задач по сравнению со стандартным ГА.

Для проведения исследований был сформирован набор тестовых задач, включающий в себя задачи, часто используемые в различных исследованиях для оценки эффективности нейросетевых подходов.

Исследуемые подходы сравнивались по двум критериям: скорость -вычислялась статистическая оценка номера шага, на котором было достигнуто заданное значение ошибки, вычисленной на тестовой выборке, и математическое ожидание ошибки моделирования, полученной после выполнения заданного числа шагов. Значения критериев эффективности усреднялись по результатам 50 прогонов. Значимость в различиях результатов алгоритмов проверялась методами дисперсионного анализа при уровне значимости а = 0,05.

Результаты проведенного исследования не только указывают на работоспособность предлагаемого метода вероятностного формирования структуры ИНС, но и демонстрируют его способность статистически не хуже решать задачи построения модели зависимостей, описываемых функциями различной сложности, по сравнению с хорошо зарекомендовавшим себя методом, основанным на использовании ГА (его гибридной модификации), оптимальные настройки которого были определены в ходе предварительного тестирования.

При этом разработанный метод, в виду отсутствия некоторых настраиваемых параметров, никак заранее не был адаптирован для решения задач из тестового набора, что позволяет говорить о его более высокой адаптивности и рекомендовать его для использования при решении реальных задач с жесткими ограничениями на использование ресурсов, которые могут быть затрачены на предварительную адаптацию используемых методов проектирования ИНС.

Во второй главе диссертации предлагается модификация стандартного алгоритма генетического программировать! (ГП), повышающая эффективность решения задач символьной регрессии за счет совершенствования процедуры синтеза структуры модели и более тонкой настройки ее параметров с помощью эволюционных алгоритмов.

На современном этапе методы решения задачи символьной регрессии не разработаны достаточно хорошо. ГП является одним из многообещающих подходов в данном направлении. В отличие от ГА, в которых индивиды в популяции представляют собой символьные (в частности бинарные) строки, кодирующие решение, решения в ГП могу быть представлены в различной форме и иметь различный размер. Чаще всего используется представление решений в виде деревьев. Поэтому для адаптации идеи гибридизации ГА и ее использования в ГП была разработана специальная процедура локального поиска на структуре решения. Внедрение процедуры локального поиска в метод стандартного генетического программирования назовем гибридизацией, а сам метод - гибридным методой ГП.

Схема разработанной процедуры локального поиска может быть описана следующей последовательностью шагов:

1. Отбор наиболее перспективных с точки зрения решаемой задачи индивидов текущего поколения. Обычно отбирается заданное количество индивидов имеющих наибольшее значение функции пригодности.

' 2. Примените к отобранным индивидам процедуры локального поиска. Локальный поиск осуществляется на заданном числе г вершин дерева, которым представлено исходное решение. Вершины дерева выбираются

случайно с равной вероятностью р1 1еагА = ~, гдел' - число вершин в дереве. Шаг

поиска осуществляется по приведенной ниже схеме.

- Значение в выбранной вершине дерева заметается новым в соответствии с правилами, сформулированными в диссертации для локального поиска в методе ГП.

Вычисляется значение функции пригодности индивида, измененного на предыдущем шаге.

- Если пригодность измененного индивида выше пригодности исходного индивида, то шаг поиска считается успешным, новое содержание вершины дерева фиксируется. Иначе шаг поиска считается неудачным, вершине возвращается исходное значение.

- Переход к новому шагу локального поиска (к началу п. 2), если число шагов не превышает г, иначе поиск останавливается.

3. Возвращение индивидов в исходную популяцию для применения к ним операторов стандартного метода ГП. Индивид возвращается в популяцию таким, каким он стал после применения локального поиска и с новым значением функции пригодности.

С целью оценки эффективности предлагаемого метода гибридного ГП был проведен ряд численных экспериментов. Исследованию также подверглись стандартный метод ГП и метод ГП с эволюционными алгоритмами настройки параметров модели.

Сравнение эффективности методов производилось по критерию надежности, которая оценивалась как отношение числа запусков метода, в которых была достигнута заданная точность аппроксимации исходных данных, к

общему числу запусков. При этом максимальное число вычислений функции пригодности было ограничено в равной степени для всех сравниваемых методов. Статистика для получения оценок надежности набиралась по 50 запускам каждого из рассмотренных методов, а значимость результатов проверялась методами АМОУА.

Анализ процесса поиска решений с помощью стандартного и гибридного методов ГП показывает, что повышение эффективности при гибридизации ГП достигается вследствие того, что гибридный алгоритм не обладает такой характерной чертой стандартного метода, как резкое замедление поиска решений (практически остановка) при нахождении решения, близкого к искомому, но все таки не удовлетворяющего критерию останова.

Вследствие этого, на шести из семи рассмотренных тестовых задач предлагаемый подход оказался значимо эффективнее, чем стандартный метод ГП, а на одной из задач показанные результаты статистически не различимы. Статистически значимое превосходство гибридного метода ГП над другими модификациями стандартного метода продемонстрировано на трех из семи задач, в остальных случаях были достигнуты статистически не худшие результаты. Принимая во внимание то, что результаты получены при одинаковых ограничениях на доступные методам вычислительные ресурсы, можно говорить о значимом превосходстве предлагаемого подхода в среднем на множестве рассмотренных задач и рекомендовать его для использования при решении практических задач.

В третьей главе диссертации разрабатывается эволюционный подход к формированию коллективов ИНС, в котором непосредствешго используются идеи гибридного метода генетического программирования.

Коллектив ИНС представляет собой некоторое множество отдельных ИНС, используемых совместно для решения одной задачи. Ранее исследователями было показано, что способность к обобщению системы, основанной на использовании нейронных сетей, может быть значительно повышена за счет замены одиночной ИНС на коллектив.

В общем случае проектирование коллектива ИНС включает в себя два

этапа:

1. Первый этап заключается в формировании структуры и обучении отдельных ИНС.

2. Второй этап включает в себя отбор тех ИНС, которые будут использованы при формировании общего решения коллектива, и определение способа и параметров для эффективного расчета общего коллективного решения на основе решений отдельных ИНС.

Схема использования коллективов ИНС предполагает, что расчет общего коллективного решения производится на основания решений, полученных отдельными сетями, то есть общее коллективное решение - это некоторая функция, зависящая от решений отдельных ИНС:

о = /(о1,о2,...,о„) (3)

Здесь о - общее решение, о. - индивидуальное решение 1-й сети, п - число сетей в коллективе. В существующих подходах для формирования общего решения коллектива нейронных сетей наиболее часто используются равноправное или взвешенное голосование для задач классификации и простое или взвешенное усреднение для задач регрессии. Однако, очевидно, что большая вариативность способа формирования общего решения в коллективах ИНС, т.е. вида функциональной зависимости (3), позволила бы лучше адаптировать пейросетевую систему для решения конкретной задачи. При этом доля вычислительных затрат на выбор способа формирования общего решения в общем объеме затрачиваемых вычислительных ресурсов мала. Это объясняется тем, что метод формирования коллективного решения оперирует уже с рассчитанными значениями выходных переменных для каждой ИНС, полученных на общем для всех коллективных подходов этапе формирования структуры и обучения.

Одним из эффективных методов восстановления функциональных зависимостей является разработанный гибридный метод ГП. Это позволяет говорить о целесообразности адаптации и использования разработанного в главе 2 метода для выбора способа формирования обтцего решения в коллективах нейронных сетей.

Для того чтобы метод гибридного ГП, изначально разработанный для решения задач символьной регрессии, мог быть использован для формирования способа расчета общего решения в коллективах нейронных сетей, необходимо адаптировать его для решения этой задачи. С этой целью в метод были внесены следующие изменения:

1. В качестве терминального множества метода ГП, используемого для формирования общего решения, используется множество Т = {о1,о2,...,оп,С}, где о, - индивидуальное решение г -й сети, п - число сетей в коллективе, С -множество констант (численных коэффициентов модели, описывающей способ формирования общего решения). Таким образом, в качестве входных переменных используются индивидуальные решения сетей, а не входные переменные задачи.

2. В гибридный метод ГП включены эволюционные алгоритмы настройки численных параметров (гибридный и вероятностный ГА).

3. В методе предусмотрен механизм введения ограничений числа используемых входных переменных, то есть числа сетей, решения которых используются для формирования общего решения, и ограничений на общую сложность коллектива (например, общее число вычислительных узлов во всех сетях в коллективе). Такие ограничения могут быть введены за счет использования соответствующих оценок при расчете значений пригодности.

Предлагаемый комплексный эволюционный подход к проектированию коллективов ИНС не исключает возможности использования на этапе обучения отдельных нейронных сетей какого-либо из специальных алгоритмов для обучения (настройки) ИНС в случае их коллективного использования, таких как бустинг, бэггинг и других подобных методов. Так же, в случае построения

итеративной процедуры на основе предлагаемого подхода, может быть изменен вид целевой функции при проектировании и обучении отдельных ИБС, например, в соответствии со схемой метода негативной корреляции (negative correlation learning) или других подобных методов. Подобные модификации легко осуществимы в виду характеристик используемых алгоритмов проектирования и обучения отдельных ИНС.

Для исследования эффективности предлагаемого метода формирования решения в коллективах нейронных сетей был проведен ряд численных экспериментов на наборе тестовых задач моделирования и прогнозирования. В соответствии с общей схемой использования коллективов нейронных сетей предварительно эволюционными алгоритмами независимо формировалось множество ИНС с произвольной структурой, и настраивались их весовые коэффициенты. Затем сформированное множество сетей использовалось для сравнения предлагаемого метода со следующими известными подходами к проектированию коллективов нейронных сетей: метод GASEN; метод, основанный на использовании генетического алгоритма для выбора фиксированного числа нейронных сетей из предварительного пула и назначения им весов (GA-basedl); метод, основанный на использовании генетического алгоритма для выбора произвольного числа нейронных сетей из предварительного пула и назначения им весов (GA-based2).

В качестве главного критерия эффективности использовались оценка математического ожидания и оценка дисперсии ошибки моделирования (прогнозирования), рассчитанные по данным, полученным в ходе 50 независимых запусков алгоритмов. Для исследования значимости различий в эффективности используемых подходов были использованы методы ANOVA.

Результаты исследований на задачах моделирования показали, что предлагаемый метод формирования общего решения оказывается эффективнее, чем другие исследуемые подходы на 8 из 10 использованных тестовых задач. На оставшихся 2 задачах результаты всех коллективных подходов статистически не различимы при используемом уровне значимости. В целом в среднем на тестовых задачах моделирования предлагаемый подход оказывался на 20% эффективнее конкурирующих коллективных подходов.

Для проведения сравнительных исследований на задачах прогнозирования в качестве тестовых задач были использованы выборки данных, сгенерированные из большого набора данных «Synthetic Control Chart Time Series Data Set» из Machine Learning Repository. Этот набор данных представляет собой синтетический тест для алгоритмов прогнозирования.

Точность прогноза, достигаемая при помощи предлагаемого подхода для формирования общего коллективного решения, выше по сравнению с результатами, получаемыми другими методами. На всех рассмотренных задачах разработанный подход позволяет сократить ошибку прогнозирования относительно ошибок других методов минимум на 28%.

Таблица 1. Результаты решения тестовых задач прогнозирования временных рядов

Метод Задача Оценка математического ожидания ошибки прогнозирования, %

бАБЕМ СА-Ьа5е<11 ОА-ЬаэесЙ Предлагаемый подход Экспоненциальное сглаживание

1. Рад без цикличности и тренда 11,3 11,5 11,5 19,9

2. Цикличный временной ряд 9,7 9,8 9,7 6,9 - 29,5

3. Временной ряд с возрастающим трендом 10,8 10,9 11,1 - 8>4 шШ 19,4

4. Временной ряд с убывающим трендом. 9,6 9,8 10,1 Ъ'-^'-'г «я» 7,3 г.: - 18,6

Таким образом, проведенные численные исследования показали, что разработанный эволюционный метод формирования общего решения на основе метода гибридного ГГ1 позволяет повысить эффективность решения большинства использованных тестовых задач моделирования и прогнозирования, и может быть использован при решении практических задач.

Четвертая глава диссертации посвящена практической реализации разработанных методов автоматического проектирования интеллектуальных информационных технологий и коллективов нейронных сетей.

Для проведения исследований, а также для реализации возможности решения с помощью предложенных в диссертации методов реальных практических задач, были разработаны три современные программные системы, которые прошли экспертизу и были зарегистрированы Федеральной службой по интеллектуальной собственности, патентам и товарным знакам. Разработанные программные системы были использованы для решения нескольких практических задач.

Задача моделирования процесса рудно-термической плавки (РТП). Исходные данные задачи следующие: имеются выборки данных, характеризующих эффективность работы печи рудно-термической плавки. В качестве управляющих параметров, используются электрические параметры и загрузка шихты по отдельным составляющим: количество загружаемого в печь агломерата; количество загружаемого в печь кремнезита; количество загружаемого в печь кокса; количество загружаемого в печь конвертерного шлака; ввод электрической мощности; заглубление электродов; напряжение; сила тока; удельный расход электроэнергии. Эти параметры позволяют оценить технологические, энергетические и экономические аспекты процесса плавки, характеризующие эффективность работы печи. В качестве выходного параметра выбрано содержание никеля в отработанном шлаке в процентах. Общий объем выборки наблюдений - 47 элементов.

Необходимо построить модель для расчета значения выходного параметра РТП по известным значениям входных параметров.

В ходе решения задачи на первом этапе был сформирован пул нейросетевых моделей с характеристиками, приведенными в таблице 2.

На втором этапе был сформировал коллектив, состоящий из четырех нейросетевых моделей. Средняя сложность сети в коллективе оказалась идентичной средней сложности сети в предварительном пуле.

Количество сетей в пуле 20

Средняя сложность сети (число нейронов на скрытых слоях сети) 7

Средняя ошибка одной сети в пуле на экзаменующей выборке 10,93%

Ошибка усредненного прогноза по всем нейросетевым моделям в пуле 9,49%

Коллектив нейросетевых технологий, сформированный предлагаемым в диссертации методом, обеспечил следующие значения ошибки моделирования: для обучающей выборки - 4,85%; для экзаменующей выборки - 5,28%.

Минимальное значение ошибки моделированияю которого удалось достичь другими методами формирования коллективного решения для исходных данных задачи 6,60% и 7,11% на обучающей и экзаменующей выборках соответственно.

Задача прогнозирования предела прочности изделий из бетона.

Разработанный комплексный эволюционный подход к проектированию коллективов нейронных сетей был апробирован на реальной задаче прогнозирования предела прочности бетона. Набор данных для задачи включает 1030 записей, описывающих зависимость между составом бетона и измеренным показателем, характеризующим предел прочности пробных образцов, изготовленных из бетона с соответствующим составом ингредиентов.

В качестве входных параметров для построения модели были использованы следующие: содержание цемента, кг/м3; содержание шлака, кг/м3; содержание зольной пыли, кг 1м1; вода, кг1мг; содержание пластификатора, кг!мг; количество крупного щебня, кг/мЪш, количество мелкого щебня, кг 1м1; срок измерения, дней. Выходной параметр, значение которого должно быть рассчитано с помощью модели - предел прочности образца, МПа.

В ходе решения задачи на первом этапе был сформирован предварительный пул нейросетевых моделей со следующими характеристиками:

Таблица б. Характеристики предварительного пуда нейронных сетей

Количество сетей в пуле 20

Средняя сложность сети (число нейронов на скрытых слоях сети) 7

Средняя ошибка одной сети в пуле на экзаменующей выборке 9,94%

Ошибка усредненного прогноза по всем нейросетевым моделям в пуле 8,85%

На втором этапе был сформирован коллектив, состоящий из пяти нейросетевых моделей. Средняя сложность сети в коллективе равна 6.

Коллектив нейронных сетей, сформированный предлагаемым в диссертации методом, обеспечил следующие значения ошибки моделирования: для обучающей выборки: 6,27%, для экзаменующей выборки: 6,44%.

Минимальное значение ошибки моделирования, которого удалось достичь другими методами формирования коллективов ИНС: 8,18% и 8,37% на обучающей и экзаменующей выборках соответственно.

По сравнению с другими коллективными подходами, формирующими коллектив схожей размерности, относительное улучшение по критерию точности проектируемой модели для разработанного составило более чем на 29%, что является весьма существенным при решении практических задач.

Задачи прогнозирования содержания углекислого газа в выхлопе газовой печи. Данные получены во время наблюдения за процессом сжигания воздушно-метановой смеси в газовой печи (приведены в книге Дж. Бокса и Г. Дженкинса «Анализ временных рядов, прогноз и управление»). Набор данных представляет собой выборку из 296 пар наблюдений входного и выходного параметров процесса сжигания воздушно-метановой смеси в печи (м (?),>•(/)). Входной параметр печи «(<) - расход газовой смеси в кубических футах в минуту. В качестве регистрируемого выходного параметра >■(;) используются измеренные значения концентрации углекислого газа в газовой смеси на выходе печи. Данные снимались через промежутки времени А( = 9с. При построении прогноза у(() использовались следующие входные параметры: и(1 - 4), и(1 - 3), и((- 2), н(/ — 1), - концентрация метана в газовой смеси на входе печи, регистрируемая в соответствующие моменты времени; -1) - значение концентрации углекислого газа на выходе в момент времени / -1.

В результате анализа открытых источников (научных статьей и литературы), была сформирована таблица, включающая в себя результаты решения рассматриваемой задачи, полученные с использованием 11 методов прогнозирования временных рядов. Результаты исследования конкурирующих методов приведены в таблице 9. В первом столбце приведены названия прогностических моделей. Во втором столбце приведено отношение ошибки, полученной соответствующим методом, к результату, полученному с помощью коллектива ИНС, сформированного предлагаемым в диссертации эволюционным методом. Для расчета ошибки прогнозирования использовалась среднеквадратическая ошибка (Л/Ж). Минимальное значение ошибки (4), полученное на модели, созданной с помощью разработанного метода проектирования коллективов нейронных сетей: = 0,11.

Таблица 9.

i Модель MSEJMSE i Модель MSE,/MSEaM

1 ARMA 6,5 7 TS model 2,2

2 Tong's model 4,3 8 Lee's model 3,7

3 Pedrycz's model 2,9 9 Hauptmann's model 1,2

4 Xu's model 3,0 10 Lin's model 2,4

5 Sugeno's model 3,2 11 Nie's model 1,5

6 Surmaim's model 1,5

Из таблицы видно, что значение среднеквадратичной ошибки для модели, сформированной предлагаемым методом, как минимум в 1,2 раза меньше, чем ошибка, полученная авторами лучшего из других рассмотренных методов.

Таким образом, проведенные исследования показывают, что разработанные алгоритмы и метода позволяют эффективно решать задачи

моделирования и прогнозирования. Предлагаемые методы сделали возможным существенно повысить эффективность решения рассмотренных практических задач, их реализация в программных системах анализа данных является позитивным шагом в направлении разработки и реализации востребованных методов автоматического проектирования интеллектуальных информационных технологий и, в частности, автоматического проектирования ИНС.

В заключении диссертации приведены основные результаты и выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В диссертационной работе получены следующие результаты:

1. Разработан новый вероятностный эволюционный метод для автоматического проектирования структуры нейронных сетей, который отличается от известных эволюционных методов меньшим числом настраиваемых параметров за счет использования оригинальных процедур генерирования новых решений и уменьшением числа операций кодирования-декодирования структуры нейронных сетей.

2. Разработан новый гибридный метод генетического программирования, использующий совместно со стандартными операторами генетического программирования предложенную автором процедуру локального поиска на структуре решения.

3. Предложен новый метод формирования коллективов нейронных сетей, в котором реализованы разработанные автором методы автоматического выбора способа формирования коллективного решения и отбора нейронных сетей.

4. Проведен сравнительный анализ эволюционных алгоритмов обучения нейронных сетей на множестве тестовых задач. Анализ результатов исследований позволил выявить алгоритмы, наиболее эффективные в среднем на множестве задач, и выработать рекомендации по значениям параметров для использования в дальнейших в исследованиях.

5. Проведены сравнительные исследования разработанного вероятностного метода формирования структуры нейронных сетей и широко распространенного метода, основанного на использовании генетического алгоритма для настройки структуры нейронных сетей. Было показано, что предлагаемый метод пе менее эффективен, чем конкурирующий, при этом он имеет меньшее число настраиваемых параметров, что облегчает его адаптацию при решении конкретной задачи. Кроме того, разработанный метод позволяет сократить использование вычислительных ресурсов за счет отсутствия необходимости кодирования-декодирования решений в бинарные строки.

6. Проведено сравнительное исследование разработанного гибридного алгоритма генетического программирования со стандартным методом. Анализ результатов исследования показал, что разработанный метод оказывается более эффективным, чем стандартный на всем множестве задач, которые использовались для проведения статистических исследований.

7. Проведен сравнительный анализ разработанного метода и других распространенных методов проектирования коллективов нейронных сетей, в результате которого было показано, что на всех тестовых задачах эффективность предлагаемого метода не ниже, чем эффективность других методов. В среднем, на большинстве тестовых задач, предлагаемый метод превосходит другие методы по эффективности не менее чем на 20%,

8. Разработаны и апробированы программные системы, реализующие описанные в работе алгоритмы и методы.

9. С помощью разработанных программных систем успешно решены реальные практические задачи.

Таким образом, в диссертации разработаны, исследованы и апробированы новые эволюционные алгоритмы для автоматическою проектирования искусственных нейронных сетей и их коллективов, предназначенных для решения задач моделирования и прогнозирования, обладающие более высокой эффективностью и адаптивностью но сравнению с существующими методами проектирования нейронных сетей и их коллективов, что имеет существенное значите для теории интеллектуальных технологий представления знаний и практики их применения в системах обработки информации и системах интеллектуального анализа данных.

Список публикаций автора

I*1. Бухтояров, В.В. Эволюционный метод формирования общего решения в коллективах нейронных сетей / В.В. Бухтояров // Искусственный интеллект и принятие решений. - №3. - 2010. - С. 89-97.

2*. Бухтояров, В.В. Разработка и исследование гибридного метода генетического программирования / В.В. Бухтояров, Е.С. Семешаш // Программные продукты и системы. - №3. - 2010. - С. 34-38.

3*. Бухтояров, В.В. Комплексный эволюционный подход для проектирования коллективов нейросетевых технологий / В.В. Бухтояров, Е.С. Семенкин У/ Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - №3. - 2010.

4. Bukhtoyarov, V. Comprehensive evolutionary approach for neural network ensemble automatic design / V. Bukhtoyarov, O. Semenkina // Proceedings of the IEEE World Congress on Computational Intelligence, Barcelona, Spain, 2010. -Pp. 1640-1645.

5. Бухтояров, В.В. Разработка комплексного эволюционного подхода для проектирования коллективов нейронных сетей для задач моделирования / В.В. Бухтояров // Труды Международных научно-практических конференций AIS'lO/CAD-2010, -М.: Физматлит, 2010. - С. 271-279.

6. Бухтояров, В.В. Разработка и исследование комплексного эволюционного подхода для проектирования коллективов нейросетевых технологий моделирования и прогнозирования /В.В. Бухтояров // Труды XII

1 Здесь и далее знаком (*) отмечены публикации в изданиях из перечня ВАК.

18

Национальной конференции по искусственному интеллекту. - Т. 2. - М.: Физматлит, 2010. - С. 380-389.

7. Бухтояров, В.В. Программная система для автоматической генерации интеллектуальных технологий анализа данных IT-PEGAS / В.В. Бухтояров // Труды XII Национальной конференции по искусственному интеллекту . - Т. 4. -М.: Физматлит, 2010. - С. 41-44

8. Бухтояров, В.В. Комплексный эволюционный подход для проектирования коллективов нейросетевых технологий прогнозирования и моделирования / В.В. Бухтояров // Труды ХП Национальной конференции по искусственному интеллекту. - Т. 4. -М.: Физматлит, 2010. - С. 146-149.

9. Бухтояров, В.В. Вероятностный метод формирования структуры нейронных сетей / В.В. Бухтояров // Теория к практика системного анализа: Труды I Всероссийской научной конференции молодых ученых. - Т. I. -Рыбинск: РГАТА, 2010. - С. 19-27.

10. Бухтояров, В.В. Эволюционный метод формирования общего решения в коллективах нейронных сетей / В.В. Бухтояров, Е.С. Семенкин // Теория и практика системного анализа: Труды I Всероссийской научной конференции молодых ученых. - Т. I. - Рыбинск: РГАТА, 2010. - С. 121-127.

11. Бухтояров, В.В. Разработка комплексного эволюционного подхода для проектирования коллективов нейронных сетей / В.В. Бухтояров // Технологии Microsoft в теории и практике программирования. Конференция-конкурс. — Томск: ТПУ, 2010.—С. 125-127.

12. Бухтояров, В.В. Разработка и исследование комплексного эволюционного подхода для проектирования коллективов нейронных сетей / В.В. Бухтояров // Актуальные проблемы авиации и космонавтики. Сборник тезисов Всероссийской научно-практической конференции. Красноярск: СибГАУ, 2010.-С. 33-35.

13. Бухтояров, В.В. Моделирование: Гибридный алгоритм генетического программирования IIМ.: ФИПС, 2010. - Свид-во о гос. per. № 2010613317.

14. Бухтояров, В.В. Комплексное проектирование коллективов нейронных сетей // М.: ФИПС, 2010. - Свид-во о гос. per. № 2010613617.

15. Бухтояров, В.В. Вероятностный метод формирования структуры нейронных сетей I В.В. Бухтояров, Е.С. Семенкин // М.: ФИПС, 2010. - Свид-во о гос. per.

16. Бухтояров, В.В. Разработка гибридной интеллектуальной системы для моделирования сложных процессов / В.В. Бухтояров // Решетневские чтения: материалы XIII Международной научной конференции. — Красноярск: СибГАУ, 2009. - С. 117-119.

17. Бухтояров, В.В. Разработка и исследование модификаций алгоритмов построения деревьев решений / В.В, Бухтояров // Актуальные проблемы авиации и космонавтики. Сборник тезисов Всероссийской научно-практической конференции студентов, аспирантов и молодых специалистов. — Красноярск: СибГАУ, ,2009. — С.275-276.

18. Бухтояров, B.B. Разработка гибридного метода генетического программирования / В.В. Бухтояров // Решетневские чтения: материалы XII Международной научной конференции. — Красноярск СибГАУ, 2008.

19. Бухтояров, В.В. Автоматизированное генерирование интеллектуальных информационных технологий на основе самонастраивающихся эволюционных алгоритмов / Р.Б. Сергиенко, В.В. Бухтояров // Технологии Microsoft в теории и практике программирования. Конференция-конкурс. —Новосибирск: НГУ, 2008.—С. 167-169.

20. Бухтояров, В.В. Гибридный метод генетического программирования / В.В. Бухтояров // Актуальные проблемы экономики, информатики и права: труды VIII Межвузовской научно-практической конференции. - Красноярск: МГУ ЭСИ, 2008.

21. Бухтояров, В.В. Разработка системы поддержки принятия решений при проектировании интегрированных систем безопасности / С.С. Бежитский,

B.В. Бухтояров, Р.Б. Сергиенко, К.А. Токмин // Решетневские чтения: материалы XI Международной научной конференции. — Красноярск: СибГАУ, 2007. —

C.217.'

22. Бухтояров, В.В. Разработка гибридного генетического алгоритма / В.В. Бухтояров // Решетневские чтения: материалы XI Международной научной конференции. —Красноярск: СибГАУ, 2007. — С.220-221.

23. Бухтояров, В.В. Сравнение эффективности генетического и гибридного алгоритмов / В.В. Бухтояров // Актуальные проблемы авиации и космонавтики: сборник тезисов Всероссийской научно-практической конференции студентов, аспирантов и молодых специалистов. — Красноярск: СибГАУ, 2006. — С.137-138.

Бухтояров Владимир Викторович Эволюционные алгоритмы формирования коллективов нейронных сетей для решения задач моделирования и прогнозирования Автореферат

Подписано к печати Формат 60x84/16

Уч. изд. л. 1.0 Тираж 100 экз. Заказ № & ЛО

Отпечатано в отделе копировальной и множительной техники СибГАУ. 660014, г. Красноярск, пр. им. газ. «Красноярский рабочий», 31

Введение

ГЛАВА 1. Разработка и исследование вероятностного эволюционного метода проектирования структуры нейронных сетей

1.1 Основные понятия теории искусственных нейронных сетей

1.2 Эволюционные алгоритмы обучения нейронных сетей

1.3 Экспериментальное исследование эффективности эволюционных алгоритмов

1.4 Методы проектирования структур нейронных сетей

1.5 Вероятностный эволюционный метод проектирования структур нейронных сетей

1.6 Экспериментальное исследование эффективности методов проектирования структур нейронных сетей

Выводы

ГЛАВА 2. Разработка и исследование гибридного алгоритма генетического программирования для задач символьной регрессии

2.1 Метод генетического программирования для задачи символьной регрессии

2.2 Метод генетического программирования с эволюционными алгоритмами настройки параметров модели

2.3 Разработка гибридного алгоритма генетического программирования для задач символьной регрессии

2.4 Экспериментальное исследование методов генетического программирования

Выводы

ГЛАВА 3. Разработка и исследование эволюционного метода формирования коллективов нейронных сетей

3.1 Коллективы нейронных сетей

3.2Разработка эволюционного метода формирования коллективов нейронных сетей

3.3 Исследование эффективности методов формирования коллективов нейронных сетей

Выводы

ГЛАВА 4. Практическая реализация разработанных методов

4.1 Программная система для исследования эволюционных алгоритмов оптимизации

4.2 Программная система «IT-PEGAS» для интеллектуального анализа данных

4.3 Решение практических задач разработанными методами

Выводы

В настоящее время интенсивность использования интеллектуальных информационных технологий (ИИТ) возрастает во многих отраслях человеческой деятельности. Этому способствуют не только расширяющиеся вычислительные мощности, которые могут быть использованы для решения насущных практических задач, но и сама суть ИИТ, выражающаяся в способности систем, основанных на их использовании, эффективно решать широкий спектр задач. В этой связи можно говорить, что рост заинтересованности в использовании интеллектуальных технологий анализа данных не в последнюю очередь связан с их способностью к интенсификации процессов обработки информации.

Уже сейчас очевидно, что одним из основных направлений дальнейшего развития систем на основе ИИТ, помимо совершенствования и использования лишь одной из таких технологий, является совместное использование в рамках одной системы нескольких ИИТ, что, порой, позволяет получить качественные улучшения характеристик системы в целом.

Можно выделить два способа совместного использования нескольких ИИТ в рамках одной системы, решающей конкретную прикладную задачу. Первый способ - это совместное параллельное использование нескольких интеллектуальных технологий для выработки общего решения задачи. Примером такого объединения может служить коллектив искусственных нейронных сетей. Существенным представляется вопрос о выборе способа выработки общего решения задачи в таких объединениях.

Вторым способом объединения ИИТ в рамках одной системы является использование одних технологий для автоматического проектирования других. Потребность в таком объединении может быть обоснованна как необходимостью повышения эффективности проектирования ИИТ, так и стремлением к автоматизации процесса проектирования систем на основе ИИТ. Последний аргумент представляется особенно важным ввиду все более возрастающих масштабов систем, использующих ИИТ и жесткости ограничений на временные и человеческие ресурсы, характерные для современного состояния большинства отраслей технической деятельности. Одним из примеров такого объединения ИИТ может служить использование эволюционных алгоритмов для проектирования и обучения нейронных сетей.

Объединение в одной системе обоих способов совместного использования ИИТ позволило бы существенно повысить качество решений, получаемых с помощью такой системы, при минимизации требований к дорогостоящим ресурсам, необходимым для ее проектирования, за счет интенсификации и автоматизации процессов генерации технологий. В конечном счете, использование для интеллектуального анализа данных таких объединений ИИТ способно существенно повысить эффективность решения прикладных задач во многих отраслях человеческой деятельности, а следовательно, создание методов проектирования коллективов ИИТ является актуальной научно-технической задачей.

Целью диссертационной работы является повышение эффективности использования нейронных сетей при решении задач моделирования и прогнозирования за счет совершенствования процедуры синтеза структур нейронных сетей и разработки эффективных методов объединения нейронных сетей - в коллектив на основе эволюционных алгоритмов.

Достижение поставленной цели работы предполагает решение следующей совокупности задач:

1. Проведение сравнительного исследования методов обучения нейронных сетей на основе эволюционных алгоритмов.

2. Анализ существующих методов проектирования искусственных нейронных сетей. Программная реализация основных эволюционных методов проектирования структур нейронных сетей и исследование эффективности их применения на наборе тестовых задач.

3. Разработка нового метода проектирования структур искусственных нейронных сетей и сравнение разработанного метода с другими методами проектирования нейронных сетей на тестовых задачах.

4. Анализ существующих методов проектирования коллективов искусственных нейронных сетей.

5. Разработка гибридного алгоритма генетического программирования, сочетающего в себе стандартный метод генетического программирования и локальный поиск на структуре дерева.

6. Разработка нового метода формирования коллективов искусственных нейронных сетей на основе метода гибридного генетического программирования.

7. Сравнительное исследование разработанного метода и других методов формирования коллективов нейронных сетей на наборе тестовых е задач. 4

8. Апробация на практических задачах в рамках единого эволюционного подхода разработанных методов проектирования нейронных сетей и методов их объединения в коллектив.

Методы исследования. При выполнении диссертационной работы использовались методы теории обработки информации, системного анализа, теории вероятности и математической статистики, теории оптимизации,^ методики разработки интеллектуальных информационных систем.

Научная новизна результатов диссертационной работы состоит в следующем:

1. Предложен новый вероятностный эволюционный метод проектирования структур искусственных нейронных сетей, отличающийся от известных меньшим числом настраиваемых параметров и уменьшением числа операций кодирования-декодирования структуры нейросетевых моделей, связанных с бинаризацией.

2. Предложен новый гибридный алгоритм генетического программирования, отличающийся от стандартного наличием процедуры локального поиска на структуре дерева и позволяющий достичь более высокой точности построения регрессионных моделей.

3. Предложен новый метод формирования коллективов нейронных сетей на основе операторов разработанного метода гибридного генетического программирования, отличающийся от известных возможностью автоматического выбора способа формирования коллективного решения и позволяющий достичь более высокой эффективности при решении задач моделирования и прогнозирования.

Теоретическая значимость результатов диссертационного исследования состоит в том, что разработаны новые эволюционные алгоритмы для автоматического проектирования искусственных нейронных сетей и их коллективов, предназначенных для решения задач моделирования и прогнозирования, обладающие более высокой эффективностью и адаптивностью, что имеет существенное значение для теории интеллектуальных технологий представления знаний и практики их применения в системах обработки информации и интеллектуального анализа данных.

Практическая значимость. На основе предложенных алгоритмов разработаны современные программные системы, которые позволяют в рамках единого комплексного эволюционного подхода осуществлять проектирование коллективов нейронных сетей для решения задач моделирования и прогнозирования. Полученные в диссертационной работе рекомендации по настройке параметров эволюционных алгоритмов проектирования коллективов нейронных сетей позволяют конечным пользователям, не владеющим аппаратом эволюционной оптимизации и нейросетевого моделирования, используя разработанные программные системы решать сложные задачи, возникающие в реальной практике.

В целом предложенный в работе подход и разработанные алгоритмы могут быть использованы в системах обработки информации и системах интеллектуального анализа данных, а также в системах поддержки принятия решений различного назначения.

Реализация результатов работы.

Разработанные программные системы были использованы в качестве лабораторной установки для обучения студентов , Сибирского государственного аэрокосмического университета по дисциплине «Интеллектуальные технологии и представление знаний».

Разработанные методы применялись во время стажировки в Высшей технической школе г. Ульм (Hochschule Ulm), Германия, в 2008 году в ходе выполнения практической работы по созданию системы прогнозирования скорости и объема потока жидкости в открытых каналах для предупреждения чрезвычайных ситуаций.

Диссертационная работа поддержана Фондом содействия развитию малых форм предприятий в научно-технической сфере по программе «У.М.Н.И.К.» («Участник молодежного научно-инновационного конкурса») в рамках НИОКР «Разработка коэволюционного вероятностного алгоритма для автоматизированного проектирования интеллектуальных информационных технологий» на 2008-2011 гг. Работа финансировалась из средств госбюджета в рамках НИР Б 1.01.05 «Разработка и исследование бионических методов идентификации и оптимизации - сложных систем» ЕЗН СибГАУ, а также в рамках выполнения проекта «Система поддержки принятия решения при проектировании интегрированных систем безопасности», ставшего победителем конкурса инновационных проектов СибГАУ на 2007-2008 гг.

Диссертационное исследование проводилось также в рамках НИР № 2.1.1./2710 «Математическое моделирование инвестиционного развития региональных экономических систем» АВЦП «Развитие научного потенциала высшей школы (2009-2010 годы)» и НИР НК-136П/3 «Автоматизированная система решения сложных задач глобальной оптимизации многоагентными стохастическими алгоритмами» ФЦП

Научные и научно-педагогические кадры инновационной России» на 20092013 годы.

Созданные в ходе работы над диссертацией программные системы зарегистрированы в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам Российской Федерации (Свидетельства о государственной регистрации программы для ЭВМ №№ 2010610862, 2010613317, 2010613617).

Основные защищаемые положения:

1. Разработанный вероятностный эволюционный метод проектирования структур нейронных сетей не менее эффективен, чем метод, использующий генетический алгоритм с локальным поиском для настройки структуры нейронной сети.

2. Разработанный гибридный метод генетического программирования позволяет более эффективно решать задачи символьной регрессии по сравнению с каноническим методом генетического программирования.

3. разработанный эволюционный подход к проектированию коллективов нейронных сетей позволяет повысить эффективность применения коллективного нейросетевого подхода при решении задач моделирования и прогнозирования по сравнению с другими методами.

Апробация. Результаты диссертационной работы были доложены и обсуждены на следующих научно-практических конференциях: Всемирный конгресс по вычислительному интеллекту (IEEE World Congress on Computational Intelligence (WCCI'2010), г. Барселона, Испания, 2010); XII Национальная конференция по искусственному интеллекту с международным участием КИИ-2010 (г. Тверь, 2010); I Всероссийская научная конференции «Теория и практика системного анализа» (г. Рыбинск, Институт системного анализа РАН и РГАТА, 2010); конференция-конкурс «Технологии Microsoft в теории и практике программирования» (г. Томск, ТПУ, 2010, г. Новосибирск, НГУ, 2008); Международные научнопрактические конференции «Решетневские чтения» (г. Красноярск, СибГАУ, 2006-2009), Всероссийская научно-практическая конференция студентов, аспирантов и молодых специалистов «Актуальные проблемы авиации и космонавтики», (г. Красноярск, СибГАУ, 2006-2009 гг.) и также на ряде молодежных и студенческих конференций.

Публикации. По теме диссертации опубликовано 23 работы, из них 3 статьи в изданиях из перечня ВАК, 3 программные системы зарегистрированы федеральной службе по интеллектуальной собственности, патентам и товарным знакам Российской Федерации («Роспатент»).

Структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 95 наименований и содержит 168 страниц основного текста, 28 таблиц, 57 рисунков и 6 приложений.

Выводы

С помощью реализованных программных систем было доказано, что разработанные алгоритмы и методы позволяют эффективно решать задачи моделирования и прогнозирования. Разработанные методы сделали возможным существенно повысить эффективность решения рассмотренных практических задач, их реализация в программных системах анализа данных является позитивным шагом в направлении разработки и реализации востребованных методов автоматического проектирования интеллектуальных информационных технологий, в частности, проектирования нейронных сетей.

Реализованный в программной системе «IT-PEGAS» комплексный эволюционный подход к проектированию коллективов ИНС позволил на четверть (25%) снизить ошибку в расчетах оценки предела прочности железобетонных изделий по сравнению с другими рассмотренными методами.

В задаче прогнозирования содержания углекислого газа на выходе газовой печи предлагаемый в работе подход позволил построить прогностическую модель, которая по точности как минимум на 20% превосходит другие модели различных авторов, исследования которых доступны в научной литературе и были проанализированы.

В целом, подход позволяет достаточно точно прогнозировать состояние газовой печи, характеризуемое концентрацией углекислого газа на ее выходе, и может быть рекомендован для решения других подобных задач.

Разработанный комплексный эволюционный подход обладает большим числом степеней свободы по наращиванию интенсивности использования вычислительных ресурсов за счет использования нескольких эффективно взаимодействующих интеллектуальных технологий. Исследования на практических задачах показали, что это позволяет успешно применять его в тех случаях, когда другие методы достигли предела своей эффективности и наращивание вычислительных мощностей не позволяет достичь улучшения решения задачи.

В целом можно говорить о том, что разработанные программные системы способны решать реальные практические задачи, а повышение эффективности решения задач обеспечивается за счет реализации в них предложенных методов автоматического проектирования отдельных нейронных сетей, коллективов ИНС, а так же методов решения задач символьной регрессии.

Заключение

В диссертационной работе получены следующие результаты:

1. Разработан новый вероятностный эволюционный метод для автоматического проектирования структуры нейронных сетей, который отличается от известных эволюционных методов меньшим числом« настраиваемых параметров за счет использования оригинальных процедур генерирования новых решений и уменьшением числа операций кодирования-декодирования структуры нейронных сетей.

2. Разработан гибридный метод генетического программирования, использующий совместно со стандартными операторами генетического программирования предложенную автором процедуру локального поиска на структуре решения.

3. Разработан новый метод формирования коллективов нейронных сетей, в котором реализованы разработанные автором методы; автоматического выбора способа формирования коллективного решения и отбора нейронных сетей.

4. Проведен сравнительный анализ эволюционных алгоритмов обучения нейронных сетей на множестве тестовых задач. Анализ результатов» проведенных исследований позволил выявить алгоритмы, наиболее эффективные в среднем на множестве задач, и разработать рекомендации по значениям параметров эволюционных алгоритмов для использования в дальнейшем в исследованиях.

5. Проведены сравнительные исследования разработанного вероятностного метода формирования структуры нейронных сетей и широко распространенного метода, основанного на использовании генетического алгоритма для настройки структуры нейронных сетей. Показано, что предлагаемый метод не менее эффективен, чем конкурирующий эволюционный подход, при этом он имеет меньшее число настраиваемых параметров, что облегчает его адаптацию при решении конкретной задачи. Кроме того, разработанный метод позволяет несколько сократить использование вычислительных ресурсов за счет устранения необходимости кодирования-декодирования решений в бинарные строки.

6. Проведено сравнительное исследование разработанного гибридного алгоритма генетического программирования и стандартного метода генетического программирования. Анализ результатов исследования показал, что разработанный метод оказывается более эффективным, чем стандартный, на всем множестве задач, которые использовались для проведения статистических исследований.

7. Проведен сравнительный анализ разработанного метода и других распространенных методов проектирования коллективов ИНС, в результате которого было показано, что на всех тестовых задачах эффективность предлагаемого метода не ниже, чем "эффективность других методов. В среднем, на большинстве тестовых задач, предлагаемый метод превосходит другие методы по эффективности не менее чем на 20%.

8. Разработаны и апробированы программные системы, реализующие описанные в работе алгоритмы и методы.

9. С помощью разработанных программных систем успешно решены реальные практические задачи.

Таким образом, в диссертации разработаны, исследованы и апробированы новые эволюционные алгоритмы для автоматического проектирования искусственных нейронных сетей и их коллективов, предназначенных для решения задач моделирования и прогнозирования, обладающие более высокой эффективностью и адаптивностью, что имеет существенное значение для теории интеллектуальных технологий представления знаний и практики их применения в системах обработки информации и системах интеллектуального анализа данных.

1. Архангельский, А.Я. Программирование в С++ Builder 6 и 2006 / А .Я.

2. Архангельский, М. А . Тагин М.: Бином-Пресс, 2007. — 1184 с.

3. Бабэ, Б. Просто и ясно о Borland С++ / Б. Бабэ М.: БИНОМ, 1994. -400 с.

4. Барский, А.Б. Нейронные сети: распознавание, управление, принятие решений / А. Б. Барский — М.: Финансы и статистика, 2004. — 176 с.

5. Бежитский, С.С. Разработка и исследование гибридного эволюционного алгоритма для решения сложных задач оптимизации / С.С. Бежитский // Вестник университетского комплекса. Сборник научных трудов. Выпуск 1(15), 2004. С.166-173.

6. Бокс, Дж. Анализ временных рядов, прогноз и управление. В 2-х т.: Пер. с английского / Г.М. Дженкинс, Дж. Бокс М.: Издательство «Мир», 1974.-608 с.

7. Бухтояров, В.В. Вероятностный метод формирования структуры нейронных сетей /В.В. Бухтояров // Теория и практика системного анализа: Труды I Всероссийской научной конференции молодых ученых. Т. I. -Рыбинск: РГАТА, 2010. - С. 121-127.

8. Бухтояров, В.В. Автоматизированное генерирование интеллектуальных информационных технологий на основе самонастраивающихся эволюционных алгоритмов / В.В. Бухтояров, Р.Б. Сергиенко // Технологии

9. Microsoft в теории и практике программирования. Конференция-конкурс работ студентов, аспирантов и молодых учёных. — Новосибирск: НГУ, 2008.—С. 167-169.

10. Бухтояров, В.В. Гибридный метод генетического программирования / В.В. Бухтояров // Актуальные проблемы экономики, информатики и права: сб. научн. тр. VIII межвузовской научно-практической конференции. Красноярск: МГУ ЭСИ, 2008.

11. Вейценбаум, Дж. Возможности вычислительных машин и человеческий разум. От суждений к вычислениям. Пер. с англ. / Дж. Вейценбаум М.: Радио и связь, 1982 г. 368 с.

12. Ворожейкин, А.Ю. Адаптивные эволюционные алгоритмы решения сложных задач оптимизации: дисс. . канд. техн. наук / А.Ю. Ворожейкин. Красноярск: СибГАУ 2008 - 177 с.

13. Галушкин, А.И. Нейрокомпьютеры и их применение.: Учеб. пособие для вузов / Общая редакция А.И. Галушкина. М.: ИПРЖР, 2000.

14. Гонебная, O.E. Экспертная система рудно-термической плавки: дис. . канд. техн. наук / O.E. Гонебная. Красноярск: ГУЦМиЗ, 2004. - 136 с.

15. Ежов, A.A. Нейрокомпьютинг и его применения в экономике и безнесе/ A.A. Ежов, С.А. Шумский. -М.: 1998.

16. Жукова, М.Н. Коэволюционный алгоритм решения сложных задач оптимизации: дисс. . канд. техн. наук / М.Н. Жукова. Красноярск: СибГАУ 2004- 126 с.

17. Каллан, Роберт Основные концепции нейронных сетей.: Пер. с английского / Роберт Каллан. М.: Издательство «Вильяме», 2001. — 287с.

18. Комарцова, Л.Г. Нейрокомпьютеры: Учеб. пособие для вузов./ Л.Г. Комарцова, А.В Максимов. 2-е изд. - М.: Изд-во МГТУ имени Н.Э. Баумана, 2004. - 400 с.

19. Комашинский, В.И. Нейронные сети и их применение в системах управления и связи / В.И. Комашинский, Д.А. Смирнов. — М.: Горячая линия -Телеком, 2003. 94 с.

20. Кругл ob, B.B. Искусственные нейронные сети. Теория и практика. 2-е изд. / В.В. Борисов, В.В. Круглов. - М: Горячая линия-Телеком, 2002. - 382 с.

21. Липинский, Л.В. Алгоритмы генетического программирования для формирования интеллектуальных информационных технологий: дис. канд. техн. наук /Л.В. Липинский Красноярск, 2006 - 168 с.

22. Мак-Каллок, У.С. Логическое исчисление идей, относящихся к нервной активности / У.С. Мак-Каллок, В. Питтс // В сб.: «Автоматы» под ред. К.Э. Шеннона и Дж. Маккарти. — М.: Изд-во иностр. лит., 1956. С.363-384.

23. Миркес, Е.М. Нейроинформатика: учеб. пособие / Е.М. Миркес. -Красноярск: ИПЦКГТУ, 2002.

24. Осовский, С. Нейронные сети для обработки информации: Пер. с польского И. Д. Рудинского / С. Осовский. М.: Финансы и статистика, 2002. -344 с.

25. Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга / Ф. Розенблатт — М.: Мир, 1965. — 480 с.

26. Рубан, А.И. Методы оптимизации: учеб. пособие / А.И. Рубан. -Красноярск: НИИ ИЛУ, 2001. 528 с.

27. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польского И. Д. Рудинского / М. Пилинский, Д. Рутковская, JI. Рутковский. — М.: Горячая линия-Телеком, 2006. — 452 с.

28. Семёнкин, Е.С. Адаптивные поисковые методы оптимизации сложных систем / Е.С. Семёнкин, О.Э. Семёнкина, С.П. Коробейников. -Красноярск: СИБУП, 1997.-355 с.

29. Семёнкин, Е.С. Вероятностные эволюционные алгоритмы оптимизации сложных систем / Е.С. Семёнкин, Е.А. Сопов // Труды Международных научно-практических конференций AIS'05/CAD-2005. M.: Физматлит, 2005. - С. 77-78.

30. Сергиенко, Р.Б. Генетический алгоритм решения сложных задач оптимизации / Р.Б. Сергиенко, Е.С. Семенкин // Вестник Сибирского государственного аэрокосмического университета имени академика М. Ф. Решентнева. №2 (23). - 2009. - С. 17-21.

31. Сопов, Е.А. Разработка и исследование вероятностных эволюционных алгоритмов для моделирования и оптимизации сложных систем: дисс. магистра / Е.А. Сопов — Красноярск: СибГАУ 2004 — 117 с.

32. Сопов, Е.А. Вероятностный генетический алгоритм с прогнозированием сходимости / Е.А. Сопов // Вестник университетского комплекса. Красноярск: ВСФ РГУИТП, НИИ СУВПТ, 2004. - Вып. 1 (15). -С. 219-227.

33. Хайкин, Саймон Нейронные сети: полный курс, 2-е издание.: Пер. с англ. / Саймон Хайкин — М.: Издательский дом "Вильяме", 2006. — 1104с.

34. Эшби, У.Р. Конструкция мозга. Происхождение адаптивного поведения/ У.Р. Эшби. М.: ИЛ, 1962. — 397 с.

35. Яхъева, Г.А. Нечеткие множества и нейронные сети: Учеб. пособие. / Г.Э. Яхъева. М.: БИНОМ. Лаборатория знаний, 2006. - 316 с.

36. Alcock, R.J. Time-Series Similarity Queries Employing a Feature-Based Approach / R.J. Alcock, Y. Manolopoulos // 7th Hellenic Conference on Informatics. August 27-29. Ioannina,Greece 1999.

37. Angeline, P.J. "An evolutionary algorithm that constructs recurrent neural networks"/ P.J. Angeline, J.B. Pollack, G.M. Sauders // IEEE Trans. Neural Networks, vol. 5, Jan. 1994. pp. 54-65.

38. Asuncion, A. UCI Machine Learning Repository: http://www.ics.uci.edu/~mleam/MLRepository.html. / A. Asuncion, D.J. Newman // Irvine, CA: University of California, School of Information and Computer Science.

39. Bartlett, P. "Training a neural network with a genetic algorithm" / P. Bartlett, T. Downs // Dep. Elect. Eng., Univ. Queensland, Australia, Tech. Rep., Jan. 1990.

40. Belew, R.K. "Evolving networks: Using genetic algorithm with connectionist learning" / R.K. Belew, J. Mclnerney, N.N. Schraudolph, // Comput. Sci. Eng. Dep. (C-014), Univ. of California, San Diego, Tech. Rep. CS90-174 (revised), Feb. 1991.

41. Box, G.E.P. Time Series Analysis, Forecasting and Control / G.E.P. Box. Holden Day, San Francisco, 1970.

42. Breiman, L. Bagging predictors / L. Breiman // Machine Learning 24 (2) (1996) pp.123-140.

43. Cherkauer, K.J. Human expert level performance on a scientific image analysis task by a system using combined artificial neural networks / K.J.

44. Cherkauer // in: Proc. AAAI-96 Workshop on Integrating Multiple Learned Models for Improving and Scaling Machine Learning Algorithms, Portland, OR, AAA! Press, MenloPark, CA, 1996, pp.15-21.

45. Fahlman, S.E. "The cascade-correlation learning architecture" // S.E. Fahlman, C. Lebiere // Advances in Neural Information Processing Systems, 1990, vol. 2, pp. 524-532.

46. Fels, S.S. "Glove-talk: A neural network interface between a data-glove and a speech synthesizer" /S.S. Fels, G.E. Hinton // IEEE Trans. Neural • Networks, vol. 4, Jan. 1993. pp. 2-8.

47. Goldberg, D.E. Genetic algorithms in search, optimization and machine learning Text. / D.E. Goldberg. Reading, MA: Addison-Wesley, 1989.

48. Gutta, S. Face recognition using hybrid classifier systems / S. Gutta, H. Wechsler // in: Proc. ICNN-96, Washington, DC, IEEE Computer Society Press, Los Alamitos, CA, 1996, pp. 1017-1022.

49. Hampshire, J. A novel objective function for improved phoneme recognition using time-delay neural networks / J. Hampshire, A. Waibel // IEEE Transactions on Neural Networks 1 (2) (1990) pp. 216-228.

50. Hansen, L.K. Neural network ensembles / L.K. Hansen, P. Salamon IEEE Trans. Pattern Analysis and Machine Intelligence 12 (10) (1990) pp.9931001.

51. Hassibi, B. "Optimal brain surgeon and general network pruning" / B. Hassibi, D.G. Stork, G.J. Wolff // IEEE International Conference on Neural Networks, 1992, vol. 1, p. 293-299.

52. Hauptmann, W.A neural net topology for bidirectional fuzzy-neuro transformation / W.A. Hauptmann // Proceedings of the IEEE International Conference on Fuzzy Systems (1995) pp. 1511—1518.

53. Holland, J.H. Adaptation in natural and artificial systems / J.H. Holland Ann Arbor. MI: University of Michigan Press, 1975.58. http.7/archive.ics.uci.edu/ml/datasets/Concrete+Compressive+Strength

54. I-Cheng, Yeh "Modeling of strength of high performance concrete' using artificial neural networks" / Yeh I-Cheng // Cement and Concrete Research, Vol. 28, No. 12, 1998. pp. 1797-1808.

55. Jimenez, D. Dynamically weighted ensemble neural networks for classification / D. Jimenez // in: Proc. IJCNN-98,vol.l, Anchorage, AK, IEEE Computer Society Press, Los Alamitos, CA, 1998. pp. 753-756.

56. Kitano, H. "Designing neural networks using genetic algorithms with graph generation system"/ H. Kitano // Complex Syst, vol. 4, no. 4, 1990. pp. 461-476.

57. Knerr, S. "Handwritten digit recognition by neural networks with single-layer training" I G. Dreyfus, S. Knerr, L. Personnaz I I IEEE Trans. Neural Networks, vol. 3, Nov. 1992. pp. 962-968.

58. Koza, John R. Genetic programming tutorial. URL: http://www.genetic-programming.com/gpanimatedtutorial.html.

59. Koza, John R. The Genetic Programming Paradigm: Genetically Breeding Populations of Computer Programs to Solve Problems / John R. Koza. -Cambridge, MA: MIT Press, 1992.

60. Lang, K.J., A time-delay neural network architecture for isolated word recognition in Neural Networks / G.E. Hinton, K.J. Lang, A.H. Waibel // vol. 3, no. 1, 1990. pp. 33-43.

61. Lee, S.-W. "Off-line recognition of totally unconstrained handwritten numerals using multilayer cluster neural network" / S.-W. Lee // IEEE Trans. Pattern Anal. Machine Intell., vol. 18, June 1996. pp. 648-652.

62. Lee, T.-C "A multilayer feed-forward neural network with dynamically adjustable structures" / T.-C Lee, A.M. Peterson, J.J-C. Tsai // IEEE International Conference on Systems, Man and Cybernetics, 1990, p. 367-369.

63. Lee, Y.-C., A combined approach to fuzzy model identification / Y.-C. Lee, E. Hwang, Y.-P. Shih // IEEE Transactions on Systems, Man and Cybernetics 24 (1994) pp. 736-744.

64. Leung, K. Data mining using grammar based genetic programming and applications / K. Leung, M. Wong. New York: Kluwer Academic Publisher, 2002.-213 pp.

65. Lin, Y. A new approach to fuzzy-neural system modeling / G.A. Cunningham, Y. A. Lin // IEEE Transactions on Fuzzy Systems 3 (1995) 190-197.

66. Maclin, R. Combining the predictions of multiple classifiers: using competitive learning to initialize neural networks / R. Maclin, J.W. Shavlik // in: Proc. IJCAI-95, Montreal, Canada, Morgan Kaufmann, San Mateo, CA, 1995, pp. 524-530.

67. Miller, G.F. "Designing neural networks using genetic algorithms"/ S.U. Hegde, G.F. Miller, P.M. Todd // in Proc. 3rd Int. Conf. Genetic Algorithms and Their Applications, J. D. Schaffer, Ed. San Mateo, CA: Morgan Kaufmann, 1989, pp. 379-384.

68. Moody, J.E. "Smoothing regularizers for projective basis function networks" / J.E. Moody, T. Rognvaldsson // Advances in Neural Information Processing Systems, 1997, vol. 9, pp. 585-591.

69. Nie, J. Constructing fuzzy model by self-organising counter propagation network / J. Nie // IEEE Transactions on Systems Man and Cybernetics 25 (1995) pp. 963-970.

70. Opitz, D.W. Actively searching for an effective neural network ensemble / D.W. Opitz, J.W. Shavlik // Connection Science 8 (3-4) (1996) pp. 337353.

71. Pedtycz , W. An identification algorithm in fuzzy relational systems / W. Pedtycz // Fuzzy Sets and Systems 13 (1984) pp. 153-167.

72. Perrone, M.P. L.N. Cooper, When networks disagree: ensemble method for neural networks / M.P. Perrone // in: R.J. Mammone (Ed.), Artificial Neural Networks for Speech and Vision, Chapman & Hall, New York, 1993, pp.126-142.

73. Prados, D.L. "New learning algorithm for training multilayered*neural networks that uses genetic-algorithm techniques" / D.L. Prados // Electron. Lett., vol. 28, July 1992. pp. 1560-1561.

74. Prados, D.L. "Training multilayered neural networks by replacing the least fit hidden neurons" / D.L. Prados // in Proc. IEEE SOUTHEASTCON' 92, vol. 2, pp. 634-637.

75. Schapire, R.E. The strength of weak learnability / R.E. Schapire // Machine Learning 5 (2) (1990) pp. 197-227.

76. Shimshoni, Y. Classification of seismic signals by integratingtensembles of neural networks / N. Intrator, Y. Shimshoni // IEEE Trans. Signal Processing 46 (5) (1998) pp. 1194-1201.

77. Sugeno, M. A fuzzy-logic approach to qualitative modeling / M. Sugeno, T. Takagi // IEEE Transactions on Fuzzy Systems 1 (1993) 7-31.

78. Sugeno, M. Linguistic modelling based on numerical data / M. Sugeno, T. Takagi // Proceedings of the IFSA91, 1991.

79. Surmann, H. Self-organising and genetic algorithm for an automatic design of fuzzy control and decision systems / A. Kanstein, K. Goser, H. Surmann / Proceedings of the FUFITs93 (1993) pp. 1079-1104.

80. Sutton, R.S. "Two problems with backpropagation and other steepest-descent learning procedures for networks" / R.S Sutton. // in Proc. 8th Annual Conf. Cognitive Science Society. Hillsdale, NJ: Erlbaum, 1986, pp. 823-831.

81. Tong, R.M. The evaluation of fuzzy models derived from experimental data / R.M. Tong // Fuzzy Sets and Systems 4 (1980) pp. 1-12.

82. Weigend, A.S. "Generalization by weight-elimination with aplication to forecasting" / B.A. Huberman, D.E. Rumelhart, A.S. Weigend // Advances in Neural Information Processing Systems, 1991, vol. 3, pp. 875-882.

83. Whitley, D. "Genetic algorithms and neural networks: Optimizing connections and connectivity" / C. Bogart, T. Starkweather, D. Whitley // Parallel Comput., vol. 14, no. 3, 1990. pp. 347-361.

84. Xin, Yao. Evolving Artificial Neural Networks / Yao Xin // Proceedings of the IEEE, vol. 87, No 9, September 1999.

85. Xu, C.W. Fuzzy model identification and self-learning for dynamic systems / Y.Z. Lu, C.W. Xu // IEEE Transactions on Systems, Man and Cybernetics 17 (1987) pp. 683-689.

86. Yao, X. Making use of population information in evolutionary artificial neural networks / Y. Liu, X. Yao // IEEE Transactions on Systems, Man and Cybernetics Part B: Cybernetics 28 (3) (1998) pp. 417-425.

87. Zhi-Hua, Zhou. Combining Regression Estimators: GA-based Selective Neural Network Ensemble / Wu Jianxin, Tang Wei, Zhou Zhi-Hua // International Journal of Computational Intelligence and Applications, vol. 1, Number 4, December 2001, pp. 341-356

88. Zhi-Hua, Zhou. Ensembling Neural Networks: Many Could Be Better Than All / Wu Jianxin, Tang Wei, Zhou Zhi-Hua // Artif. IntelL, vol.137, no.1-2, 2002, pp. 239-263.1. Список публикаций автора

89. Bukhtoyarov, V. Comprehensive evolutionary approach for neural network ensemble automatic design / V. Bukhtoyarov, O. Semenkina // Proceedings of the IEEE World Congress on Computational Intelligence, Barcelona, Spain, 2010. Pp. 1640-1645.

90. Бухтояров, В.В. Разработка комплексного эволюционного подхода для проектирования коллективов нейронных сетей для задач моделирования / В.В. Бухтояров // Труды Международных научно-практических конференций AIS'lO/CAD-2010. M.: Физматлит, 2010

91. Здесь и далее знаком (*) обозначены публикации ы изданиях из перечня ВАК.179

92. Бухтояров, В.В; Вероятностный метод формирования: структуры, нейронных сетей / В.В. Бухтояров // Теория и практика системного анализа: Труды I Всероссийской научной конференции молодых ученых. — Т. I. Рыбинск: PI ATA. 2010. С. 1(А27.

93. Бухтояров, В.В. Разработка комплексного эволюционного; подхода для проектирования коллективов нейронных сетей / В.В. Бухтояров // Технологии Microsoft в теории и практике программирования:. Конференция-конкурс. — Томск: ТПУ, 2010.—С. 125-127.

94. Бухтояров, В.В; Моделирование: Гибридный; алгоритм-генетического программирования // М.: ФИПС, 2010. Свид-во о гос. per. № 2010613317.

95. Бухтояров, В.В. Комплексное проектирование коллективов нейронных сетей // М.: ФИПС, 2010. Свид-во о гос. per. № 2010613617.

96. Бухтояров, В.В. . Вероятностный метод формирования? структуры нейронных сетей / В.В. Бухтояров, Е.С. Семенкин // М.: ФИПС, 2010.- Свид-во о гос. per.

97. Бухтояров, В.В. Разработка гибридной интеллектуальной системы для моделирования сложных процессов / В.В. Бухтояров // Решетневские чтения: материалы XIII Международной научной конференции. — Красноярск: СибГАУ, 2009.

98. Бухтояров, В.В. Разработка гибридного метода генетического программирования /В.В. Бухтояров // Решетневские чтения: материалы XII Международной научной конференции. — Красноярск СибГАУ, 2008.

99. Бухтояров, В.В. Гибридный метод генетического программирования / В.В. Бухтояров // Актуальные проблемы экономики, информатики и права: труды VIII Межвузовской научно-практической конференции. Красноярск: МГУ ЭСИ, 2008.

100. Бухтояров, В.В. Разработка гибридного генетического алгоритма / В.В. Бухтояров // Решетневские чтения: материалы XI Международной научной конференции. — Красноярск: СибГАУ, 2007. — С.220-221.