автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Самоконфигурируемые эволюционные алгоритмы моделирования и оптимизации

На правах рукописи

005047741

Семенкина Мария Евгеньевна

САМОКОНФИГУРИРУЕМЫЕ ЭВОЛЮЦИОННЫЕ АЛГОРИТМЫ МОДЕЛИРОВАНИЯ И ОПТИМИЗАЦИИ

05.13.01 - Системный анализ, управление и обработка информации (информационные и космические технологии)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 О ДЕК 2012

Красноярск - 2012

005047741

Работа выполнена в ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» (СибГАУ), г. Красноярск

Научный руководитель: доктор физико-математических наук, профессор

Попов Бвгепий Александрович

Официальные оппоненты: доктор технических наук, профессор

Ловчиков Анатолий Николаевич

Ведущая организация: Институт проблем управления РАН

имени В. А. Трапезникова (г. Москва)

Защита состоится «27» декабря 2012 г. в 14 часов на заседании диссертационного совета Д 212.249.02 при ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» по адресу: 660014 г. Красноярск, проспект имени газеты «Красноярский рабочий», 31

С диссертацией можно ознакомиться в библиотеке Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева

Автореферат разослан « 26 » ноября 2012 г.

ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева», профессор кафедры систем автоматического управления

доктор технических наук, профессор Спицын Владимир Григорьевич

ФГБОУ ВПО «Научно-исследовательский Томский политехнический университет», профессор кафедры вычислительной техники

Александр Алексеевич Кузнецов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. В настоящее время интеллектуальные системы обработки информации получили широкое распространение в различных областях человеческой деятельности. Искусственные нейронные сети (ИНС), системы на нечеткой логике, символьная регрессия, эволюционные алгоритмы и другие интеллектуальные информационные технологии (ИИТ) способны решать сложные задачи обработки информации, с которыми не справляются классические методы. Во многих случаях полезным подходом является гибридизация, когда в систему обработки информации включаются несколько ИИТ, в том числе и различных типов. Данный подход становится все более распространенным с ростом производительности вычислительной техники.

Однако, разработка и настройка даже одной ИИТ - нетривиальная задача. Проектирование и разработка коллектива ИИТ с необходимыми свойствами — задача на порядок сложнее. Для ее решения необходим эффективный инструментарий.

Таким инструментарием могут быть алгоритмы эволюционного поиска, наиболее известными из которых являются генетический алгоритм (ГА) и алгоритм генетического программирования (I'll).

Генетический алгоритм является эффективной процедурой решения сложных задач оптимизации. Он ищет решение в гиперкубе, определяемом бинарной строкой, которой кодируется это решение. Задача ГА — определить, какая (какие) точка гиперкуба доставляют экстремум целевой функции. ГП отличается тем, что генотип индивида представлен не линейно (в виде бинарной строки, или массива чисел), а в виде иерархической структуры — дерева. Исследователь не ограничивает пространство поиска, а только определяет элементы и связи, при помощи которых строятся решения. Элементы, объединяясь в иерархические структуры, порождают системы с новыми (эмерджентными) свойствами, которые изначально не предполагались исследователем. Поэтому ГП является одним из наиболее привлекательных инструментов поиска и адаптации в пространстве сложных структур.

Однако эффективное применение ГА и ГП требует глубокого знания теории эволюционного поиска, что ограничивает их распространение на практике. Конечный пользователь должен обладать навыками определения эффективных настроек и параметров ГП и ГА (типы селекции и рекомбинации, уровень мутации, критерий останова и т.д.). Снятие данного ограничения позволило бы существенно расширить аудиторию пользователей ГП и ГА. Одним из решений этой проблемы является разработка самонастраивающихся алгоритмов, которые самостоятельно адаптируются под решаемую задачу, выбирают эффективные настройки и определяют параметры. В этой связи разработка и исследование новых алгоритмических

схем для автоматизации проектирования ИИТ с помощью эволюционных алгоритмов является актуальной научно-технической задачей.

Цель диссертационной работы состоит в повышении обоснованности принятия решений при применении интеллектуальных технологий обработки информации за счет автоматизации их проектирования с использованием самоконфигурируемых эволюционных алгоритмов.

Сформулированная цель предопределила следующую совокупность решаемых задач:

1. Разработать генетический алгоритм для эффективной оптимизации в дискретных пространствах;

2. Разработать алгоритм генетического программирования, решающий задачи символьной регрессии, для эффективного поиска на дискретных структурах;

3. Разработать алгоритм генетического программирования для автоматического генерирования нейронных сетей произвольной архитектуры;

4. Разработать подход для автоматического выбора настроек и параметров эволюционных алгоритмов в ходе решения задачи.

5. Разработать процедуру принятия решений коллективом ИИТ для повышения эффективности моделирования сложных систем и процессов;

6. Реализовать разработанные подходы в виде программных систем;

7. Проверить работоспособность предложенных подходов на тестовых и реальных практических задачах.

Методы исследования. В данной работе использовались методы эволюционных вычислений, нейросетевого моделирования, оптимизации, символьной регрессии, теории вероятности и математической статистики, системного анализа, методика разработки интеллектуальных информационных систем и другие.

Научная новизна работы заключается в следующем:

1. Разработан, реализован и исследован модифицированный оператор равномерной рекомбинации для генетического алгоритма оптимизации, отличающийся от известных наличием селективного давления на этапе скрещивания и позволяющий повысить эффективность работы алгоритма.

2. Разработан, реализован и исследован новый оператор равномерной рекомбинации для алгоритма генетического программирования, отличающийся от известных способом формирования потомка и наличием селективного давления на этапе скрещивания и позволяющий повысить эффективность работы алгоритма.

3. Разработан, реализован и исследован новый метод самоконфигурирования эволюционных алгоритмов моделирования и оптимизации, отличающийся от известных способом адаптивного выбора эффективных генетических операторов в ходе решения задачи и позволяющий сократить вычислительные затраты без снижения точности и надежности.

4. Разработан, реализован и исследован новый эволюционный алгоритм автоматического генерирования нейросетевых моделей, отличающийся от известных методом формирования структуры нейронных сетей и позволяющий редуцировать их размеры без снижения эффективности.

5. Разработан, реализован и исследован новый эволюционный алгоритм построения гетерогенных ансамблей интеллектуальных информационных технологий, отличающийся от известных способом выбора членов коллектива из предварительного набора и методом формирования коллективного решения и позволяющий повысить эффективность решения задач обработки информации.

Теоретическая значимость результатов диссертационного исследования состоит в разработке новых эволюционных алгоритмов моделирования и оптимизации, основанных на модификации равномерного скрещивания, позволяющей эффективнее использовать генетическую информацию за счет увеличения селективного давления, и методе самоконфигурирования, позволяющем автоматически выбирать эффективные настройки в ходе решения задачи за счет адаптации вероятностей применения генетических операторов.

Практическая ценность. Разработанные самоконфигурируемые эволюционные алгоритмы моделирования и оптимизации позволяют экономить время и вычислительные ресурсы при выборе их настроек, не снижая при этом эффективности их применения конечным пользователем.

Разработанная процедура коллективного принятия решений позволяет использовать полезные свойства нескольких методов при решении практических задач и не требует от конечного пользователя экспертных знаний в области эволюционного моделирования и оптимизации.

В ходе выполнения работы успешно решены задачи анализа данных из области техники, медицины, банковского скоринга, компьютерной безопасности и распознавания речи.

Реализация результатов работы. Разработанные алгоритмы использованы при выполнении исследований в рамках российско-германских проектов 2011-1.9-519-005-042 «Распределенные интеллектуальные информационные системы обработки и анализа информации в диалоговых информационно-коммуникационных системах» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы (с участием научных и исследовательских организаций стран Европейского Союза)» (ГК №11.519.11.4002) и 2011-1.2.1-113-025-002 «Математическое и алгоритмическое обеспечение автоматизированного проектирования аппаратно-программных комплексов интеллектуальной обработки информации в распределенных высокопроизводительных системах космического назначения» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы (с участием научно-исследовательских и научно-

образовательных организаций Германии)» (ГК № 16.740.11.0742). Кроме того, данная работа была поддержана молодежными инновационными грантами Сибирского федерального университета 2007-2009 гг. и Фондом содействия развитию малых форм предприятий в научно-технической сфере в рамках программы «Участник молодежного научно-инновационного конкурса» (У.М.Н.И.К.).

Две программные системы прошли государственную экспертизу и были зарегистрированы во ВНТИЦ, три программные системы зарегистрированы в Роспатенте.

Разработанные в диссертации программные системы используются в учебном процессе Института информатики и телекоммуникаций СибГАУ при выполнении лабораторных и курсовых работ и, кроме того, переданы для использования в две инновационные IT-компании.

Основные положения выносимые на защиту:

1. Разработанный генетический алгоритм оптимизации с модифицированным оператором множествешюй рекомбинации превосходит стандартный генетический алгоритм по надежности и быстродействию.

2. Новые операторы равномерного скрещивания в алгоритме генетического программирования по надежности сравнимы со стандартным и превосходят одноточечное скрещивание и предотвращают чрезмерное усложнение решений.

3. Эволюционный алгоритм автоматического генерирования нейронных сетей является эффективным средством построения нейросетевых моделей произвольной структуры.

4. Разработанный способ самоконфигурации эволюционных алгоритмов позволяет избегать затрат на их настройку, не снижая при этом эффективности моделирования и оптимизации.

5. Предложенная процедура принятия решения коллективом ИИТ является эффективным средством повышения точности моделирования сложных систем и процессов.

Апробация работы. Процесс разработки алгоритмов и результаты проведенных исследований докладывались в период 2006-2012 гг. на 24 конференциях различного уровня, среди которых 6 зарубежных, 6 международных, 4 всероссийских с международным участием и 8 молодежных научных конференций, в том числе: Biologically Inspired Optimization Methods and Applications (Bohinj, Slovenia, 2012), Advances in Swarm Intelligence (Shenzhen, China, 2012), Informatics in Control, Automation and Robotics (Rome, Italy, 2012), Congress on Evolutionary Computations of the IEEE World Congress on Computational Intelligence (Brisbane, Australia, 2012), Computational Intelligence in Security for Information Systems (Ostrava, Czech Republic, 2012), ХП и XIII Национальные конференции по искусственному интеллекту с международным участием (г. Тверь, 2010, г. Белгород, 2012 гг.), XIII Международная научно-техническая конференция «Кибернетика

и высокие технологии XXI века» (г. Воронеж, 2012), I и II Всероссийские научные конференции с международным участием «Теория и практика системного анализа» (г. Рыбинск, 2010, 2012 гг.), VII Всероссийская научно-практическая конференция с международным участием "Информационные технологии и математическое моделирование" (Томск, 2008), и др. Кроме того, отдельные результаты работы были обсуждены на научном семинаре института информационных технологий университета г. Ульм (Германия, 2011), а диссертация в целом обсуждалась на научных семинарах института проблем управления РАН имени В.Л.Трапезникова (Москва, 2012) и института системного анализа РАН (Москва, 2012), а также на научно-техническом семинаре кафедры системного анализа и исследования операций СибГАУ.

Публикации. По материалам данной работы опубликовано более 25 печатных работ, в том числе 5 статей в научных изданиях Перечня ВАК.

Структура работы. Работа состоит из введения, пяти глав, заключения, списка литературы и приложений.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснованная актуальность работы, сформулирована цель и поставлены задачи исследования, рассмотрены вопросы научной новизны и практической ценности проведенных исследований, изложены основные положения, выносимые на защиту.

Первая глава работы посвящена разработке новых операторов для эволюционных алгоритмов для повышения эффективности их работы.

Оператор равномерного скрещивания является одним из наиболее эффективных операторов рекомбинации в стандартном генетическом алгоритме. Так как ГА использует хромосому, представляющую решение задачи, имеющую вид бинарной строки, описать работу оператора равномерного скрещивания можно следующим образом: каждый ген хромосомы потомка выбирается из соответствующих генов его родителей с определенной вероятностью. Давно известно, что настройка вероятности передачи гена родителя потомку в равномерном скрещивании может существенно повысить его эффективность, а также позволяет эмулировать другие операторы скрещивания (одноточечного, двухточечного). Известно также, что использование оператора равномерного скрещивания позволяет применять так называемую многородительскую рекомбинацию, когда для порождения одного потомка используется более двух родителей. Не смотря на это, в большинстве исследований используются только два родителя и фиксированная вероятность передачи гена, равная 0.5.

В связи с этим представляет интерес модификация оператора равномерного скрещивания, которая повысила бы его эффективность. Прямое

применение идеи не равновероятного равномерного скрещивания требует тонкой подстройки вещественного параметра, что может привести к излишним трудностям реализации. Поэтому предлагается ввести селективное давление на этапе скрещивания, установив зависимость между вероятностью передачи гена потомку и значением пригодностей родителей. Операторы равномерного скрещивания, основанные на аналогии с обычными операторами селекции - турнирной, пропорциональной и ранговой, были добавлены к обычному оператору равномерного скрещивания, который в данном контексте получил название равновероятного. Очевидно, что турнирное равномерное скрещивание имеет дополнительный смысл только при числе родителей для одного потомка большем двух.

Первая модификация равномерного равновероятного скрещивания — это пропорционально-равномерное скрещивание: вероятность того, что ген именно этого родителя будет передан потомку, пропорциональна его пригодности. Вторая модификация - турнирное равномерное скрещивание: организуется турнир, победитель которого передает свой ген потомку (при двух родителях будет совпадать с клонированием лучшего). Третья - ранговое равномерное скрещивание: согласно пригодности расставляются ранги, вероятность того, что ген этого родителя передастся потомку, пропорциональна рангу претендента, а не его пригодности.

Эффективность ГА с обычными операторами скрещивания и с вновь введенными операторами, а также с многородительской рекомбинацией была оценена на стандартных тестовых задачах оптимизации. Каждый алгоритм получал 100 индивидов и 200 поколений для поиска решения и был запущен 1000 раз на каждой тестовой функции. После статистической обработки полученных численных результатов было установлено, что, в среднем, ранговое равномерное скрещивание является лучшим, обычное (равновероятное) равномерное скрещивание оказывается вторым по эффективности.

Можно заключить также, что использование скрещивания не только с двумя, но и со многими родителями может быть целесообразным. В данной работе при проведении дальнейших исследований используются 3 или 7 родителей для турнирного равномерного скрещивания и 2 или 7 родителей для всех остальных операторов. Также можно заметить, что нельзя исключить из рассмотрения ни один оператор скрещивания, так как каждый из них может быть полезным.

В алгоритме генетического программирования используется представление решения в виде дерева, в связи с чем прежде, чем добавлять селективное давление на этапе рекомбинации, необходимо разработать соответствующий оператор равномерного скрещивания. Выполнение равномерного скрещивания в ГП начинается с вершины дерева и продолжается вниз до нахождения функциональных вершин с различной арностью в одном положении для разных родителей. Каждый узел, находящийся в полу-

чившейся общей зоне, может быть передан каждым из родителей с некоторой вероятностью. Поддеревья узлов с разной арностью соревнуются между собой за право передать потомку свою вершину.

Алгоритм равномерного скрещивания, применимого к бинарным деревьям, выглядит следующим образом:

1. Создается дерево обобщенных структур;

2. Для каждого узла дерева обобщенных структур случайным образом выбирается номер претендента-родителя;

• Если скрещиванию подвергается ген из правой ветви, претендентом может являться ген, принадлежащий правым ветвям возможных родителей, или ген, являющийся аргументом одноместной функции;

• Если скрещиванию подвергается ген из левой ветви, претендентом может являться ген, принадлежащий левым ветвям возможных родителей, или ген, являющийся аргументом одноместной функции.

Описанные модификации добавляют алгоритму гибкости и позволяют надеяться на изменение его поведения. Напомним также, что равномерное скрещивание позволяет производить многородительскую рекомбинацию, что обычно не используется в алгоритмах ГП.

Имея соответствующий оператор равномерного скрещивания, можно ввести селективное давление тем же способом, как это было сделано выше для генетического алгоритма. Потомок может получить каждый узел от одного из родителей не только с равными, но и с различными вероятностями, определяемыми в этом случае пригодностью родителей одним из трех способов: пропорционально пригодности, согласно рангам или после проведения турнира.

Описанный подход был реализован и протестирован для оценки эффективности разработанных операторов. Так как набор общепринятых тестовых задач для алгоритма генетического программирования все еще относится к "открытым вопросам", для предварительной оценки были использованы задачи символьной регрессии. Каждый алгоритм получал 100 индивидов и 300 поколений для поиска решения и был запущен по 100 раз на каждой тестовой функции.

По полученным результатам можно увидеть, что ГП с модифицированным равномерным скрещиванием (МГП) немного лучше обычного ГП. Из этого следует, что применение новых операторов имеет смысл. Дополнительные наблюдения практически такие же, как и для ГА: лучшим числом родителей является 7, вторым - 2; лучшим оператором скрещивания является ранговое равномерное, вторым - равновероятное равномерное. Положительной чертой использования построенных операторов равномерного скрещивания является то, что генерируемые деревья обычно содержат небольшое число вершин, т.е. смягчается широко известная в практике применения ГП проблема чрезмерного усложнения генерируемых выражений.

Хотя предложенные новые операторы равномерного скрещивания повышают эффективность ГА и ГТ1, но, в тоже время, они увеличивают число вариантов настроек алгоритма, что усложняет применение алгоритма для конечного пользователя. Поэтому необходимо предложить способы автоматизации выбора генетических операторов, чтобы избежать излишних усилий по настройке алгоритмов, без снижения эффективности их применения.

Вторая глава работы посвящена разработке алгоритмического обеспечения для автоматизации выбора эффективных настроек эволюционных алгоритмов при решении задач интеллектуального анализа данных.

Эволюционные алгоритмы (ЭА) представляют собой стохастические процедуры обработки информации, основанные на принципах естественной эволюции. Хотя ЭА успешно применяются при решении многих практических задач оптимизации и моделирования, существенная зависимость их эффективности от выбора настроек и параметров создает серьезные трудности для дальнейшего расширения возможности их применения. Более того, выбор настроек и подстройка параметров ЭА представляют собой сложную и трудоемкую задачу, требующую существенных интеллектуальных усилий экспертов в области эволюционного моделирования и оптимизации и значительных вычислительных затрат. В этой связи многие исследователи прилагают усилия для решения данной проблемы. Существует множество исследований, описывающих так называемые самоадаптивные ЭА. Авторы такого рода работ определяют соответствующие идеи различными способами, но все они стремятся уменьшить роль человека-эксперта в проектировании эволюционного алгоритма.

Следуя определению, данному организаторами семинара по самонастраивающимся эволюционным алгоритмам (Self EAs) Международной конференции PPSN XI (Krakov, 2010), выделим 3 основных пути к автоматической разработке алгоритмов. Первый путь - это (само)регулирование или (само)настройка управляющих параметров алгоритма. Второй путь -(само)конфигурирование алгоритмов, т.е. автоматизированный выбор и применение существующих алгоритмических компонент (вариантов операторов). И последний, третий, подход — это обобщение или создание новых эвристик из существующих подкомпонент, заимствованных из других адаптивных поисковых методов.

В связи с тем, что основная идея предложенных в данной работе алгоритмов относится к автоматизации выбора и использования генетических операторов, данные алгоритмы могут быть названы самоконфигурируемыми. Вместе с тем, вероятности выбора того или иного оператора (параметры) изменяются в ходе решения задачи в зависимости от эффективности этого оператора, что позволяет говорить, что алгоритмы, описываемые в данной работе, являются частично саморегулирующимися. Псевдокод

самоконфигурируемого эволюционного алгоритма (SelfCEA) представлен в таблице 1.

_Таблица 1 -Псевдокод для SelfCEA

_Псевдокод для SelfCEA_

1 Установить равные вероятности для всех вариантов настройки для каждого вида оператора (исключение - «пустое» скрещивание).

2 For to N

3 For Ы to NInd

4 Выбрать вариант селекции, рекомбинации и мутации;

5 Выбрать родителей выбранным оператором селекции;

6 Скрестить родителей выбранным оператором рекомбинации для создания потомка;

7 Мутировать потомка с выбранной вероятностью мутации;

8 Оценить потомка;

9 Выбрать выживших с выбранным оператором замещения;

10 Обновить вероятности для операторов, используя среднюю пригодность по_томков, полученных при помощи данного оператора._

_Пояснение для шага 10 (пересчет вероятностей)__

1 Для каждого оператора проверить превышают ли его вероятности PtJ — пороговую

вероятность для данпого типа оператора, где i - это номер типа оператора (скрещивание, селекция и другие), j - номер конкретного вида оператора для данного типа.

2 Если:

Р = Р..

V ч

Pii>Pi}+l^N

то вероятность оператора изменяется следующим образом:

рт _ р

У V

9 2,-И

Выбор оператора получившего самую большую среднюю пригодность сгенериро-

' = Р,

old

1

вашгых с его участием потомков max

2>ь

Si

>J, при

*e[l, iv], где N- число

поколений, -пригодность ;'-го индивида на к-и поколении; К вероятности «выигравшего» варианта оператора прибавляем все, что было вычтено из вероятностей на шаге 2.__

Самоконфигурируемый ГА (ЯеМСОА) был проверен на тех же обычных тестовых задачах. Было проведено сравнение самоконфигурируемого ГА, основанного на общепринятых операторах скрещивания (одноточечное, двухточечное, равномерное) (8е1ГСОЛ-1) и самоконфигурируемого ГА основанного на 6 типах скрещивания (Бе1ЮОА-2), т.е. включая и новые типы операторов.

По результатам тестирования можно сделать вывод, что:

и

• 8е1:ГСХ}А-1 работает лучше, чем три отдельных алгоритма, скомбинированные в нем. Это позволяет утверждать, что способ самоконфигурирования ГА сам по себе оказывает положительное влияние на эффективность алгоритма.

• 5е1КОА-2 превосходит 8е1АСОА-1 по всем показателям, например имеет лучшею среднюю надежность и разброс надежностей. Из этого следует, что предложенные типы операторов равномерного скрещивания с селективным давлением оказывают положительное влияние на эффективность ГА при взаимодействии настроек и дают надежду на лучшие результаты при решении реальных практических задач.

• Различия между ними являются статистически значимыми, что было подтверждено с использованием АКЮУА и пакета статистической обработки данных 81аиБПса.

• Алгоритмы с самоконфигурированием обеспечивают меньший разброс надежностей, меньший разброс среднего числа поколений до нахождения оптимума, а также обладают сопоставимым временем работы в сравнении со стандартным генетическим алгоритмом.

• Лучшим выбором, по результатам данного исследования, является генетический алгоритм с самоконфигурированием с вновь введенными модифицированными операторами равномерного скрещивания, поскольку он уменьшает перебор настроек алгоритма более чем в 54 раза и обеспечивает высокую надежность работы при произвольном выборе остальных настроек (способ кодирования, управление популяцией и другие).

Таким образом, предложенный самоконфигурируемый 8е]РССтА-2 (в дальнейшем просто Бе1АСОА), заключающийся в случайном выборе генетических операторов в соответствии с адаптивно настраивающимся распределением вероятностей, может быть рекомендован к использованию вместо стандартного генетического алгоритма, так как демонстрирует более высокую надежность и сопоставимую скорость работы, не требуя затрат на выбор комбинации настроек. Можно сделать вывод, что предложенный способ самоконфигурации для ГА не только позволяет сэкономить время и ресурсы на нахождении лучшей настройки, но также может повысить эффективность алгоритма даже в сравнении с лучшими известными настройками обычного ГА.

Предложенный генетический алгоритм с самоконфигурированием снимает большинство трудностей неспециалистов в эволюционной области при работе с ним, не создавая при этом новых.

Алгоритм генетического программирования, также как и генетический алгоритм, требует тщательной настройки параметров для обеспечения его эффективной работы. Вариант самоконфигурации, описанный выше, может быть применен и для алгоритма ГП, так как порядок и способ подключения операторов селекции, скрещивания и мутации аналогичен. Кроме

того, предложенная методология самоконфигурации алгоритма может быть применена также для любых других эволюционных алгоритмов.

Для предварительной оценки получаемого алгоритма ГП (SelfCGP) были использованы те же задачи символьной регрессии. Считалось, что алгоритм нашел решение, если среднеквадратическая ошибка составляла менее 0.01. В экспериментах участвовали стандартное, одноточечное и равномерное (равновероятное, турнирное, пропорциональное, ранговое) скрещивания, турнирная, пропорциональная и ранговая селекции, мутации точечная и деревьями с тремя степенями вероятности каждая.

Худшая надежность по 100 прогонам равна 0.42, лучшая 1.00. Средняя надежность SelfCGP, усредненная по 17 задачам, выше, чем лучшая из усредненных надежностей стандартного ГП, и немного меньше, чем лучшая усредненная надежность МГП (определенная экспертом после многочисленных прогонов). Кроме того, SelfCGP тратит меньше ресурсов, чем альтернативные алгоритмы. Это позволяет рекомендовать SelfCGP для решения задач символьной регрессии как лучшую альтернативу стандартному ГП. Основным достоинством SelfCGP является отсутствие необходимости в настройке его параметров, что делает этот алгоритм весьма полезным в различных приложениях, где конечный пользователь, не будучи специалистом в области эволюционных алгоритмов, тем не менее применяет ГП для решения своих задач. Еще одним полезным для практики свойством SelfCGP является предотвращение чрезмерного разрастания деревьев за счет применения операторов равномерного скрещивания.

Таким образом, во второй главе была обоснована полезность предложенных модификаций ГА и ГП. Все варианты тестируемых ГП применяли SelfCGA при настройке параметров получаемых символьных выражений для страховки от последствий неверно выбранных настроек ГА. Идея самоконфигурируемого алгоритма генетического программирования показала свою работоспособность, в связи с чем имеет смысл применить ее к алгоритму генетического программирования для автоматического генерирования нейронных сетей.

Третья глава диссертации посвящена разработке алгоритмического обеспечения для автоматизации проектирования искусственных нейронных сетей при помощи алгоритмов генетического программирования.

Для настройки структуры нейронной сети при помощи алгоритма генетического программирования в терминальное множество были включены 16 наиболее часто используемых функций активации, а также входные нейроны.

Так как при генерации нейросетей алгоритм ГП имеет дело не с числами, а с нейронами, то и допустимые операции из его функционального множества специфические:

— постановка нейронов (блоков нейронов) в один слой; является ассоциативной;

- постановка нейронов (блоков нейронов) в последовательные слои так, что нейрон (блок нейронов), пришедший из левой ветви дерева, предшествует нейрону (блоку нейронов), пришедших из правой ветви дерева; не является ассоциативной.

При выполнении первой операции новых связей между нейронами не появляется, при выполнении второй операции выходы нейронов из левой ветви подаются на вход нейронам из правой ветви. Важно учитывать, что входные нейроны не должны принимать на вход результаты вычисления сети или ее части, но хотя бы один из них должен подавать сигнал на вход хотя бы одному из обрабатывающих нейронов. В связи с этим было принято решение, что в левой ветви могут присутствовать только входные нейроны и первая операция, а в вершине дерева должна находиться вторая операция. Сборка дерева начинается справа. Операции рекомбинации и мутации были модифицированы в соответствии с ограничениями, наложенными на вид дерева.

Для настройки весовых коэффициентов полученной нейронной сети применялся 8е1ЮСА с последующим локальным спуском.

Описанный алгоритм был проверен на задаче аппроксимации тех же тестовых функций и показал достаточно высокую надежность. Нейронные сети, создаваемые алгоритмом 8е1ЮОР, имеют небольшое количество нейронов и связей между ними, при этом обладают достаточно малой среднеквадратической ошибкой.

Четвертая глава диссертации посвящена разработке алгоритмического обеспечения для автоматизации проектирования гетерогенных ансамблей интеллектуальных информационных технологий при помощи алгоритмов генетического программирования.

Всевозможные интеллектуальные информационные технологии можно гибридизировать в единый подход. Обычно для этого применяются различные методы создания ансамблей - усреднение, взвешенное усреднение, голосование и т.д. У. Йоханссон и др. (2006) впервые применили алгоритм генетического программирования для создания ансамбля из определенного количества искусственных нейронных сетей (ИНС), где функциональный набор состоял из операций усреднения и умножения, а терминальное множество включало в себя константы. В работе В. Бухтоярова (2010), был предложен аналогичный подход, где сначала генерировалось определенное число нейронных сетей, а потом алгоритм генетического программирования применялся для получения ансамбля, создавая символьные выражения, использующие в качестве входов отдельные нейронные сети. Известно, что разнообразие членов ансамбля играет важную роль при их создании. В данной работе для формирования общего метода принятия решений коллективом различных ИИТ применяется самоконфигурируемый алгоритм генетического программирования (8е1АСОР), как наиболее подходящий инструмент для автоматизированного проектирования ИИТ, который не тре-

бует затрат времени и ресурсов на свою настройку и позволяет формировать как членов ансамбля ИИТ, так и способ принятия решений этим коллективом. Алгоритм включает в себя различные арифметические операции и математические функции и использует ИИТ разных видов для обеспечения разнообразия среди участников ансамбля. Далее в численных экспериментах в качестве членов ансамбля используются символьные выражения и нейронные сети, автоматически сгенерированные при помощи ЗеК'СОР. Алгоритм автоматически выбирает конкретные ИИТ, которые вносят существенный вклад в эффективность решения, и не использует другие. Интеллектуальные информационные технологии отбирались в ансамбль из предварительного пула ИИТ, который включает в себя 20 ИНС и 20 символьных формул (СФ), заранее порожденные веИССР. Для настройки численных параметров в СФ и ИНС применяется 8е1ЮОА с локальным спуском.

Пятая глава диссертации посвящена практической реализации разра-боташшх алгоритмов и их апробации.

При помощи самоконфигурируемого генетического алгоритма 8е1£-СОА решена задача выбора эффективного варианта структуры аппаратно-программного комплекса систем управления космическими аппаратами (КА).

Система управления КА состоит из нескольких контуров. Моделирование функционирования контуров системы управления КА производится при помощи цепей Маркова. Проблема выбора эффективного варианта для системы управления КА формулируется как многомерная задача оптимизации с алгоритмически заданными функциями разношкальных переменных. Разработанный в диссертации самоконфигурируемый генетический алгоритм является подходящим методом для решения сложной задачи оптимизации системы управления КА.

Задача оптимизации для выбора эффективного варианта технологического контура управления имеет 11 дискретных переменных. Соответствующее пространство оптимизации содержит около 1.76-1013 точек и не может быть просмотрено при помощи полного перебора, в частности потому, что рассмотрение одной точки включает численное решение системы линейных уравнений с 40 переменными. Лучшие и худшие допустимые значения показателей не известны, поэтому далее используются самые лучшие известные решения. Для оценки эффективности алгоритмов используются 40 индивидов на одно поколение и 80 поколений за один прогон, то есть алгоритм просматривает около 1.82Т0'7 % точек поискового пространства. Таблица 2 содержит результаты оценки надежности различных вариантов алгоритмов при решении задачи максимизации коэффициента готовности технологического контура системы управления космическим аппаратом. В первом столбце приведены названия операторов селекции, используемых соответствующим ГА (1ЛЕ - равномерное равновероят-

ное, ТЖ - ранговое, ЦР - пропорциональное, ЦТ - турнирное), результаты усреднены по выбору остальных настроек. Во втором столбце приведена доля прогонов, в которых был найден известный оптимума, среди общего числа прогонов (100). В двух следующих столбцах приведены среднее отклонение и относительное среднее отклонение найденных решений от известного оптимума. В последнем столбце приведен средний номер поколения, на котором был найден известный оптимум (оценка затрат на оптимизацию).

Таблица 2 - Сравнение надежностей алгоритмов для технологического контура

Алгоритмы Надежности MD (%) RMD (%) Поколение

UE 0.79 0.0115 0.2178 56

UR 0.86 0.0099 0.1875 48

UP 0.73 0.0121 0.2292 59

ит 0.87 0.0095 0.1799 49

SelfCGA 0.90 0.0092 0.1742 33

Модель командно-программного контура управления, содержащая 96 состояний и более 300 переходов, имеет 13 переменных и содержит 4.5Т015 точек в пространстве оптимизации. Для нахождения решения алгоритмам разрешалось просмотреть около 2.2-10'10 % поискового пространства (100 индивидов на 100 поколений). Для этой модели были получены аналогичные результаты.

Эффективность SelfCGA выше, чем у алгоритмов, которые использовались ранее для решения этих задач, несмотря на то, что настройки прежних алгоритмов выбирались экспертом в эволюционной оптимизации.

Численные эксперименты подтверждают, что SelfCGA при решении вычислительно сложной задачи превосходит альтернативные алгоритмы, а значит может быть рекомендован для использования в практических задачах.

Далее в работе алгоритмами генетического программирования решены задачи анализа данных из следующих областей: ботаника, медицинская диагностика, банковский скоринг, компьютерная безопасность, распознавание речи, прогнозирование в технических системах. Числовые параметры этих задач (число входов, число выходов, размер числовой выборки, число классов для задач классификации) представлены в таблице 3.

В общей сложности решено 9 задач анализа данных: классификация ирисов, диагностирование рака молочной железы, диагностирование диабета, банковский скоринг в Австралии, банковский скоринг в Германии, выявление PROBE атак, обнаружение спама, распознавание речи (ISOLET), прогнозирование деградации солнечных батарей космического аппарата.

Таблица 3 - Числовые характеристики решеных задач анализа данных

Задача Число входов Число выходов Число классов Размер выборки

Ирисы 3 1 3 150

Рак 10 1 2 699

Диабет 8 1 2 768

Кредит в Австралии 14 1 2 690

Кредит в Германии 20 1 2 1000

Выявление PROBE атак 8 1 2 4,900,000

Обнаружение спама 57 1 2 4600

ISOLET 617 1 26 7797

Прогнозирование деградации солнечных батарей 7 4 Аппроксимация 197

Задачи классификации решены как путем построения разделяющих поверхностей, представленных символьными выражениями, т.е. с применением алгоритма БеИСйР для символьной регрессии (БеИСОР+БИР), так и при помощи нейронных сетей, автоматически генерируемых самоконфигурируемым алгоритмом генетического программирования (8е1АСОР+АЫК). Во время экспериментов использовались 100 индивидов и максимум 500 поколений на каждом из 20 запусков. Все результаты были усреднены. Для разработки коллективов ИИТ каждый набор данных случайным образом разделили на три части, т.е. обучающую выборку (60%), проверочную выборку (20%) и тестовую выборку (20%). Статистическая достоверность полученных результатов была подтверждена при помощи АМЭУА.

Первый эксперимент был проведен для сравнения производительности коллективного метода, основанного на БеИСОР, с другими на задачах классификации ирисов, диагностировании рака молочной железы, диагностирования диабета и прогнозирования процесса деградации солнечных батарей космического аппарата. Результаты показали, что ансамбли сгенерированные ЯеИХЮР из ИНС или из ИНС и символьных выражений превосходят другие подходы.

Сформированный ансамбль нейронных сетей имеет вид (на примере задачи о диагностике диабета): 5ш(0.5-(М2+М8+К9)), а ансамбль символьных выражений: 0.5 ■ Рг ■ . Здесь >1,- и Р,- являются выходными значениями, соответственно, нейронных сетей и аналитических выражений, входящих в предварительный пул из 10 моделей. Нетрудно видеть, что в оптимальный ансамбль включаются далеко не все кандидаты.

Результаты второго эксперимента на двух задачах классификации из области банковского скоринга (см. таблицу 4, где последняя буква Е в названии классификатора означает использование ансамбля соответствующих ИИТ) показали, что ансамбли, автоматически сгенерированные 8е1{"СОР, превосходят другие ансамбли (бустинг, багинг, ССЕЬ) и одиноч-

ные классификаторы, в том числе и специально реализованные для решения задач банковского скоринга (нечеткий классификатор, 280Р).

Таблица 4 - Сравнение методов классификации

Классификатор Кредит Австралия Кредит Германия Классификатор Кредит Австралия Кредит Германия

SelfCGP ANN+SRFE 0.9094 0.8126 GP+SRF 0.8889 0.7834

SelfCGP ANNE 0.9046 0.8075 CART 0.8744 0.7565

SelfCGP SRFE 0.9046 0.8050 LR 0.8696 0.7837

2SGP 0.9027 0.8015 CCEL 0.8660 0.7460

SelfCGP+ANN 0.9022 0.7954 RSM 0,8520 0,6770

SelfCGP+SRF 0.9021 0.7950 Bagging 0.8470 0.6840

GP+ANN 0.8969 0.7863 Bayesian 0.8470 0.6790

C4.5 0.8986 0.7773 Boosting 0.7600 0.7000

Fuzzy 0.8910 0.7940 k-NN 0.7150 0.7151

Ансамбли нейронных сетей имеют вид: coiNo+0.5-N8-N9 (для задачи «Кредит Австралия») и N0)-(l—Ni) (для задачи «Кредит Германия»). И в этом случае в ансамбль включены по 2-3 нейросети из 10 доступных алгоритму.

Если не учитывать коллективные подходы, первое место занял 2SGP, который был специально разработан для решения задачи банковского скоринга. Вторым на обеих задачах стал предложенный в данной работе SelfCGP+ANN, третьим стал SelfCGP+SRF.

Ансамбли нейронных сетей, автоматически сгенерированные при помощи SelfCGP, были апробированы также на задачах из области компьютерной безопасности. Результаты для задачи обнаружения PROBE атак показывают, что ансамбли нейронных сетей, автоматически сгенерированные при помощи SelfCGP, сопоставимы с лучшими из альтернативных подходов по обнаружению атаки, однако реже поднимают ложную тревогу. Из результатов для задачи обнаружения спама следует, что ансамбль нейронных сетей, автоматически сгенерированный при помощи SelfCGP, превосходит другие подходы. '

Нейронные сети, автоматически генерируемые самоконфигурируемым алгоритмом генетического программирования (SelfCGP+ANN), и ансамбли нейронных сетей, автоматически сгенерированные при помощи SelfCGP, были апробированы на задаче ISOLET из области распознавания речи. Для получения лучшего решения SelfCGP применялся последовательно для классификации на 5 классов (близких по звучанию букв) и последующей классификации внутри группы. По результатам можно увидеть, что лучшим оказался сопряженный градиентный метод с обратным распространением ошибки, применяемый для обучения деревьев решений, а ансамбль нейронных сетей, автоматически сгенерированный при помощи SelfCGP, незначительно уступил ему.

Автоматическое проектирование ансамблей гетерогенных ИИТ, основанное на 8е1КЮР, позволяет повысить надежность и эффективность обработки информации, что подтверждается решением ряда задач анализа данных.

В заключении диссертации приведены основные результаты и выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В ходе выполнения диссертационной работы получены следующие результаты:

• Разработаны новые операторы равномерного скрещивания для генетического алгоритма оптимизации и алгоритма генетического программирования, отличающиеся от известных наличием селективного давления на этапе рекомбинации и позволяющие повысить эффективность поиска решения.

• Разработан метод самоконфигурирования эволюционных алгоритмов моделирования и оптимизации, отличающийся способом адаптации настроек и позволяющий автоматически выбирать эффективную структуру алгоритмов в ходе решения задачи.

•Для решения задач нейросетевого моделирования предложен модифицированный алгоритм генетического программирования, отличающийся способом формирования структуры нейронной сети.

•Для решения задач символьной регрессии и нейросетевого моделирования реализованы гибридные эволюционные алгоритмы, сочетающие самоконфигурируемый алгоритм генетического программирования для выбора эффективных структур и самокопфигурируемый генетический алгоритм для настройки соответствующих параметров.

•Разработана процедура автоматического генерирования гетерогенных коллективов интеллектуальных информационных технологий.

• Эффективность разработанных подходов и выполненных модификаций продемонстрирована в ходе решения 10 прикладных задач анализа данных из различных областей науки и техники.

Таким образом, в данной работе разработаны, реализованы и проверены на тестовых и прикладных задачах новые алгоритмические схемы применения интеллектуальных информационных технологий, обладающие большей эффективностью по сравнению с известными подходами и позволяющие успешно решать широкий круг практических задач, что является вкладом в теорию и практику интеллектуального анализа данных.

Публикации по теме диссертации:

Статьи в ведущих рецензируемых научных журналах и изданиях

1. Попов Е.А., Семенкина М.Е., Липинский Л.В. Принятие решений коллективом интеллектуальных информационных технологий // Вестник СибГАУ. - № 4 (44). - 2012.

2. Popov Е.А., Semenkina М.Е., Lipinski L.V. Evolutionary algorithm for automatic generation of neural network based noise suppression systems // Vestnik. Scientific Journal of Siberian State Aerospace University named after academician M. F. Reshetnev. - № 4 (44). - 2012.

3. Semenkin E.S., Semenkina M.E. Integration of Intelligent Information Technologies Ensembles with Self-Configuring Genetic Programming Algorithm // Vestnik. Scientific Journal of Siberian State Aerospace University named after academician M. F. Reshetnev. - № 4 (44).-2012.

4. Семенкин E.C., Семенкина M.E. Программный комплекс адаптивных эволюционных алгоритмов моделирования и оптимизации сложных систем // Программные продукты и системы. - № 4 (100). - 2012. -С. 54-58.

5. Семенкин Е.С., Семенкина М.Е. Применение генетического алгоритма с модифицированным оператором равномерной рекомбинации при автоматизированном формировании интеллектуальных информационных технологий // Вестник СибГАУ. - № 3 (16). - 2007. - С. 27-33.

Статьи в сборниках трудов коференций

6. Semenkin E.S., Semenkina M.E. Self-configuring Genetic Algorithm with Modified Uniform Crossover Operator // Y. Tan, Y. Shi, and Z. Ji (Eds.): Advances in Swarm Intelligence. - Lecture Notes in Computer Science 7331. -Springer-Verlag, Berlin Heidelberg, 2012. - P. 414-421.

7. Semenkin E.S., Semenkina M.E., Panfilov I.A. Neural Network Ensembles Design with Self-Configuring Genetic Programming Algorithm for Solving Computer Security Problems // Herrero A., et al (Eds.): Computational Intelligence in Security for Information Systems. - Advances in Intelligent Systems and Computing 189. - Springer-Verlag, Berlin Heidelberg, 2012. - P. 25-32.

8. Semenkin E.S., Semenkina M.E. Self-Configuring Genetic Programming Algorithm with Modified Uniform Crossover // Proceedings of the Congress on Evolutionary Computations of the IEEE World Congress on Computational Intelligence (CEC WCCI2012), Brisbane, Australia, 2012. -P. 1918-1923.

9. Semenkin E.S., Semenkina M.E. The Choice of Spacecrafts' Control Systems Effective Variants with Self-Configuring Genetic Algorithm // Ferrier, J.L. et al (Eds.): Informatics in Control, Automation and Robotics: Proceedings of the 9th International Conference ICINCO'2012. - Vol. 1. - Rome: Italy, 2012.-P. 84-93.

10. Semenkin E.S., Semenkina M.E. Artificial neural networks design with self-configuring genetic programming algorithm // Filipic В., Silc J. (Eds.): Bioinspired Optimization Methods and their Applications: Proceedings of the Fifth International conference BIOMA 2012. - Ljubljana: Jozef Stefan Institute, 2012.-P. 291-300.

11. Семенкина M.E. Самоконфигурируемый генетический алгоритм с модифицированными операторами равномерного скрещивания // Кибернетика и высокие технологии XXI века. Сб. тр. 13-й международной научно-технической конференции - Т. 1. — Воронеж: ИСА РАН, 2012. — С. 32-41.

12. Семенкина М.Е. Самоконфигурируемый алгоритм генетического программирования для создания ансамблей интеллектуальных технологий // XIII национальная конференция по искусственному интеллекту с международным участием КИИ-2012: Труды конференции. — Т.2. -Белгород: Изд-во БГТУ, 2012. - С. 284-291.

13. Семенкина М.Е. Самоконфигурируемые эволюционные алгоритмы моделирования и оптимизации // Теория и практика системного анализа. — Рыбинск: ИСА РАН, РГАТА имени П.А. Соловьева, 2012. - С. 24-30.

14. Семенкина М.Е. Об алгоритме генетического программирования для автоматизации проектирования интеллектуальных информационных технологий // Информационные технологии, системный анализ и управление: Сб. тр. IX Всероссийской конференции. - Т.1. - Таганрог: ТТИЮФУ, 2011.-С. 190-192.

15. Семенкина М.Е. Алгоритм генетического программирования с равномерным скрещиванием для проектирования интеллектуальных информационных технологий // Труды XV Международной научной конференции «Решетневские чтения». — Ч. 2. — Красноярск: СибГАУ, 2011. -С. 499-500.

16. Липинский Л.В., Лыткин И.С., Семенкина М.Е. Об автоматизации проектирования нейросетевых систем подавления шума с помощью алгоритма генетического программирования // Теория и практика системного анализа. - Рыбинск: ИСА РАН. РГАТА имени П.А. Соловьева, 2010. — с.33-39.

17. Липинский Л.В., Лыткин И.С., Семенкина М.Е. Об эволюционном алгоритме формирования нейросетевой системы подавления // XII национальная конференция по искусственному интеллекту с международным участием КИИ-2010: Труды конференции. - Т. 4. - М.: Физматлит, 2010. - С. 116-121.

18. Семенкина М.Е. Алгоритм генетического программирования с множественной рекомбинацией // Информационные технологии и математическое моделирование (ИТММ-2008): Материалы VII Всероссийской научно-практической конференции с международным участием. - Томск: Изд-во Том. ун-та, 2008. — Ч. 1. - С. 110-112.

19. Семенкина М.Е. Об автоматизации проектирования интеллектуальных информационных технологий алгоритмами генетического программирования // Перспективы развития фундаментальных наук: материалы Международной конференции молодых ученых. - Томск: Изд-во ТПУ, 2008. - С. 28 8-290.

20. Семенкина М.Е. Разработка и исследование оператора множественной рекомбинации в алгоритмах генетического программирования // Труды XI Международной научной конференции «Решетневские чтения». - Красноярск: СибГАУ, 2007. - С. 251-252.

Зарегистрированные программные системы

21. Семенкина М.Е., Семенкин Е.С. Программа для решения задач нейросетевого моделирования самоконфигурируемым алгоритмом генетического программирования. - М.: Роспатент, 2012. № гос. per. 2012619346.

22. Семенкина М.Е., Семенкин Е.С. Программа для решения задач символьной регрессии самоконфигурируемым алгоритмом генетического программирования. -М.: Роспатент, 2012. № гос. per. 2012619347.

23. Семенкина М.Е., Семенкин Е.С. Самоконфигурируемый генетический алгоритм для решения задач безусловной оптимизации. - М.: Роспатент, 2012. № гос. per. 2012618746.

24. Семенкин Е.С., Семенкина М.Е. Алгоритм генетического программирования с обобщенным оператором множественной рекомбинации. -М.: ВНТИЦ, 2008. № гос. per. 50200802149.

25. Семенкин Е.С., Семенкина М.Е. Генетический алгоритм с модифицированным оператором множественной рекомбинации. — М.: ВНТИЦ, 2006. № гос. per. 50200600370.

Семепкнна Мария Евгеньевна

Самоконфигурируемые эволюционные алгоритмы моделирования и оптимизации

Автореферат

Подписано к печати Формат 60x84/1 б

Уч. изд. л. 1.0 Тираж 100 экз. Заказ № ЧЧН

Отпечатано в отделе копировальной и множительной техники СибГАУ. 660014, г. Красноярск, пр. им. газ. «Красноярский рабочий», 31

ВВЕДЕНИЕ.

Глава 1. Разработка и исследование эффективности модифицированных операторов рекомбинации с селективным давлением для эволюционных алгоритмов.

1.1 Обзор эволюционных алгоритмов.

1.2 Описание основных особенностей генетических алгоритмов.

1.3 Основные особенности алгоритма генетического программирования.

1.4 Оператор равномерного скрещивания с селективным давлением для генетического алгоритма.

1.5 Оператор равномерного скрещивания с селективным давлением для алгоритма генетического программирования.

1.6 Программная реализация алгоритмов с модифицированным оператором множественной рекомбинации.

1.7 Тестирование алгоритмов.

ВЫВОДЫ.

Глава 2. Разработка, реализация и исследование эффективности метода самоконфигурирования эволюционных алгоритмов.

2.1. Описание метода самоконфигурирования для эволюционных алгоритмов.

2.2. Программная реализация самоконфигурируемых алгоритмов.

2.3. Тестирование разработанных алгоритмов.

ВЫВОДЫ.

Глава 3. Разработка и исследование самоконфигурируемых эволюционных алгоритмов для автоматического генерирования нейросетевых моделей.

3.1 Обзор зарождения и развития нейросетевых технологий.

3.2. Алгоритм генетического программирования для автоматического генерирования структур нейронных сетей.

3.3. Программная реализация алгоритмов генетического программирования для автоматического генерирования нейронных сетей.

3.4. Тестирование самоконфигурируемого алгоритма генетического программирования для автоматического генерирования ИНС.

ВЫВОДЫ.

Глава 4. Эволюционные методы создания ансамблей.

4.1 Обзор методов создания ансамблей.

4.2 Эволюционный алгоритм автоматического порождения коллективов интеллектуальных информационных технологий.

4.3 Программная реализация алгоритмов принятия решений при помощи ансамбля интеллектуальных информационных технологий.

4.4. Тестирование ансамблей.

ВЫВОДЫ.

Глава 5. Практическая реализация.

5.1 Решение задачи выбора эффективного варианта аппаратно-программного комплекса для систем управления космическими аппаратами.

5.2 Задача моделирования системы подавления шума.

5.3 Описание решенных задач анализа данных: классификации, аппроксимации и прогнозирования.

5.4 Результаты решения задач анализа данных отдельными ИИТ.

5.5 Решение задач анализа данных с помощью ансамблей интеллектуальных информационных технологий.

ВЫВОДЫ.

Актуальность. В настоящее время интеллектуальные системы обработки информации получили широкое распространение в различных областях человеческой деятельности. Искусственные нейронные сети (ИНС), системы на нечеткой логике, символьная регрессия, эволюционные алгоритмы и другие интеллектуальные информационные технологии (ИИТ) способны решать сложные задачи обработки информации, с которыми не справляются классические методы. Во многих случаях полезным подходом является гибридизация, когда в систему обработки информации включаются несколько ИИТ, в том числе и различных типов. Данный подход становится все более распространенным с ростом производительности вычислительной техники.

Однако, разработка и настройка даже одной ИИТ - нетривиальная задача. Проектирование и разработка коллектива ИИТ с необходимыми свойствами - задача на порядок сложнее. Для ее решения необходим эффективный инструментарий.

Таким инструментарием могут быть алгоритмы эволюционного поиска, наиболее известными из которых являются генетический алгоритм (ГА) и алгоритм генетического программирования (ГП).

Генетический алгоритм является эффективной процедурой решения сложных задач оптимизации. Он ищет решение в гиперкубе, определяемом бинарной строкой, которой кодируется это решение. Задача ГА - определить, какая (какие) точка гиперкуба доставляют экстремум целевой функции. ГП отличается тем, что генотип индивида представлен не линейно (в виде бинарной строки, или массива чисел), а в виде иерархической структуры -дерева. Исследователь не ограничивает пространство поиска, а только определяет элементы и связи, при помощи которых строятся решения. Элементы, объединяясь в иерархические структуры, порождают системы с новыми (эмерджентными) свойствами, которые изначально не предполагались исследователем. Поэтому ГП является одним из наиболее привлекательных инструментов поиска и адаптации в пространстве сложных структур.

Однако эффективное применение ГА и ГП требует глубокого знания теории эволюционного поиска, что ограничивает их распространение на практике. Конечный пользователь должен обладать навыками определения эффективных настроек и параметров ГП и ГА (типы селекции и рекомбинации, уровень мутации, критерий останова и т.д.). Снятие данного ограничения позволило бы существенно расширить аудиторию пользователей ГП и ГА. Одним из решений этой проблемы является разработка самонастраивающихся алгоритмов, которые самостоятельно адаптируется под решаемую задачу, выбирают эффективные настройки и определяют параметры. В этой связи разработка и исследование новых алгоритмических схем для автоматизации проектирования ИИТ с помощью эволюционных алгоритмов является актуальной научно-технической задачей.

Цель диссертационной работы состоит в повышении обоснованности принятия решений при применении интеллектуальных технологий обработки информации за счет автоматизации их проектирования с использованием самоконфигурируемых эволюционных алгоритмов.

Сформулированная цель предопределила следующую совокупность решаемых задач:

1. Разработать генетический алгоритм для эффективной оптимизации в дискретных пространствах;

2. Разработать алгоритм генетического программирования, решающий задачи символьной регрессии, для эффективного поиска на дискретных структурах;

3. Разработать алгоритм генетического программирования для автоматического генерирования нейронных сетей произвольной архитектуры;

4. Разработать подход для автоматического выбора настроек и параметров эволюционных алгоритмов в ходе решения задачи.

5. Разработать процедуру принятия решений коллективом ИИТ для повышения эффективности моделирования сложных систем и процессов;

6. Реализовать разработанные подходы в виде программных систем;

7. Проверить работоспособность предложенных подходов на тестовых и реальных задачах анализа данных.

Методы исследования. В данной работе использовались методы эволюционных вычислений, нейросетевого моделирования, оптимизации, символьной регрессии, теории вероятности и математической статистики, системного анализа, методика разработки интеллектуальных информационных систем и другие.

Научная новизна работы заключается в следующем:

1. Разработан, реализован и исследован модифицированный оператор равномерной рекомбинации для генетического алгоритма оптимизации, отличающийся от известных наличием селективного давления на этапе скрещивания и позволяющий повысить эффективность работы алгоритма.

2. Разработан, реализован и исследован новый оператор равномерной рекомбинации для алгоритма генетического программирования, отличающийся от известных способом формирования потомка и наличием селективного давления на этапе скрещивания и позволяющий повысить эффективность работы алгоритма.

3. Разработан, реализован и исследован новый метод самоконфигурирования эволюционных алгоритмов моделирования и оптимизации, отличающийся от известных способом адаптивного выбора эффективных генетических операторов в ходе решения задачи и позволяющий сократить вычислительные затраты без снижения точности и надежности.

4. Разработан, реализован и исследован новый эволюционный алгоритм автоматического генерирования нейросетевых моделей, отличающийся от известных методом формирования структуры нейронных сетей и позволяющий редуцировать их размеры без снижения эффективности.

5. Разработан, реализован и исследован новый эволюционный алгоритм построения гетерогенных ансамблей интеллектуальных информационных технологий, отличающийся от известных способом выбора членов коллектива из предварительного набора и методом формирования коллективного решения и позволяющий повысить эффективность решения задач обработки информации.

Теоретическая значимость результатов диссертационного исследования состоит в разработке новых эволюционных алгоритмов моделирования и оптимизации, основанных на модификации равномерного скрещивания, позволяющей эффективнее использовать генетическую информацию за счет увеличения селективного давления, и методе самоконфигурирования, позволяющем автоматически выбирать эффективные настройки в ходе решения задачи за счет адаптации вероятностей применения генетических операторов.

Практическая ценность. Разработанные самоконфигурируемые эволюционные алгоритмы моделирования и оптимизации позволяют экономить время и вычислительные ресурсы при выборе их настроек, не снижая при этом эффективности их применения конечным пользователем.

Разработанная процедура коллективного принятия решений позволяет использовать полезные свойства нескольких методов при решении практических задач анализа данных и не требует от конечного пользователя экспертных знаний в области эволюционного моделирования и оптимизации.

В ходе выполнения работы успешно решены задачи анализа данных из области техники, медицины, банковского скоринга, компьютерной безопасности и распознавания речи.

Реализация результатов работы. Разработанные алгоритмы использованы при выполнении исследований в рамках российско-германских проектов 2011-1.9-519-005-042 «Распределенные интеллектуальные информационные системы обработки и анализа информации в диалоговых информационно-коммуникационных системах» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы (с участием научных и исследовательских организаций стран Европейского Союза)» (ГК №11.519.11.4002) и 2011-1.2.1-113-025-002 «Математическое и алгоритмическое обеспечение автоматизированного проектирования аппаратно-программных комплексов интеллектуальной обработки информации в распределенных высокопроизводительных системах космического назначения» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы (с участием научно-исследовательских и научно-образовательных организаций Германии)» (ГК № 16.740.11.0742). Кроме того, данная работа была поддержана молодежными инновационными грантами Сибирского федерального университета 2007-2009 гг. и Фондом содействия развитию малых форм предприятий в научно-технической сфере в рамках программы «Участник молодежного научно-инновационного конкурса» (У.М.Н.И.К.).

Две программные системы прошли государственную экспертизу и были зарегистрированы во ВНТИЦ, три программные системы зарегистрированы в Роспатенте.

Разработанные в диссертации программные системы используются в учебном процессе Института информатики и телекоммуникаций СибГАУ при выполнении лабораторных и курсовых работ и, кроме того, переданы для использования в две инновационные 1Т-компании.

Основные положения выносимые на защиту: 1. Разработанный генетический алгоритм оптимизации с модифицированным оператором множественной рекомбинации превосходит стандартный генетический алгоритм по надежности и быстродействию.

2. Новые операторы равномерного скрещивания в алгоритме генетического программирования по надежности сравнимы со стандартным и превосходят одноточечное скрещивание и предотвращают чрезмерное усложнение решений.

3. Эволюционный алгоритм автоматического генерирования нейронных сетей является эффективным средством построения нейросетевых моделей произвольной структуры.

4. Разработанный способ самоконфигурации эволюционных алгоритмов позволяет избегать затрат на их настройку, не снижая при этом эффективности моделирования и оптимизации.

5. Предложенная процедура принятия решения коллективом ИИТ является эффективным средством повышения точности моделирования сложных систем и процессов.

Апробация работы. Процесс разработки алгоритмов и результаты проведенных исследований докладывались в период 2006-2012 гг. на 24 конференциях различного уровня, среди которых 6 зарубежных, 6 международных, 4 всероссийских с международным участием и 8 молодежных научных конференций, в том числе: Biologically Inspired Optimization Methods and Applications (Bohinj, Slovenia, 2012), Advances in Swarm Intelligence (Shenzhen, China, 2012), Informatics in Control, Automation and Robotics (Rome, Italy, 2012), Congress on Evolutionary Computations of the IEEE World Congress on Computational Intelligence (Brisbane, Australia, 2012), Computational Intelligence in Security for Information Systems (Ostrava, Czech Republic, 2012), XII и XIII Национальные конференции по искусственному интеллекту с международным участием (г. Тверь, 2010, г. Белгород, 2012 гг.), XIII Международная научно-техническая конференция «Кибернетика и высокие технологии XXI века» (г. Воронеж, 2012), I и II Всероссийские научные конференции с международным участием «Теория и практика системного анализа» (г. Рыбинск, 2010, 2012 гг.), VII Всероссийская научно-практическая конференция с международным участием "Информационные технологии и математическое моделирование" (Томск, 2008), и др. Кроме того, отдельные результаты работы были обсуждены на научном семинаре института информационных технологий университета г. Ульм (Германия, 2011), а диссертация в целом обсуждалась на научных семинарах института проблем управления РАН имени В.А. Трапезникова (Москва, 2012) и института системного анализа РАН (Москва, 2012), а также на научно-техническом семинаре кафедры системного анализа и исследования операций СибГАУ.

Публикации. По материалам данной работы опубликовано более 25 печатных работ, в том числе 5 статей в научных изданиях Перечня ВАК.

Структура работы. Работа состоит из введения, пяти глав, заключения, списка литературы и шести приложений.

выводы

В данной главе были решены реальные задачи анализа данных из различных областей человеческой деятельности. Эти задачи анализа данных отличаются друг от друга не только областями человеческой деятельности, к которым они относятся, но и количеством входных и выходных переменных, характеристиками этих переменных (количественные или качественные), размерами баз данных (малые, большие и сверх большие), количеством пропусков в данных (есть или нет), типами задач (классификация, аппроксимация, прогнозирование). Сравнение результатов, полученных алгоритмами, разработанными в диссертации, на решеных задачах, с результатами известных аналогов статистически достоверно показало, что предложенные (в главах 1-4) алгоритмы являются эффективным средством решения задач интеллектуального анализа данных.

Так как эволюционные алгоритмы, разработанные в диссертации, продемонстрировали высокую работоспособность не только на репрезентативном множестве тестовых задач, но и на реальных задачах анализа данных из различных областей человеческой деятельности, это позволяет рекомендовать их конечным пользователям в качестве удобного и эффективного инструмента интеллектуального анализа данных.

Таким образом, за счет автоматизации проектирования интеллектуальных информационных технологий при помощи эволюционных алгоритмов была повышена обоснованность принятия решений при использовании ИИТ конечными пользователями, не являющимися экспертами в области интеллектуального анализа данных. Обоснованность же принятия решений при применении эволюционных алгоритмов не специалистами в области эволюционных вычислений была повышена за счет автоматизации выбора настроек алгоритмов.

В связи с этим можно утверждать, что цель диссертационного исследования полностью достигнута.

ЗАКЛЮЧЕНИЕ

В ходе выполнения диссертационной работы получены следующие результаты:

• Разработаны новые операторы равномерного скрещивания для генетического алгоритма оптимизации и алгоритма генетического программирования, отличающиеся от известных наличием селективного давления на этапе рекомбинации и позволяющие повысить эффективность поиска решения.

• Разработан метод самоконфигурирования эволюционных алгоритмов, отличающийся способом адаптации настроек в ходе решения задачи и позволяющий автоматически выбирать эффективную структуру алгоритмов в ходе решения задачи.

• Для решения задач нейросетевого моделирования предложен модифицированный алгоритм генетического программирования, отличающийся способом формирования структуры нейронной сети.

Для решения задач символьной регрессии и нейросетевого моделирования реализованы гибридные эволюционные алгоритмы, сочетающие самоконфигурируемый алгоритм генетического программирования для выбора эффективных структур и самоконфигурируемый генетический алгоритм для настройки соответствующих параметров.

Разработана процедура автоматического генерирования гетерогенных коллективов интеллектуальных информационных технологий.

Эффективность разработанных подходов и выполненных модификаций продемонстрирована в ходе решения 10 реальных задач анализа данных из различных областей науки и техники.

Таким образом, в данной работе разработаны, реализованы и проверены на тестовых и прикладных задачах анализа данных новые алгоритмические схемы применения интеллектуальных информационных технологий, обладающие большей эффективностью по сравнению с известными подходами и позволяющие успешно решать широкий круг задач анализа данных, что является вкладом в теорию и практику интеллектуального анализа данных.

1. Архангельский, В.И., Богаенко, И.Н., Грабовский, Г.Г., Рюмшин, Н.А. Нейронные сети в системах автоматизации. К.: Техника, 1999. - 234 с.

2. Барский, А. Б. Нейронные сети: распознавание, управление, принятие решений / Барский А. Б. — М.: Финансы и статистика, 2004. — 176с.

3. Бокс, Дж. Анализ временных рядов, прогноз и управление. В 2-х т.: Пер. с английского / Дженкинс Г.М., Бокс Дж. М.: Издательство «Мир», 1974.-608с.

4. Бураков, C.B. Решение задачи Коши для обыкновенных дифференциальных уравнений методом генетического программирования / C.B. Бураков, Е.С. Семенкин // Журнал СФУ "Математика и физика" - Том 4, вып. 1.-2011 - С. 61-69.

5. Бухтояров, В.В. Эволюционные алгоритмы формирования коллективов нейронных сетей для решения задач моделирования и прогнозирования // Канд. техн. наук, 05.13.17. — СибГАУ, Красноярск, 2010.

6. Вороновский, Т.К., Махотило, К.В., Петрашев, С.Н., Сергеев С.А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. Харьков: Основа, 1997. См. также: http://neuroschool.narod.ru/books/gannvirt.html

7. Воронцов, К. В., Каневский, Д. Ю. Коэволюционный метод обучения алгоритмических композиций // Таврический вестник информатики и математики. 2005. - № 2. - С. 51-66.

8. Воронцов, К. В. О проблемно-ориентированной оптимизации базисов задач распознавания // ЖВМ и МФ. 1998. - Т. 38, № 5. - С. 870880.

9. Воронцов, К. В. Оптимизационные методы линейной и монотонной коррекции в алгебраическом подходе к проблеме распознавания // ЖВМ и МФ.-2000.-Т. 40, № 1.-С. 166-176.

10. Ю.Галушкин, А.И. Нейрокомпьютеры и их применение.: Учеб. пособие для вузов / Общая редакция А.И. Галушкина. М.: ИПРЖР, 2000.

11. Гилева, JI.B., Гилев, С.Е., Горбань, А.Н. Нейросетевой бинарный классификатор "CLAB" (описание пакета программ). Красноярск: Ин-т биофизики СО РАН. 1992. - 25 с. Препринт № 194Б.

12. Горбань, А.Н. Методы нейроинформатики. КГТУ, Красноярск, 1998. 205 с

13. Горбань, А.Н. Нейрокомпьютер, или Аналоговый ренессанс. Мир ПК. 1994. - № ю. - С. 126-130.

14. Горбань, А.Н. Обучение нейронных сетей. М.: изд. СССР-США СП «ParaGraph». 1990,- 160 с.

15. Горбань, А. Н., Дунин-Барковский, В. Л., Кирдин, А.Н. и др. Нейроинформатика//Новосибирск: Наука, 1998. 296с

16. Горбань, А.Н., Россиев, Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. - 1996. - 276с.

17. Емельянов, В.В., Курейчик, В.В., Курейчик, В.М. Теория и практика эволюционного моделирования. М.: ФИЗМАТ ЛИТ, 2003.

18. Журавлёв, Ю. И. Непараметрические задачи распознавания образов // Кибернетика. 1976. - № 6.

19. Журавлёв, Ю. И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы кибернетики. 1978. - Т. 33. -С. 5-68.

20. Журавлёв, Ю. И. Экстремальные алгоритмы в математических моделях для задач распознавания и классификации // Доклады АН СССР. Математика. 1976. - Т. 231, № 3.

21. Журавлёв, Ю. П., Рудаков К. В. Об алгебраической коррекции процедур обработки (преобразования) информации // Проблемы прикладной математики и информатики. 1987. - С. 187-198.

22. Загоруйко, Н.Г., Ёлкина, В.Н., Лбов, Г.С. Алгоритмы обнаружения эмпирических закономерностей. Новосибирск: Наука, 1985. - 110с.

23. Загоруйко, Н.Г., Ёлкина, В.Н., Тимеркаев, B.C. Алгоритм заполнения пропусков в эмпирических таблицах (алгоритм .ZET.) // Вычислительные системы. Новосибирск. 1975. - Вып. 61. Эмпирическое предсказание и распознавание образов. - С. 3-27.

24. Змеу, К.В., Марков, H.A., Шипитько, И.А., Ноткин, Б.С. Безмодельное прогнозирующее инверсное нейроуправление с регенерируемым эталонным переходным процессом // Интеллектуальные системы. 2009.-№3,-С. 109-117

25. Искусственный интеллект; В 3 кн. Кн.2 Модели и методы; Справочник / Под ред. Д.А. Поспелова. М.: Радио и связь. - 1990. - 304 с.

26. Искусственный интеллект; В 3 кн. Кн. 1. Системы общения и экспертные системы; Справочник / Под ред. Э.В. Попова. М.: Радио и связь. - 1990. -464с.

27. Итоги науки и техники: физические и математические модели нейронных сетей, том 1. М.: ВИНИТИ, 1990.

28. Каллан, Р. Основные концепции нейронных сетей.: Пер. с английского / Р. Каллан. М.: Издательство «Вильяме», 2001. - 287с.

29. Комарцова, Л.Г. Исследование алгоритмов обучения многослойного персептрона // Нейрокомпьютеры: Разработка и применение. М.: Радиотехника, 2002, № 12.

30. Комашинский, В.И. Нейронные сети и их применение в системах управления и связи / В.И. Комашинский, Д.А. Смирнов. М.: Горячая линия -Телеком, 2003.-94с.

31. Корнеев, Д.С. Использование аппарата нейронных сетей для создания модели оценки и управления рисками предприятия / UBS, 17 (2007), 81-102.

32. KyniH, A.I. 1нтеллектуальна щентифжащя та керування в умовах процеЫв збагачувально! технологи. Кривий Pir: КТУ, 2008. - 204 с.

33. Липинский, Л.В. Алгоритмы генетического программирования для формирования интеллектуальных информационных технологий: дис. канд. техн. наук /Л.В. Липинский Красноярск, 2006 - 168с.

34. Мазуров, В. Д. Комитеты системы неравенств и задача распознавания // Кибернетика. 1971. - № 3.

35. Мазуров, В. Д. Метод комитетов в задачах оптимизации и классификации. М.: Наука, 1990.

36. Минский, М., Пейперт, С. Персептроны. — М.: Мир, 1971. —261 с.

37. Нильсон, Н. Искусственный интеллект. М.: Мир. - 1973. - 270 с.42,Оссовский, С. Нейронные сети для обработки информации.: Пер. с польского И.Д. Рудинского. М.: Финансы и статистика, 2002. - 344 с.

38. Паклин, Н. Обучаем нейронную сеть генетическим алгоритмом. 2003. См. также: http://paklin.newmail.ru/mater/genenet.html

39. Питенко, А.А. Нейросетевой анализ в геоинформационных системах // Канд. техн. наук, 05.13.16. — КГТУ, Красноярск, 2000.

40. Растригин, Л. А., Эренштейн, Р. X. Коллективные правила распознавания. М.: Энергия, 1981. - Р. 244.

41. Редько, В.Г., Прохоров, Д.В. Нейросетевые адаптивные критики // VI Всероссийская научно-техническая конференция "Нейроинформатика-2004". Сборник научных трудов. Часть 2. М.: МИФИ, 2004. С. 77 - 84.

42. Рудаков, К. В., Воронцов, К. В. О методах оптимизации и монотонной коррекции в алгебраическом подходе к проблеме распознавания // Докл. РАН. 1999. - Т. 367, № 3. - С. 314-317.

43. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы: пер. с польск. / Д. Рутковская, М. Пилиньский, Л. Рутковский. М.: Горячая линия - Телеком, 2004.

44. Скляр, Б. Цифровая связь. Теоретические основы и практическое применение / Б. Скляр. М.: Диалектика, Вильяме, 2004.

45. Семенкин, Е.С. Поисковые методы синтеза систем управления космическими аппаратами / Е.С. Семенкин, О.Э. Семенкина, С.П. Коробейников. Красноярск: СИБУП, 1996. - 325 с.

46. Семенкин, Е.С., Семенкина, О.Э., Терсков, В.А. Методы оптимизации сложных систем. Красноярск: - Сибирский юридический институт МВД России, 2000. - 254 с.

47. Терехов, С.А. Гениальные комитеты умных машин // Научная сессия МИФИ-2007. IX всероссийская научно-техническая конференция «Нейроинформатика-2007»: Лекции по нейроинформатике. Часть 2. М.: мифи, 2007. - 148 с.

48. Терехов, В.А., Ефимов, Д.В., Тюкин, И.Ю. Нейросетевые системы управления: Учеб. пособие для вузов. М.: Высш. школа 2002. - 183 с.

49. Уоссермен, Ф. Нейрокомпьютерная техника / М.: Мир, 1992.

50. Хайкин, С. Нейронные сети: полный курс, 2-е издание.: Пер. с англ. / С. Хайкин М.: Издательский дом "Вильяме", 2006. - 1104с.

51. Хомич, A.B., Степанян, И.В., Карпищук, A.B. Диагностика хронического пылевого бронхита по данным акустической спирометрии с применением блочных нейрон-ных сетей // Информационные процессы, 2005, Том 5, № 5, с. 405-413.

52. Цой, Ю.Р., Спицын, В.Г. Эволюционный подход к настройке и обучению искусственных нейронных сетей // Электронный журнал "Нейроинформатика". 2006. - Т. 1, №1. - С. 34-61.

53. Черно дуб, А. Н., Дзюба, Д. А. Обзор методов нейроуправления // Проблемы программирования. — 2011. — No 2. — С. 79-94.

54. Чубукова, И.A. Data Mining БИНОМ / Лаборатория знаний, Интернет-университет информационных технологий ИНТУИТ.ру, 2008 -328 с.

55. Шугай, Ю.С.и др. Нейросетевые алгоритмы прогнозирования событий и поиска предвестников в многомерных временных рядах // Искусственный Интеллект, Донецк, 2004, № 2, с.211-215.

56. Шукович, Г. Применение генетических алгоритмов и систем генерирующих графов для создания модулярных нейросетей // Программирование, 2002, № 1, с. 13-20.

57. Alander, J. T. Indexed bibliography of genetic algorithms papers of 1996 / University of Vaasa, Department of Information Technology and Production Economics, Rep. 94-1-96, 1995, (ftp.uwasa.fi, cs/report94-l,ga96bib.ps.Z).

58. Altenberg, L. The evolution of evolvability in genetic programming. In: Advances in Genetic Programming. Cambridge, MA: MIT Press, 1994, pp. 47-74.

59. Armitage, W.D., Lo, J. C. Enhancing the robustness of a feedforward neural network in the presence of missing data, Proc. of the IEEE ICNN, Orlando, FL, USA. 1994 June. - Vol.2. - P.836-839.

60. Atmar, J. W. Speculation on the evolution of intelligence and its possible realization in machine form // Ph.D. dissertation, New Mexico State Univ., Las Cruces, 1976.

61. Angeline, P.J. Adaptive and self-adaptive evolutionary computations / In: Palaniswami M. and Attikiouzel Y. (Eds.) Computational Intelligence: A Dynamic Systems Perspective, pages 152-163. IEEE Press, 1995.

62. Angeline, P. J., Saunders, G. M., Pollack, J. B. An evolutionary algorithm that constructs recurrent neural networks / IEEE Trans. Neural Networks, vol. 5, no. 1, pp. 54-65, 1994.

63. Ashby, W. R. Design for a Brain. — New York: Wiley, 1952. — 306 p.

64. Baeck, T. Optimal mutation rates in genetic search. In: Proc. 5th Int. Conf. on Genetic Algorithms, S. Forrest, Ed. San Mateo, CA: Morgan Kaufmann, 1993, pp. 2-8.

65. Baeck, T., Fogel, D. B., Michalewicz, Z. (Eds.) Handbook of Evolutionary Computation. New York: Oxford Univ. Press and Institute of Physics, 1997.

66. Baeck T., Hammel U., and Schwefel H.-P. Evolutionary Computation: Comments on the History and Current State / IEEE Transactions On Evolutionary Computation, Vol. 1, No. 1. 1997.

67. Baeck, T., Heistermann, J., Kappler, C., Zamparelli, M. Evolutionary algorithms support refueling of pressurized water reactors. In: Proc. 3rd IEEE Conference on Evolutionary Computation. Piscataway, NJ: IEEE Press, 1996, pp. 104-108.

68. Balakrishan, K., Honavar, V. Evolutionary Design of Neural Architectures A Preliminary Taxonomy and Guide to Literature. Technical

69. Report CS TR #95-01. Iowa State Uni-versity, 1995. See also: http ://www.cs .iastate. edu/~gannadm/homepage.html

70. Bashkirov, O. A., Bravermann, E. M., Muchnik, I. B. Potential function algorithms for pattern recognition learning machines // Automation and Remote Control. — 1964. — N 25. — P. 629—631.

71. Bauer, E., Kohavi, R. An empirical comparison of voting classification algorithms: Bagging, boosting, and variants // Machine Learning. 36 (1999) pp. 105-142. URL: http://citeseer.ist.psu.edu/bauer99empirical.html

72. Belew, R. K., Mclnerney, J., Schraudolph, N. N. Evolving networks: Using the genetic algorithm with connectionist learning // Artificial Life II, 1992, pp. 511-547.

73. Beyer, H.-G. Some aspects of the 'evolution strategy' for solving TSPlike optimization problems appearing at the design studies of a 0.5 TeV e, +, -- linear collider. In: Parallel Problem Solving from Nature 2. Amsterdam: Elsevier, 1992, pp. 361-370.

74. Bishop, C.M. Theoretical foundation of neural networks. Aston Univ., UK Tech.Rep.NCRG-96-024, Neural computing research group. -1996. 8p.

75. Blanton, J. L., Wainwright, R. L. Multiple vehicle routing with time andtlicapacity constraints using genetic algorithms. In: Proc. 5 Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1993, pp. 452^59.

76. Bohr, H., Bohr, J., Brunak, S., Cotterill, R. M. J., Lautrup, B., Ndrskov, L., Olsen, O. H., Petersen, S. B. Protein secondary structure and homology by neural networks / Fed. European Biochem. Soc. Lett., vol. 241, pp. 223-228, 1988.

77. Box, G. E. P. Evolutionary operation: A method for increasing industrial productivity / Appl. Statistics, vol. VI, no. 2, pp. 81-101, 1957.

78. Bramlette, M. F., Bouchard, E. E. Genetic algorithms in parametric design of aircraft. In: Handbook of Genetic Algorithms. New York: Van Nostrand Reinhold, 1991, ch. 10, pp. 109-123.

79. Breiman, L. Arcing classifiers // The Annals of Statistics. 1998. - Vol. 26, no. 3,-Pp. 801-849.

80. Breiman, L. "Bagging predictors / Machine Learning, vol. 24 (2), pp. 123-140, 1996.

81. Bremermann, H. J. Optimization through evolution and recombination // Self-Organizing Systems, M. C. Yovits et al., Eds. Washington, DC: Spartan, 1962.

82. Bremermann, H. J., Rogson, M., Salaff, S. Global properties of evolution processes. In: Natural Automata and Useful Simulations, H. H. Pattec, E. A. Edelsack, L. Fein, and A. B. Callahan, Eds. Washington, DC: Spartan, 1966, ch. 1, pp. 3-41.

83. Broomhead, D. S., Lowe, D. Multivariate functional interpolation and adaptive networks // Complex Systems. — 1988. —N2. — P. 321—355.

84. Bruns, R. Direct chromosome representation and advanced genetic operators for production scheduling. In: Proc. 1st Annu. Conf. on Evolutionary Programming. San Diego, CA: Evolutionary Programming Society, 1992, pp. 352359.

85. Bukhtoyarov, V., Semenkin E., Shabalov A.: Neural Networks Ensembles Approach for Simulation of Solar Arrays Degradation Process. In: Hybrid Artificial Intelligent Systems. Lecture Notes in Computer Science. -Volume 7208. Pp. 186-195. (2012)

86. Bukhtoyarov, V., Semenkina, O. Comprehensive evolutionary approach for neural net-work ensemble automatic design. In: Proceedings of the IEEE World Congress on Computational Intelligence, Barcelona, Spain, 2010. Pp. 1640-1645.

87. Burgin, G. H. On playing two-person zero-sum games against nonminimax players / IEEE Trans. Syst. Sci. Cybern., vol. SSC-5, no. 4, pp. 369370, Oct. 1969.

88. Burgin, G. H. Systems identification by quasilinearization and evolutionary programming // J. Cybern., vol. 3, no. 2, pp. 56-75, 1973.

89. Chen, C.-C., Miikkulainen, R. Creating Melodies with Evolving Recurrent Neural Networks // Proceedings of the 2001 International Joint

90. Conference on Neural Networks (IJCNN-01). Piscataway, NJ: IEEE, 2001. P. 2241-2246.

91. Cowan, J. D. A Mathematical Theory of Central Nervous Activity: Ph. D. Thesis. — University of London, UK, 1967. —178 p.

92. Cho, S., Shimohara, K. Modular Neural Networks Evolved by Genetic Programming / Proceedings of the 1996 IEEE International Conference on Evolutionary Computation, Vol. 1, pp. 681-684, 20-22 May 1996.

93. Cox, L. A., Davis, L., Qiu, Y. Dynamic anticipatory routing in circuit-switched telecommunications networks. In: Handbook of Genetic Algorithms. New York: Van Nostrand Reinhold, 1991, ch. 11, pp. 109-143.

94. Cunningham, P. Stability problems with artificial neural networks and the ensemblesolution / J. Carney, P. Cunningham, S. Jacob // Artificial Intelligence in Medicine 20 (3) (2000) 217-225.

95. Davis, L. Handbook of Genetic Algorithms / New York: Van Nostrand Reinhold, 1991.

96. Davis, L., Orvosh, D., Cox, A., Qiu, Y. A genetic algorithm for survivable network design. In: Proc. 5th Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1993, pp. 408^115.

97. Deb, K., Anand, A., Joshi, D. A Computationally Efficient Evolutionary Algorithm for Real-Parameter Optimization. KanGAL Report No.2002003. Indian Institute of Technology, Kanpur, 2002. See also: http://www.iitk.ac.in/kangal/

98. De Jong, K. A. An analysis of the behavior of a class of genetic adaptive systems / Ph.D. dissertation, Univ. of Michigan, Ann Arbor, 1975, Diss. Abstr. Int. 36(10), 5HOB, University Microfilms no. 76-9381.

99. De Jong, K. A Are genetic algorithms function optimizers? // Parallel Problem Solving from Nature 2. Amsterdam, The Netherlands: Elsevier, 1992, pp. 3-13.

100. De Jong, K. A. Evolutionary computation: Recent developments and open issues. In: 1st Int. Conf. on Evolutionary Computation and Its Applications,

101. E. D. Goodman, B. Punch, and V. Uskov, Eds. Moskau: Presidium of the Russian Academy of Science, 1996, pp. 7-17.

102. De Jong, K. A Genetic algorithms are NOT function optimizers // Foundations of Genetic Algorithms 2. San Mateo, CA: Morgan Kaufmann, 1993, pp. 5-17.

103. De Jong, K. A On using genetic algorithms to search program spaces // Proc. 2nd Int. Conf. on Genetic Algorithms and Their Applications. Hillsdale, NJ: Lawrence Erlbaum, 1987, pp. 210-216.

104. De Jong, K.A., Spears W. On the Virtues of Parameterized Uniform Crossover. In: Proceedings of the 4th International Conference on Genetic Algorithms, Morgan Kaufmann, July, 1991.

105. D'Emilia, G., Marrab, A., Natalea, E. Use of neural networks for quick and accurate autotuning of PID controller // Robotics and Computer Integrated Manufacturing. - 2007. - Vol. 23. - P. 170 - 179.

106. Derakhshani, R. GETnet: A General Framework for Evolutionary Temporal Neural Net-works // Proceedings of International Joint Conference on Neural Networks. Montreal, Canada, 2005. pp. 3150-3155.

107. Dias, F.M., Mota, A.M. Comparison between Different Control Strategies using Neural Networks // 9th Mediterranean Conference on Control and Automation. Dubrovnik, Croatia, 2001.

108. Dietterich, T. G. An experimental comparison of three methods for constructing ensembles of decision trees: bagging, boosting, and randomization. In: Machine Learning, vol. 40, no. 2, pp. 139-158, 2000.

109. Dietterich, T. G., Bakiri, G. Error-correcting output codes: A general method for improving multiclass inductive learning programs. // In Proceedings of AAAI-91.- 1991.

110. Dimitrakakis, C., Bengio, S. Online Policy Adaptation for Ensemble Classifiers. IDIAP Research Report 03-69. (2006)

111. Eiben, A.E. Multiparent recombination in evolutionary computing. In: Ghosh A., Tsutsui S., Eds. Advances in Evolutionary Computing: Theory and Applications. Springer, Berlin, Heidelberg, New York, 2003, pp. 175-192.

112. Eiben, A.E., Hinterding, R., Michalewicz, Z. Parameter control in evolutionary algorithms. IEEE Transactions on Evolutionary Computation, 3(2):124-141, 1999.

113. Eiben, A.E, Schippers, C.A. Multi-parent's niche: n-ary crossovers onL

114. NK-landscapes. In: Voigt et al., Eds. Proceedings of the 4 Conference on Parallel Problems Solving from Nature, No. 1141 in Lectures Notes in Computer Science. Springer, Berlin, Heidelberg, New York, 1996, pp. 319-328.

115. Eiben A.E., Smith J.E. Introduction to Evolutionary Computing. -Springer Verlag Berlin, 2003. 299 p.

116. Eshelman, L. J., Schaffer, J. D. Crossover's niche. In: Proc. 5th Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1993, pp. 9-14.

117. Eshelman, L. J., Schaffer, J. D. Productive recombination and propagating and preserving schemata. In: Foundations of Genetic Algorithms 3. San Francisco, CA: Morgan Kaufmann, 1995, pp. 299-313.

118. Fahlman, S.E., Lebiere, C. The cascade-correlation learning architecture / Touretzky D. S. (Ed.) Advances in Neural Information Processing Systems 2. San Mateo, CA: Morgan Kaufman Publishers. P. 524-532.

119. Ferariu, L., Burlacu, B. Graph genetic programming for hybrid neural networks design / International Joint Conference on Computational Cybernetics and Technical Informatics (ICCC-CONTI), pp. 547-552, May 2010.

120. Ferreira, C. Gene Expression Programming: Mathematical Modeling by an Artificial Intelli-gence. Angra do Heroismo, Portugal, 2002. See also: http://gene-expression-programming.com/GepBook/Introduction.html

121. Finck, S., et al.: Real-parameter black-box optimization benchmarking 2009: Presentation of the noiseless functions. Technical Report 2009/20, Researh Center PPE (2009)

122. Fiszelew, A., Britos, P., Perichisky, G., Garcia-Martinez R. Automatic Generation of Neural Networks based on Genetic Algorithms // Revista Eletronica de Sistemas de Informa-cao, 2003, Vol. 2, no. 1. См. также: http://citeseer.ist.psu.edu/

123. Fogarty, Т. С. Varying the probability of mutation in the genetic algorithm. In: Proc. 3rd Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1989, pp. 104-109.

124. Fogel, D. B. An evolutionary approach to the traveling salesman problem // Biological Cybern., vol. 60, pp. 139-144, 1988.

125. Fogel, D. B. Evolving artificial intelligence // Ph.D. dissertation, Univ. of California, San Diego, 1992.

126. Fogel, D. B. Evolutionary Computation: Toward a New Philosophy of Machine Intelligence / Piscataway, NJ: IEEE Press, 1995.

127. Fogel, L. J. Autonomous automata / Ind. Res., vol. 4, pp. 14-19, 1962.

128. Fogel, L. J. On the organization of intellect / Ph.D. dissertation, University of California, Los Angeles, 1964.

129. Fogel, L. J., Owens, A. J., Walsh, M. J. Artificial Intelligence Through Simulated Evolution. New York: Wiley, 1966.

130. Forrest, S., Mitchell, M. What makes a problem hard for a genetic Algorithm? Some anomalous results and their explanation / Mach. Learn., vol. 13, pp. 285-319, 1993.

131. Foundations of Genetic Algorithms. Rawlins, G. J. E. (Ed.) San Mateo, CA: Morgan Kaufmann, 1991.

132. Foundations of Genetic Algorithms 2. Whitley, L. D. (Ed.) San Mateo, CA: Morgan Kaufmann, 1993.

133. Foundations of Genetic Algorithms 3. Vose M. D., Whitley, L. D. (Ed.) San Francisco, CA: Morgan Kaufmann, 1995.

134. Frank, A. & Asuncion, A. (2010). UCI Machine Learning Repository http://archive.ics.uci.edu/ml. Irvine, CA: University of California, School of Information and Computer Science.

135. Freund, Y. Boosting a weak learning algorithm by majority // COLT: Proceedings of the Workshop on Computational Learning Theory. Morgan Kaufmann Publishers, 1990.

136. Freund, Y., Schapire, R. E. A decision-theoretic generalization of online learning and an application to boosting // European Conference on Computational Learning Theory. 1995. - Pp. 23-37.

137. Freund, Y., Schapire, R. E. Experiments with a new boosting algorithm // International Conference on Machine Learning. 1996. - Pp. 148-156.

138. Friedberg, R. M. A learning machine: Part I / IBM J., vol. 2, no. 1, pp. 2-13, Jan. 1958.

139. Friedberg, R. M., Dunham, B. and North, J. H. A learning machine: Part II / IBM J., vol. 3, no. 7, pp. 282-287, July 1959.

140. Friedman, J. H., Hastie, T., Tibshirani, R. Additive logistic regression: a statistical view of boosting / Annals of Statistics, vol. 28, no. 2, pp. 337-374, 2000.

141. Fu, W., Johnston, M., Zhang, M. Genetic Programming For Edge Detection: A Global Approach / Lecture Notes in Computer Science, 2011, Volume 7106, pp. 301-310.

142. Gehlhaar, D. K., Fogel, D. B. Tuning evolutionary programming for conformationally flexible molecular docking. In: Proc. 5th Annu. Conf. on Evolutionary Programming. Cambridge, MA: MIT Press, 1996, pp. 419-429.

143. Genetic Algorithms: Proc. 6th Int. Conf. Eshelman, L. (Ed.) San Francisco, CA: Morgan Kaufmann, 1995.

144. Genetic Programming 1996. Proc. 1st Annu. Conf. Koza, J. R., Goldberg, D. E., Fogel, D. B., Riolo, R. L. (Eds.) Cambridge, MA: MIT Press, 1996.

145. Goldberg, D. E. Genetic algorithms and rule learning in dynamic system control. In: Proc. 1st Int. Conf. on Genetic Algorithms and Their Applications. Hillsdale, NJ: Lawrence Erlbaum, 1985, pp. 8-15.

146. Goldberg, D. E. Genetic Algorithms in Search, Optimization and Machine Learning. Reading, MA: Addison-Wesley, 1989.

147. Goldberg, D. E. The theory of virtual alphabets. In: Parallel Problem Solving from Nature—Proc. 1st Workshop PPSN I. (Lecture Notes in Computer Science, vol. 496). Berlin, Germany: Springer, 1991, pp. 13-22.

148. Goldberg, D. E., Deb, K., Clark, J. H. Genetic algorithms, noise, and the sizing of populations / Complex Syst., vol. 6, pp. 333-362, 1992.

149. Goldberg, D. E., Deb, K., Kargupta, H., Harik, G. Rapid, accurate optimization of difficult problems using fast messy genetic algorithms. In: Proc. 5th Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1993, pp. 56-64.

150. Gomez, J. Self Adaptation of Operator Rates Evolutionary Algorithms / Genetic and Evolutionary Computation GECCO 2004. - Lecture Notes in Computer ScienceVolume 3102, 2004. - pp. 1162-1173.

151. Gomez, F., Miikkulainen, R. Active Guidance for a Finless Rocket using Neuroevolution // Proceedings of Genetic and Evolutionary Computation

152. Conference 2003 (GECCO 2003). Washington, USA, 2003. See also: http://www.nn.cs.utexas.edu/

153. Gomez, F., Miikkulainen, R. Incremental Evolution of Complex General Behavior // Adaptive Behavior, 1997, no.5, pp. 317-342. See also: http://www.nn.cs.utexas.edu/

154. Goonatilake, S., Treleaven, P. (Eds.) Intelligent Systems for Finance and Business. Chichester: Wiley, 1995.

155. Grefenstette, J. J. Conditions for implicit parallelism. In: Foundations of Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1991, pp. 252-261.

156. Grefenstette, J. J. Deception considered harmful. In: Foundations of Genetic Algorithms 2. San Mateo, CA: Morgan Kaufmann, 1993, pp. 75-91.

157. Grefenstette, J. J. Incorporating problem specific knowledge into genetic algorithms. In: Genetic Algorithms and Simulated Annealing, L. Davis, Ed. San Mateo, CA: Morgan Kaufmann, 1987, pp. 42-60.

158. Grefenstette, J. J. Optimization of control parameters for genetic algorithms / IEEE Trans. Syst., Man Cybern., vol. SMC-16, no. 1, pp. 122-128, 1986.

159. Gruau, F. Genetic synthesis of modular neural networks. In: Proc. 5th Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1993, pp. 318-325.

160. Guha, S., Rastogi, R., Shim, K. CURE: An Efficient Clustering Algorithm for Large Databases / Proc. ACM SIGMOD Int'l Conf. Management of Data, ACM Press, New York, 1998, pp. 73-84

161. Gundy-Burlet, K., Krishnakumar, K., Limes, G., Bryant, D. Augmentation of an Intelligent Flight Control System for a Simulated C-17 Aircraft // J. of Aerospace Computing, Information, and Communication. 2004. -Vol. 1, N 12. - P. 526-542.

162. Gutta, S. Face recognition using hybrid classifier systems / S. Gutta, H. Wechsler // in: Proc. ICNN-96, Washington, DC, IEEE Computer Society Press, Los Alamitos, CA, 1996, pp.1017-1022.

163. Haffner, S. B., Sebald, A. V. Computer-aided design of fiizzy HVAC controllers using evolutionary programming. In: Proc. 2nd Annu. Conf. on Evolutionary Programming. San Diego, CA: Evolutionary Programming Society, 1993, pp. 98-107.

164. Hampshire, J. A novel objective function for improved phoneme recognition using time-delay neural networks / J. Hampshire, A. Waibel // IEEE Transactions on Neural Networks 1 (2) (1990) pp. 216-228.

165. Hancock, P. Recombination Operators for the Design of the Neural Nets by Genetic Algorithm // Parallel Problem Solving from Nature (PPSN-II). North-Holland, 1992. pp. 441-450.

166. Hansen, L.K. Neural network ensembles / L.K. Hansen, P. Salamon IEEE Trans. Pattern Analysis and Machine Intelligence 12 (10) (1990) pp.9931001.

167. Harrald, P. G. Evolutionary algorithms and economic models: A view. In: Proc. 5th Annu. Conf. on Evolutionary Programming. Cambridge, MA: MIT Press, 1996, pp. 3-7.

168. Haupt, R.L., Haupt, S.E. Practical genetic algorithms. John Wiley & Sons, Inc., Hoboken, New Jersey, 2004.

169. Hebb, D. O. The Organization of Behavior: A Neuropsychological Theory. — New York: Wiley, 1949. —358 p.

170. Heistermann, J. Different learning algorithms for neural networks a comparative study / In Y. Davidor, H.P. Schwefel, R. Manner (Eds.) Parallel Problems Solving from Nature, Workshop Proceedings. Springer-Verlag, 1994. P. 368-396.

171. Herdy, M. Reproductive isolation as strategy parameter in hierarchically organized evolution strategies. In: Parallel Problem Solving from Nature 2. Amsterdam, The Netherlands: Elsevier, 1992, pp. 207-217.

172. Herrera, F., Lozano, M., Verdegay, J.L. Tackling Real-Coded Genetic Algorithms: Operators and tools for the Behaviour Analysis // Artificial Intelligence Review, 1998, no. 12, pp. 265-319. See also: http://decsai.ugr.es/~herrera/

173. Ho, T. K., Hull, J. J., Srihari, S. N. "Decision combination in multiple classifier systems / IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 16, no. 1, pp. 66-75, 1994.

174. Holland, J. H. Adaptation in Natural and Artificial Systems. Ann Arbor, MI: Univ. of Michigan Press, 1975.

175. Holland, J. H. Outline for a logical theory of adaptive systems / J. Assoc. Comput. Mach., vol. 3, pp. 297-314, 1962.

176. Holland, J. H., Reitman, J. S. Cognitive systems based on adaptive algorithms // Pattern-Directed Inference Systems, D. A. Waterman and F. Hayes-Roth, Eds. New York: Academic, 1978.

177. Huang, J.-J., Tzeng, G.-H., Ong, Ch.-Sh. Two-stage genetic programming (2SGP) for the credit scoring model // Applied Mathematics and Computation, 174 (2006): 1039-1053.

178. Ishibuchi H., Handa H. Recent Advances in Evolutionary Computationismtx.-2oio.

179. Jacobs, R. A. Adaptive mixtures of local experts / R. A. Jacobs, M. I. Jordan, S. J. Nowlan, G. E. Hinton // Neural Computation. 1991. - no. 3. - Pp. 79-87.

180. Jain, A. K., Duin, R. P. W., Mao, J. Statistical pattern recognition: A review // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. -Vol. 22, no. 1.-Pp. 4-37.

181. James, D., Tucker, P. A Comparative Analysis of Simplification and Complexification in the Evolution of Neural Network Topologies // Proceedings of Genetic and Evolutionary Computation Conference (GECCO-2004). New York, NY: Springer-Verlag, 2004.

182. Johansson, U., Lofstrom, T., Konig, R., Niklasson, L. Building Neural Network Ensembles using Genetic Programming, International Joint Conference on Neural Networks, 2006.

183. Jordan, M. I., Jacobs, R. A. Hierarchical mixtures of experts and the EM algorithm // Neural Computation. 1994. - no. 6. - Pp. 181-214.

184. Juliff, K. A multi-chromosome genetic algorithm for pallet loading. In: Proc. 5th Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1993, pp. 467-473.

185. Kamath, U., De Jong, K. A., Shehu ,A. An Evolutionary-based Approach for Feature Generation: Eukaryotic Promoter Recognition / Proceedings of the 2011 IEEE Congress on Evolutionary Computation, 2011. pp. 277-284.

186. Karr, C. L. Genetic algorithms for fuzzy controllers / AI Expert, vol. 6, no. 2, pp. 27-33, 1991.

187. Kaufmann, M. The emergence of default hierarchies in learning classifier systems. In: Proc. 3rd Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan, 1989, pp. 322-327.

188. Kearns, M., Valiant, L. G. Cryptographic limitations on learning Boolean formulae and finite automata // Proc. of the 21st Annual ACM Symposium on Theory of Computing. 1989. - Pp. 433^144.

189. Keller R., Banzhaf, W. Genetic programming using genotype -phenotype mapping from linear genomes into linear phenotypes. In: Genetic Programming 1996: Proc. 1st Annu. Conf., J. R. Koza, D. E. Goldberg, D. B. Fogel, and R. L. Riolo, Eds., 1996.

190. Khuri, S., Baeck, T., Heitkoetter, J. An evolutionary approach to combinatorial optimization problems. In: Proc. 22nd Annu. ACM Computer Science Conf., D. Cizmar, Ed. New York: ACM, 1994, pp. 66-73.

191. Kitano, H. Designing neural network using genetic algorithm with graph generation system// Complex Systems, 1990, no. 4, pp. 461^176.

192. Klockgether, J., Schwefel, H.-P. Two-phase nozzle and hollow core jet experiments. In: Proc. 11th Symp. Engineering Aspects of Magnetohydrodynamics, D. G. Elliott, Ed. Pasadena, CA: California Institute of Technology, Mar. 24-26, 1970, pp. 141-148.

193. Kohonen, T. Self-organized formation of topologically correct feature maps. // Biological Cybernetics. — 1982. — N 43. — P. 59—69.

194. Kohonen, Т. Self-Organizing Maps. Springer: Berlin . Heidelberg,1997.

195. Konar, A. Computational Intelligence: Principles, techniques and applications. Springer, Berlin, 2005.

196. Korning, P.G. Training of Neural Networks by means of Genetic Algorithms Working on very long Chromosomes // International Journal of Neural Systems, 1995, Vol. 6, No. 3, pp. 299-316. См. также: http://citeseer.ist.psu.edu/

197. Koza, J. R. The Genetic Programming Paradigm: Genetically Breeding Populations of Computer Programs to Solve Problems / John R. Koza. -Cambridge, MA: MIT Press, 1992.

198. Koza, J. R. Genetic Programming: On the Programming of Computers by Means of Natural Selection. Cambridge, MA: MIT Press, 1992.

199. Koza, J. R. Genetic programming tutorial. URL: http://www.genetic-programming. com/ gpanimatedtutorial.html.

200. Koza, J. R. Hierarchical genetic algorithms operating on populations of computer programs. In: Proc. 11th Int. Joint Conf. on Artificial Intelligence, N. S. Sridharan, Ed. San Mateo, CA: Morgan Kaufmann, 1989, pp. 768-774.

201. Koza, J. R., Rice, J. P. Genetic Generation of Both the Weights and Architecture for a Neural Network / International Joint Conference on Neural Networks, IJCNN-91, Vol. II, pp. 397-404, IEEE Computer Society Press, 8-12 July 1991.

202. Krogh, J. V. Neural network ensembles, cross validation, and active learning / J. V. Krogh // in: G. Tesauro, D. Touretzky, T. Leen (Eds.), Advances in Neural Information Processing Systems 7, Denver, CO, MIT Press, Cambridge, MA, 1995, pp.231-238.

203. Kronberger, G. Symbolic Regression for Knowledge Discovery: Bloat, Overfitting, and Variable Interaction Networks. Trauner Verlag, 2011. - 214 p.

204. Kursawe, F. A variant of Evolution Strategies for vector optimization. In: Parallel Problem Solving from Nature—Proc. 1st Workshop PPSN I (Lecture

205. Notes in Computer Science, vol. 496). Berlin, Germany: Springer, 1991, pp. 193197.

206. Law, D., Miikkulainen, R. Grounding Robotic Control with Genetic Neural Networks. Technical Report No. AI94-223. The University of Texas at Austin, 1994. See also: http://www.nn.cs.utexas.edu/

207. LeCun, Y. Une procedure d'apprentissage pour reseau a seuil assymetrique // Cognitiva 85. — 1985. — P. 599—604.

208. LeCun, Y., Denker, J.S., Solla, S.A. Optimal brain damage / In Touretzky D. S. (Ed.) Advances in Neural Information Processing Systems 2. San Mateo, CA: Morgan Kaufman Publishers, 1990. pp. 598-605. See also: http://yann.lecun.com/

209. Leung, K. Data mining using grammar based genetic programming and applications / K. Leung, M. Wong. New York: Kluwer Academic Publisher, 2002.-213 pp.

210. Levin, E., Tishby, N., Solla, S. A statistical approach to learning and generalization in layered neural networks / Proc. IEEE (Special Issue on Neural Networks), C. Lau, Guest Ed., 1990, to be published.

211. Levine, D. M. A genetic algorithm for the set partitioning problem. In: Proc. 5th Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1993, pp. 481—487.

212. Li, Y., Sundararajan, N., Saratchandran, P. Neuro-controller design for nonlinear fighter aircraft maneuver using fully tuned RBF networks // Automatica. 2001. - Vol. 37, N 8. - P. 1293 - 1301.

213. Lippmann, R. P. An introduction to computing with neural nets / IEEE ASSP Mag, pp. 4-22, Apr. 1987.

214. Littmann, E, Ritter, H. Cascade network architectures // Proceedings of International Joint Conference on Neural Networks, 1992, Vol. 2. pp. 398-404.

215. Lohpetch, D, Corne, D. Multiobjective Algorithms for Financial Trading: Multiobjective out-trades single-objective / In: IEEE Congress on Evolutionary Computation, pp. 192-199. 2011.

216. Lund, H.H., Mayoh, B.H. Specialization in Populations of Artificial Neural Networks // Pro-ceedings of the 5-th Scandinavian Conference on Artificial Intelligence (SCAI'95). Am-sterdam: IOS Press, 1995. См. также: http://citeseer.ist.psu.edu/

217. Maclin, R. Combining the predictions of multiple classifiers: using competitive learning to initialize neural networks / R. Maclin, J.W. Shavlik // in: Proc. IJCAI-95, Montreal, Canada, Morgan Kaufmann, San Mateo, CA, 1995, pp. 524-530.

218. Malik, A.J., Shahzad, W., Khan, F.A. Binary PSO and random forests algorithm for PROBE attacks detection in a network. In: IEEE Congress on Evolutionary Computation, pp. 662-668. (2011)

219. Mandischer, M. Genetic optimization and representation of neural networks. In: Proc. 4th Australian Conf. on Neural Networks, P. Leong and M. Jabri, Eds. Sidney Univ., Dept. Elect. Eng., 1993, pp. 122-125.

220. Mandischer, M. Representation and evolution of neural networks. In: Artificial Neural Nets and Genetic Algorithms, R. F. Albrecht, C. R. Reeves, and N. C. Steele, Eds. Wien, Germany: Springer, 1993, pp. 643-649.

221. McCulloch, W. S., Pitts, W. A logical calculus of the ideas immanent in nervous activity // Bulletin of Mathematical Biophysics. — 1943. — N 5. — P. 115—133.

222. Meyer-Nieberg, S., Beyer, H.-G. Self-Adaptation in Evolutionary Algorithms. In F. Lobo, C. Lima, and Z. Michalewicz (Eds.) Parameter Setting in Evolutionary Algorithm, pp. 47-75, 2007.

223. Michalewicz, Z. Genetic Algorithms + Data Structures = Evolution Programs. Berlin, Germany: Springer, 1996.

224. Michalewicz, Z., Schoenauer, M. Evolutionary algorithms for constrained parameter optimization problems / Evolutionary Computation, vol. 4, no. l,pp. 1-32, 1996.

225. Mitchell, M., Forrest, S. Genetic algorithms and artificial life / Artificial Life, vol. 1, no. 3, pp. 267-289, 1995.

226. Michielssen, E., Weile, D. S. Electromagnetic system design using genetic algorithms. In: Genetic Algorithms in Engineering and Computer Science, G. Winter, J. P'eriaux, M. Gal'an, and P. Cuesta, Eds. Chichester: Wiley, 1995, ch. 18, pp. 345-369.

227. Minsky, M. L. Steps toward artificial intelligence // Proceedings of the Institute of Radio Engineers. — 1961. — N 49. — P. 8—30.

228. Minsky, M. L. Theory of neural-analog reinforcement systems and its application to the brain-model problem: Ph.D. Thesis. — Princeton University, Princeton, NJ., 1954. —143 p.

229. Montana, D., Davis, L. Training feedforward neural networks using genetic algorithms // Proceedings of the 11th International Joint Conference on Artificial Intelligence. San Mateo, CA: Morgan Kaufmann, 1989. P. 762-767.

230. Moriarty, D., Miikkulainen, R. Efficient Reinforcement Learning through Symbiotic Evolution // Machine Learning, 1996, no. 22, pp. 11-33. See also: http://www.nn.cs.utexas.edu/

231. Muehlenbein, H. How genetic algorithms really work: I. Mutation and hill-climbing. In: Parallel Problem Solving from Nature 2. Amsterdam: Elsevier, 1992, pp. 15-25.

232. Muehlenbein, H. Parallel genetic algorithms, population genetics and combinatorial optimization. In:' Schaffer J.D., Ed. Proceedings of the 3rd1.ternational conference on Genetic Algorithms. Morgan Kaufmann, San Francisco, 1989.

233. HNiehaus, J., Banzhaf, W. Adaption of operator probabilities in genetic programming / Proceeding EuroGP '01 Proceedings of the 4th European Conference on Genetic Programming, volume 2038 of LNCS. London: SpringerVerlag, 2001.-pp. 325-336.

234. Olsen, A. Penalty functions and the knapsack problem. In: Proc. 1st IEEE Conf. on Evolutionary Computation. Piscataway, NJ: IEEE Press, 1994, pp. 554-558.

235. O'Neill, M., Vanneschi, L., Gustafson, S., Banzhaf, W. Open issues in genetic programming. In: Genetic Programming and Evolvable Machines (2010) 11:339-363.

236. Ostermeier, A. An evolution strategy with momentum adaptation of the random number distribution. In: Parallel Problem Solving from Nature 2. Amsterdam, The Netherlands: Elsevier, 1992, pp. 197-206.

237. O'Reilly, U.-M., Oppacher, F. The troubling aspects of a building block hypothesis for genetic programming. In: Foundations of Genetic Algorithms 3. San Francisco, CA: Morgan Kaufmann, 1995, pp. 73-88.

238. Palotti, J., Salles, T., Pappa, G. L., Gonzalves, M. A. and Wagner M. Jr. Assessing Documents' Credibility with Genetic Programming / IEEE Congress on Evolutionary Computation 2011 (CEC-2011), New Orleans, LA, 2011.

239. Pan, Z., Kang, L., Nie, S. Evolving Both the Topology and Weights of Neural Networks // Parallel Algorithms and Applications, 1996, no. 9, pp. 299307.

240. Parallel Problem Solving from Nature—Proc. 1st Workshop PPSN I. Schwefel, H.-P., Maenner, R. (Eds.) Berlin, Germany: Springer, 1991, vol. 496 of Lecture Notes in Computer Science.

241. Parallel Problem Solving from Nature 2. Maenner, R., Manderick, B. (Eds.) Amsterdam, The Netherlands: Elsevier, 1992.

242. Parallel Problem Solving from Nature—PPSN III, Int. Conf. on Evolutionary Computation. Davidor, Y., Schwefel, H.-P., Maenner, R. (Eds.) (Lecture Notes in Computer Science, vol. 866) Berlin: Springer, 1994.

243. Parallel Problem Solving from Nature IV. Proc. Int. Conf. on Evolutionary Computation. Voigt, H.-M., Ebeling, W., Rechenberg, I., Schwefel, H.-P. (Eds.) Berlin, Germany: Springer, 1996, vol. 1141 of Lecture Notes in Computer Science.

244. Parker, D. B. Learning-logic: Casting the cortex of the human brain in silicon: Technical Report / Center for Computational Research in Economics and Management Science. — TR-47. — Cambridge, MA: MIT, 1985. — 73 p.

245. Perez-Bergquist, A. S. Applying ESP and Region Specialists to Neuro-Evolution for Go. Technical Report CSTR01-24. The University of Texas at Austin, 2001. See also: http://www.nn.cs.utexas.edu/

246. Perrone, M.P., Cooper, L.N. When networks disagree: ensemble method for neural networks / M.P. Perrone // in: R.J. Mammone (Ed.), Artificial Neural Networks for Speech and Vision, Chapman & Hall, New York, 1993, pp.126-142.

247. Polani D., Miikkulainen R. Eugenic Neuro-Evolution for Reinforcement Learning // Proceedings of the Genetic and Evolutionary Computation Conference (GECCO-2000). San Francisco, CA: Kaufmann, 2000. pp. 1041-1046.

248. Poli, R, Langdon, W.B., McPhee, N.F. A Field Guide to Genetic Programming. Published via http://lulu.com and freely available at http://www.gp-field-guide.org.uk, 2008. (With contributions by J. R. Koza).

249. Poli, R, Langdon, W.B. On the Ability to Search the Space of Programs of Standard, One-Point and Uniform Crossover in Genetic Programming. Technical Report CSRP-98-7. - The University of Birmingham (UK), 1998.-21 p.

250. Poli, R, Page, J. Solving high-order boolean parity problems with smooth uniform crossover, sub-machine code GP and demes. In Genetic Programming and Evolvable Machines, 1 (l/2):37-56, 2000.

251. Potter, M. A., De Jong, K. A. Cooperative coevolution: An architecture for evolving co-adapted subcomponents // Evolutionary Computation, 2000, no. 8, pp. 1-29. See also: http://www.cs.gmu.edu/~eclab/

252. Proc 1st Annu. Conf. on Evolutionary Programming. Fogel D. B, Atmar, W. (Eds.) San Diego, CA: Evolutionary Programming Society, 1992.

253. Proc. 2nd Annu. Conf. on Evolutionary Programming. San Diego, CA: Evolutionary Programming Society, 1993.

254. Proc. 3rd Annual Conf. on Evolutionary Programming. Sebald, A. V, Fogel, L. J. (Eds.) Singapore: World Scientific, 1994.

255. Proc. 4th Annu. Conf. on Evolutionary Programming. McDonnell, J. R, Reynolds, R. G, Fogel, D. B. (Eds.) Cambridge, MA: MIT Press, 1995.

256. Proc. 5th Annu. Conf. on Evolutionary Programming. Fogel, L. J., Angeline, P. J., Baeck, T. (Eds.) Cambridge, MA: The MIT Press, 1996.

257. Proc. 1st IEEE Conf. on Evolutionary Computation, Orlando, FL. Piscataway, NJ: IEEE Press, 1994.

258. Proc. 2nd IEEE Conf. on Evolutionary Computation, Perth, Australia. Piscataway, NJ: IEEE Press, 1995.

259. Proc. 3rd IEEE Conf. on Evolutionary Computation, Nagoya, Japan. Piscataway, NJ: IEEE Press, 1996.

260. Proc. 4th IEEE Conf. on Evolutionary Computation, Indianapolis, IN. Piscataway, NJ: IEEE Press, 1997.

261. Proc. 1st Int. Conf. on Genetic Algorithms and Their Applications. Grefenstette, J. J. (Ed.) Hillsdale, NJ: Lawrence Erlbaum, 1985.

262. Proc. 2nd Int. Conf. on Genetic Algorithms and Their Applications. Hillsdale, NJ: Lawrence Erlbaum, 1987.

263. Proc. 3rd Int. Conf. on Genetic Algorithms. Schaffer, J. D. (Ed.) San Mateo, CA: Morgan Kaufmann, 1989.

264. Proc. 4th Int. Conf. on Genetic Algorithms. Belew, R. K., Booker, L. B. (Eds.) San Mateo, CA, Morgan Kaufmann, 1991.

265. Proc. 5th Int. Conf. on Genetic Algorithms. Forrest, S. (Ed.) San Mateo, CA: Morgan Kaufmann, 1993.

266. Prokhorov, D., Wunsch, D. Adaptive Critic Designs // IEEE Transactions on Neural Networks. 1997. - Vol. 8, N 5. - P. 997 - 1007.

267. Psaltis, D., Sideris, A., Yamamura A.A. A Multilayered Neural Network Controller // IEEE Control Systems Magazine. 1988. - Vol. 8, Issue 2. -P. 17-21.

268. Qian, N., Sejnowski, T. J. Predicting the secondary structure of globular proteins using neural network models / J. Molecular Biol., vol. 202, pp. 865-884, 1989.

269. Radcliffe, N. J. The algebra of genetic algorithms / Ann. Math. Artif. Intell., vol. 10, pp. 339-384, 1994.

270. Radcliffe, N. Genetic set recombination and its application to neural network topology optimization // Neural Computing and Applications, 1993, Vol.1, pp. 67-90.

271. Radcliffe, N. J., Surry, P. D. Fitness variance of formae and performance prediction. In: Foundations of Genetic Algorithms 3. San Francisco, CA: Morgan Kaufmann, 1995, pp. 51-72.

272. Ragg, T., Braun, H., Landsberg, H. A Comparative Study of Neural Network Optimization Techniques. // In Proceedings of the ICANNGA 97. Springer-Verlag, 1997.

273. Rechenberg, I. Cybernetic solution path of an experimental problem / Royal Aircraft Establishment, Library translation No. 1122, Farnborough, Hants., U.K., Aug. 1965.

274. Rechenberg, I. Evolutionsstrategie: Optimierung technischer Systeme nach Prinzipien der biologischen Evolution. Stuttgart, Germany: Frommann-Holzboog, 1973.

275. Rechenberg, I. Evolutionsstrategie '94. In: Werkstatt Bionik und Evolutionstechnik. Stuttgart, Germany: Frommann-Holzboog, 1994, vol. 1.

276. Riolo, R. L. The emergence of coupled sequences of classifiers. In: Proc. 3rd Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1989, pp. 256-264.

277. Rochester, N., Holland, J. H., Haibt, L. H., Duda, W. L. Tests on a cell assembly theory of the action of the brain, using a large digital computer. // IRE Transactions on Information Theory. — 1956. —N IT-2. — P. 80-93.

278. Rojas, R. Neural networks: a systematic introduction. Springer, Berlin,1996.

279. Rosenblatt, F. The Perceptron: A probabilistic model for information storage and organization in the brain // Psychological Review.— 1958. — N 65. — P. 386—408.

280. Rudolph, G. Convergence analysis of canonical genetic algorithms / IEEE Trans. Neural Networks, Special Issue on Evolutionary Computation, vol. 5, no. l,pp. 96-101, 1994.

281. Rudolph, G. Global optimization by means of distributed evolution strategies. In: Parallel Problem Solving from Nature—Proc. 1st Workshop PPSNI (Lecture Notes in Computer Science, vol. 496). Berlin, Germany: Springer, 1991, pp. 209-213.

282. Rumelhart, D. E., Hinton, G. E., Williams, R. J. Learning representations by back-propagating errors //Nature (London). — 1986. —N 323. — P. 533—536.

283. Schaffer, J. D. Multiple objective optimization with vector evaluated genetic algorithms. In: Proc. 1st Int. Conf. on Genetic Algorithms and Their Applications. Hillsdale, NJ: Lawrence Erlbaum, 1985, pp. 93-100.

284. Schaefer, R., Cotta, C., Kolodziej, J., Rudolph, G. (Eds.) Parallel Problem Solving from Nature PPSN XI 11th International Conference, Krakow, Poland, September 11-15, 2010.

285. Schaffer, J. D., Eshelman, L. J. Designing multiplierless digital filters using genetic algorithms. In: Proc. 5th Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1993, pp. 439-444.

286. Schaffer, J. D., Eshelman, L. J. On crossover as an evolutionary viable strategy. In: Proc. 4th Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1991, pp. 61-68.

287. Schaffer, J. D., Morishima, A. An adaptive crossover distribution mechanism for genetic algorithms. In: Proc. 2nd Int. Conf. on Genetic Algorithms and Their Applications. Hillsdale, NJ: Lawrence Erlbaum, 1987, pp. 36^10.

288. Schapire, R. The boosting approach to machine learning: An overview // MSRI Workshop on Nonlinear Estimation and Classification, Berkeley, CA. -2001.

289. Schapire, R. E. The strength of weak learnability // Machine Learning. 1990. - Vol. 5. - Pp. 197-227.

290. Sejnowski, T. J., Rosenberg, C. R. Parallel networks that learn to pronounce English text / Complex Sysz., vol. 1, pp. 145-168, 1987.

291. Sheikholeslami, G., Chatterjee, S., Zhang, A. WaveCluster: A MultiResolution Clustering Approach for Very Large Spatial Databases / Proc. 24th Int'l Conf. Very Large Data Bases, Morgan Kaufmann, San Francisco, 1998, pp. 428439

292. Shi, Q., Song, A. Selective Motion Detection by Genetic Programming / IEEE Congress on Evolutionary Computation 2011: 496-503. 2010.

293. Shimshoni, Y. Classification of seismic signals by integrating ensembles of neural networks / N. Intrator, Y. Shimshoni // IEEE Trans. Signal Processing 46 (5) (1998) pp. 1194-1201.

294. Shu, C., Burn, D.H. Artificial neural network ensembles and their application in pooled flood frequency analysis // Water Resources Research, 40, W09301, doi:10.1029/2003WR002816, 1-10

295. Schuetz, M, Sprave, J. Application of parallel mixed-integer evolution strategies with mutation rate pooling. In: Proc. 5th Annu. Conf. on Evolutionary Programming. Cambridge, MA: MIT Press, 1996, pp. 345-354.

296. Schulze-Kremer S. Genetic algorithms for protein ternary structure prediction. In: Parallel Genetic Algorithms: Theory & Applications, J. Stender, Ed. Amsterdam: IOS, 1993, Frontiers in Artificial Intelligence and Applications, pp. 129-150.

297. Schwefel, H.-P. Evolution and Optimum Seeking. New York: Wiley, 1995 (Sixth-Generation Computer Technology Series).

298. Schwefel, H.-P. Evolutionsstrategie und numerische Optimierung // Dissertation, Technische Universit ät Berlin, Germany, May 1975.

299. Schwefel, H.-P. Projekt MHD-Staustrahlrohr: Experimentelle Optimierungeiner Zweiphasend "use, Teil I / Technischer Bericht 11.034/68, 35, AEG Forschungsinstitut, Berlin, Germany, Oct. 1968.

300. Skurichina, M, Duin, R. P. W. Limited bagging, boosting and the random subspace method for linear classifiers // Pattern Analysis & Applications. -2002.-no. 5.-Pp. 121-135.

301. Smith, J, Fogarty, T. C. Self-adaptation of mutation rates in a steady state genetic algorithm. In: Proc. 3rd IEEE Conf. on Evolutionary Computation. Piscataway, NJ: IEEE Press, 1996, pp. 318-323.

302. Stanley, K.O., Bryant, B.D., Miikkulainen, R. The NERO real-time video game. Technical report AI-TR-04-312. The University of Texas at Austin, 2004.

303. Stanley, K.O., Miikkulainen, R. Evolving Neural Networks through Augmenting Topologies // Evolutionary Computation, 2002, no. 2(10), pp. 99-127. See also: http://www.nn.cs.utexas.edu/

304. Stanley, K.O., Miikkulainen, R. Evolving a roving eye for go // In Proceedings of Genetic and Evolutionary Computation Conference (GECCO-2004). New York, NY: Springer-Verlag, 2004.

305. Stolfo, S., Fan, W., Lee, W., Prodromidis, A., Chan, P. Cost-based Modeling for Fraud and Intrusion Detection: Results from the JAM Project. In: Proceedings of the 2000 DARPA Information Survivability Conference and Exposition (DISCEX '00). (2000)

306. Suzuki, J. A Markov chain analysis on simple genetic algorithms / IEEE Trans. Syst., Man, Cybern., vol. 25, no. 4, pp. 655-659, Apr. 1995.

307. Syswerda, G. Uniform crossover in genetic algorithms. In J. Schaffer, editor, Proceedings of the Third International Conference on Genetic Algorithms. Morgan Kaufmann, 1989.

308. Thierens, D. Non-Redundant Genetic Coding for Neural Networks. Technical report No.UU-CS-1998-46. Utrecht University, Netherlands, 1998. See also: http://www.cs.uu.nl/research/techreps/aut/dirk.html

309. Thrift, P. Fuzzy logic synthesis with genetic algorithms. In: Proc. 4 Int. Conf. on Genetic Algorithms. San Mateo, CA, Morgan Kaufmann, 1991, pp. 514-518.

310. Toussaint, M., Igel, C. Neutrality: a necessity for self-adaptation / In: Proceedings of the IEEE Congress on evolutionary computation (CEC 2002). -2002.-pp 1354-1359.

311. Tresp, V. Committee machines // Handbook for Neural Network Signal Processing / Ed. by Y. H. Hu, J.-N. Hwang. CRC Press, 2001.

312. Tresp, V., Taniguchi M. Combining estimators using non-constant weighting functions // Advances in Neural Information Processing Systems / Ed. by G. Tesauro, D. Touretzky, T. Leen. Vol. 7. - The MIT Press, 1995. - Pp. 419-426.

313. Unger, R., Moult, J. A genetic algorithm for 3D protein folding simulation. In: Proc. 5th Int. Conf. on Genetic Algorithms. San Mateo, CA: Morgan Kaufmann, 1993, pp. 581-588.

314. Uttley, A. M. A theory of the mechanism of learning based on conditional probabilities // Proc. of the 1st International Conference on Cybernetics. —Namur, Gauthier-Villars, Paris (France). — 1956. — P. 83—92.

315. Valsalam, V., Bednar, J., Miikkulainen, R. Constructing Good Learners using Evolved Pattern Generators / In Proceedings of the Genetic and Evolutionary Computation Conference (GECCO). Washington, DC, 2005. See also: http://www.nn.cs.utexas.edu/

316. Venayagamoorthy, G.K., Harley, R.G., Wunsch, D.C. Implementation of Adaptive Criticbased Neurocontrollers for Turbogenerators in a Multimachine

317. Power System", IEEE Transactions on Neural Networks. 2003. - Vol. 14, Issue 5.-P. 1047- 1064.

318. Venu, G. R. K., Prem, C. P., Ramana, M. M. V. Soft computing-neural networks ensembles // Journal of Theoretical and Applied Information Technology, pp. 45-50, 2007.

319. Vose, M. D. Modeling simple genetic algorithms / Evolutionary Computation, vol. 3, no. 4, pp. 453^72, 1995.

320. Walker, R. F., Haasdijk, E. W., Gerrets, M. C. Credit evaluation using a genetic algorithm. In: Intelligent Systems for Finance and Business. Chichester: Wiley, 1995, ch. 3,pp. 39-59.

321. Wang, P., Kwok, D. P. Optimal fuzzy PID control based on genetic algorithm. In: Proc. 1992 Int. Conf. on Industrial Electronics, Control, and Instrumentation. Piscataway, NJ: IEEE Press, 1992, vol. 2, pp. 977-981.

322. Werbos, P. J. Beyond regression: New tools for prediction and analysis in the behavioral science: Ph.D. Thesis. — Harvard University, Cambridge, MA, 1974,—120 p.

323. Whitley, L. D. Genetic algorithms and neural networks. In: Genetic Algorithms in Engineering and Computer Science, G. Winter, J. P'eriaux, M. Gal'an, and P. Cuesta, Eds. Chichester, UK: Wiley, 1995, ch. 11, pp. 203-216.

324. Whitley, D., Starkweather, T., Bogart, C. Genetic Algorithms and Neural Networks: Optimizing Connections and Connectivity // Parallel Computing, 1990, Vol. 14, pp. 341-361. See also: http://www.cs.colostate.edu/~genitor/

325. Widrow, B. Adaptive Inverse Control // Proceedings of the 2nd IF AC Workshop on Adaptive Systems in Control and Signal Processing Lund, Sweden, July 1986.-P. 1-5.

326. Widrow, B. Generalisation and information storage in networks of adaline «neurons» // Self-Organizing Systems (M.C. Yovitz, G.T. Jacobi, and G.D. Goldstein, eds.). — Washington, D.C.: Sparta, 1962. — P. 435—461.

327. Widrow, B., Hoff, M.E., Jr. Adaptive switching circuits // IRE WESCON Convention Record. — 1960. — P. 96—104.

328. Widrow, B., Smith, F.W. Pattern-recognizing control systems // Proceedings of Computer and Information Sciences. Washington, USA - 1964. -Vol. 12.-P. 288-317.

329. Wienholt, W. Minimizing the system error in feedforward neural networks with evolution strategy. In: Proc. Int. Conf. on Artificial Neural Networks, S. Gielen and B. Kappen, Eds. London: Springer, 1993, pp. 490-^493.

330. Willshaw, D. J., von der Malsburg, C. How patterned neural connections can be set up by self-organization // Proceedings of the Royal Society of London. — 1976. — Series B. — N 194. — P. 431^45.

331. Winograd, S., Cowan, J. D. Reliable Computation in the Presence of Noise. — Cambridge, MA: MIT Press, 1963. —247 p.

332. Wolpert, D. H. Stacked generalization // Neural Networks. 1992. -no. 5.-Pp. 241-259.

333. Yager, R. R., Filev, D. P. Essentials of fuzzy modelling and control. Wiley, New York, 1994.

334. Yamamichi, T., Saito, T., Taguchi, K., Torikai, H. Synthesis of Binary Cellular Automata based on Binary Neural Networks // Proceedings of International Joint Conference on Neural Networks. Montreal, Canada, 2005. P. 1361-1365.

335. Yao, X. Evolutionary artificial neural networks // International Journal of Neural Systems, 1993, vol. 4, no. 3, pp. 203-222. See also: http://www.cs.bham.ac.uk/~xin/

336. Yao, X., Liu, Y. Making Use of Population Information in Evolutionary Artificial Neural Networks // IEEE Transactions on systems, man,and cybernetics part B: Cybernetics, 1998, no. 28(3), pp. 417-425. See also: http ://www. cs .bham. ac .uk/~xin/

337. Youvan, D. C., Arkin, A. P., Yang, M. M. Recursive ensemble mutagenesis: A combinatorial optimization technique for protein engineering. In: Parallel Problem Solving from Nature 2. Amsterdam: Elsevier, 1992, pp. 401-410.

338. Yu J.J.Q., Lam A.Y.S., Li V.O.K.: Evolutionary Artificial Neural Network Based on Chemical Reaction Optimization. In: IEEE Congress on Evolutionary Computation (CEC'2011), New Orleans, LA. (2011)

339. Zhang, Y., Wang, J. Recurrent neural networks for nonlinear output regulation // Automatica. 2001. - Vol. 37, N 8. - P. 1161 - 1173.

340. Zhou, Z.-H., Jiang Y. NeC4.5: Neural Ensemble Based C4.5 // IEEE Trans. Knowl. Data Eng. 16(6): 770-773, 2004.

341. Катаев, A.A., Семенкина, M.E., Сидоров, М.Ю., Швец, А.В. Разработка многоядерных эволюционных алгоритмов автоматизированного проектирования нейросетевых предикторов. научно-технический отчет молодежного научного проекта СФУ - Красноярск, 2009 - 80с.

342. Попов, Е.А., Семенкина, М.Е., Липинский, Л.В. Принятие решений коллективом интеллектуальных информационных технологий // Вестник Сибирского государственного аэрокосмического университета им. ак. М.Ф. Решетнева. Вып. 4 (44). - 2012.

343. Семенкин, Е.С, Семенкина, М.Е. Алгоритм генетического программирования с обобщенным оператором множественной рекомбинации. -М.: ВНТИЦ, 2008. № гос. per. 50200802149.

344. Семенкин, Е.С, Семенкина, М.Е. Генетический алгоритм с модифицированным оператором множественной рекомбинации. М.: ВНТИЦ, 2006. - № гос. per. 50200600370.

345. Семенкина, М.Е, Семенкин, Е.С. Программа для решения задач символьной регрессии самоконфигурируемым алгоритмом генетического программирования. М.: Роспатент, 2012. № гос. per. 2012619347.

346. Семенкин, Е.С, Семенкина, М.Е. Программный комплекс адаптивных эволюционных алгоритмов моделирования и оптимизации сложных систем // Программные продукты и системы. № 4. - 2012. - С. 5458.

347. Семенкина, М.Е, Семенкин, Е.С. Самоконфигурируемый генетический алгоритм для решения задач безусловной оптимизации. М.: Роспатент, 2012. № гос. per. 2012618746.

348. Семенкина, М.Е. Алгоритм генетического программирования с множественной рекомбинацией // Информационные технологии и математическое моделирование (ИТММ-2008): Материалы VII

349. Всероссийской научно-практической конференции с международным участием. Томск: Изд-во Том. ун-та, 2008. -Ч. 1. - С. 110-112.

350. Семенкина, М.Е. Исследование эффективности адаптивных эволюционных алгоритмов проектирования информационных технологий интеллектуального анализа данных // Искусственный интеллект и принятие решений. № 1.-2013.

351. Семенкина, М.Е. Самоконфигурируемые эволюционные алгоритмы моделирования и оптимизации // Теория и практика системного анализа. Рыбинск: ИСА РАН, РГАТА имени П.А. Соловьева, 2012. - С. 2430.

352. Семенкина, М.Е., Семенкин, Е.С. Программа для решения задач нейросетевого моделирования самоконфигурируемым алгоритмом генетического программирования. М.: Роспатент, 2012. № гос. per. 2012619346.

353. Semenkin, E.S., Semenkina, M.E. Integration of Intelligent Information Technologies Ensembles with Self-Configuring Genetic Programming Algorithm

354. Vestnik. Scientific Journal of Siberian State Aerospace University named after academician M. F. Reshetnev. № 4 (44).-2012.

355. Статьи в изданиях Перечня ВАК

356. Попов Е.А., Семенкина М.Е., Липинский Л.В. Принятие решений коллективом интеллектуальных информационных технологий // Вестник Сибирского государственного аэрокосмического университета им. ак. М.Ф. Решетнева. Вып. 4 (44). - 2012.

357. Семенкин E.C., Семенкина M.E. Программный комплекс адаптивных эволюционных алгоритмов моделирования и оптимизации сложных систем // Программные продукты и системы. № 4. - 2012. - С. 54-58.

358. Семенкина М.Е. Самоконфигурируемые эволюционные алгоритмы моделирования и оптимизации // Теория и практика системного анализа. -Рыбинск: ИСА РАН, РГАТА имени П.А. Соловьева, 2012. С. 24-30.

359. Семенкина М.Е., Тынченко В.В. О множественной рекомбинации в алгоритмах генетического программирования // Труды XII Международной научной конференции «Решетневские чтения». Красноярск: СибГАУ, 2008. - С. 307-308.

360. Семенкина М.Е. Разработка и исследование оператора множественной рекомбинации в алгоритмах генетического программирования // Труды XI Международной научной конференции «Решетневские чтения». -Красноярск: СибГАУ, 2007. С. 251-252.

361. Регистрация программных систем

362. Семенкина М.Е., Семенкин Е.С. Программа для решения задач нейросетевого моделирования самоконфигурируемым алгоритмом генетического программирования. М.: Роспатент, 2012. № гос. per. 2012619346.

363. Семенкина М.Е., Семенкин Е.С. Программа для решения задач символьной регрессии самоконфигурируемым алгоритмом генетического программирования. М.: Роспатент, 2012. № гос. per. 2012619347.

364. Семенкина М.Е., Семенкин Е.С. Самоконфигурируемый генетический алгоритм для решения задач безусловной оптимизации. М.: Роспатент, 2012. № гос. per. 2012616395.

365. Семенкин Е.С., Семенкина М.Е. Алгоритм генетического программирования с обобщенным оператором множественной рекомбинации. М.: ВНТИЦ, 2008. № гос. per. 50200802149.

366. Семенкин Е.С., Семенкина М.Е. Генетический алгоритм с модифицированным оператором множественной рекомбинации. М.: ВНТИЦ, 2006. № гос. per. 50200600370.