автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы автоматизированного генерирования ансамблей интеллектуальных систем для задач анализа данных

005047752

На правах рукописи

'1

Шабалов Андрей Андреевич

АЛГОРИТМЫ АВТОМАТИЗИРОВАННОГО ГЕНЕРИРОВАНИЯ АНСАМБЛЕЙ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ ДЛЯ ЗАДАЧ АНАЛИЗА ДАННЫХ

05.13.01 - Системный анализ, управление и обработка информации (информационные и космические технологии)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 О ДЕК 2012

Красноярск - 2012

005047752

Работа выполнена в ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» (СибГАУ), г. Красноярск

Научный руководитель: доктор технических наук, профессор

Семенкин Евгепий Станиславович

Официальные оппоненты: доктор физико-математических наук,

профессор, Сенатов Сергей Иванович, ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева», заведующий кафедрой информационных экономических систем

доктор технических наук, профессор Спицын Владимир Григорьевич ФГБОУ ВПО «Научно-исследовательский Томский политехнический университет», профессор кафедры вычислительной техники

Ведущая организация: Институт проблем управления РАН

им. В.А. Трапезникова (г. Москва)

Защита состоится «27» декабря 2012 г. в 14 часов на заседании диссертационного совета Д 212.249.02 при ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» по адресу: 660014 г. Красноярск, проспект имени газеты «Красноярский рабочий», 31

С диссертацией можно ознакомиться в библиотеке Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева

Автореферат разослан «26» ноября 2012 г.

Ученый секретарь диссертационного совета

Александр Алексеевич Кузнецов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. В настоящее время интеллектуальные методы анализа данных получили широкое распространение при решении практических задач в различных сферах человеческой деятельности. В области исследований интеллектуальных систем анализа данных помимо совершенствования отдельных технологий, можно выделить интенсивно развивающееся направление, заключающееся в совместном использовании различных типов интеллектуальных информационных технологий (ИИТ) с целью увеличения качественных характеристик конечной системы.

Искусственные нейронные сети (ИНС) характеризуются адаптивным обучением, самоорганизацией, возможностью работы в режиме реального времени, отказоустойчивостью. Область их применения охватывает широкий спектр практических приложений. Они обладают эффективной способностью извлекать существенные признаки из сложных и неточных данных, где другие компьютерные методы, как правило, не справляются с поставленной задачей. Однако нейронные сети представляют собой модель "черного ящика", т.е. интерпретация построенных решений является практически невозможной.

Отличительной чертой систем на нечеткой логике (НЛС) является построение решения в форме лингвистических правил-продукций, что предоставляет "прозрачную" модель (т.е. модель "белого ящика"). Нечеткие системы концептуально понятны, гибки, устойчивы к неточным данным, основываются на естественном языке. Они позволяют инкорпорировать опыт экспертов предметной области, а также способны моделировать нелинейные функциональные зависимости произвольной сложности. Однако нечеткие системы не имеют автоматических обучающих алгоритмов, вследствие чего они не могут быть использованы при отсутствии экспертных знаний.

Среди различных способов гибридизации технологий, выделяются нейро-нечеткие системы (ННС), объединяющие преимущества систем на нечеткой логике и аппарата нейронных сетей, а также эволюционные нейронные сети и эволюционные нечеткие системы, позволяющие автоматизировать процесс создания модели и решения задач анализа данных.

Обобщающая эффективность отдельной технологии может быть ограничена в виду сложности решаемой задачи. Выходом из данной ситуации могут служить ансамбли интеллектуальных систем, представляющие собой набор моделей, каждая из которых способна решить поставленную задачу и комбинация которых позволяет повысить эффективность и робастность системы в целом по сравнению с отдельной технологией.

Создание эффективного алгоритмического ядра интеллектуальных информационных технологий требует значительных временных и финансовых затрат и очень высокой квалификации разработчиков, что на практике конечным пользователям (врачам, инженерам, менеджерам и др.) далеко не всегда удается обеспечить. Автоматизация генерирования алгоритмического ядра ИИТ с помощью эволюционных алгоритмов позволяет значительно упростить процесс разработки интеллектуальных систем поддержки принятия решений для конечных пользователей, не являющихся экспертами в области интеллектуальных информационных технологий.

Таким образом, разработка и исследование методов автоматизированного генерирования алгоритмического ядра интеллектуальных информационных технологий и их коллективов при решении сложных задач анализа данных в различных областях человеческой деятельности, позволяющих повысить эффективность и надежность конечной системы при принятии решений, является актуальной научно-технической задачей.

Целью диссертационной работы является повышение обоснованности и надежности принятия решений при использовании интеллектуальных информационных технологий за счет автоматизации их проектирования и применения на основе эволюционных алгоритмов.

Достижение поставленной цели работы предполагает решение следующей совокупности задач:

1. Усовершенствовать стандартный генетический алгоритм для повышения его надежности при решении задач оптимизации на сложных структурах данных.

2. Автоматизировать процесс проектирования структуры искусственных нейронных сетей и настройки ее весовых коэффициентов.

3. Автоматизировать процесс проектирования базы правил и настройки семантики лингвистических переменных для систем на нечеткой логике.

4. Разработать подход, автоматически настраивающий семантику лингвистических переменных в нейро-нечетких системах.

5. Разработать метод автоматизированного проектирования коллективов ИИТ.

6. Реализовать предложенные методы и показать их работоспособность на тестовых и практических задачах анализа данных.

Методы исследования. При выполнении диссертационной работы использовались методы системного анализа, теории вероятности и математической статистики, теории обработки информации, теории оптимизации, теории эволюционных вычислений, методика разработки интеллектуальных информационных систем.

Научная новизна результатов диссертационной работы состоит в следующем:

1. Разработан новый самонастраивающийся эволюционный алгоритм для решения задач безусловной и условной оптимизации, отличающийся от известных сочетанием асимптотического генетического алгоритма с автоматическим выбором типа селекции.

2. Разработан новый эволюционный метод автоматизации проектирования структуры НЛС и одновременной настройки ее базы правил, отличающийся от известных представлением решения в виде хромосомы генетического алгоритма и позволяющий одновременно настраивать количество правил в базе и длину каждого правила.

3. Разработан новый алгоритм настройки лингвистических переменных в нейро-нечетких системах, отличающийся от известных способом представления решения и позволяющий одновременно выбирать центр и ширину базы лингвистических термов.

4. Разработан новый метод создания коллективов ИИТ на основе алгоритма генетического программирования, отличающийся от известных способом формирования коллектива и его решения и позволяющий получать более эффективные коллективы ИИТ.

Теоретическая значимость результатов диссертационного исследования состоит в том, что разработаны новые эволюционные алгоритмы для автоматического проектирования интеллектуальных информационных технологий и их коллективов, предназначенных для решения задач аппроксимации, классификации и прогнозирования, обладающие более высокой эффективностью, надежностью и адаптивностью, что имеет существенное значение для теории интеллектуальных технологий представления знаний и практики их применения в системах обработки информации и интеллектуального анализа данных.

Практическая ценность. На основе разработанных в ходе исследования алгоритмов и методов реализована программная система поддержки принятия решений при управлении реальными инвестициями машиностроительного предприятия на основе многоагентных стохастических алгоритмов, а также программная система, позволяющая осуществлять проектирование нейросетевых моделей, систем на нечеткой логике и нейро-нечетких систем, а также их коллективов на основе эволюциошюго подхода для решения сложных задач анализа данных: аппроксимации, классификации и прогнозирования. Полученные в диссертационной работе самонастраивающийся асимптотический генетический алгоритм, а также рекомендации по настройке параметров метода генетического программирования позволяют конечным пользователям, не являющимися экспертами в области эволюционных вычислений и проектирования ИИТ, применять программные системы при

решении сложных задач в различных сферах человеческой деятельности. Программные системы апробированы на реальных практических задачах.

Реализация результатов работы. Диссертационная работа поддержана Фондом содействия развитию малых форм предприятий в научно-технической сфере по программе «У.М.Н.И.К.» («Участник молодежного научно-инновационного конкурса») в рамках НИОКР «Автоматизированное проектирование интеллектуальных

информационных технологий для задач анализа данных на основе самонастраивающегося генетического алгоритма» на 2010-2012 гг. Работа финансировалась из средств госбюджета в рамках НИР 1.7.08 «Разработка теоретических основ решения задач автоматизации проектирования распределенных многопроцессорных вычислительных комплексов интеллектуального анализа данных в режиме реального времени» темплана ЕЗН СибГАУ, а также по проекту "Математическое моделирование инвестиционного развития региональных экономических систем" Аналитической ведомственной целевой программы "Развитие научного потенциала".

Результаты диссертационного исследования использовались при выполнении НИР 2.1.1/12096 «Математическое моделирование инвестиционного развития региональных экономических систем» АВЦП «Развитие научного потенциала высшей школы (2009-2011 годы)», НИР 2009-1.2.2 «Автоматизированная система решения сложных задач глобальной оптимизации многоагентными стохастическими алгоритмами» ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2011 годы и российско-германского проекта 2011-1.2.1-113-025002 «Математическое и алгоритмическое обеспечение автоматизированного проектирования аппаратно-программных

комплексов интеллектуальной обработки информации в распределенных высокопроизводительных системах космического назначения» ФЦП «Научные и научно-педагогические кадры инновационной России на 20092013 годы (с участием научно-исследовательских и научно-образовательных организаций Германии)».

Созданная в ходе исследования программная система «Система поддержки принятия решений на основе многоагентных стохастических алгоритмов для управления реальными инвестициями машиностроительных предприятий» апробирована на реальных данных Химзавода - филиала ОАО «Красмашзавод» и передана для эксплуатации двум предприятиям.

Одна программная система прошла государственную экспертизу и была зарегистрированы во ВНТИЦ, четыре программные системы зарегистрированы в Роспатенте.

Разработанные в диссертации программные системы используются в учебном процессе Института информатики и телекоммуникаций

СибГАУ при выполнении лабораторных и курсовых работ и, кроме того, переданы для использования в две инновационные IT-компании.

Основные защищаемые положения:

1. Самонастраивающийся асимптотический генетический алгоритм безусловной оптимизации обеспечивает эффективность, сравнимую со стандартным генетическим алгоритмом, но обладает значительно меньшим числом настроек.

2. Разработанные алгоритмы автоматизации проектирования ИИТ позволяют эффективно решать сложные задачи анализа данных и не требуют от конечного пользователя экспертных знаний в области эволюционных вычислений.

3. Разработанный подход к построению коллектива интеллектуальных информационных технологий на основе метода генетического программирования позволяет повысить эффективность и надежность принятия конечного решения в задачах аппроксимации и классификации по сравнению с альтернативными методами.

Апробация. Результаты диссертационной работы были доложены и обсуждены более, чем на 20 научных и научно-практических конференций, среди которых: International Conference on Hybrid Artificial Intelligence Systems (HAIS'12) и International Symposium on Distributed Computing and Artificial Intelligence (DCAI'12), г. Саламанка, Испания, 2012; Всероссийская научная конференции «Теория и практика системного анализа» (г. Рыбинск, Институт системного анализа РАН и РГАТА, 2012); Joint IEEE Conference "The 7th International Conference on Natural Computation & The 8th International Conference on Fuzzy Systems and Knowledge Discovery" - FSKD'2011, China, 2011; конференция-конкурс «Технологии Microsoft в теории и практике программирования» (г. Томск, ТПУ, 2011); Национальные конференции по искусственному интеллекту с международным участием КИИ-2010 и КИИ 2012 (г. Тверь, 2010, г. Белгород, 2012); Международные научно-практические конференции «Решетневские чтения» (г. Красноярск, СибГАУ, 2008, 2009, 2011); Всероссийские научно-практические конференции с международным участием «Информационные технологии и математическое моделирование» (г. Томск, ТГУ, 2008, 2009); Всероссийские научно-практические конференции «Актуальные проблемы авиации й космонавтики», (г. Красноярск, СибГАУ, 2008, 2009), а также ряд молодежных и студенческих конференций. Отдельные аспекты исследования обсуждались на научном семинаре института информационных технологий университета г. Ульм (Германия). Диссертация в целом обсуждалась на научных семинарах Института проблем управления РАН им. В.А. Трапезникова (г. Москва) и Института системного анализа РАН (г. Москва) и научно-техническом семинаре кафедры системного анализа и исследования операций СибГАУ.

Публикации. По материалам данной работы опубликовано более 25 печатных работ, в том числе 4 статьи в научных изданиях Перечня ВАК.

Структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи исследования, приведена общая характеристика работы, изложены основные результаты и защищаемые положения, выносимые на защиту.

Первая глава посвящена обзору основных методов вычислительного интеллекта. Рассматриваются ключевые черты искусственного и вычислительного интеллекта, приводятся основные понятия искусственных нейронных сетей, систем на нечеткой логике и нейро-нечетких систем, эволюционных методов.

Во второй главе рассматриваются бионические методы оптимизации, приводятся основные понятия алгоритмов эволюционных вычислений и роевого интеллекта. В данной главе предлагается схема самонастраивающегося асимптотического генетического алгоритма, путем автоматизации выбора типа селекции. Стандартная схема асимптотического генетического алгоритма приведена ниже:

1. Положить компоненты вектора распределения вероятности р) =0.5, ]~\,М, М - число настроек типа селекции. Инициализировать

начальную популяцию на основе биномиального распределения с параметром 0.5, т.е. х. принимает значения 0 и 1 с равной вероятностью.

2. Вычислить значения пригодности каждого индивида У, <-/(■*;)• Если выполняется критерий остановки, прекратить работу

алгоритма, вывести лучшее найденное решение.

3. Вычислить веса особей g¡, представляющие собой вероятности прохождения отбора с помощью асимптотической селекции.

4. Определить условное распределение вероятностей новой популяции по формуле:

N

ЕЯ,-*,,; _

Ъё,

1.1

5. Выполнить мутацию распределения по формуле: где г - вероятность мутации.

6. Создать новое поколение потомков случайным образом с помощью биномиального распределения с параметром Pj, т.е. j-й ген г'-ой

хромосомы принимает значение 1 с вероятностью pj и значение 0 с

вероятностью qt = 1 - Pj.

7. Произвести смену поколений.

В самонастраивающемся асимптотическом генетическом алгоритме осуществляется выбор единственной оставшейся настройки — типа селекции — на основе распределения вероятности его- применения для порождения потомков. Обозначим через zt вероятность выбора конкретного типа селекции. На каждом поколении осуществляется пересчет этих вероятностей по формуле:

г _z , rk-{m-N-zaU)

~ 16all т к

5>*

А=О

20 success2

где К - количество типов селекции, zall = —, rt=-k-, usedk - число

К usedk

применения типа селекции, success* — количество случаев применения, приведших к улучшению средней пригодности популяции по сравнению с предыдущим поколением. Изначально, значения itsedk инициализируются значениями, равными единице, чтобы избежать деления на нуль.

В конце главы приводится экспериментальное сравнение генетических алгоритмов и бинаризованного стайного алгоритма. В результате такого сравнения установлено, что на множестве тестовых задач усредненная эффективность бинаризованного стайного алгоритма оказывается хуже генетических алгоритмов. Средняя эффективность асимптотического генетического алгоритма превосходит среднюю эффективность стандартного генетического алгоритма.

Самонастраивающийся генетический алгоритм сравним со стандартным алгоритмом, однако в нем не требуется вручную подбирать эффективные параметры для работы алгоритма. На основе разработанного генетического алгоритма была реализована система поддержки принятия решений при формировании инвестиционного портфеля машиностроительного предприятия, прошедшая успешную апробацию на реальных данных, Химзавода-филиала ОАО "Красмашзавод".

В третьей главе диссертации предлагаются методы автоматизированного проектирования интеллектуальных информационных технологий (ИИТ) методами эволюционных вычислений.

Нейросетевой подход. В качестве архитектуры нейронной сети был выбран многослойный персептрон в связи с тем, что он является наиболее часто используемым в практических приложениях.

Эффективность качества моделирования нейронных сетей зависит от эксперта, проектирующего топологию и обладающего знаниями о "тонкостях" нейронных сетей и области решаемой задачи. С увеличением сложности проблемы проектирование нейронных сетей становится затруднительным.

Алгоритмы обучения многослойных персептронов, как правило, основываются на градиентном спуске. Основными недостатками данного алгоритма являются: "застревание" в локальных минимумах функции ошибки, низкая скорость сходимости при малом шаге обучения, паралич сети и др.

Эволюционные алгоритмы помогают преодолеть большинство недостатков. С помощью генетического алгоритма одновременно выбирается структура нейронной сети и настраиваются ее весовые коэффициенты.

Хромосома структуры нейронной сети кодируется следующим образом. Изначально исследователем задается максимальное количество скрытых слоев и максимальное количество нейронов на каждом слое. При кодировании проход по сети осуществляется сверху - вниз, слева -направо по каждому нейрону. Длина хромосомы каждого нейрона будет состоять из 3 или 4 битов при использовании набора из 7 или 15 активационных функций, соответственно. Равенство всех битов нулю означает отсутствие нейрона. В остальных случаях имеем бинарный код номера функции активации. Таким образом, длина хромосомы, кодирующей структуру нейронной сети, будет равна максимальному количеств)' нейронов, умноженному на длину хромосомы одного нейрона.

Весовые коэффициенты кодируются аналогично. Исследователем задается интервал изменения весовых коэффициентов , IVь ] и точность (дискретизация числа) Е, на основании чего определяется количество бит п для кодирования вещественного числа. Длина хромосомы, кодирующей весовые коэффициенты, равна числу п, умноженному на число всех коэффициентов текущей сети.

Данный способ кодирования позволяет настроить топологию сети (число скрытых слоев и число нейронов на каждом слое), выбрать функцию активации каждого нейрона, а также оптимизировать весовые коэффициенты.

Системы на нечеткой логике. Генетический алгоритм предоставляет гибкую структуру кодирования различных параметров нечеткой системы, позволяя влиять на ее сложность, интерпретируемость, "прозрачность". Поэтому в данной работе проектирование основного компонента системы — базы знаний — осуществляется с помощью ГА.

В силу теоремы об универсальности аппроксимации выбираются следующие настройки нечеткой системы: гауссовские функции

принадлежности, импликация в форме Ларсена, композиция в форме произведения, и центроидный метод приведения к четкости.

При проектировании нечеткой системы использовался Питгсбургский подход, в котором отдельный индивид представляет собой отдельную базу правил. Изначально необходимо задать максимальное количество правил Агт1х. В процессе обучения настраиваются следующие параметры базы знаний: параметры функций принадлежности, определяющие центр и ширину термов, количество правил, общая длина всей базы правил благодаря включению дополнительного терма "игнорирование". На рисунках 1 и 2 представлены схема кодирования хромосомы по Мамдани и по Такаги-Сугено (нулевого порядка), соответственно.

При кодировании вещественных чисел (параметров функций принадлежности), необходимо задать точность е. Интервал изменения переменных выбирается автоматически на основе нижней и верхней границы обучающего множества.

Я* к =

а\ вв О"» Ч а' ТЧ < тп

\ У У 'ч }

Входные параметры Терм Выходные параметры

игнорирования

Рисупок 1 - Представление кодирования хромосомы по Мамдани

Я* к = 1^тах

а\ ап Ч К "1 т

Входные параметры Терм Выходные параметры

игнорирования

Рисунок 2 - Представление кодирования хромосомы по Такаги-Сугено нулевого

порядка

На рисунке 1 и 2 а,-, аь 1 = 1,и, - центр и ширина гауссовских функций принадлежности левой части правила, п - число входных переменных, г,- - параметр игнорирования (включения или невключения того или иного терма в условной части правила); а], ег ) = \,т,- центр и ширина гауссовких функций принадлежности правой части правила в

случае механизма вывода по Мамдани и у,- — синглетоны в моделях по Такаги-Сугено (нулевого порядка), т — число выходных переменных; Rk -к-е правило, Nmax — максимальное число таких правил.

Нейро-нечеткие системы. В диссертационной работе реализуется нейро-нечегкая система с выводом по Такаги-Сугено (нулевого порядка) и по Мамдани. Параметры нечеткой системы выбраны с тем же основанием, что и для нечетких систем: гауссовские функции принадлежности, импликация в форме Ларсена, композиция в форме произведения, центроидный метод приведения к четкости.

Весами нейро-нечеткой сети являются параметры функций принадлежности в предпосылках и заключениях: {аи}, {о~и} и \a'kJ\, в

случае схемы по Мамдани, или } — по Такаги-Сугено.

Обучение нейро-нечеткой системы проходит в два этапа. На первой стадии определяются число правил и начальные параметры функций принадлежности на основе кластерных методов. Для этой цели в работе реализовано два метода: модифицированное конкурентное обучение и алгоритм адаптивной резонансной теории (2) (APT). В отличие от обычных кластерных методов (алгоритм ¿-средних, нечеткий алгоритм ¿-средних, стандартный алгоритм конкурентного обучения), которые требуют знания количества кластеров, и соответственно количества правил, алгоритм конкурентного обучения с механизмом штрафования соперника и алгоритм APT (2) подбирают подходящее число кластеров в процессе обучения.

Во второй фазе обучения происходит "тонкая" настройка параметров базы данных. Для этой цели обычно применяется так называемый модифицированный алгоритм обратного распространения ошибки, по сути представляющий собой алгоритм наискорейшего спуска. Однако он применяется только для нейро-нечетких моделей Такаги-Сугено, где все функции в нечетких нейронах являются непрерывно дифференцируемыми. В случае моделей по Мамдани в узлах выполнения композиции правил, операция max является недифференцируемой. В некоторых случаях вместо операции max применяется операция sum, однако она не удовлетворяет условиям i-копормы. К тому же общеизвестным недостатком градиентных алгоритмов является "застревание" в локальных экстремумах, что препятствует эффективному использованию нейро-нечетких систем.

Поэтому в данной работе для настройки параметров семантики лингвистических переменных, применяются ГА. Ниже приведена структура кодирования хромосомы (рисунок 3).

Система по типу Мамдани Система по типу Такаги-Сугепо

Як к = \,М Як к = Ш

а\ ап <

Входные параметры Выходные параметры

«1 О"! ! ... <*п Ут

)

Входные параметры Выходные параметры

Рисунок 3 - Представление кодирования хромосомы

На рисунке 3 обозначения переменных аналогичны обозначениям на рисунке 2, где М - найденное число кластеров (число правил) с помощью соответствующего метода.

Начальная инициализация популяции может быть произведена либо случайным образом, либо на основе параметров, определенных на первой стадии обучения. При кодировании параметров функций принадлежности также необходимо задать точность е. Область определения переменных выбирается автоматически на основе нижней и верхней границы обучающего множества.

В этой же главе предлагается алгоритм проектирования коллективов интеллектуальных информационных технологий и структуры их взаимодействия при получении результирующего коллективного решения, основанного на частных решениях индивидуальных технологий, на основе метода генетического программирования с целью повышения эффективности и надежности модели при решении сложных задач

Идея заключается в построении математического выражения из результатов отдельных членов коллектива. В этом случае элементами терминального множества алгоритма генетического программирования являются частные решения отдельных систем.

На предварительном этапе необходимо заранее сгенерировать и обучить заданное число элементов терминального множества, которые будут в дальнейшем использоваться в работе алгоритма. При такой постановке задачи существует два способа реализации мутации в алгоритме генетического программирования: либо случайным образом выбирать элемент из терминального множества, либо генерировать полностью новую интеллектуальную систему. Функциональное множество при данном подходе включает в себя математические функции, а способом коллективного принятия решений является аналитическое выражение.

Таким образом, комбинация отдельных технологий в коллективе позволяет объединить преимущества каждой из них и значительно компенсировать их недостатки, увеличивая эффективность и надежность системы в целом.

Приведем примеры кодирования деревьев в методе генетического программирования. На рисунке 4 представлен генотип дерева и соответствующее ему решение в поисковом пространстве:

Четвертая глава диссертации посвящена проверке эффективности разработанных методов автоматического проектирования интеллектуальных информационных технологий и их коллективов.

В таблице 1 представлены задачи анализа данных, на которых апробировалась система. Первые четыре задачи взяты из репозитория машинного обучения 11С1. Остальные представляют собой данные, снятые с реального объекта.

Таблица 1 - Характеристики решенных задач анализа данных

Задача Размерность входа Размерность выхода Объем выборки

Обучение Экзамен

Репозиторий машинного обучения иС1

1. Классификация ирисов 4 3 135 15

2. Классификация вин 13 3 163 15

3. Предсказание лесных пожаров ! 12 1 477 40

4. Распознавание типов земель по спутниковым изображениям 36 6 4435 2000

Практические задачи

5. Прогнозирование состояния турбины по вибрационным характеристикам ! 11 12 1000 400

6. Моделирование процесса рудно-термической плавки 9 1 47 10

7. Прогнозирование деградации электрических характеристик солнечных батарей космического аппарата 7 4 177 20

Для каждого типа ИИТ было выполнено 20 запусков программы. При каждом запуске были получены работоспособные системы. В таблице

2 приведены лучшие результаты.

__ Таблица 2 - Результаты решения задач анализа данных

№ Нейронная сеть Система на нечеткой логике Нейро-нечеткая система

Ошибка

О Э, О Э О Э

1 3.70% 6.66% 1.48% 0% 1.48% 0%

2 0.61% 6.66% 0% 0% 0% 0%

3 23,2% 24,3% 16.87% 19.61% 15.67% 17.5%

4 1.78% 1.79% 1.11% 1.11% 1.45% 1.46%

5 9.11% 9.14% 8.07% ' 8.09% 7.99% 7.97%

6 4.86% 4.97% 2.99% 3.01% 2.81% 2.92%

7 9,01% 9,72% 5.66% 7.66% 5.05% 5.87%

В таблице 2 приняты обозначения: О — обучение, Э — экзамен. Указана относительная ошибка.

Ниже приведены примеры построения коллектива на основе математического выражения из частных решений отдельных технологий. Изначально заранее были сгенерированы и обучены по 10 ИИТ каждого типа, коллектив должен был формироваться из этих 30 кандидатов.

В частности, в задаче классификации вин была получена следующая формула:

С = ят(я#С4 • \/еЯЯГ|С ), где С - номер класса, ННС - выход соответствующей нейро-нечеткой системы. При этом ошибка распознавания составила 0% как на обучающей выборке, так и на контрольной, что лучше, чем у нейросетевых и нечетких моделей по отдельности и сравнимо с нейро-нечеткими. При этом лучшие отдельные ИИТ, превосходящие остальные по качеству моделирования, не вошли в итоговый коллектив.

В задаче моделирования процесса рудно-термической плавки получено выражение (НЛС означает выход соответствующей системы на нечеткой логике):

ИЛСЬ

№(%) = ННС10 • е илс" , определяющее процентное содержание никеля в отработанном шлаке. Относительная ошибка составила: 2.21% на обучающей выборке и 2.33% на тестовой, что лучше, чем у каждой индивидуальной ИИТ в отдельности, и лучше, чем было получено ранее с помощью методов, использованных другими исследователями.

Сравнивая полученные результаты с интеллектуальными технологиями, сгенерированными отдельно для этих задач, видно, что

эффективность конечной системы в смысле значения критерия ошибки моделирования повысилась.

В ходе численных экспериментов было выявлено, что отдельные технологии, превосходящие по качеству моделирования остальные, редко присутствуют в конечной формуле итогового коллектива. В конечной композиции могут принимать участие технологии с разным, в том числе и более низким, чем у лучших технологий, качеством моделирования. Однако, войдя в итоговый коллектив, они позволяют иногда существенно увеличить эффективность и надежность системы в целом. Наилучшие индивидуальные технологии редко позволяют формировать наилучший коллектив.

В заключении диссертации приведены основные результаты и выводы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В диссертационной работе получены следующие результаты:

1. Проведен анализ современных методов проектирования интеллектуальных информационных технологий.

2. Разработан самонастраивающийся генетический алгоритм, отличающийся от известных сочетанием асимптотического генетического алгоритма с автоматическим выбором типа селекции.

3. Предложены методы автоматического формирования нейронных сетей, систем на нечеткой логике и нейро-нечетких систем на основе генетического алгоритма.

4. Разработаны и апробированы программные системы, реализующие предложенные алгоритмы.

5. Проведен анализ эффективности разработашшх алгоритмов на множестве задач анализа данных, показавший работоспособность предложенных подходов.

Таким образом, в диссертационной работе предложены, реализованы и исследованы новые алгоритмы автоматизации проектирования интеллектуальных информационных технологий и их коллективов, предназначенных для решения задач аппроксимации, классификации и прогнозирования, что является вкладом в теорию и практику интеллектуального анализа данных в системах обработки информации.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в ведущих рецензируемых научных журналах и изданиях

1. Семенкин, Е.С., Шабалов, A.A. Система автоматизированного проектирования коллективов интеллектуальных информационных технологий для задач анализа данных // Программные продукты и

системы. -№ 4 (100). - 2012. - С. 51-54.

2. Shabalov, А.А. Application of Neuro-Fuzzy Systems in Bank Scoring Problems // Vestnik. Scientific Journal of Siberian State Aerospace University named after academician M. F. Reshetnev. - № 4 (44). - 2012.

3. Семенкин, E.C., Шабалов, A.A., Клешков B.M. Система поддержки принятия решений при управлении инновациями реструктурированного машиностроительного предприятия // Вестник СибГАУ. - Вып. 5(38), 2011. - С. 207-210.

4. Семенкин, Е.С., Шабалов, А. А., Ефимов, С.Н. Автоматизированное проектирование коллективов интеллектуальных информационных технологий методом генетического программирования // Вестник СибГАУ. - Вып. 3 (36). -2011. - С. 77-81.

Публикации в сборниках трудов конференций

5. Семенкин, Е.С., Шабалов, А.А. Программная система л-1Т-оп для автоматизированного проектирования коллективов интеллектуальных информационных технологий // XIII Национальная конференция по искусственному интеллекту с международным участием КИИ-2012: Труды конференции. Т. 4. - Белгород: Изд-во БГТУ, 2012. — С. 109-116.

6. Шабалов, А.А. Автоматизированное проектирование коллективов интеллектуальных информационных технологий при решении задач анализа данных // Теория и практика системного анализа: Труды I Всероссийской научной конференции молодых ученых. — Рыбинск: РГАТА имени П.А. Соловьева, 2012. - С. 69-79.

7. Шабалов, А.А., Семенкин, Е.С.,1 Ефимов С.Н. Коллективные технологии интеллектуального анализа данных. — Saarbraecken: LAMBERT Academic Publishing, 2012. - 100 с.

8. Shabalov, A., Semenkin, E., Galushin, P. Integration of Intelligent Information Technologies Ensembles for Modeling and Classification // Hybrid Artificial Intelligence Systems. Lecture Notes in Computer Science, Volume 7208/2012, pp. 365-374.

9. Bukhtoyarov, V., Semenkin, E., Shabalov, A. Neural Networks Ensembles Approach for Simulation of Soto Arrays Degradation Process // Hybrid Artificial Intelligence Systems. Lecture Notes in Computer Science, Volume 7208/2012, pp. 186-195.

10. Galushin, P., Semenkina, O., Shabalov, A. Comparative analysis of two distribution building optimization algorithms // Distributed computing and artificial intelligence. Advances in Intelligent and Soft Computing, 2012, Volume 151/2012, pp. 759-766.

11. Шабалов, А.А. Автоматизированное проектирование интеллектуальных информационных технологий с помощью эволюционных алгоритмов // IX Всероссийская научная конференция молодых ученых «Информационные технологии, системный анализ и управление»: Сборник материалов. - Таганрог: Изд-во ТТИ ЮФУ, 2011. —

T.l.-C. 182-184.

12. Шабалов, A.A. Автоматизированное проектирование коллективов интеллектуальных информационных технологий на основе эволюционных алгоритмов // Сборник работ победителей отборочного тура Всероссийского конкурса научно-исследовательских работ молодых ученых по нескольким междисциплинарным направлениям. — Новочеркасск: Лик, 2011. - С. 39-42.

13. Шабалов, A.A. Автоматизированное проектирование коллективов интеллектуальных информационных технологий // «Решетневские чтения». - Материалы XV Международной научной конференции. — Красноярск: СибГАУ, 2011. —Ч. 2 —С. 519-520.

14. Shabalov, A., Semenkin, Е., Galushin, P. Automatized Design Application of Intelligent Information Technologies for Data Mining Problems // Joint IEEE Conference "The 7th International Conference on Natural Computation & The 8th International Conference on Fuzzy Systems and Knowledge Discovery" -FSKD'2011: pp. 2596-2599.

15. Шабалов, A.A. Система автоматизированного проектирования интеллектуальных информационных технологий 7с-1Т-оп для задач анализа данных // Технологии Microsoft в теории и практике программирования: сб. тр. VIII Всероссийской научно-практической конференции. — Томск: Изд-во Томского политехнического университета, 2011. — С. 125-126.

16. Шабалов, A.A., Семенкин, Е.С. Автоматизированное проектирование коллективов интеллектуальных информационных технологий для задач анализа данных // XII национальная конференция по искусственному интеллекту с международным участием КИИ-2010: Труды конференции. Т. 2. - М.: Физматлит, 2010. - С. 66-72.

17. Шабалов, A.A. Система 7t-IT-on - Автоматизированное проектирование интеллектуальных информационных технологий для задач анализа данных // Молодежь и высокие технологии. — Вологда: ВоГТУ, 2010.-С. 55-57.

18. Шабалов, A.A., Автоматическая настройка параметров нейро-нечетких систем генетическим алгоритмом // Информационные технологии и математическое моделирование: сб. научн. тр. VIII Всероссийской научно-практической конференции с международным участием. - Томск: ТГУ, 2009. - Ч. 2. - С. 296.

19. Шабалов, A.A. Применение генетических алгоритмов в настройке нейро-нечетких систем // «Решетневские чтения». — Материалы XIII Международной научной конференции. — Красноярск: СибГАУ, 2009. -4.2. -С. 472-473.

20. Шабалов, A.A. Применение нейро-нечетких систем в задачах моделирования и классификации // Актуальные проблемы авиации и космонавтики: сб. науч. тр. Всероссийской научно-практической конференции. — Красноярск: СибГАУ, 2009. — Т1, С 280.

21. Шабалов, А.А., Клешков, В.М. Исследование эффективности модификации оператора равномерного скрещивания эволюционного алгоритма в задаче управления реальными инвестициями // Информационные технологии и математическое моделирование: сб. научн. тр. VII Всероссийской научно-практической конференции с международным участием. - Томск: ТГУ, 2008. - Ч. 1. - С. 175-177.

22. Шабалов, А.А., Клешков, В.М. Применение эволюционных алгоритмов с модифицированным оператором равномерного скрещивания в задаче поддержки принятия решений при управлении реальными инвестициями // «Решетневские чтения». - Материалы XII Международной научной конференции. - Красноярск: СибГАУ, 2008. -С. 284-285.

23. Шабалов, А.А. Применение эволюционных алгоритмов в задаче поддержки принятия решений при управлении реальными инвестициями реструктурируемого машиностроительного предприятия // Prospects of fondamental sciences development: V International Conférence. — Tomsk: ТПУ, 2008. - C. 304-306.

Зарегистрированные программные системы

24. Шабалов, А.А., Семенкин, Е.С. Система 7г-1Т-оп автоматизированного проектирования коллективов интеллектуальных информационных технологий для задач анализа данных. - М.: Роспатент, 2011. — № государственной регистрации программы для ЭВМ 2011617908 от 10.10.2011.

25. Шабалов, А.А., Семенкин, Е.С., Ефимов, С.Н. Система автоматизированного проектирования нейросетевых моделей. - М.: Роспатент, 2011. — № государственной регистрации программы для ЭВМ 2011617909 от 10.10.2011. !

26. Шабалов, А.А., Семенкин, Е.С., Ефимов, С.Н. Система автоматизированного проектирования систем на нечеткой логике. - М.: Роспатент, 2011. — № государствешюй регистрации программы для ЭВМ

2011618350 от 24.10.2011.

27. Шабалов, А.А., Семенкин, Е.С., Ефимов, С.Н. Система автоматизированного проектирования нейро-нечетких систем. - М.: Роспатент, 2011. — № государственной регистрации программы для ЭВМ

2011618351 от 24.10.2011.

28. Шабалов, А.А., Семенкин, Е.С., Семенкина, О.Е., Клешков, В.М. Система поддержки принятия решений на основе многоагентных стохастических алгоритмов для управления реальными инвестициями машиностроительных предприятий. — М.: ВНТИЦ, 2008. - № государственной регистрации программы для ЭВМ 50200802148 от 29.10.2008.

Шабалов Андрей Андреевич Алгоритмы автоматизированного проектирования ансамблей интеллектуальных систем для задач анализа данных Автореферат

Подписано к печати Формат 60x84/16

Уч. изд. л. 1.0 Тираж 100 экз. Заказ

Отпечатано в отделе копировальной и множительной техники СибГАУ.

660014, г. Красноярск, пр. им. газ. «Красноярский рабочий», 31

Введение.

Глава 1. Основные методы вычислительного интеллекта.

1.1. Системы вычислительного интеллекта.

1.2. Искусственные нейронные сети.

1.3. Системы на нечеткой логике.

1.4. Нейро-нечектие системы.

Выводы.

Глава 2. Бионические методы оптимизации.

2.1. Основные понятия и алгоритмы эволюционных вычислений.

2.2. Роевой интеллект.

2.3. Экспериментальное исследование эффективности бионических методов оптимизации.

Выводы.

Глава 3. Автоматизированное генерирование алгоритмического ядра интеллектуальных компьютерных систем эволюционными алгоритмами.

3.1. Автоматизированное генерирование нейросетевых технологий.

3.2. Автоматизированное генерирование систем на нечеткой логике.

3.3. Автоматизированное генерирование нейро-нечетких систем.

3.4. Автоматизированное формирование ансамблей интеллектуальных систем

Выводы.

Глава 4. Практическая реализация разработанных алгоритмов.

4.1. Система автоматизированного проектирования нейросетевых моделей.

4.2. Система автоматизированного проектирования систем на нечеткой логике

4.3. Система автоматизированного проектирования нейро-нечетких систмем.

4.4. Система 7i-it-on автоматизированного проектирования ансамблей интеллектуальных информационных технологий для задач анализа данных.

4.5. Решение практических задач разработанными методами.

Выводы.

В настоящее время интеллектуальные методы анализа данных получили широкое распространение при решении практических задач в различных сферах человеческой деятельности. В области исследований интеллектуальных систем анализа данных помимо совершенствования отдельных технологий, можно выделить интенсивно развивающееся направление, заключающееся в совместном использовании различных типов интеллектуальных информационных технологий (ИИТ) с целью увеличения качественных характеристик конечной системы.

Искусственные нейронные сети (ИНС) характеризуются адаптивным обучением, самоорганизацией, возможностью работы в режиме реального времени, отказоустойчивостью. Область их применения охватывает широкий спектр практических приложений. Они обладают эффективной способностью извлекать существенные признаки из сложных и неточных данных, где другие компьютерные методы, как правило, не справляются с поставленной задачей. Однако нейронные сети представляют собой модель "черного ящика", т.е. интерпретация построенных решений является практически невозможной.

Отличительной чертой систем на нечеткой логике (НЛС) является построение решения в форме лингвистических правил-продукций, что предоставляет "прозрачную" модель (т.е. модель "белого ящика"). Нечеткие системы концептуально понятны, гибки, устойчивы к неточным данным, основываются на естественном языке. Они позволяют инкорпорировать опыт экспертов предметной области, а также способны моделировать нелинейные функциональные зависимости произвольной сложности. Однако нечеткие системы не имеют автоматических обучающих алгоритмов, вследствие чего они не могут быть использованы при отсутствии экспертных знаний.

Среди различных способов гибридизации технологий, выделяются нейро-нечеткие системы (ННС), объединяющие преимущества с ист6м ни нечеткой логике и аппарата нейронных сетей, а также эволюционные нейронные сети и эволюционные нечеткие системы, позволяющие автоматизировать процесс создания модели и решения задач анализа данных.

Обобщающая эффективность отдельной технологии может быть ограничена в виду сложности решаемой задачи. Выходом из данной ситуации могут служить ансамбли интеллектуальных систем, представляющие собой набор моделей, каждая из которых способна решить поставленную задачу и комбинация которых позволяет повысить эффективность и робастность системы в целом по сравнению с отдельной технологией.

Создание эффективного алгоритмического ядра интеллектуальных информационных технологий требует значительных временных и финансовых затрат и очень высокой квалификации разработчиков, что на практике конечным пользователям (врачам, инженерам, менеджерам и др.) далеко не всегда удается обеспечить. Автоматизация генерирования алгоритмического ядра ИИТ с помощью эволюционных алгоритмов позволяет значительно упростить процесс разработки интеллектуальных систем поддержки принятия решений для конечных пользователей, не являющихся экспертами в области интеллектуальных информационных технологий.

Таким образом, разработка и исследование методов автоматизированного генерирования алгоритмического ядра интеллектуальных информационных технологий и их коллективов при решении сложных задач анализа данных в различных областях человеческой деятельности, позволяющих повысить эффективность и надежность конечной системы при принятии решений, является актуальной научно-технической задачей.

Целью диссертационной работы является повышение обоснованности и надежности принятия решений при использовании интеллектуальных информационных технологий за счет автоматизации их проектирования и применения на основе эволюционных алгоритмов.

Достижение поставленной цели работы предполагает решение следующей совокупности задач:

1. Усовершенствовать стандартный генетический алгоритм для повышения его надежности при решении задач оптимизации на сложных структурах данных.

2. Автоматизировать процесс проектирования структуры искусственных нейронных сетей и настройки ее весовых коэффициентов.

3. Автоматизировать процесс проектирования базы правил и настройки семантики лингвистических переменных для систем на нечеткой логике.

4. Разработать подход, автоматически настраивающий семантику лингвистических переменных в нейро-нечетких системах.

5. Разработать метод автоматизированного проектирования коллективов ИИТ.

6. Реализовать предложенные методы и показать их работоспособность на тестовых и практических задачах анализа данных.

Методы исследования. При выполнении диссертационной работы использовались методы системного анализа, теории вероятности и математической статистики, теории обработки информации, теории оптимизации, теории эволюционных вычислений, методика разработки интеллектуальных информационных систем.

Научная новизна результатов диссертационной работы состоит в следующем:

1. Разработан новый самонастраивающийся эволюционный алгоритм для решения задач безусловной и условной оптимизации, отличающийся от известных сочетанием асимптотического генетического алгоритма с автоматическим выбором типа селекции.

2. Разработан новый эволюционный метод автоматизации проектирования структуры НЛС и одновременной настройки ее базы правил, отличающийся от известных представлением решения в виде хромосомы генетического алгоритма и позволяющий одновременно настраивать количество правил в базе и длину каждого правила.

3. Разработан новый алгоритм настройки лингвистических переменных в нейро-нечетких системах, отличающийся от известных способом представления решения и позволяющий одновременно выбирать центр и ширину базы лингвистических термов.

4. Разработан новый метод создания коллективов ИИТ на основе алгоритма генетического программирования, отличающийся от известных способом формирования коллектива и его решения и позволяющий получать более эффективные коллективы ИИТ.

Теоретическая значимость результатов диссертационного исследования состоит в том, что разработаны новые эволюционные алгоритмы для автоматического проектирования интеллектуальных информационных технологий и их коллективов, предназначенных для решения задач аппроксимации, классификации и прогнозирования, обладающие более высокой эффективностью, надежностью и адаптивностью, что имеет существенное значение для теории интеллектуальных технологий представления знаний и практики их применения в системах обработки информации и интеллектуального анализа данных.

Практическая ценность. На основе разработанных в ходе исследования алгоритмов и методов реализована программная система поддержки принятия решений при управлении реальными инвестициями машиностроительного предприятия на основе многоагентных стохастических алгоритмов, а также программная система, позволяющая осуществлять проектирование нейросетевых моделей, систем на нечеткой логике и нейро-нечетких систем, а также их коллективов на основе эволюционного подхода для решения сложных задач анализа данных: аппроксимации, классификации и прогнозирования. Полученные в диссертационной работе самонастраивающийся асимптотический генетический алгоритм, а также рекомендации по настройке параметров метода генетического программирования позволяют конечным пользователям, не являющимися экспертами в области эволюционных вычислений и проектирования ИИТ, применять программные системы при решении сложных задач в различных сферах человеческой деятельности. Программные системы апробированы на реальных практических задачах.

Реализация результатов работы. Диссертационная работа поддержана Фондом содействия развитию малых форм предприятий в научно-технической сфере по программе «У.М.Н.И.К.» («Участник молодежного научно-инновационного конкурса») в рамках НИОКР «Автоматизированное проектирование интеллектуальных информационных технологий для задач анализа данных на основе самонастраивающегося генетического алгоритма» на 2010-2012 гг. Работа финансировалась из средств госбюджета в рамках НИР 1.7.08 «Разработка теоретических основ решения задач автоматизации проектирования распределенных многопроцессорных вычислительных комплексов интеллектуального анализа данных в режиме реального времени» темплана ЕЗН СибГАУ, а также по проекту "Математическое моделирование инвестиционного развития региональных экономических систем" Аналитической ведомственной целевой программы "Развитие научного потенциала".

Результаты диссертационного исследования использовались при выполнении НИР 2.1.1/12096 «Математическое моделирование инвестиционного развития региональных экономических систем» АВЦП «Развитие научного потенциала высшей школы (2009-2011 годы)», НИР 2009-1.2.2 «Автоматизированная система решения сложных задач глобальной оптимизации многоагентными стохастическими алгоритмами» ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2011 годы и российско-германского проекта 2011-1.2.1-113-025-002 «Математическое и алгоритмическое обеспечение автоматизированного проектирования аппаратно-программных комплексов интеллектуальной обработки информации в распределенных высокопроизводительных системах космического назначения» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы (с участием научно-исследовательских и научно-образовательных организаций Германии)».

Созданная в ходе исследования программная система «Система поддержки принятия решений на основе многоагентных стохастических алгоритмов для управления реальными инвестициями машиностроительных предприятий» апробирована на реальных данных Химзавода - филиала ОАО «Красмашзавод» и передана для эксплуатации двум предприятиям.

Одна программная система прошла государственную экспертизу и была зарегистрированы во ВНТИЦ, четыре программные системы зарегистрированы в Роспатенте.

Разработанные в диссертации программные системы используются в учебном процессе Института информатики и телекоммуникаций СибГАУ при выполнении лабораторных и курсовых работ и, кроме того, переданы для использования в две инновационные 1Т-компании.

Основные защищаемые положения:

1. Самонастраивающийся асимптотический генетический алгоритм безусловной оптимизации обеспечивает эффективность, сравнимую со стандартным генетическим алгоритмом, но обладает значительно меньшим числом настроек.

2. Разработанные алгоритмы автоматизации проектирования ИИТ позволяют эффективно решать сложные задачи анализа данных и не требуют от конечного пользователя экспертных знаний в области эволюционных вычислений.

3. Разработанный подход к построению коллектива интеллектуальных информационных технологий на основе метода генетического программирования позволяет повысить эффективность и надежность принятия конечного решения в задачах аппроксимации и классификации по сравнению с альтернативными методами.

Апробация. Результаты диссертационной работы были доложены и обсуждены более, чем на 20 научных и научно-практических конференций, среди которых: International Conference on Hybrid Artificial Intelligence Systems (HAIS'12) и International Symposium on Distributed Computing and Artificial Intelligence (DCAI'12), г. Саламанка, Испания, 2012; Всероссийская научная конференции «Теория и практика системного анализа» (г. Рыбинск, Институт системного анализа РАН и РГАТА, 2012); Joint IEEE Conference "The 7th International Conference on Natural Computation & The 8th International Conference on Fuzzy Systems and Knowledge Discovery" - FSKD'2011, China, 2011; конференция-конкурс «Технологии Microsoft в теории и практике программирования» (г. Томск, ТПУ, 2011); Национальные конференции по искусственному интеллекту с международным участием КИИ-2010 и КИИ 2012 (г. Тверь, 2010, г. Белгород, 2012); Международные научно-практические конференции «Решетневские чтения» (г. Красноярск, СибГАУ, 2008, 2009, 2011); Всероссийские научно-практические конференции с международным участием «Информационные технологии и математическое моделирование» (г. Томск, ТГУ, 2008, 2009); Всероссийские научно-практические конференции «Актуальные проблемы авиации и космонавтики», (г. Красноярск, СибГАУ, 2008, 2009), а также ряд молодежных и студенческих конференций. Отдельные аспекты исследования обсуждались на научном семинаре института информационных технологий университета г. Ульм (Германия). Диссертация в целом обсуждалась на научных семинарах Института проблем управления РАН им. В.А. Трапезникова (г. Москва) и Института системного анализа РАН (г. Москва) и научно-техническом семинаре кафедры системного анализа и исследования операций СибГАУ.

Публикации. По материалам данной работы опубликовано более 25 печатных работ, в том числе 4 статьи в научных изданиях Перечня ВАК.

ВЫВОДЫ

В данной главе описаны программные системы, реализующие предложенные подходы, и проведена проверка эффективности алгоритмов на

119 тестовых задачах, показавшая их высокую работоспособность. Показано преимущество нейро-нечетких систем над другими технологиями.

Эффективность работы самонастраивающегося генетического алгоритма была исследована на реальной практической задаче формирования портфеля реальных инвестиций реструктурируемого предприятия. Показано его превосходство над стандартным генетическим алгоритмом, что объясняет целесообразность применения данного алгоритма при проектировании алгоритмического ядра интеллектуальных информационных технологий.

Разработанные алгоритмы автоматизированного проектирования ИИТ апробированы на реальных практических задачах. Результаты исследований показали более высокую эффективность нейро-нечетких систем в сравнении с другими технологиями. Нейронные сети показали наихудшее качество моделирования, что может быть связано с малой долей просматриваемого поискового пространства структур и весовых коэффициентов.

Показана работоспособность и перспективное направление развития предложенного метода генетического программирования при формировании коллектива интеллектуальных информационных технологий на основе частных решений.

Таким образом, можно утверждать, что цель исследования достигнута.

ЗАКЛЮЧЕНИЕ

В диссертационной работе получены следующие результаты:

1. Проведен анализ современных методов проектирования интеллектуальных информационных технологий.

2. Разработан самонастраивающийся генетический алгоритм, отличающийся от известных сочетанием асимптотического генетического алгоритма с автоматическим выбором типа селекции.

3. Предложены методы автоматического формирования нейронных сетей, систем на нечеткой логике и нейро-нечетких систем на основе генетического алгоритма.

4. Разработаны и апробированы программные системы, реализующие предложенные алгоритмы.

5. Проведен анализ эффективности разработанных алгоритмов на множестве задач анализа данных, показавший работоспособность предложенных подходов.

Таким образом, в диссертационной работе предложены, реализованы и исследованы новые алгоритмы автоматизации проектирования интеллектуальных информационных технологий и их коллективов, предназначенных для решения задач аппроксимации, классификации и прогнозирования, что является вкладом в теорию и практику интеллектуального анализа данных в системах обработки информации.

1. Асаи К., Ватада Д., Иван С. и др. Прикладные нечеткие системы: Пер. с япон. / под редакцией Тэрано Т., Асаи К., Сугено М. М.: Мир, 1993. -368 е., ил.

2. Галушин П.В. Разработка и исследование асимптотического вероятностного генетического алгоритма. Journal of Siberian Federal University. Mathematics & Physics, 2(3), 2009, C. 319-3276.

3. Горбань A.H. Обучение нейронных сетей. M.": изд. СССР-США СП "ParaGraph", 1990. 160 с. (English Translation: AMSE Transaction, Scientific Siberian, A, 1993, Vol. 6. Neurocomputing, pp. 1-134).

4. Горбань A.H., Дунин-Барковский В.Л., Кирдин A.H. и др. Нейроинформатика, Новосибирск: Наука. Сибирское предприятие РАН, 1998.-296с.

5. Дубровин В.И., Субботин С.А. Алгоритм ускоренного обучения персептронов. Нейроинформатика-2002.

6. Заенцев И. В. Нейронные сети: основные модели, Воронеж, 1999.

7. Клешков В.М., Семенкин Е.С. Модели и алгоритмы распределения общих ресурсов при управлении инновациями реструктурированного машиностроительного предприятия // Проблемы машиностроения и автоматизации, № 3. — 2006. С. 24-31.

8. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети М.: Физматлит, 2001.

9. Либерти Д., Джонс Б. Освой самостоятельно С++ за 21 день, 5-е издание.: Пер. с англ. М.: Издательский дом "Вильяме", 2006. - 784 е.: ил. -Парал. тит. англ.

10. Маркин М.И. Выбор начального приближения при обучении нейронной сети методами локальной оптимизации // Научная сессия МИФИ-2000. 4.1 Нейроинформатика-2000.

11. Олешко Д.Н., Крисилов В.А. Повышение качества и скорости обучения нейронных сетей в задаче прогнозирования поведения временных рядов, 2001.

12. Троелсен. Э. С# и платформа .NET. Библиотека программиста. — СПб.: Питер, 2004. 796 е.: ил.

13. Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика. -М.: Мир, 1992.

14. Хайкин С. Нейронные сети. Полный курс., Вильяме, 2006.

15. Хайниш С.В., Клешков В.М., Бородин А.Н. Российское предприятие ВПК: выжить и развиваться. (На примере реформирования и развития Химзавода филиала ФГУП «КРАСМАШ»). - М.: Рохос, 2003. -240 е., цв. Вкл. (Из опыта управленческого консультирования.)

16. Шумков Е.А., Карлов Д.Н. Скоростной метод обучения многослойного персептрона, 2011.

17. Abraham A. Adaptation of Fuzzy Inference System Using Neural Learning, StudFuzz 181, 2005, pp. 53-83.

18. Abraham A. EvoNF: A Framework for Optimization of Fuzzy Inference Systems Using Neural Network Learning and Evolutionary Computation, The 17th IEEE International Symposium on Intelligent Control, ISIC'02, IEEE Press, 2002, pp. 327-332.

19. Abraham A. Handbook of Measuring System Design. John Wiley & Sons, Ltd. ISBN: 0-470-02143-8. 2005.

20. Abraham A. Meta learning evolutionary artificial neural networks, Neurocomputing 56, 2004, pp. 1-38.

21. Abraham A. Nature and Scope of AI Techniques // Handbook of Measuring System Design, John Wiley & Sons, Ltd, 2005, pp. 893-900.

22. Abraham A. Optimization of evolutionary neural networks using hybrid learning algorithms, IEEE 2002 Joint International Conference on Neural Networks, Vol. 3, IEEE Press, New York, 2002, pp. 2797-2802.

23. Abraham A., Nath B. Optimal design of neural nets using hybrid algorithms, in: Proceedings of Sixth Pacific Rim International Conference on Artificial Intelligence (PRICAI 2000), Melbourne, Australia, 2000, pp. 510-520.

24. Alcala R., Casillas J., Cordon O., Herrera F. Building fuzzy graphs: features and taxonomy of learning non-grid-oriented fuzzy rule-based systems. Int J Intell Fuzzy Syst 11, 2001, pp. 99-119.

25. Bäck T., Hoffmeister F., Schwell H.P. A Survey of evolution strategies, Proceedings of the Fourth International Conference on Genetic Algorithms, Morgan Kaufmann, 1991, pp. 2-9.

26. Bayes P.T., Zelle J.M. Growing layers of perceptrons: introducing the exentron algorithm, Proceedings on the International Joint Conference on Neural Networks, Vol. 2, Beijing, China, 1992, pp. 392-397.

27. Bazaraa M.S., Sherali H.D., Shetty C.M. Nonlinear programming: theory and algorithms, John Wily and Sons, 2nd edition, 1993.

28. Berenji H.R., Khedkar P. Fuzzy Rules for Guiding Reinforcement Learning, In International. Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems (IPMU'92), 1992, pp. 511-514.

29. Berenji H.R., Khedkar P. Learning and Tuning Fuzzy Logic Controllers through Reinforcements, IEEE Transactions on Neural Networks, Vol (3), 1992, pp. 724-740.

30. Bezdek J.C. Editorial-fuzzy models: What are they and why, IEEE Trans, on Fuzzy Systems, vol. 1, 1993, pp. 1-5.

31. Bezdek J.C. What is computational intelligence? Computational Intelligence, Imitating Life, IEEE Computer Society Press, 1994, pp. 1-12.124

32. Boeringer D., Werner D. Particle swarm optimization versus genetic algorithms for phased array synthesis, IEEE Trans. Antennas Propagat., vol. 52, no. 3, Mar. 2004, pp. 771-779.

33. Boers E.J.W., Borst M.V., Sprinkhuizen-Kuyper I.G. Artificial neural nets and genetic algorithms, in: D.W. Pearson, et al., (Eds.), Proceedings of the International Conference in Ales, France, Springer, New York, 1995, pp. 333-336.

34. Breiman, L. "Bagging predictors," Machine Learning, vol. 24 (2), pp. 123-140,(1996)

35. Budura G., Botoca C., Miclau N. Competitive Learning Algorithms for Data Clustering SER.: ELEC. ENERG. vol. 19, no. 2, 2006, pp. 261-269.

36. Casillas J., Carse B., Bull L. Fuzzy-XCS: A Michigan genetic fuzzy system. IEEE Trans Fuzzy Syst 15(4), 2007, pp. 536-550.

37. Castellano G., Fanelli A.M. A self-organizing neural fuzzy inference network. In Proc. of IEEE Int. Joint Conference on Neural Networks, vol.5, Italy, 2000.

38. Castellano G., Fanelli A.M. Information granulation via neural network based learning. In Proc. of Joint 9th IFSA World Congress and 20th NAFIPS International Conference, 2001.

39. Castillo P.A., Merelo J.J., Prieto A., Rivas V., Romero G. G-Prop: global optimization of multilayer perceptrons using GAs, Neurocomputing 35, 2000, pp. 149-163.

40. Chem J. ART2 for optimal Test Series Design, Inf. Comput. Sci., 1997.

41. Coello C.A.C. Use of a self-adaptive penalty approach for engineering optimization problems, Computers in Industry, 41, 2000, pp. 113-127.

42. Cococcioni M., Ducange P., Lazzerini B., Marcelloni F. A Pareto-based multi-objective evolutionary approach to the identification of Mamdani fuzzy systems. Soft Comput 11(11)., 2007, pp. 1013-1031.

43. Cordon O., Herrera F., Hoffmann F., Magdalena L. Genetic fuzzy systems. Evolutionary tuning and learning of fuzzy knowledge bases. World Scientific, Singapore, 2001.

44. Cordon O., Herrera F., Villar P. Analysis and guidelines to obtain a good fuzzy partition granularity for fuzzy rule-based systems using simulated annealing. Int J Approx Reason 25(3), 2000, pp. 187-215.

45. Craenen B.G.W., Eiben A.E. Computational Intelligence, Encyclopedia of Life Support System, EOLSS Co. Ltd., 2003, http://www.eolss.net.

46. Crockett K.A., Bandar Z., Fowdar J., O'Shea J. Genetic tuning of fuzzy inference within fuzzy classifier systems. Expert Syst Appl 23, 2006, pp. 6382.

47. Deb K. An Efficient constraint handling method for genetic algorithms, Computer Methods in Applied Mechanics and Engineering, 186, 2000, pp. 311-338.

48. Deb K. Multi-objective optimization using evolutionary algorithms. Wiley, New York, 2001.

49. Deb K., Pratap A., Agarwal S., Meyarivan T. A fast and elitist multiobjective genetic algorithm: NSGA-II. IEEE Trans Evol Comput 6(2), 2002, pp. 182-197.

50. Dietterich T. G. An experimental comparison of three methods for constructing ensembles of decision trees: bagging, boosting, and randomization, Machine Learning, vol. 40, no. 2, pp. 139-158, 2000.

51. Dohnal I.J. Using of levenberg-marquardt method in identification by neural networks, 2003.

52. Dorigo M. Optimization, Learning and Natural Algorithms, PhD thesis, Politécnico di Milano, Italie, 1992.

53. Duch W. What is Computational Intelligence and what could it become? Challenges for Computational Intelligence, 2007.

54. Durbin R., Rumelhart D.E. Product Units: A Computationally Powerful and Biologically Plausible Extension to Backpropagation Networks. Neural Computation, 1, 1989, pp. 133-142.

55. Eberhart R., Kennedy J. A new optimizer using particle swarm theory, in Proc. 6th Int. Symp. Micro Machine and Human Science (MHS), Oct. 1995, pp. 39-43.

56. Eberhart R., Shi Y., Kennedy J. Swarm Intelligence. San Mateo, CA: Morgan Kaufmann, 2001.

57. Eberhart R., Simpson P., Dobbins R. Computational Intelligence PC Tools. Academic Press, Boston, 1996.

58. Engelbrecht A.P. Computational Intelligence: An Introduction, Second Edition, John Wiley and Sons, 2007.

59. Fullmer B., Miikkulainen R. Using marker-based genetic encoding of neural networks to evolve finite-state behaviour, in: F.J. Varela, P. Bourgine (Eds.), Proceedings of the First European Conference on Artificial Life, France, pp. 255-262, 1992.

60. Fahlman S.E., Lebiere C. The cascade—correlation learning architecture, in: D. Tourretzky(Ed.), Advances in Neural Information Processing Systems, Morgan Kaufmann, Los Altos, CA, 1990, pp. 524-532.

61. Fayyad U., Piatesky-Shapiro G., Smyth P. From data mining from knowledge discovery in databases. In: Fayyad UM, Piatetsky-Shapiro G, Smyth P, Uthurusamy R (eds) Advances in knowledge discovery & data mining, AAAI/MIT, 1996., pp 1-34.

62. Feng J.C., Teng L.C. An Online Self Constructing Neural Fuzzy Inference Network and its Applications, IEEE Transactions on Fuzzy Systems, Vol 6, No.l, 1998, pp. 12-32.

63. Fogel L.J., Owens A.J., Walsh M.J. Artificial Intelligence through Simulated Evolution, John Wiley, 1996.

64. Frean M. The upstart algorithm: a method for constructing and training feed forward neural networks, Neural Comput. 2, 1990, pp. 198-209.

65. Freeman J.A., Skapura D.M. Neural Networks Algorithms Applications and Programming Techniques, Addison-Wesley Publishing Company, 1991.

66. Friedman, J. H., Hastie, T., and Tibshirani, R. Additive logistic regression: a statistical view of boosting, Annals of Statistics, vol. 28, no. 2, pp. 337-374, (2000)

67. Fuller R. Neural Fuzzy Systems, Abo, 1995.9.

68. Gen M., Cheng R. A Survey of penalty techniques in genetic algorithms, Proceedings of the 1996 International Conference on Evolutionary Computation, IEEE, 1996, pp. 804-809.

69. Harp S.A., Samad T., Guha A. Towards the genetic synthesis of neural networks, in: J.D. Schapher (Ed.), Proceedings of the Third International Conference on Genetic Algorithms and their Applications, Morgan Kaufmann, Los Altos, CA, 1989, pp. 360-369.

70. Herrera F. Genetic fuzzy systems: taxonomy, current research trends and prospects, Evol. Intel. 1, 2008, pp. 27 46.

71. Holland J.H. Adaptation in Natural and Artificial Systems, University of Michigan Press, 1975.

72. Homaifar A., Lai S.H.Y., Qi X. Constrained optimization via genetic algorithms, Simulation, 62, 1994, pp. 242-254.

73. Hristev R.M. The ANN Book, 1998.

74. Jang R. Neuro-Fuzzy Modeling: Architectures, Analyses and Applications, Ph.D. Thesis, University of California, Berkeley, 1992.

75. Joines J. Houck C. On the use of non-stationary penalty functions to solve non-linear constrained optimization problems with GAs, Proceedings of the

76. First IEEE International Conference on Evolutionary Computation, IEEE Press, 1994, pp. 579-584.

77. Karr C. Genetic algorithms for fuzzy controllers. AI Expert 6(2), 1991, pp. 26-33.

78. Kasabov N. Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering. The MIT Press, Cambridge, Second printing, 1998.

79. Kasabov N., Qun S. Dynamic Evolving Fuzzy Neural Networks with m-out-of-n Activation Nodes for On-line Adaptive Systems, Technical Report TR99/04, Department of information science, University of Otago, New Zealand, 1998, pp. 271-274.

80. Kennedy J. The particle swarm: Social adaptation of knowledge, in Proc. IEEE Int. Conf. Evol. Comput., Apr. 1997, pp. 303-308.

81. Kennedy J., Eberhart R. A discrete binary version of the particle swarm algorithm, in Proc. IEEE Int. Conf. Syst., Man, Cybern.: Computational Cybernetics and Simulation (ICSMC), vol. 5, Oct. 1997, pp. 4104-4108.

82. Kennedy J., Eberhart R. Particle swarm optimization, in Proc. IEEE Int. Conf. Neural Netw. (ICNN), vol. 4, Nov. 1995, pp. 1942-1948.

83. Kim J.H., Myung H. Evolutionary programming techniques for constrained optimization problems, IEEE Transaction on Evolutionary Computation, 1, 1997, pp. 129-140.

84. Kim H.B., Jung S.H., Kim T.G., Park K.H. Fast learning method for back-propagation neural network byevolutionary adaptation of learning rates, Neurocomputing 11 (1) pp. 101-106, 1996.

85. King I., Lau T.K. Non-Hierarchical Clustering with Rival Penalized Competitive Learning for Information Retrieval, 1998.

86. Kitano H. Designing neural networks using genetic algorithms with graph generation system, Complex Syst. 4 (4) pp. 461-476, 1990.

87. Kosko B. Neural Networks and Fuzzy Systems: A Dynamical Systems Approach to Machine Intelligence, Prentice Hall, Englewood Cliffs, New Jersey, 1992.

88. Koza J.R. Genetic Programming: On the Programming of Computers by Means of Natural Selection, MIT Press, 1992.

89. Koziel S., Michalewicz Z. Evolutionary algorithms, homomorphous mapping and constrained parameter optimization, Evolutionary Computation, 7, 1999, pp. 19-44.

90. Krishnakumar K. Intelligent systems for aerospace engineering an overview, NASA Technical Report, 2003.

91. Krenker A., Bester J., Kos A. Introduction to the Artificial Neural Networks, 2001.

92. Krose B., Smagt P. An Introduction to Neural Networks, 1996.

93. Le Riche R., Knopf-Lenior C., Haftka R.T. A Segregated genetic algorithm for constrained structural optimization, Proceedings of the Sixth International Conference on Genetic Algorithms, Morgan Kaufmann, 1995, pp. 558-565.

94. Le T.V. Evolutionary approach to constrained optimization problems, Proceedings of the Second IEEE International Conference on Evolutionary Computation, IEEE Press, 1995, pp. 274-278.

95. Lin C.T., Lee C.S.G. Neural Network based Fuzzy Logic Control and Decision System, IEEE Transactions on Comput. (40(12), 1991, pp. 1320-1336.

96. Liu Y., Yao X. Evolutionary design of artificial neural networks with different node transfer functions, Proceedings of the Third IEEE International Conference on Evolutionary Computation, Nagoya, Japan, pp. 670-675, 1996.

97. Mamdani E.H. Applications of fuzzy algorithm for control a simple dynamic plant. Proc IEEE 121(12), 1974, pp. 1585-1588.

98. Mascioli F., Martinelli G. A constructive algorithm for binary neural networks: the oil spot algorithm, IEEE Trans. Neural Networks 6 (3), 1995, pp. 794-797.

99. McCarthy J. What Is Artificial Intelligence? 2007, http://www-formal.stanford.edu/jmc/whatisai/whatisai.html

100. Merril J.W.L., Port R.F. Fractally configured neural networks, Neural Networks 4 (1), 1991, pp. 53-60.

101. Michalewicz Z., Attia N. Evolutionary optimization of constrained problems, Proceedings of the Third Annual Conference on Evolutionary Programming, World Scientific, 1994, pp. 98-108.

102. Michalewicz Z., Janikow C.Z. Handling constraints in genetic algorithms, Proceedings of the Fourth International Conference on Genetic Algorithms, Morgan Kaufmann, 1993, pp. 151-157.

103. Michalewicz Z., Nazhiyath G. GENOCOP III: A Co-evolutionary algorithm for numerical optimization problems with nonlinear constraints, Proceedings of the Second IEEE International Conference on Evolutionary Computation, IEEE Press, 1995, pp. 647-651.

104. Michalewicz Z., Schouenauer M. Evolutionary algorithms for constrained parameter optimization problems, Evolutionary Computation, 4, 1996, pp. 1-32.

105. Michalewicz Z., Dasgupta D., Le Riche R., Schoenauer M. Evolutionary algorithms for constrained engineering problems, Computers & Industrial Engineering Journal, 30, 1996, 851-870.

106. Millonas M. Swarms, phase transitions, and collective intelligence, in Artificial Life III, Proc. Santa Fe Institute Studies in the Sciences of Complexity, C. G. Langton, Ed. New York: Addison-Wesley, vol. XVII, 1994, pp. 417-445.

107. Mikut R., Jäkel J., Groll L. Interpretability issues in data-based learning of fuzzy systems. Fuzzy Sets Syst 150, 2005, pp. 179-197.

108. Morales K.A., Quezada C.C. A Universal eclectic genetic algorithm for constrained optimization, Proceedings 6th European Congress on Intelligent Techniques & Soft Computing, EUFIT'98, 1998, pp. 518-522.

109. Muata K., Bryson O. Evaluation of decision trees: a multicriteria approach. Comput Oper Res 31, 2004, pp. 1933 1945.

110. Nasuto S., Bishop M. Convergence analysis of stochastic diffusion search. Journal of Parallel Algorithms and Applications, 14 (2). ISSN 1744-5779, 1999, pp. 89-107.

111. Nauck D., Kruse R. NEFCON-I: An X-Window Based Simulator for Neural Fuzzy Controllers. In Proceedings of the IEEE International Conference on Neural Networks, Orlando, 1994, pp. 1638-1643.

112. Nauck D., Kruse R. NEFCLASS: A Neuro-Fuzzy Approach for the Classification of Data, In Proceedings of ACM Symposium on Applied Computing, George K et al (Eds.), Nashville, ACM Press, 1995., pp. 461-465.

113. Nauck D., Kruse R. Neuro-Fuzzy Systems for Function Approximation, Fuzzy Sets and Systems, 101, 1999, pp. 261-271.

114. Nomura H., Hayashi I., Wakami N. A Learning Method of Fuzzy Inference Systems by Descent Method, In Proceedings of the First IEEE International conference on Fuzzy Systems, San Diego, USA, 1992, pp. 203-210.

115. Omlin C.W., Giles C.L. Pruning recurrent neural networks for improved generalization performance, Technical Report No 93-6, CS Department, Rensse-laer Institute, Troy, NY, 1993.

116. Pâlit A.K., Popovic D. Computational Intelligence in Time Series Forecasting, Springer, 2005.

117. Perdrycz W. Computational Intelligence: An Introduction. CRC Press, 1998.

118. Pedrycz W., Card H.C. Linguistic Interpretation of Self Organizing Maps, In Prroceedings of the IEEE International Conference on Fuzzy Systems, San Diego, 1992, pp. 371-378.

119. Pham D.T., Karaboga D. Optimum design of fuzzy logic controllers using genetic algorithms. J Syst Eng 1, 1991, pp. 114-118.

120. Polani D., Miikkulainen R. Fast reinforcement learning through eugenic neuro-evolution, Technical Report AI99-277, Department of Computer Sciences, University of Texas at Austin, 1999.

121. Porto V.W., Fogel D.B., Fogel L.J. Alternative neural network training methods, IEEE Expert 10 (4), 1995, pp. 16-22.

122. Powell D., Skolnick M.M. Using genetic algorithms in engineering design optimization with non-linear constraints, Proceedings of the Fifth International Conference on Genetic Algorithms, Morgan Kaufmann, 1993, pp. 424-430.

123. Rechenberg I. Evolution Strategy. Computational Intelligence: Imitating Life, 1994, pp. 147-159.

124. Reynolds R.G. Cultural Algorithms: Theory and Application. New Ideas in Optimization, McGraw-Hill, 1999, pp. 367-378.

125. Rudas I.J. Hybrid Systems: Integration of Neural Networks, Fuzzy Logic, Expert Systems, and Genetic Algorithms, In: Encyclopedia of Information Systems, Academic Press, 2002, pp. 114-1-114-8.

126. Russell S., Norvig P. Artificial Intelligence: A Modern Approach, 3rd Edition, Prentice Hall, New Jersey, 2010.

127. Sanchez L., Casillas J., Cordon O., del Jesus M.J. Some relationships between fuzzy and random classifiers and models. Int J Approx Reason 29, 2001, pp. 175-213.

128. Sanchez L., Couso I. Advocating the use of imprecisely observed data in genetic fuzzy systems. IEEE Trans Fuzzy Syst 15(4), 2007, pp. 551-562.

129. Schiffmann W., Joost M., Werner R. Optimization of the Backpropagation Algorithm for Training Multilayer Perceptrons, 1992.

130. Schoenauer M., Michalewicz Z. Evolutionary computation at the edge of feasibility, Proceedings of the Fourth International Conference on Parallel Problem Solving from Nature, Springer Verlag, 1996, pp. 22-27.

131. Schouenauer M., Xanthakis S. Constrained GA optimization, Proceedings of the Fifth International Conference on Genetic Algorithms, Morgan Kaufmann, 1993, pp. 473-580.

132. Schwefel H.P. Evolutionsstrategie und numerische Optimierung. PhD thesis, Technical University Berlin, 1975.

133. Sexton R., Dorsey R., Johnson J. Optimization of neural networks: a comparative analysis of the genetic algorithm and simulated annealing, Eur. J. Oper. Res. 114,1999, pp. 589-601.

134. Shah-Hosseini H. Problem solving by intelligent water drops. Proceedings of IEEE Congress on Evolutionary Computation, Swissotel The Stamford, Singapore, September, 2007, pp. 3226-3231.

135. Shi Y. Feature article on particle swarm optimization, IEEE Neural Network Society, Feature Article, Feb. 2004, pp. 8-13.

136. Skalak C.S., Shonkwiler R., Babar S., Aral M. Annealing a genetic algorithm over constraints, SMC, 1998.

137. Smith A., Tate D. Genetic optimization using a penalty function, Proceedings of the fifth International Conference on Genetic Algorithms, Morgan Kaufmann, 1993, pp. 499-503.

138. Smith A.E., Coit D.W. Constraint handling techniques penalty functions, Handbook of Evolutionary Computation, chapter C 5.2. Oxford University Press and Institute of Physics Publishing, 1997.

139. Stepniewski S.W., Keane A.J. Pruning back-propagation neural networks using modern stochastic optimization techniques, Neural Comput. Appl. 5, 1997, pp. 76-98.

140. Storn R., Price K. Differential Evolution A Simple and Efficient Heuristic for global Optimization over Continuous Spaces. Journal of Global Optimization, 11(4), 1997, pp. 431-359.

141. Takagi H. Introduction to Fuzzy Systems, Neural Networks, and Genetic Algorithms, Intelligent Systems: Fuzzy Logic, Neural Networks, and Genetic Algorithms, Ch.l, pp. 1-14, 1997.

142. Takagi T., Sugeno M. Fuzzy identification of systems and its application to modeling and control. IEEE Trans Syst Man Cybern 15(1), 1985, pp. 116-132.

143. Tano S., Oyama T., Arnould T. Deep combination of Fuzzy Inference and Neural Network, in Fuzzy Inference, Fuzzy Sets and Systems, 82(2), 1996, pp. 151-160.

144. Thrift P. Fuzzy logic synthesis with genetic algorithms. In: Proceedings of 4th international conference on genetic algorithms (ICGA'91), 1991., pp. 509-513.

145. Turing A.M. Computing Machinery and Intelligence, 1950, http://abelard.org/turpap/turpap.htm.

146. Turing Machine, 2004, http://www.turing.org.uk/turing/

147. Valenzuela-Rendon M. The fuzzy classifier system: a classifier system for continuously varying variables. In: Proceedings of 4th international conference on genetic algorithms (ICGA'91), 1991, pp. 346-353.

148. UCI Machine Learning Repository http://kdd.ics.uci.edu/

149. Valle Y., Venayagamoorthy G.K., Mohagheghi S., Hernandez J.-C., Harley R.G. Particle Swarm Optimization: Basic Concepts, Variants and Applications in Power Systems, IEEE transactions on evolutionary computation, vol. 12, no. 2, April 2008.

150. Wang L.X. Fuzzy systems are universal approximators. In Proceedings of the IEEE international conference on fuzzy systems, 1992, pp. 1163-1170.

151. Wilson S. Classifier fitness based on accuracy. Evol Comput 3(2), 1995, pp. 149-175.

152. Xu L. Rival penalized competitive learning, Scholarpedia, 2007.

153. Yager R.R., Filev D.P. Essentials of fuzzy modeling and control. Wiley, New York, 1994.

154. Yang J.R. Neuro-fuzzy and soft computing, Prentice-Hall, 1997.

155. Yang X.S. Firefly algorithms for multimodal optimization, in: Stochastic Algorithms: Foundations and Applications, SAGA 2009, Lecture Notes in Computer Sciences, Vol. 5792, 2009, pp. 169-178.

156. Yang X.S., Deb S. Cuckoo search via L'evy flights, Proceeings of World Congress on Nature & Biologically Inspired Computing (NaBIC 2009, India), IEEE Publications, USA, 2009, pp. 210-214.

157. Yao X. Evolving artificial neural networks, Proc. IEEE 87 (9 Suppl. 1), 1999, pp. 423-1447.

158. Yeniay O. Penalty function methods for constrained optimization with genetic algorithms, Mathematical and Computational Applications, Vol. 10, No. 1, 2005, pp. 45-56.

159. Zadeh L.A. Fuzzy Logic and Soft Computing: Issues, Contentions and Perspectives, In: Proc. of IIZUKA'94: Third Int.Conf. on Fuzzy Logic, Neural Nets and Soft Computing, Iizuka, Japan, 1994, pp. 1-2.

160. Zadeh L.A. Fuzzy Sets. Information and Control, 8, 1965, pp. 338353.

161. Статьи в ведущих рецензируемых научных журналах и изданиях.

162. Семенкин Е.С., Шабалов A.A. Система автоматизированного проектирования коллективов интеллектуальных информационных технологий для задач анализа данных // Программные продукты и системы. -№4 (100).-2012.-С. 51-54.

163. Shabalov A.A. Application of Neuro-Fuzzy Systems in Bank Scoring Problems // Vestnik. Scientific Journal of Siberian State Aerospace University named after academician M. F. Reshetnev. № 4 (44). - 2012.

164. Публикации в сборниках трудов конференций.

165. Соловьева, 2012. С. 69-79.

166. Шабалов А.А., Семенкин Е.С., Ефимов С.Н. Коллективные технологии интеллектуального анализа данных. Saarbruecken: LAMBERT Academic Publishing, 2012.- 100 с.

167. Shabalov A., Semenkin E., Galushin P. Integration of Intelligent Information Technologies Ensembles for Modeling and Classification // Hybrid Artificial Intelligence Systems. Lecture Notes in Computer Science, Volume 7208/2012, pp. 365-374.

168. Bukhtoyarov V., Semenkin E., Shabalov A. Neural Networks Ensembles Approach for Simulation of Solar Arrays Degradation Process // Hybrid Artificial Intelligence Systems. Lecture Notes in Computer Science, Volume 7208/2012, pp. 186-195.

169. Galushin P., Semenkina O., Shabalov A. Comparative analysis of two distribution building optimization algorithms // Distributed computing and artificial intelligence. Advances in Intelligent and Soft Computing, 2012, Volume 151/2012, pp. 759-766.

170. Шабалов А.А. Автоматизированное проектирование коллективов интеллектуальных информационных технологий // «Решетневские чтения». -Материалы XV Международной научной конференции. Красноярск: СибГАУ, 2011.-Ч. 2-С. 519-520.

171. Шабалов A.A. Система я-ПГ-оп Автоматизированное проектирование интеллектуальных информационных технологий для задач анализа данных // Молодежь и высокие технологии. - Вологда: ВоГТУ, 2010. -С. 55-57.

172. Шабалов A.A. Применение генетических алгоритмов в настройке нейро-нечетких систем // «Решетневские чтения». — Материалы XIII Международной научной конференции. Красноярск: СибГАУ, 2009. - Ч. 2. -С. 472-473.

173. Шабалов A.A. Применение нейро-нечетких систем в задачах моделирования и классификации // Актуальные проблемы авиации икосмонавтики: сб. науч. тр. Всероссийской научно-практической конференции. Красноярск: СибГАУ, 2009. - Т1, С 280.

174. Зарегистрированные программные системы.

175. Шабалов А. А., Семенкин Е.С., Ефимов, С.Н. Система автоматизированного проектирования нейросетевых моделей. М.: Роспатент, 2011. - № государственной регистрации программы для ЭВМ 2011617909 от 10.10.2011.

176. Шабалов А. А., Семенкин Е.С., Ефимов С.Н. Система автоматизированного проектирования систем на нечеткой логике. М.:

177. Роспатент, 2011. № государственной регистрации программы для ЭВМ2011618350 от 24.10.2011.

178. Шабалов A.A., Семенкин Е.С., Ефимов С.Н. Система автоматизированного проектирования нейро-нечетких систем. М.: Роспатент, 2011. - № государственной регистрации программы для ЭВМ2011618351 от 24.10.2011.