автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Гибридные алгоритмы муравьиной колонии для идентификации параметров нечетких систем

005004160

На правах рукописи

ДудннПавел Анатольевич

ГИБРИДНЫЕ АЛГОРИТМЫ МУРАВЬИНОЙ КОЛОНИИ ДЛЯ ИДЕНТИФИКАЦИИ ПАРАМЕТРОВ НЕЧЕТКИХ СИСТЕМ

Специальность 05.13.18 Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

-1 ДЕК 2011

Томск-2011

005004160

Работа выполнена в Томском государственном университете систем управления и радиоэлектроники (ТУСУР)

Научный руководитель -

Официальные оппоненты:

доктор технических наук, профессор Ходашинский Илья Александрович

доктор технических наук, профессор Мицель Артур Александрович (ТУСУР)

кандидат технических наук, доцент Цой Юрий Робертович (Томский государственный политехнический университет)

Ведущая организация -

Иркутский государственный технический университет

Защита состоится 15 декабря 2011 г. в 15 час. 15 мин. на заседании диссертационного совета Д. 212.268.02 при ТУСУР по адресу: 634050, г. Томск, пр. Ленина, 40, ком. 203.

С диссертацией можно ознакомиться в научной библиотеке ТУСУР по адресу: г. Томск, ул. Вершинина, 74.

Автореферат разослан /41 ноября 2011 г.

Ученый секретарь диссертационного совета кандидат технических наук, доцент

Р.В. Мещеряков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы

Моделирование сложных систем осложняется проблемой неточного или неполного описания изучаемого объекта. Одним из решений такой проблемы является нечеткое моделирование.

Нечеткое моделирование применяется при невозможности построения аналитической модели изучаемого объекта, либо при слишком большой сложности такой модели, либо при отсутствии достаточного опыта для построения экспертных систем, либо при недостаточности экспериментальных данных для статистического моделирования.

Нечеткие системы применяются в таких проблемных областях как автоматическое управления, прогнозирование, распознавания образов, принятие решений. Они встроены в огромное количество промышленных изделий, начиная с роботов и систем управления электропоездами, и заканчивая такими потребительскими товарами, как фото- и видеокамеры, кондиционеры стиральные машины и др. Преимуществами нечетких систем является невысокая стоимость разработки, гибкость, интуитивно понятная логика функционирования.

Основная концепция нечеткого моделирования заключается в использовании степени принадлежности, которая является эффективным средством описания поведения плохо формализованных объектов, систем и процессов. Нечеткое моделирование возможно на основе таблицы наблюдений, а также с использованием априорного знания и опыта.

Важной проблемой решаемой, в процессе построения нечеткой системы, является идентификация параметров нечетких лингвистических правил. Решение данной задачи осложняется высокой размерностью, неполнотой и неточностью экспериментальных данных. Актуальной является задача повышения точности вывода нечеткой системы на реальных данных.

Основополагающие результаты в области нечеткого моделирования получили А.Н. Аверкин, И.З. Батыршин, JI.C. Берштейн, Ю.Н. Золотухин, С.М. Ковалев, Л.Г. Комарцова, Ю.И. Кудинов, А.О. Недосе-кин, Ф.Ф. Пащенко, Пытьев Ю.П., В.Б.Тарасов, А.В. Язенин, Н.Г. Ярушкина, Р. Angelov, R. Babuska, A. Bastían, J.C. Bezdek, J. Casillas, J.L. Castro, O. Cordon, D. Dubois, D. Filev, J. González, S. Guillaume, F. Herrera, H. Ishibuchi, U. Kaymak, B. Kosko, R. Krishnapuram, R. Kruse, E.H. Mamdani, J. M. Mendel, S. Oh, W. Pedrycz, H. Prade, M. Sugeno, T. Takagi, H. Tanaka, I. B. Turksen, R.R. Yager, T.Yasukawa,

L.-X.Wang, L. Zadeh. Построение муравьиных алгоритмов идентификации нечетких систем основывалось на трудах M. Dorigo, J. Dreo, L.M. Gambardella, M. Kong, К. Socha, T. Stutzle, P. Tian. Построение алгоритмов дифференциальной эволюции для идентификации нечетких систем основывалось на трудах К. Price, R. Storn.

Анализ литературных источников показал, что представленные результаты по нечеткому моделированию зачастую имеют характер лабораторных исследований, в которых не приводятся убедительные доказательства выбора структуры и параметров нечеткой системы. Отсутствуют пакеты программ с достаточными средствами настройки нечетких систем на основе наблюдаемых данных.

Цель работы

Целью диссертационной работы является повышение точности вывода нечетких систем при умеренном количестве ресурсов за счет построения гибридных методов, использующих алгоритмы муравьиной колонии, дифференциальной эволюции и методы, основанные на производных, а также разработка программного комплекса нечеткого моделирования, позволяющего производить настройку системы на основе наблюдаемых данных.

Для достижения поставленной цели необходимо решить следующие задачи:

1) обзор и анализ существующих решений в области идентификации нечетких систем на основе алгоритмов муравьиной колонии и дифференциальной эволюции;

2) построение гибридных алгоритмов, объединяющих методы муравьиной колонии, дифференциальной эволюции и методы, основанные на производных;

3) создание программного комплекса настройки нечетких систем, реализующего разработанные алгоритмы;

4) проведение исследований разработанных алгоритмов на типовых контрольных примерах;

5) применение разработанного программного комплекса для решения прикладных задач аппроксимации.

Объект и предмет исследования

Объектом исследования является процесс настройки параметров нечетких систем.

Предметом исследования является комплекс алгоритмов и программ идентификации параметров антецедентов и консеквентов правил.

Методы исследования

В диссертационной работе применялись методы искусственного интеллекта, теории нечетких множеств, математической статистики, линейной алгебры и объектно-ориентированного программирования.

Достоверность результатов

Степень достоверности результатов обеспечивается строгостью применения математических методов, результатами проведенных численных экспериментов, которые сопоставлены с данными, полученными другими авторами.

Научная новизна

Научной новизной обладают следующие результаты диссертационной работы:

1. Впервые для решения проблемы идентификации параметров нечетких систем предложены дискретный, непрерывный и прямой алгоритмы муравьиной колонии. Модифицирован непрерывный алгоритм муравьиной колонии, что позволило уменьшить ошибку в 1,5-5,2 раза по сравнению с непрерывным алгоритмом муравьиной колонии.

2. Впервые для настройки параметров нечеткой системы разработаны гибридные алгоритмы, основанные на методах муравьиной колонии, дифференциальной эволюции, модифицированном методе наименьших квадратов и градиентном спуске. Такие алгоритмы исключают недостатки методов, основанных на производных, и недостатки метаэвристи-ческих методов и позволяют повысить точность вывода нечеткой системы минимум в 3 раза по сравнению с начальной ошибкой инициализации.

3. Разработан алгоритм на основе модифицированного метода наименьших квадратов для решения задачи настройки консеквентов нечеткой системы, учитывающий значения таблицы наблюдений, параметры функций принадлежности и нечеткие правила.

4. Впервые для инициализации параметров нечеткой системы предложен алгоритм, основанный на экстремальных значениях таблицы наблюдений, что позволяет для многоэкстремальных таблиц наблюдений задать начальную структуру нечеткой системы и существенно увеличить точность вывода.

Теоретическая значимость

Теоретическая значимость работы заключается в развитии технологии построения нечетких систем. Модифицированные дискретный и непрерывный алгоритмы муравьиной колонии могут быть применены и для решения других задач оптимизации с непрерывно меняющимися параметрами.

Практическая ценность

Разработан программный комплекс создания, модификации и идентификации нечетких систем, на основе разработанных алгоритмов,.

включающий в себя унифицированное представление полученной системы в виде XML-файла для загрузки, хранения и переноса данных в другие программные комплексы, работающие с нечеткими системами.

Разработанные алгоритмы и программные средства использованы для разработки программной среды нечеткого моделирования и идентификации при выполнении проектов РФФИ 06-08-000248 «Основанное на данных нечеткое моделирование технических систем», 09-07-99008 «Исследование и разработка технологии идентификации нечетких моделей на базе метаэвристик и методов, основанных на производных».

Обоснованность предложенных алгоритмов подтверждена использованием их для решения практических задач.

Разработанный программный комплекс используется при выполнении НИР Научно-исследовательского института курортологии и физиотерапии ФМБА Российской Федерации «Немедикаментозное восстановительное лечение участников вооруженных конфликтов и чрезвычайных ситуаций» для назначения комплексов реабилитации пациентам с посттравматическими стрессовыми расстройствами.

Разработанные алгоритмы идентификации нечетких систем исследованы на реальных данных репозитория KEEL (Knowledge Extraction based on Evolutionary Learning) - http://sci2s.ugr.es/keel.

Разработанные алгоритмы идентификации нечетких систем на основе таблиц наблюдений используются при проведении лабораторных работ по дисциплине «Базы знаний» на кафедре автоматизации обработки информации Томского Государственного университета систем управления и радиоэлектроники.

Часть программно-инструментальных средств передана в отраслевой фонд алгоритмов и программ Министерства образования Российской Федерации (номер государственной регистрации 50200702397).

Основные защищаемые положения

1. Алгоритм инициализации консеквентов нечетких правил на основе модифицированного метода наименьших квадратов, позволяет уменьшить ошибку нечеткой системы в 1,17-8,5 раз по сравнению с алгоритмом диффузии и алгоритмом формирования консеквентов по ближайшему значению из таблицы наблюдений.

2. Алгоритм формирования базы нечетких правил на основе учета экстремумов таблиц наблюдений генерирует только корректно заданные параметры нечетких моделей и позволяет уменьшить время настройки нечетких моделей по сравнению со случайным формированием базы правил, а также позволяет задать начальную структуру нечеткой системы.

3. Дискретный, непрерывный и прямой алгоритмы муравьиной колонии уменьшают начальную ошибку нечеткого вывода более чем в 1,38 раз по сравнению с начальной ошибкой инициализации. Модифицированный непрерывный алгоритм муравьиной колонии позволяет повысить точность вывода по сравнению с непрерывным алгоритмом для параметрической идентификации нечетких моделей в 1,5-5,2 раза,

4. Гибридные алгоритмы, основанные на алгоритмах муравьиной колонии, алгоритме дифференциальной эволюции, модифицированном методе наименьших квадратов и градиентном спуске, позволяют повысить точность вывода нечеткой системы на порядок по сравнению с использованием методов по отдельности и дают меньшую ошибку на некоторых типовых контрольных примерах, по сравнению с алгоритмами предлагаемыми другими авторами.

5. Программный комплекс, позволяющий настраивать нечеткие модели, как на основе наблюдаемых данных, так и на основе знаний эксперта, в отличие от известных систем нечеткого моделирования, которые ориентированы в большей степени на знания эксперта, чем на реальные данные.

Апробация работы

Основные положения работы докладывались и обсуждались на Томском IEEE семинаре "Интеллектуальные системы моделирования, проектирования и управления"; на семинаре кафедры АОИ ТУ СУР; на Томском семинаре по вычислительному интеллекту; на XLV и XLVI Международных научных конференциях «Студент и научно-технический прогресс», г. Новосибирск, (2007, 2008 гг.); на Междуна-. родной научно-технической конференции «Интеллектуальные системы» (IEEE AIS'07); на VII Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии» (2009 г.); на Всероссийской конференции по вычислительной математике КВМ-2009, г. Новосибирск, 2009 г; на Всероссийской конференции с элементами научной школы для молодежи «Проведение научных исследований в области обработки, хранения, передачи и защиты информации»: сборник научных трудов; на Всероссийской научно-технической конференции «Научная сессия ТУ СУР», г. Томск, 2007, 2008, 2009, 2010, 2011 гг.

Публикации по теме работы

По теме диссертации опубликовано 24 печатные работы, из них четыре - в периодических изданиях, рекомендованных ВАК России для публикации научных работ, получено свидетельство об официаль-

ной регистрации подсистем разработанного программного комплекса в ОФАП, одно методическое пособие.

Личный вклад автора

Постановка задачи, а также подготовка материалов к печати велась совместно с научным руководителем. Основные научные результаты получены лично автором. Автором самостоятельно разработан комплекс программ настройки нечетких систем.

Сгруюура и объем работы

Диссертационная работа состоит из введения, пяти глав и заключения. Объем работы составляет 180 страниц. Список литературы содержит 93 наименования.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы исследования, сформулирована цель работы, изложены полученные автором основные результаты проведенных исследований, показана их научная новизна, теоретическая и практическая значимость, отражены основные положения, выносимые на защиту.

В первой главе производится обзор проблемы исследования.

Множество нечетких «ЕСЛИ-ТО» правил представляют отображение вход-выход нечеткой системы. Каждое правило состоит из двух частей: антецедента и консеквента. Антецедент содержит утверждение относительно значений входных переменных, в консеквенте указывается значение, которое принимает выходная переменная.

Правила нечеткой системы типа синглтон имеют следующий вид: правило i: ЕСЛИ x¡ =Аи И х2 = A2¡ И...И хт = Ami ТО y = r¡, где Ají - лингвистический терм, которым оценивается переменная Xj, а выходу оценивается действительным числом r¡.

Нечеткая система осуществляет отображение F: -» Я , заменяя оператор нечеткой конъюнкции произведением, а оператор агрегации нечетких правил - сложением. Отображение F для системы типа синглтон определяется формулой:

R

(*1 )-МА2,(Х2)--- Маш (X ) • Г, F(x) = -bL--

£ Мли (*i ) • Мли(х2)1 ■-" Млы (*« )

ы

где х = >••■> Х„]Т <= W", R - количество правил нечеткой системы, m - количество входных переменных в нечеткой системе, pAji - функция принадлежности нечеткой области Ад.

При построении нечетких систем различают два основных этапа: идентификацию структуры и настройку параметров нечеткой системы. Идентификация структуры - определение таких характеристик нечеткой системы, как количество лингвистических термов, на которое разбиты входные и выходные переменные, а также число нечетких правил. Настройка параметров - это определение неизвестных параметров антецедентов и консеквентов нечетких правил путем оптимизации работы нечеткой системы по заданному критерию.

Для настройки параметров нечетких систем используются две группы методов. Первая группа - классические методы оптимизации, основанные на производных, например метод наименьших квадратов, градиентный метод. Такие методы обладают высокой скоростью сходимости, но они имеют тенденцию сходиться к локальным оптимумам.

Вторая группа методов - метаэвристические алгоритмы, такие как алгоритмы муравьиной колонии, алгоритм дифференциальной эволюции, генетические алгоритмы. Это методы грубой настройки, требующие больших временных ресурсов. Кроме того, применение метаэври-стик не гарантирует нахождения оптимального решения и, как правило, связано с эмпирической настройкой параметров используемых алгоритмов.

Использование гибридных алгоритмов позволит объединить преимущества метаэвристических методов с преимуществами методов, основанных на производных. Такое объединение повысит качество решений при умеренном количестве ресурсов и за приемлемое время.

Пусть дано множество обучающих данных (таблица наблюдений) {(хк\ tk), к = тогда ошибка (критерий оптимизации), вычисля-

ется по следующей формуле:

±{h~F{xk))2

MSE = ¿=1--0)

К

Проблема идентификации сводится к проблеме поиска минимума заданной функции в многомерном пространстве, координаты которого соответствуют параметрам нечеткой системы.

Во второй главе приводятся разработанные алгоритмы настройки нечетких систем.

В работе предлагается следующая последовательность настройки нечетких систем: 1) задание количества термов лингвистических переменных; 2) инициализация параметров нечеткой системы: задание структуры базы правил с помощью субъективного разделения данных; задание параметров антецедентов правил с помощью алгоритма инициализации, основанного на экстремальных значениях таблицы наблюдений; инициализация консеквентов правил на основе модифицированного метода наименьших квадратов; 3) настройка параметров нечеткой системы одним из метаэвристических, основанных на производных или гибридных алгоритмов.

В алгоритме инициализации функций принадлежности, на основе экстремальных значения таблицы наблюдений ищутся точки в таблице наблюдений являющиеся экстремумами в заданной окрестности. Далее на основе значений в этих точках строятся треугольные ФП. Данный алгоритм кроме инициализации параметров, задает структуру базы правил.

Метод наименьших квадратов используется в работе для инициализации и настройки параметров консеквентов. Здесь минимизируется сумма квадратов отклонений значений, полученных в результате нечеткого вывода, от наблюдаемых данных.

В =

л

&

ы

т

ПКы

м

к К

1=1 м

Л. *=1

ЕКы

/ _

ЕГК^

¡=1 м

Х=

1гк

А=к]=

м

т т

у=1 И

/г т

\2

£ГК(*у*)

/=1 У=1

где .у,г = 1..Л.

Тогда консеквенты вычисляются по следующей формуле:

X = А"1 х В.

Если матрица А вырожденная, то получить решения данным алгоритмом не возможно. Для решения этой проблемы предложен модифицированный метод наименьших квадратов.

Выявлены две ситуации вырожденности матрицы. Первая, если г'-й столбец/строка матрицы нулевой, значит г'-му правилу не принад-

лежит ни одна точка таблицы наблюдений. Вторая, если г'-й столбец/строка матрицы линейно зависим с j-м, значит г'-е и у'-е правило используют одинаковый набор точек из таблицы наблюдений. Для решения описанных ситуаций предлагается исключать из матрицы А, векторов В и X г'-й столбец/строку. Если ошибка аппроксимации, полученная в результате модификации, меньше текущей, то сохраняем полученные консеквенты.

В работе использованы следующие методы: основанные на производных — градиентный метод, метод наименьших квадратов, и мета-эвристические — алгоритмы муравьиной колонии (дискретный, непрерывный и прямой) и алгоритм дифференциальной эволюции.

Основу дискретного алгоритма муравьиной колонии представляет полный ориентированный граф. Веса дуг графа - это нормированные параметры функций принадлежности нечеткой системы. Задача каждого муравья пройти столько дуг, сколько параметров необходимо оптимизировать. Муравьи в алгоритме делятся на колонии, каждая колония муравьев отвечает за оптимизацию параметров своей функции принадлежности. В качестве целевой функции выступает выбранная ошибка нечеткой системы.

Шаг 1. Задать начальные параметры алгоритма и нечеткой системы.

Шаг 2. Задать популяции муравьев в колониях.

Шаг 3. Для всех муравьев текущей колонии определить три дуги, пропорционально количеству феромона.

Шаг 4. Передать в нечеткую систему значения параметров функций принадлежности, определенных муравьями текущей колонии, и вычислить ошибки. Если параметры, переданные муравьем в нечеткую систему, лучше текущих, то сохранить новые значения параметров.

Шаг 5. Если имеется следующая колония, то сделать ее текущей и перейти на шаг 3, иначе перейти на шаг 6.

Шаг 6. Для выбранной колонии обновить количество феромона на

дугах + = £Дг*(/)-/?> где ^(t) = Q/Lk(t), если

k=\..M

муравей проходил дугу (/,/), Lk(í) - значение ошибки полученных к-и муравьем, р - коэффициент снижения интенсивности феромона, значения которого лежат в интервале [0,1], М- количество муравьев, Q -количество феромона у муравья.

Шаг 7. Для выбранной колонии вычислить количество испаренного феромона Ту 0 + 1) = ту (t) • (l - р) ■

Шаг 8. Если условие окончание работы алгоритма выполнено, то закончить, иначе перейти к шагу 2.

В непрерывном алгоритме муравьиной колонии выбор, который делает муравей, не ограничивается конечным множеством, здесь дискретное распределение заменяется непрерывным, заданное функцией плотности вероятности с Гауссовым ядром. Муравьи в алгоритме делятся на колонии, каждая колония муравьев отвечает за оптимизацию параметров своей функции принадлежности. Каждой колонии муравьев соответствует свой архив решений, в которой к строк. Каждая строка архива решений содержит: найденное муравьем решение 0, = {в},

}, ошибку аппроксимации нечеткой системы и вес решения. Решения в архиве упорядочены согласно критерию оптимизации.

Шаг 1. Задать начальные параметры алгоритма и нечеткой системы.

Шаг 2. Сгенерировать популяцию муравьев в колониях. Шаг 3. Сгенерировать к случайных решений, для всех архивов решений с последующим оцениванием и ранжированием. Шаг 4. Найти значения вектора весов

<х>1=е /(2? к ) /(дАл/2я") , где ц - задаваемый параметр алгоритма. Сделать текущим первого муравья первой колонии.

Шаг 5. Для текущего муравья текущей колонии вычислить номер I, используемой функции Гаусса пропорционально весу решению. Определить параметры выбранной функции Гаусса.

Среднеквадратическое отклонение равно а\ = £ (¡0) - <9/1Д -1)

7=1..*

(£>0 задаваемый параметр алгоритма), математическое ожидание

равно <9/. Сгенерировать N случайных величин {б1/1, в*1,..., б[ы } на основе полученных функций.

Шаг 6. Найти ошибку вывода нечеткой системы при параметрах полученным муравьем, если ошибка меньше текущей, то сохранить новые параметры.

Шаг 7. Добавить в архив новое решение, ранжировать архив, удалить из архива худшее решение.

Шаг 8. Если в текущей колонии имеется следующий муравей, то сделать его текущим и перейти к шагу 5, иначе перейти на шаг 9.

Шаг 9. Если имеется следующая колония, то сделать текущим первого муравья в этой колонии и перейти на шаг 5, иначе перейти на шаг 10.

Шаг 10. Если условие окончание работы алгоритма выполнено, то закончить, иначе сделать текущим первого муравья первой колонии и перейти к шагу 5.

Модификация непрерывного алгоритма муравьиной колонии заключается в следующем:

1) при инициализации архива решений, добавляется текущее состояние нечеткой системы;

2) алгоритм проверяет ошибку на сходимость. При вычислении ошибки определяется изменилась ли она по сравнению с предыдущей. Для этого сравнивается некоторое количество значащих цифр у текущей и предыдущей ошибки. Если определено, что ошибка не изменяется и количество таких результатов превысило максимальное, то увеличивается на единицу количество сравниваемых значащих цифр. Такой подход учитывает порядок текущей ошибки при сравнении с предыдущей и дает возможность построить архивы решений способные уменьшать ошибку вывода, благодаря увеличению количеству значащих цифр;

3) если результат сходимости ошибки положительный, то архивы решений обновляются. Обновление происходит следующим образом: в архив решений добавляется текущее состояние нечеткой системы, что точно не уменьшает ошибку алгоритма; добавляются лучшие решения на ранних стадиях, чтобы включить в архивы заранее известно лучшие решения; остальные решения генерируются случайными, чтобы алгоритм имел возможность найти новые решения.

В прямом алгоритме муравей отвечает за вычисление значений закрепленного за ним параметра, поэтому муравьев в алгоритме столько, сколько параметров нечеткой системы. Каждый муравей создает свое решение, генерируя нормально распределенное действительное число N( ft, сг;). В алгоритме используются два вида феромонов: первый связан с центрами нормальных распределений ц, второй с разбросом о. Количество феромона определяет значения параметров ц и о.

Шаг 1. Сгенерировать N муравьев, инициализировать для них начальные параметры. Сделать текущим первого муравья.

Шаг 2. Для текущего муравья вычислить значение параметра di = (Tj rand (rand случайное число в интервале [0;1]). Вычислить шаг

stf= dsI K(K—задаваемый параметр алгоритма, целое число).

Шаг 3. Для текущего /-го муравья, увеличивать значение оптимизируемого параметра 6> на величину шага до <9, + dh При каждом увеличении вычислять ошибку вывода.

Шаг 4. Аналогично шагу 3, но уменьшать до значения 0{ - dt.

Шаг 5. В качестве нового значения параметра в-, выбрать значение, дающее наименьшую ошибку.

Шаг 6. Если есть следующий муравей, то сделать его текущим и перейти на шаг 2.

Шаг 7. Для всей колонии муравьев выполнить операции испарения ц(/) = (1- р) ц(М), с(/) = (1- р) а(/-1) и нанесения феромона ц (?) = ц {() + р е ((), о (/) = а (/) + р | в (/) - ц

Шаг 8. Если с/ = ^ (2сгу. /Ъ, - а; < с/г (с/г - некоторое

критическое значение, параметр алгоритма), то вернуть вектор параметров о в начальное состояние.

Шаг 9. Если условие окончания работы алгоритма выполнено, то КОНЕЦ, иначе сделать текущим первого муравья и перейти на шаг 2.

В методе дифференциальной эволюции, также как в генетическом алгоритме генерируется некоторое множество хромосом или векторов параметров. Множество векторов-хромосом называют поколением. На каждой итерации порождается новое поколение, полученное из предыдущего применением специальной процедуры перехода, объединяющей в себе операции мутации и кроссовера. Число векторов в каждом поколении неизменно и является параметром метода.

Градиентный метод в практике обучения нечетких правил используется давно, в нашем случае он используется в гибридных алгоритмах. Суть метода заключается в том, что последующее приближение функции получается из предыдущего движением в направлении, противоположном направлению градиента целевой функции. При настройке параметров нечетких моделей целевой функцией является среднеквадратичная ошибка, а вектор параметров определен на множестве параметров антецедентов и консеквентов правил.

Разработаны гибридные алгоритмы включающие, основанные на производных (градиентный метод, метод наименьших квадратов) и метаэвристические (муравьиной колонии и дифференциальной эволюции) алгоритмы. Гибридные алгоритмы объединяют преимущества этих двух групп.

Общая схема гибридных алгоритмов представлена на рисунке 1. На первом этапе параметры функций принадлежности настраиваются одним из метаэвристических алгоритмов, а консеквенты - методом наименьших квадратов. На втором этапе параметры функций принадлежности и консеквенты настраиваются градиентным методом.

В работе предлагается три варианта гибридизации. В первом, ме-таэвристическим алгоритмом является непрерывный алгоритм муравьиной колонии, во втором прямой. В третьем участвуют непрерыв-

ный алгоритм муравьиной колонии и алгоритм дифференциальной эволюции.

Рис. 1. Общая схема гибридизации (МНК — метод наименьших квадратов, ГМ - градиентный метод, ФП - функция принадлежности)

Такой подход исключает недостаток основанных на производных методов - неспособность проходить локальные минимумы, и недостаток метаэвристических алгоритмов - не всегда точное попадание в глобальный оптимум.

В третьей главе рассматриваются вопросы проектирования и реализации программного комплекса идентификации нечетких систем на основе метаэвристических, основанных на производных и гибридных методов, приведена структурная схема программного комплекса, дано описание входящих в комплекс классов и модулей, приведена схема их взаимодействия (рис. 2). Программный комплекс создания, модификации и настройки НС реализован в среде разработки Borland Developer Studio 2006, на языке С#.

Разработанный программный комплекс состоит из четырех основных и одного дополнительного модулей, каждый модуль состоит из блоков - набор классов для решения соответствующих задач. Основным модулем является «Нечеткая система», с него начинается процесс построения нечеткой системы. Инициализация начальных функций принадлежности и консеквентов выполняется с помощью блоков «Инициализация параметров ФП» и «Инициализация параметров консеквентов» соответственно. Для параметрической идентификации построенной нечеткой системы используется модуль «Идентификация параметров НС», в котором реализованы предлагаемые в диссертационной работе алгоритмы.

Модуль «Инициализация параметров ФП»

Блок «Случайная инициализация»

Блок р «Инициализация по экстремумам» Блок «Равномерная инициализация»

3

Модуль «Нечеткая система»

Блок «Функции р принадлежности»

Блок «База правил»

Блок «Таблица наблюдений и результаты»

ю

о

Модуль «Инициализация параметров консеквентов»

Блок «Механизм нечеткого вывода»

Блок «Инициализация по ТН»

Блок «Инициализация алгоритмом диффузии»

N

О

Модуль «Прогнозирование лечения пациентов»

Блок «Комплекс ^

нечетких аппроксиматоров»

Блок «Автоматическая настройка параметров алгоритмов»

Модуль «Идентификация параметров НС»

£г? Блок «Дискретньи р АМК» Блок «Модифицированный непрерывный АМК» к Блок ^ «Градиентный метод»

Блок «Прямой ^ АМК»

Блок «Модифицированный МНК»

Блок «Алгоритм ^ ДЭ» Блок «Гибридные алгоритмы»

Рис. 2. Схема взаимодействия модулей программного комплекса идентификации нечетких систем, где ТН - таблица наблюдений, ФП — функция принадлежности, АМК - алгоритм муравьиной колонии, ДЭ - дифференциальная эволюция, МНК - метод наименьших квадратов

Значок «В» на рисунке 2 означает, что для данного модуля или блока реализована работа с файлами: сохранение и загрузка параметров. Все файлы сохраняются в формате хт1. Значок «Р» означает, что для данного блока реализована форма (интерфейс) с настройками его параметров.

Для сохранения параметров нечеткой системы (модуль «Нечеткая система») предложена структура унифицированного представления данных нечеткой системы, описаны теги хт1 файла и их атрибуты:

FuzzySystem </—корневой тег — Нечеткая система~>

Variables: Count <!—массив ЛП~>

о Variable: Name, Min, Мах <!—ЛП<имя, границы>~>

• Terms: Count «.—массив ФП->

Term: Name, TermType </—ФП<имя, тип ФП>—>

о Params <!—массив параметров ФП—>

■ Param: Number, Value <!—параметр ФП—> Rules: Count <!—массив правил в БП~>

о Rule: Antecedent, Consequent <!—правило в БП~>

• Antecedent <!—массив AntecedentPair -->

AntecedentPair: Variable, Term </— <ЛП, ФП>-> Table: Count </—таблица наблюдений—>

о Row </—строка ТН—массив Cells —>

• Cells <!—массив значений строки ТН—>

Cell: VarName, Value <!— <имя ЛП, значение входа>->

" Result: VarName, Value <!—значение выхода—> где ЛП - лингвистическая переменная, БП - база правил.

Такое представление нечеткой системы позволит переносить настроенные экземпляры систем между программными средами, что даст возможность сравнивать работу разных реализаций сред, а также упростит совместное изучение и работу над нечеткими системами для людей использующих разное программное обеспечение, и решающих схожий круг задачи, работающих над схожими проектами.

Четвертая глава содержит описание экспериментов над нечеткими моделями и алгоритмами настройки.

Для выявления оптимальных параметров алгоритма настройки нечеткой системы было проведено исследование влияния параметров разработанных алгоритмов на ошибку нечеткой системы. Суть эксперимента заключалась в аппроксимации при помощи нечеткой системы следующих тестовых функций:

1)/Oi,x2) = *i -sin(xj), х,,х2 е[-я/2, л/2];

2)/fo, ^) = sin(2 • х, / я) sin(2 - х, / я), е[-5,5];

* б [0,1]

3) /(X) = (1 +10 - ехр (-100 - - о, 7)М)Г

х 4 jc + 0,1

4)/(*i,*1) = Cl+JÍ4+JÍu)1, е[1, 5]

5)/(x,,x2,x3) = l+x°'s +x¡' +х~''\ х1,х2,х3 е[1, 5]

Также эксперименты проверялись на данных репозитория KEEL: ele-2, diabet и laser. Все задачи репозитория KEEL, представляют реальные данные. Каждая задача разбита на 5 частей, каждая из которых в свою очередь разбита на обучающую и тестовую выборки (80% на 20%). Для работы с ними настройка нечеткой системы проводилась на обучающей выборке, сравнение MSE (mean square error) на обеих.

Результаты экспериментов для некоторых функций представлены в табл. 1.

Таблица 1

Значения М8Е аппроксимации функций при настройке разработанными

алгоритмами и алгоритмами других авторов

Тестовая функция алгоритм/автор количество правил MSE

Z.-J.Lee неизвестно менее 0,001

2 первый гибридный алгоритм 16 3,49Е-06

второй гибридный алгоритм 16 4,56Е-05

третий гибридный алгоритм 16 8,28Е-12

S. Mitaim и В. Kosko 12 1,426

D. Lisin and М.А. Gennert 12 0,247

3 первый гибридный алгоритм 12 0,054

второй гибридный алгоритм 12 0,0522

третий гибридный алгоритм 12 0,0447

I. Rojas и др 6 0,079

M. Sugeno и T. Yasukawa 25 0,0085

К. Nozaki и др 25 0,026

You-Wei Teng и др 4 0,016

4 Z.-J.Lee 3 0,0028

H Wang, и др. 3 0,0052

G. Tsekouras и др. 6 0,0108

первый гибридный алгоритм 25 0,00115

второй гибридный алгоритм 25 0,00273

третий гибридный алгоритм 25 0,000302

В результате проведенных экспериментов на аналитических функциях выработаны рекомендации по использованию параметров рассматриваемых методов для решения задачи настройки параметров нечетких моделей.

Сравнения с аналогами на данных репозитория KEEL (ele-2) представлено в табл. 2. Параметр R - это среднее количество используемых правил в базе правил нечеткой системы, MSEtra - MSE обучающей выборки, MSEtst - MSE тестовой выборки, х - среднее для соответствующего параметра, s - среднеквадратическое отклонение для соответствующего параметра.

Таблица 2

Значения MSE аппроксимации данных репозитория KEEL ele-2 при настройке разработанными алгоритмами и алгоритмами других авторов

R MSEtra MSEtst

Автор - алгоритм X X s X s

Wang L., Mendel J. 65 0 112270 1498 112718 4685

Casillas J. -COR-BWAS 65 0 102664 1080 102740 4321

Thrift P. 524 6,4 146305 12991 168472 20135

Casillas J, Martinez-Lopez F. - Pittsburgh 240 21,1 210717 32027 265130 30161

Sanchez L, Couso I. -Fuzzy-GAP 33 0 279166 90017 290062 89155

Casillas J, Martinez-Lopez F. Pitts-DNF min 12,2 0,7 202943 43684 212018 44616

Casillas J, Martinez-Lopez F. Pitts-DNF med 18,6 1,4 86930 3955 99310 12996

Casillas J, Martinez-Lopez F. Pitts-DNF max 32,4 6,6 70207 1658 88017 8968

первый гибридный алгоритм 108 0 67342 1983 75051 4376

третий гибридный алгоритм 108 0 63616 1780 69524 4120

По результатам экспериментов с разработанными алгоритмами, сделаны следующие выводы:

- гибридные алгоритмы на основе метаэвристик и методов, основанных на производных, обеспечивают лучший результат по сравнению с использованием методов по отдельности;

- третий способ гибридизации (использующий две метаэвристики) в большинстве случаев приводит к меньшим ошибкам вывода по сравнению с другими разработанными алгоритмами и аналогами;

- модифицированный метод наименьших квадратов, уменьшает ошибку;

- применение метаэвристик после метода наименьших квадратов, приводит к уменьшению ошибки.

В пятой главе рассмотрено применение разработанных алгоритмов для построения комплекса нечетких аппроксиматоров, задачей ко-

торого является прогнозирование комплекса лечения пациентов на основе имеющейся истории об эффективности различных комплексов.

На вход аппроксиматора поступают гормональные данные больного, например уровень кортизола (KZ), уровень инсулина (IS), индекс адаптивных гормонов (KZIS), гормоны щитовидной железы (ТЗ, Т4, TTG), тестостерон (TST), пролактин (PRL). Выходом является индекс FNO, величина данного индекса определяет эффективность лечения пациента.

Модуль реализованный для решения задачи внедрения представлен на рис. 2. «Прогнозирование лечения пациентов». В блоке «Комплекс нечетких аппроксиматоров» загружаются данные по пяти комплексам из формата Excel. По входным данным формируются обучающая и тестовая выборки. Инициализируются начальные параметры пяти нечетких систем. Настройка каждой нечеткой системы ведется разработанным третьим гибридным алгоритмом по обучающей выборке. Проверка адекватности полученной системы выполняется на обеих выборках. Критерием адекватности является процент верно спрогнозированных результатов лечения. Количество итераций алгоритмов оптимизации вычисляется в блоке «Автоматическая настройка параметров алгоритмов» (рис. 2) в соответствии с временем заданным пользователем.

Произведены серии экспериментов по проверке качества аппроксимации на пяти комплексах лечения (табл. 3-7).

Таблица 3

Результаты по 1-ому комплексу лечения_

Предикторы KZ, IS KZ, TTG, TST TST, KZ, TTG, T4, T3

% по обучающей выборке 88,53 85,32 90,08

% по тестовой выборке 82,72 75,95 73,42

Таблица 4

Результаты по 2-ому комплексу лечения_

Предикторы KZ, IS KZ, TTG, TST TST, T4, TTG, PRL, KZ

% по обучающей выборке 79,57 86,75 84,69

% по тестовой выборке 84,61 83,11 78,43

Таблица 5

Результаты по 3-ому комплексу лечения_

Предикторы KZ,1S KZ, TTG, TST IS, TST, KZ, PRL

% по обучающей выборке 76,04 88,17 87,38

% по тестовой выборке 74,2 75,51 77,24

Таблица 6

Результаты по 4-ому комплексу лечения_

Предикторы К2,1Б кг, ттв, гег ТЗ, ТТв, кг, РШ, Т4

% по обучающей выборке 76,68 84,26 83,67

% по тестовой выборке 75,31 79,43 85,9

Таблица 7 Результаты по 5-ому комплексу лечения

Предикторы кг, /5 кг, тто, тзт /у, тз, тто, кг, РКЬ,

% по обучающей выборке 86,74 84,38 87,51

% по тестовой выборке 77,8 79,48 80,23

Анализ результатов аппроксимации пяти комплексов лечения показал, что процент верно спрогнозированных данных по обучающей выборке не меньше 76.04%, по тестовой 73.42%. Такой результат является приемлемым для проведения прогнозирования комплексов лечения пациентов.

В заключении сформулированы основные научные и практические результаты:

1. Разработан алгоритм инициализации консеквентов нечетких правил на основе модифицированного метода наименьших квадратов, учитывающий значения таблицы наблюдений, параметры функций принадлежности и нечеткие правила. В результате экспериментов получено, что данный алгоритм уменьшает ошибку в 1,17-8,5 раз по сравнению с алгоритмом диффузии и алгоритмом формирования консеквентов по ближайшему из таблицы наблюдений.

2. Разработан алгоритм инициализации параметров нечеткой системы, основанный на экстремальных значениях таблицы наблюдений, что позволяет для многоэкстремальных таблиц наблюдений задать начальную структуру нечеткой системы и существенно увеличить точность вывода.

3. Разработаны и исследованы алгоритмы для параметрической идентификации нечетких систем: дискретный, непрерывный и прямой алгоритмы муравьиной колонии. Модифицирован непрерывный алгоритм муравьиной колонии, что позволяет уменьшить ошибку вывода в 1,5-5,2 раза по сравнению с непрерывным алгоритмом муравьиной колонии,

4. Разработаны гибридные алгоритмы, основанные на алгоритмах муравьиной колонии, методе дифференциальной эволюции, модифицированном методе наименьших квадратов и градиентном спуске. В результате экспериментов получено, что такое объединение повышает качество решений по сравнению с использованием методов

по отдельности. Разработанные алгоритмы на большинстве тестовых данных позволяют уменьшить ошибку аппроксимации по сравнению с алгоритмами, предлагаемыми другими авторами.

5. Разработан программный комплекс создания, модификации и идентификации нечетких систем, на основе разработанных алгоритмов, включающий в себя унифицированное представление полученной системы в виде XML-файла для загрузки, хранения и переноса данных в другие программные комплексы, работающие с нечеткими системами.

6. Разработана и внедрена программная система, позволяющая аппроксимировать ретроспективные показатели пациентов с посттравматическими стрессовыми расстройствами для последующего назначения комплексов реабилитации в Научно-исследовательском институте курортологии и физиотерапии ФМБА Российской Федерации.

Список публикаций по теме работы

В журналах, рекомендованных ВАК:

1. Ходашинский И.А., Лавыгина A.B., Дудин П.А. Биоинспирированные методы параметрической идентификации нечетких моделей // Доклады Томского государственного университета систем управления и радиоэлектроники - 2007.-С.81-92.

2. Ходашинский И.А., Дудин П.А. Параметрическая идентификация нечетких моделей на основе гибридного алгоритма муравьиной колонии // Автометрия. - 2008. - N 5. - С. 24-35.

3. Ходашинский И.А., Горбунов И.В., Дудин П.А. Алгоритмы муравьиной и пчелиной колонии для обучения нечетких систем // Доклады Томского государственного университета систем управления и радиоэлектроники. -2009.-Т. 20, №2.-С. 157-161.

4. Ходашинский И.А., Дудин П.А. Идентификация нечетких систем на основе метода дифференциальной эволюции // Доклады Томского государственного университета систем управления и радиоэлектроники. - 2011. - Т. 23, №1,ч. 1.-С. 178-183.

Другие публикации:

5. Ходашинский И.А., Дудин П.А. Оценивание параметров функций принадлежности на основе алгоритма муравьиной колонии // Труды Международной научно-технической конференции «Интеллектуальные системы» (IEEE AIS'07) Т.1.-М.: Физматлит, 2007.-С. 88-94.

6. Ходашинский И.А., Дудин П.А. Совместное использование алгоритма муравьиной колонии и градиентного метода для идентификации нечетких систем типа синглтон И Первый ежегодный сборник статей по результатам научно-исследовательской деятельности студентов по приоритетным направлениям развития научных исследований ТУСУР — Томск: Томск, гос. ун-т упр. и радиоэлектроники, 2007. - С. 217-224.

7. Дудин П.А. Применение алгоритма муравьиной колонии для идентификации нечетких моделей // Материалы XLV Международной научной конференции «Студент и научно-технический прогресс»: Информационные технологии. Новосиб. гос. университет. Новосибирск, 2007. - С. 188-189.

8. Дудин П.А. Исследование алгоритма муравьиной колонии в задаче параметрической идентификации нечеткой системы // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2007». - Томск: Изд-во «В-Спектр», 2007. -4.1. - С.167—170.

9. Дудин П.А. Непрерывный алгоритм муравьиной колонии в идентификации нечетких моделей // Материалы XLVI Международной научной конференции «Студент и научно-технический прогресс»: Информационные технологии. Новосиб. гос. университет. - Новосибирск, 2008. - С.197-198.

10. Дудин П.А. Непрерывный алгоритм муравьиной колонии в идентификации нечетких систем // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2008». - Томск: Изд-во «В-Спектр», 2008. - 4.2. - С.67-69.

11. Ходашинский И.А., Дудин П.А. Программа идентификации нечетких систем типа синглтон на основе алгоритма муравьиной колонии // Компьютерные учебные программы и инновации. - 2008. - N 3. - С. 79-80.

12. Дудин П.А., Синьков Д.С. Градиентный метод в задаче параметрической идентификации нечетких систем // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2008». - Томск: Изд-во «В-Спектр», 2008. - 4.2. -С.89-91.

13. Корнев H.A., Синьков Д.С., Дудин П.А. Программно-инструментальный комплекс разработки нечетких систем // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2008». - Томск: Изд-во «В-Спектр», 2008.4.2. С.75-78.

14. Ходашинский И.А., Дудин П.А., Лавыгина A.B. Гибридные методы оптимизации параметров нечетких моделей // Труды Международной научно-технической конференции «Интеллектуальные системы» (IEEE AIS'08) Т.2. -М.: Физматлит, 2008. - С. 105-110.

15. Khodashinsky I. A., Dudin P.A. Parametric Fuzzy Model Identification Based on a Hybrid Ant Colony Algorithm // Optoelectronics, Instrumentation and Data Processing. - 2008. - Vol. 44, No. 5. -pp. 402^5-11.

16. Дудин П.А. Алгоритмы муравьиной колонии в идентификации параметров функций принадлежности нечетких систем // Сборник трудов VII Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии». Томск, 25 - 27 февраля 2009 г., ч.1. - Томск: Изд-во СПБ Графике.

17. Ходашинский И.А., Дудин П.А., Гнездилова В.Ю., Лавыгина A.B. Основанные на производных и метаэвристические методы идентификации параметров нечетких моделей // Труды VIII международной конференции "Идентификация систем и задачи управления" SICPRO '08. Москва, 26-30 ян-

варя 2009 г. Институт проблем управления им. В.А. Трапезникова РАН. М: Институт проблем управления им. ВА. Трапезникова РАН, 2009. - С. 501-529.

18. Ходашинский И.А., Дудин П.А. Прямой и непрерывный алгоритмы муравьиной колонии для идентификации параметров нечетких моделей // Интегрированные модели и мягкие вычисления в искусственном интеллекте. Сборник научных трудов V-й Международной научно-технической конференции (Коломна, 20-30 мая 2009 г.). В 2-х томах. Т.1. - М.: Физматлит, 2009 -546 с. (С. 435-442)

19. Ходашинский И.А., Дудин П.А., Синьков Д.С. Алгоритмы обучения нечётких систем на основе методов муравьиной колонии и роящихся частиц // Труды Всероссийской конференции "Знания-Онтологии-Теории"-2009, Т.1., Новосибирск: ЗАО "РИЦ Прайс-Курьер", 2009. - С.24-28.

20. Ходашинский И.А., Дудин П.А., Горбунов И.В., Синьков Д.С. Оптимизация параметров нечетких моделей методами роевого интеллекта // Всероссийская конференция с элементами научной школы для молодежи «Проведение научных исследований в области обработки, хранения, передачи и защиты информации»: сборник научных трудов. В 4 т. Т. 2. - Ульяновск-УлГТУ, 2009. - С. 74-82.

21. Майорова М.В., Дудин П.А. Алгоритм инициализации нечетких систем, основанный на экстремальных значениях таблицы наблюдений // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2010». - Томск: Изд-во «В-Спектр», 2010. -4.2. - С. 107-109.

22. Ходашинский И.А., Дудин П.А. Идентификация нечетких систем на основе прямого алгоритма муравьиной колонии // Труды Двенадцатой национальной конференции по искусственному интеллекту с международным участием КИИ-2010. Т. 2. -М.: Физматлит, 2010. - С. 302-310.

23. Дудин П.А., Горбунов И.В., Боровков A.B. Унифицированное представление параметров нечеткой системы // Материалы докладов Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых «Научная сессия ТУСУР-2011». - Томск: Изд-во «В-Спектр», 2011. - Ч 2. -С. 168-170.

24. Зайцев A.A., Ходашинский И.А., Горбунов И.В., Дудин П.А., Синьков Д.С. Методы вычислительного интеллекта в прогнозировании эффективности немедикаментозного лечения // Материалы V Международной научной конференции (заочной) "Системный анализ в медицине" (САМ 2011) 25-26 мая 2011 г., г. Благовещенск. - С. 25-28.

Диссертант выражает искреннюю благодарность за ценные указания и поддержку научному руководителю д.т.н., профессору Ходашинскому И.А., к.т.н. Лавыгиной A.B., выпускнику каф. АОИ Майоровой М.В.

Тираж 100 экз. Заказ 1120. Томский государственный университет систем управления и радиоэлектроники. 634050, г. Томск, пр. Ленина, 40. Тел. (3822)533018.

Сокращения.

Введение.

Глава 1. Нечеткое моделирование и идентификация. Обзор проблемы исследования.

1.1 Нечеткое моделирование.

1.2 Настройка параметров нечетких систем.

1.3 Методы, основанные на производных.

1.3.1 Метод градиентного спуска.

1.3.2 Метод наименьших квадратов.

1.4 Алгоритм дифференциальной эволюции.

1.5 Алгоритмы муравьиной колонии.

1.5.1 Концепция алгоритмов муравьиной колонии.

1.5.2 Алгоритмы муравьиной колонии применительно к задачам дискретной оптимизации.

1.5.3 Алгоритм муравьиной колонии применительно к задачам непрерывной оптимизации.

1.5.4 Гибридные алгоритмы муравьиной колонии для настройки параметров нечетких систем.

1.6 Пакеты программ нечеткого моделирования.

1.7 Постановка задачи.

Выводы.

Глава 2. Алгоритмическое обеспечение систем нечеткой идентификации. 49 2.1 Алгоритмы инициализации параметров нечеткой системы.

2.1.1 Инициализация параметров функций принадлежности нечеткой системы.

2.1.2 Алгоритм инициализации функций принадлежности, основанный на экстремальных значениях таблицы наблюдений.

2.1.3 Инициализация параметров базы правил нечеткой системы.

2.1.4 Применение модифицированного метода наименьших квадратов для инициализации консеквентов правил.

2.2 Алгоритмы муравьиной колонии для настройки параметров нечетких систем.

2.2.1 Дискретный алгоритм муравьиной колонии.

2.2.2 Непрерывный алгоритм муравьиной колонии.

2.2.3 Модифицированный непрерывный алгоритм муравьиной колонии.

2.2.4 Прямой алгоритм муравьиной колонии.

2.3 Алгоритм дифференциальной эволюции для настройки параметров нечетких систем.

2.4 Алгоритм градиентного спуска с изменяющимся шагом.

2.5 Гибридные алгоритмы настройки параметров нечетких систем.

Выводы.

Глава 3. Программные средства нечеткой идентификации.

3.1 Выбор средства реализации.

3.2 Программный комплекс идентификации параметров нечетких систем.

3.3 Взаимодействие непрерывного и дискретного алгоритмов муравьиной колонии с нечеткой системой.

3.4 Алгоритмы вычисления ошибок нечеткой системы.

3.5 Унифицированное представление данных нечеткой системы.

Выводы.

Глава 4. исследование разработанных алгоритмов.

4.1 Описание тестовых наборов данных.

4.2 Исследование алгоритмов инициализации.

4.3 Исследование дискретного алгоритма муравьиной колонии.

4.4 Исследование модифицированного непрерывного алгоритма муравьиной колонии.

4.5 Исследование прямого алгоритма муравьиной колонии.

4.6 Исследование алгоритма дифференциальной эволюции.

4.7 Исследование гибридных алгоритмов.

4.8 Сравнение модифицированного непрерывного алгоритма муравьиной колонии и немодифицированного непрерывного алгоритма муравьиной колонии.

4.9 Сравнение разработанных алгоритмов с аналогами.

Выводы.

Глава 5. Практическое применение разработанных алгоритмов и программного комплекса.

5.1 Постановка задачи.

5.2 Комплекс нечетких аппроксиматоров.

5.3 Алгоритмическое обеспечение комплекса нечетких аппроксиматоров.

5.4 Исследование эффективности комплекса.

Выводы.

Актуальность работы

Моделирование сложных систем осложняется проблемой неточного или неполного описания изучаемого объекта. Одним из решений такой проблемы является нечеткое моделирование.

Нечеткое моделирование применяется при невозможности построения аналитической модели изучаемого объекта, либо при слишком большой сложности такой модели, либо при отсутствии достаточного опыта для построения экспертных систем, либо при недостаточности экспериментальных данных для статистического моделирования.

Нечеткие системы применяются в таких проблемных областях как автоматическое управления, прогнозирование, распознавания образов, принятие решений. Они встроены в огромное количество промышленных изделий, начиная с роботов и систем управления электропоездами, и заканчивая такими потребительскими товарами, как фото- и видеокамеры, кондиционеры стиральные машины и др. Преимуществами нечетких систем является невысокая стоимость разработки, гибкость, интуитивно понятная логика функционирования.

Основная концепция нечеткого моделирования заключается в использовании степени принадлежности, которая является эффективным средством описания поведения плохо формализованных объектов, систем и процессов. Нечеткое моделирование возможно на основе таблицы наблюдений, а также с использованием априорного знания и опыта.

Важной проблемой решаемой, в процессе построения нечеткой системы, является идентификация параметров нечетких лингвистических правил. Решение данной задачи осложняется высокой размерностью, неполнотой и неточностью экспериментальных данных. Актуальной является задача повышения точности вывода нечеткой системы на реальных данных.

I III II INI I. ( IUI lIllilBilli I Uli II . Ed [ Hiliill I Uli. J ISMmk 7

Основополагающие результаты в области нечеткого моделирования получили А.Н. Аверкин, И.З. Батыршин, JI.C. Берштейн, Ю.Н. Золотухин,

C.М. Ковалев, Л.Г. Комарцова, Ю.И. Кудинов, А.О. Недосекин, Ф.Ф. Пащенко, Пытьев Ю.П., В.Б.Тарасов, A.B. Язенин, Н.Г. Ярушкина, Р. Angelov, R. Babuska, A. Bastian, J.C. Bezdek, J. Casillas, J.L. Castro, O. Cordon,

D. Dubois, D. Filev, J. González, S. Guillaume, F. Herrera, H. Ishibuchi, U. Kaymak, B. Kosko, R. Krishnapuram, R. Kruse, E.H. Mamdani, J. M. Mendel, S. Oh, W. Pedrycz, H. Prade, M. Sugeno, T. Takagi, H. Tanaka, I. B. Turksen, R.R. Yager, T.Yasukawa, L.-X.Wang, L. Zadeh. Построение муравьиных алгоритмов идентификации нечетких систем основывалось на трудах M. Dorigo, J. Dreo, L.M. Gambardella, M. Kong, К. Socha, T. Stützle, P. Tian. Построение алгоритмов дифференциальной эволюции для идентификации нечетких систем основывалось на трудах К. Price, R. Storn.

Анализ литературных источников показал, что представленные результаты по нечеткому моделированию зачастую имеют характер лабораторных исследований, в которых не приводятся убедительные доказательства выбора структуры и параметров нечеткой системы. Отсутствуют пакеты программ с достаточными средствами настройки нечетких систем на основе наблюдаемых данных.

Цель работы. Целью диссертационной работы является повышение точности вывода нечетких систем при умеренном количестве ресурсов за счет построения гибридных методов, использующих алгоритмы муравьиной колонии, дифференциальной эволюции и методы, основанные на производных, а также разработка программного комплекса нечеткого моделирования, позволяющего производить настройку системы на основе наблюдаемых данных.

Для достижения поставленной цели необходимо решить следующие задачи:

1) обзор и анализ существующих решений в области идентификации нечетких систем на основе алгоритмов муравьиной колонии и дифференциальной эволюции;

2) построение гибридных алгоритмов, объединяющих методы муравьиной колонии, дифференциальной эволюции и методы, основанные на производных;

3) создание программного комплекса настройки нечетких систем, реализующего разработанные алгоритмы;

4) проведение исследований разработанных алгоритмов на типовых контрольных примерах;

5) применение разработанного программного комплекса для решения прикладных задач аппроксимации.

Объект и предмет исследования. Объектом исследования является процесс настройки параметров нечетких моделей.

Предметом исследования является комплекс алгоритмов и программ идентификации параметров антецедентов и консеквентов нечетких правил.

Методы исследования. В диссертационной работе применялись методы искусственного интеллекта, теории нечетких множеств, математической статистики, линейной алгебры и объектно-ориентированного программирования.

Достоверность результатов. Степень достоверности результатов обеспечивается строгостью применения математических методов, результатами проведенных численных экспериментов, которые сопоставлены с данными, полученными другими авторами.

Научная новизна. Научной новизной обладают следующие результаты диссертационной работы:

1. Впервые для решения проблемы идентификации параметров нечетких систем предложены дискретный, непрерывный и прямой алгоритмы муравьиной колонии. Модифицирован непрерывный алгоритм муравьиной колонии, что позволило уменьшить ошибку в 1,5-5,2 раза по сравнению с непрерывным алгоритмом муравьиной колонии.

2. Впервые для настройки параметров нечеткой системы разработаны гибридные алгоритмы, основанные на методах муравьиной колонии, дифференциальной эволюции, модифицированном методе наименьших квадратов и градиентном спуске. Такие алгоритмы исключают недостатки методов, основанных на производных, и недостатки метаэвристических методов и позволяют повысить точность вывода нечеткой системы минимум в 3 раза по сравнению с начальной ошибкой инициализации.

3. Разработан алгоритм на основе модифицированного метода наименьших квадратов для решения задачи настройки консеквентов нечеткой системы, учитывающий значения таблицы наблюдений, параметры функций принадлежности и нечеткие правила.

4. Впервые для инициализации параметров нечеткой системы предложен алгоритм, основанный на экстремальных значениях таблицы наблюдений, что позволяет для многоэкстремальных таблиц наблюдений задать начальную структуру нечеткой системы и существенно увеличить точность вывода.

Теоретическая значимость работы заключается в развитии технологии построения нечетких систем. Модифицированные дискретный и непрерывный алгоритмы муравьиной колонии могут быть применены и для решения других задач оптимизации с непрерывно меняющимися параметрами.

Практическая ценность. Разработан программный комплекс создания, модификации и идентификации нечетких систем, на основе разработанных алгоритмов, включающий в себя унифицированное представление полученной системы в виде ХМЪ-файла для загрузки, хранения и переноса данных в другие программные комплексы, работающие с нечеткими системами.

Разработанные алгоритмы и программные средства использованы для разработки программной среды нечеткого моделирования и идентификации при выполнении проектов РФФИ 06-08-000248 «Основанное на данных нечеткое моделирование технических систем», 09-07-99008 «Исследование и разработка технологии идентификации нечетких моделей на базе метаэвристик и методов, основанных на производных».

Обоснованность предложенных алгоритмов подтверждена использованием их для решения практических задач.

Разработанный программный комплекс используется при выполнении НИР Научно-исследовательского института курортологии и физиотерапии ФМБА Российской Федерации «Немедикаментозное восстановительное лечение участников вооруженных конфликтов и чрезвычайных ситуаций» для назначения комплексов реабилитации пациентам с посттравматическими стрессовыми расстройствами.

Разработанные алгоритмы идентификации нечетких систем исследованы на реальных данных репозитория KEEL (Knowledge Extraction based on Evolutionary Learning) - http://sci2s.ugr.es/keel.

Разработанные алгоритмы идентификации нечетких систем на основе таблиц наблюдений используются при проведении лабораторных работ по дисциплине «Базы знаний» на кафедре автоматизации обработки информации Томского государственного университета систем управления и радиоэлектроники.

Часть программно-инструментальных средств передана в отраслевой фонд алгоритмов и программ Министерства образования Российской Федерации (номер государственной регистрации 50200702397).

Основные защищаемые положения.

1. Алгоритм инициализации консеквентов нечетких правил на основе модифицированного метода наименьших квадратов, позволяет уменьшить ошибку нечеткой системы в 1,17-8,5 раз по сравнению с алгоритмом диффузии и алгоритмом формирования консеквентов по ближайшему значению из таблицы наблюдений.

2. Алгоритм формирования базы нечетких правил на основе учета экстремумов таблиц наблюдений генерирует только корректно заданные параметры нечетких моделей и позволяет уменьшить время настройки нечетких моделей по сравнению со случайным формированием базы правил, а также позволяет задать начальную структуру нечеткой системы.

3. Дискретный, непрерывный и прямой алгоритмы муравьиной колонии уменьшают начальную ошибку нечеткого вывода более чем в 1,38 раз по сравнению с начальной ошибкой инициализации. Модифицированный непрерывный алгоритм муравьиной колонии позволяет повысить точность вывода по сравнению с непрерывным алгоритмом для параметрической идентификации нечетких моделей в 1,5-5,2 раза.

4. Гибридные алгоритмы, основанные на алгоритмах муравьиной колонии, алгоритме дифференциальной эволюции, модифицированном методе наименьших квадратов и градиентном спуске, позволяют повысить точность вывода нечеткой системы на порядок по сравнению с использованием методов по отдельности и дают меньшую ошибку на некоторых типовых контрольных примерах, по сравнению с алгоритмами предлагаемыми другими авторами.

5. Программный комплекс, позволяющий настраивать нечеткие модели, как на основе наблюдаемых данных, так и на основе знаний эксперта, в отличие от известных систем нечеткого моделирования, которые ориентированы в большей степени на знания эксперта, чем на реальные данные.

Апробация работы. Основные положения работы докладывались и обсуждались на Томском IEEE семинаре "Интеллектуальные системы моделирования, проектирования и управления"; на семинарах кафедры АОИ ТУ СУР; на Томском семинаре по вычислительному интеллекту; на XLV и XLVI Международных научных конференциях «Студент и научно-технический прогресс», г. Новосибирск, (2007, 2008 гг.); на Международной научно-технической конференции «Интеллектуальные системы» (IEEE AIS'07); на VII Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Молодежь и современные информационные технологии» (2009 г.); на Всероссийской конференции по вычислительной математике КВМ -2009, г. Новосибирск, 2009 г; на Всероссийской конференции с элементами научной школы для молодежи «Проведение научных исследований в области обработки, хранения, передачи и защиты информации»: сборник научных трудов; на Всероссийской научно-технической конференции «Научная сессия ТУСУР», г. Томск, 2007, 2008, 2009, 2010, 2011 гг.;

Публикации по теме работы. По теме диссертации опубликовано 24 печатные работы, из них четыре - в периодических изданиях, рекомендованных ВАК России для публикации научных работ, получено свидетельство об официальной регистрации подсистем разработанного программного комплекса в ОФАП, одно учебно-методическое пособие.

Личный вклад автора. Постановка задачи, а также подготовка материалов к печати велась совместно с научным руководителем. Все основные результаты диссертации получены лично автором. Автором самостоятельно разработан комплекс программ настройки нечетких систем.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав и заключения. Объем работы составляет 180 страниц. Список литературы содержит 93 наименования.

Выводы

1. Построение нечетких аппроксиматоров включает две основных фазы: обучение и проверка правильности построенного аппроксиматора. Обучающая и тестовая выборки формируются из таблицы наблюдений, которая строится на основе загружаемых данных.

2. Анализ результатов аппроксимации показал, что процент верно спрогнозированных данных для обучающей выборки не меньше 76.04%, для тестовой 73.42%.

3. Программный комплекс нечетких аппроксиматоров ретроспективных данных внедрен в Томском Научно-исследовательском институте курортологии и физиотерапии ФМБА Российской Федерации и используется при выполнении НИР «Немедикаментозное восстановительное лечение участников вооруженных конфликтов и чрезвычайных ситуаций» и для назначения комплексов реабилитации пациентам с посттравматическими стрессовыми расстройствами.

11111 1 1(11 »11 Е II 1(1111111111 II I 1ЕШ1Н111У I I I 1М11 1Л1 III III!! I Ш III. 1.(1

ЗАКЛЮЧЕНИЕ

Работа направлена на решение актуальной проблемы разработки технологии построения нечетких систем на основе наблюдаемых данных, имеющей важное значение для решения задач аппроксимации, моделирования и управления. К основным результатам, полученным в данной диссертационной работе, можно отнести следующие:

1. Разработан алгоритм инициализации консеквентов нечетких правил на основе модифицированного метода наименьших квадратов, учитывающий значения таблицы наблюдений, параметры функций принадлежности и нечеткие правила. В результате экспериментов получено, что данный алгоритм уменьшает ошибку в 1,17-8,5 раз по сравнению с алгоритмом диффузии и алгоритмом формирования консеквентов по ближайшему из таблицы наблюдений.

2. Разработан алгоритм инициализации параметров нечеткой системы, основанный на экстремальных значениях таблицы наблюдений, что позволяет для многоэкстремальных таблиц наблюдений задать начальную структуру нечеткой системы и существенно увеличить точность вывода.

3. Разработаны и исследованы алгоритмы для параметрической идентификации нечетких систем: дискретный, непрерывный и прямой алгоритмы муравьиной колонии. Модифицирован непрерывный алгоритм муравьиной колонии, что позволяет уменьшить ошибку вывода в 1,5-5,2 раза по сравнению с непрерывным алгоритмом муравьиной колонии.

4. Разработаны гибридные алгоритмы, основанные на алгоритмах муравьиной колонии, методе дифференциальной эволюции, модифицированном методе наименьших квадратов и градиентном спуске. В результате экспериментов получено, что такое объединение повышает качество решений по сравнению с использованием методов по отдельности. Разработанные алгоритмы на большинстве тестовых данных позволяют нимiнш1111н i е iiIII i тмт\\\й и ■ щщ мин ш т ялшти ! и i 1.

154 уменьшить ошибку аппроксимации по сравнению с алгоритмами, предлагаемыми другими авторами.

5. Разработан программный комплекс создания, модификации и идентификации нечетких систем, на основе разработанных алгоритмов, включающий в себя унифицированное представление полученной системы в виде ХМЬ-файла для загрузки, хранения и переноса данных в другие программные комплексы, работающие с нечеткими системами.

6. Разработан и внедрен программный комплекс, позволяющий аппроксимировать ретроспективные показатели пациентов с посттравматическими стрессовыми расстройствами для последующего назначения комплексов реабилитации в Научно-исследовательском институте курортологии и физиотерапии ФМБА Российской Федерации.

1. Самарский А.А., Михайлов А.П. Математическое моделирование: Идеи. Методы. Примеры. М.: ФИЗМАТЛИТ, 2002 - 320 с.

2. Tron Е., Margaliot M. Mathematical modeling of observed natural behavior: a fuzzy logic approach // Fuzzy Sets and Systems. 2004. Vol. 146 P. 437-450.

3. Леоненков A.B. Нечеткое моделирование в среде MATLAB и fiizzyTECH /

4. A.В. Леоненков. СПб.: БХВ-Петербург. - 2003. - 736 с.

5. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику: Нечеткая кластеризация / С.Д. Штовба, 2002. Режим доступа: http://matlab.exponenta.ru/.

6. Kosko В. Fuzzy systems as universal approximators // IEEE Trans. Comput. -1994.-v. 43.

7. Дудин П.А. Основанные на производных и метаэвристические методы идентификации параметров нечетких моделей / И.А. Ходашинский,

8. B.Ю. Гнездилова, П.А. Дудин, А.В. Лавыгина // Труды VIII международной конференции "Идентификация систем и задачи управления" SICPRO '08. М: Институт проблем управления им. В.А. Трапезникова РАН. 2009. -С. 501-529.

9. Дудин П.А. Биоинспирированные методы параметрической идентификации нечетких моделей / И.А. Ходашинский, П.А. Дудин, А.В. Лавыгина // Доклады Томского государственного университета систем управления и радиоэлектроники. 2007. - С.81-92.

10. Oh S.K. Fuzzy Relation-Based Neural Networks and Their Hybrid Identification /Sung-Kwun Oh, Witold Pedrycz, Ho-Sung Park // IEEE Transactions On Instrumentation And Measurement. 2007. - V. 56, No. 6. - P.2252-2237.

11. Pomares H. Structure Identification in Complete Rule-Based Fuzzy Systems / Hector Pomares, Ignacio Rojas, Jesús González, and Alberto Prieto // IEEE Transactions on Fuzzy Systems. 2002. - V. 10, No. 3. - P. 349-359.

12. Ursema R. K. Parameter identification of induction motors using stochastic optimization algorithms / Rasmus K. Ursema, Pierré Vadstrup // Applied Soft Computing. 2004. - No. 4. - P. 49-64.

13. Vernieuwea H. Comparison of clustering algorithms in the identification of Takagi-Sugeno models: A hydrological case study / H. Vernieuwea, B. De Baetsa, N.E.C. Verhoest. // Fuzzy Sets and Systems. 2006. - No. 157. P. 2876-2896.

14. Ходашинский И.А. Формальнологический метод и аппроксимация Мамдани в нечетком оценивании величин // Автометрия. 2006. № 1. С. 55-67.

15. Emami М. R., Turksen I. В., Goldenberg A. A. A unified parameterized formulation of reasoning in fuzzy modeling and control // Fuzzy Sets and Systems. 1999. Vol. 108. P. 59-81.

16. Khodashinsky I. A., Dudin P.A. Parametric Fuzzy Model Identification Based on a Hybrid Ant Colony Algorithm // Optoelectronics, Instrumentation and Data Processing. 2008. - Vol. 44, No. 5. - pp. 402^11.

17. Ходашинский И.А., Дудин П.А. Параметрическая идентификация нечетких моделей на основе гибридного алгоритма муравьиной колонии // Автометрия. 2008. - N 5. - С. 24-35.

18. Ходашинский И.А., Горбунов И.В., Дудин П.А. Алгоритмы муравьиной и пчелиной колонии для обучения нечетких систем // Доклады Томского государственного университета систем управления и радиоэлектроники. -2009. Т. 20, №2. - С. 157-161.

19. Ходашинский И.А., Дудин П.А. Идентификация нечетких систем на основе метода дифференциальной эволюции // Доклады Томского государственного университета систем управления и радиоэлектроники. — 2011.-Т. 23, №1,ч. 1.-С. 178-183.

20. Ходашинский И.А., Дудин П.А. Оценивание параметров функций принадлежности на основе алгоритма муравьиной колонии // Труды Международной научно-технической конференции «Интеллектуальные системы» (IEEE AIS"07) T.l. М.: Физматлит, 2007. - С. 88-94.

21. Castellano G. A GA-based approach to optimization of fuzzy models learned from data / G. Castellano, A.M. Fanelli, E. Gentile, T. Roselli, // GECCO-2002 Program, NewYork. 2002. - P. 5-8.

22. Dreo J., Petrowski A., Siarry P., Taillard E. Metaheuristics for hard optimization. Methods and case studies. Berlin: Springer, 2006. 369 p.

23. Nunnari G. Modelling air pollution time-series by using wavelet functions and genetic algorithms / G. Nunnari // Soft Computing. Springer-Verlag. 2004. -No 8. - P.173-178.

24. Wang H. Multi-objective hierarchical genetic algorithm for interpretable fuzzy rule-based knowledge extraction / Hanli Wanga, Sam Kwonga, Yaochu Jinb,WeiWei, K.F. Man // Fuzzy Sets and Systems. 2005 - No. 149. -P. 149-186.

25. Hart W.E. Evolutionary Pattern Search Algorithms for Unconstrained and Linearly Constrained Optimization / William E. Hart // IEEE Transactions On Evolutionary Computation. 2001. - V. 5, No. 4, - P.388-397.

26. Pedrycz W. Evolutionary Fuzzy Modeling / Witold Pedrycz, Marek Reformat // IEEE Transactions on Fuzzy Systems. 2003. - V. 11, No. 5. - P. 652-665.

27. Ursema R. K. Parameter identification of induction motors using stochastic optimization algorithms / Rasmus K. Ursema, Pierre Vadstrup // Applied Soft Computing. 2004. - No. 4. - P. 49-64.

28. Garibaldi J.M. Application of Simulated Annealing Fuzzy Model Tuning to Umbilical Cord Acid-Base Interprettion / J. M Garibaldi, E. С Ifeachor // IEEE Transactions On Fuzzy Systems. -1998. -V. 7, No. 1. P. 72-84.

29. Iqbal A. Simulated Annealing Assisted Optimization of Fuzzy Rules for Maximizing Tool Life in High-Speed Milling Process / Asif Iqbal, Ning He, Liang Li, Naeem Ullah Dar // Artificial Intelligence and Applications. 2006. -P. 335-340.

30. Cerradaa M. Dynamical membership functions: an approach for adaptivefuzzy modeling / M. Cerradaa, J. Aguilar, E. Colinac, A. Titli // Fuzzy Sets and Systems. 2005. - No. 152. - P. 513-533.

31. Gaweda A.E. Data-Driven Linguistic Modeling Using Relational Fuzzy Rules / Adam E. Gaweda, Jacek M. Zurada // IEEE Transactions On Fuzzy Systems. -2003.-V. 11,No. l.-P. 121-134.

32. Goldberg D.E. Genetic algorithms in search, optimization and machine learning/ D.E.Goldberg. MA : Addison-Wesley, 1989. - 412 p.

33. Chatteijee A. A Neuro-Fuzzy Assisted Extended Kalman Filter-Based Approach for Simultaneous Localization and Mapping (SLAM) Problems / Amitava Chatteijee and Fumitoshi Matsuno // IEEE TRANSACTIONS ON FUZZY SYSTEMS. 2007. - V. 15, No. 5. - P.984-997.

34. Matia F. The fuzzy Kalman filter: State estimation using possibilistic techniques / Fernando Matia, Agustin Jimenez, Basil M. Al-Hadithi, Diego Rodriguez-Losada, Ramyn Galan // Fuzzy Sets and Systems. 2006 . - No. 157. -P. 2145-2170.

35. Simon D. Sum normal optimization of fuzzy membership functions / Dan Simon // International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. 2002 -V.10, Issue 4. - P.363-384.

36. Evsukoff A. Structure identification and parameter optimization for nonlinear fuzzy modeling / Alexandre Evsukoff, Antonio C.S. Brancoa, Sylvie Galichet // Fuzzy Sets and Systems. 2002. - No. 132. - P. 173 - 188.

37. Wang L. X. Fuzzy basis functions, universal approximation, and orthogonal least-squares learning / L. X. Wang, J. M.Mendel // IEEE Transactions on Neural Networks. 1992. - V. 3. - P. 807-814.

38. Yagiura M. Genetic and Local Search Algorithms as Robust and Simple Optimization Tools / M. Yagiura and T. Ibaraki // Meta-Heuristics: Theory and Applications, eds. I.H. Osman and J.P. Kelly. Kluwer Academic Publishers, Boston. - 1996.-P. 63-82.

39. Брандт 3. Анализ данных. Статистические и вычислительные методы для научных работников и инженеров / Зигмунд Брандт ; пер. с англ. О. И. Волкова; ред. пер. : Е. В. Чепурин. М. : Мир, 2003. - 686 с.

40. Price К. Differential Evolution: A Fast and Simple Numerical Optimizer // Biennial conference of the North American Fuzzy Information Processing society, 1996. P. 524-527.

41. Kenneth V., Price K. Differential Evolution: A Fast and Simple Numerical Optimizer // Biennial conference of the North American Fuzzy Information Processing society, 1996.- P. 524-527 P. 524 - 527

42. Karaboga D., Okdem S. Simple and Global Optimization Algorithm for Engineering Problems: Dierential Evolution Algorithm // Turk. J. Elec. Engin., V. 12, №. 1,2004.-P. 53-60

43. Dorigo M., Maniezzo V., Colorni A. Ant System: Optimization by Colony of Cooperating Agents // IEEE Transaction Systems, Man and Cybernetics. Part B. 1996. V. 26. P. 29-41.

44. Garcia-Martinez C., Cordon O., Herrera F. A taxonomy and an empirical analysis of multiple objective ant colony optimization algorithms for the bi-criteria TSP // European Journal of Operational Research. 2007. Vol. 180. P. 116-148.

45. Casillas J., Cordon O., Fernandez de Viana I., Herrera F. Learning cooperative linguistic fuzzy rules using the best-worst ant system algorithm // International Journal of Intelligent Systems, 2005. Vol. 20. P. 433-452.

46. Джонс M.T. Программирование искусственного интеллекта в приложениях. ДМК Пресс, 2004. 312с.

47. M. Dorigo, L. M. Gambardella, Ant Colony System: A Cooperative Learning Approach to the Traveling Salesman Problem // IEEE Transactions on Evolutionary Computation Vol. 1,1, стр. 53-66, 1997 г.

48. Т. Stützte, H. Hoos, "MAX-MIN Ant System and local search for the traveling salesman problem" // IEEE International Conference on Evolutionary Computation, стр. 309-314, 1997 г.

49. Bernd Bullnheimer, Richard F. Hartl, Christine Strauß, "A new rank based version of the Ant System. A computational study" // Adaptive Information Systems and Modelling in Economics and Management Science, 1, 1997 r.

50. Anthes, H, G., Ant Colony IT, 2001, Computer World <http://www.computerworld.eom/storyba/0,4125 ,NAV47ST061394,00.html> (27 December 2001)

51. Krishnaiyer K., S. Hossein Cheraghi. 2005. Ant Algorithms: Web-Based Implementation and Applications to Manufacturing System Problems. International Journal of Computer Integrated Manufacturing.

52. Bilchev, G., Parmee, I.C., 1995. The ant colony metaphor for searching continuous design spaces. In: Fogarty, T.C. (Ed.), Proceedings of the AISB Workshop on Evolutionary Computation, vol. 993 of LNCS. Springer-Verlag, Berlin, Germany, pp. 25-39.

53. Socha K., Dorigo M. Ant colony optimization for continuous domains // European Journal of Operational Research. 2008. Vol. 185. P. 1155-1173.

54. Monmarcher, N., Venturini, G., Slimane, M., 2000. On how Pachycondyla apicalis ants suggest a new search algorithm. Future Generation Computer Systems 16, 937-946.

55. I ill ■ ■ I ■ J I iik in li in I ii ■ ibm i ii ii (in и i i ■ ii и ti ■ ш и ii in и 11 in i ia i it i 11, i i i< m i и m i i162

56. Juang C.-F., Lu C.-M. Ant Colony Optimization Incorporated With Fuzzy Q-Learning for Reinforcement Fuzzy Control // IEEE Transactions Systems, Man, and Cybernetics. PART A. 2009. Vol. 39, No. 3. P. 597-608.

57. Mucientes M., Casillas J. Quick Design of Fuzzy Controllers with Good Interpretability in Mobile Robotics // IEEE Transactions Fuzzy Systems. 2007. Vol. 15, No. 4. P. 636-651.

58. Tao C.-W., Taur J.-S., Jeng J.-T., Wang W.-Y. A Novel Fuzzy Ant Colony System for Parameter Determination of Fuzzy Controllers // International Journal of Fuzzy Systems. 2009. Vol. 11, No. 4. P. 298-307.

59. Juang C.-F., Lo C. Fuzzy systems design by clustering-aided ant colony optimization for plant control // International Journal of General Systems. 2007. Vol.36, No. 6. P. 623-641.

60. Ходашинский И.А., Дудин П.А., Лавыгина A.B. Гибридные методы оптимизации параметров нечетких моделей // Труды Международной научно-технической конференции «Интеллектуальные системы» (IEEE AIS*08) Т.2. -М.: Физматлит, 2008. С. 105-110.

61. Дудин П.А. Применение алгоритма муравьиной колонии для идентификации нечетких моделей // Материалы XLV Международной научной конференции «Студент и научно-технический прогресс»:

62. Информационные технологии. Новосиб. гос. университет. Новосибирск,2007. С.188-189.

63. Kong M., Tian P. Application of ACO in Continuous Domain / Ed. By L. Jiao et al. ICNC-2006, LNCS 4222, Part II. Berlin, Springer-Verlag, 2006. -P. 126-135.

64. Архангельский А. Я. Delphi 2006. Справочное пособие. Язык Delphi, классы, функции Win32 и .NET. Бином-Пресс, 2006. - 19с.

65. Ходашинский И.А., Дудин П.А. Программа идентификации нечетких систем типа синглтон на основе алгоритма муравьиной колонии // Компьютерные учебные программы и инновации. 2008. - N 3. - С. 79-80.

66. Knowledge Extraction based on Evolutionary Learning. Режим доступа: http://sci2s.ugr.es/keel

67. Лавыгина А.В. Гибридный алгоритм настройки параметров нечетких моделей // Труды Двенадцатой национальной конференции по искусственному интеллекту с международным участием КИИ-2010. Т. 4. -М.: Физматлит, 2010. С. 112-115.

68. Lee Z.-J. A novel hybrid algorithm for function approximation / Zne-Jung Lee // Expert Systems with Applications." 2008? V. 34 P. 384-390.

69. Nozaki K. A simple but powerful method for generating fuzzy rules from numerical data / K. Nozaki, H. Ishibuchi, H. Tanaka // Fuzzy Sets and Systems. 1997.-V. 86.-P. 251-270.

70. Rojas I. Self-organized fuzzy system generation from training examples/ I. Rojas, H. Pomares, J. Ortega, A. Prieto // IEEE Transactions on Fuzzy Systems" 2000Г No. 8 (1).~ P.23-36.

71. Sugeno M. A fuzzy-logic-based approach to qualitative modeling / M. Sugeno, T. Yasukawa//IEEE Transactions on Fuzzy Systems. 1993. V.l, No. f P.7-31.

72. Teng Y.-W. Function approximation via particular input space partition and region-based exponential membership functions / You-Wei Teng, Wen-June Wang, Chih-Hui Chiu // Fuzzy Sets and Systems. 2004 - No. 142. - P. 267-291.

73. Tsekouras G. A hierarchical fuzzy-clustering approach to fuzzy modeling / Tsekouras, H. Sarimveis, E. Kavakli, G. Bafas // Fuzzy Sets and Systems. -2005. No. 150. - P. 245-266.

74. Wang H. Multi-objective hierarchical genetic algorithm for interpretable fuzzy rule-based knowledge extraction / Hanli Wanga, Sam Kwonga, Yaochu Jinb, WeiWei, K.F. Man // Fuzzy Sets and Systems. 2005 - No. 149. -P. 149-186.

75. Aliyari M. Sh. Novel Hybrid Learning Algorithms for Tuning ANFIS Parameters Using Adaptive Weighted PSO / M. Aliyari. Sh, M. Teshnehlab, A. K. Sedigh // IEEE International Conference on Fuzzy Systems. 2007. -P. 111-116.

76. Wang L, Mendel J (1992) Generating fuzzy rules by learning from examples. IEEE Trans Syst Man Cybern 22(6): 1414-1427

77. Thrift P (1991) Fuzzy logic synthesis with genetic algorithms. In: Belew R, Booker L (eds) Proceedings of the 4th international conference on genetic algorithms. Morgan Kaufmann Publishers, San Mateo, pp 509-513

78. Casillas J, Martinez-Lopez F (2008) Mining uncertain data with multiobjective genetic fuzzy systems to be applied in consumer behaviour modelling. Expert Syst Appl (in press). doi:10.1016/j.eswa.2007.11.035

79. Sanchez L, Couso I (2000) Fuzzy random variables-based modeling with GA-P algorithms. In: In Information, uncertainty and fusion. Kluwer, Dordrecht, pp 245-256.

80. Ohno-Machado L. Modeling medical prognosis: Survival analysis techniques // Journal of Biomedical Informatics. 2001. -Vol. 34. - P. 428-439.