автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Методы, алгоритмы и программный комплекс преднастройки и оптимизации параметров нейронечёткой модели формирования баз знаний экспертных систем

На правах рукописи

КОРНИЛОВ Георгий Сергеевич

□034913ВМ

МЕТОДЫ, АЛГОРИТМЫ И ПРОГРАММНЫЙ КОМПЛЕКС ПРЕДНАСТРОЙКИ И ОПТИМИЗАЦИИ ПАРАМЕТРОВ НЕЙРОНЕЧЁТКОЙ МОДЕЛИ ФОРМИРОВАНИЯ БАЗ ЗНАНИЙ ЭКСПЕРТНЫХ СИСТЕМ

05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание учёной степени кандидата технических наук

- 4 ФЕБ 2010

Казань 2010

003491369

Работа выполнена в Казанском государственном техническом университете

им. А.Н. Туполева

Научный руководитель: доктор технических наук, профессор

Глова Виктор Иванович

Официальные оппоненты: доктор технических наук, профессор

Захаров Вячеслав Михайлович

доктор технических наук, профессор Исмагилов Ильяс Идрисович

Ведущая организация: Новгородский государственный

университет имени Ярослава Мудрого

Защита состоится « 26 » февраля 2010 г. в 14 часов на заседании диссертационного совета Д 212.079.01 в Казанском государственном техническом университете им. А.Н. Туполева по адресу: 420111, г. Казань, ул. К. Маркса, д. 10, зал заседаний Учёного совета. Автореферат диссертации размещен на сайте Казанского государственного технического университета им. А.Н. Туполева www.kai.ru

С диссертацией можно ознакомиться в библиотеке Казанского государственного технического университета им. А.Н. Туполева.

Автореферат разослан «_»_20 г.

Учёный секретарь

диссертационного совета

доктор физико-математических наук, профессор

П.Г. Данилаев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

Современные информационные системы анализа больших массивов информации или управления сложными процессами невозможно представить без элементов искусственного интеллекта. Методы интеллектуального анализа данных позволяют строить эффективные модели диагностики, прогнозирования, принятия решений во многих предметных областях человеческой деятельности.

Подобные модели используются в широком классе интеллектуальных информационных систем, особенно в экспертных системах (ЭС), основным элементом которых является база знаний — модель, представленная множеством систематизированных правил, описывающих закономерности в рассматриваемой предметной области. Поэтому проектирование баз знаний является важной задачей при разработке экспертных систем.

Проведенный анализ возможностей нейронечётких модели формирования баз знаний показал, что качество обучения нечеткой нейронной сети (ННС) в значительной степени зависит от выбора количества нечетких гранул для входных лингвистических переменных (ЛП). Кроме того, для использования нечеткой информации, формализованной математическим аппаратом нечёткой логики, необходимы процедуры выбора оптимальных форм и начальной инициализации параметров соответствующих функций принадлежности. По этим причинам для повышения точности аппроксимации экспериментальных данных нечеткими правилами продукций необходим автомагический выбор оптимального количества нечётких гранул входных лингвистических переменных нечеткой нейронной сети и соответствующих форм и параметров их функций принадлежности.

Исследованию в этой области посвящены работы таких ученых как Заде JI.A., Ванг П.П., Рознер Б.С., Студлер Дж., Парми Дж., Хоффман Д., Поспелов Д.А., Аверкин А.Н., Финн В.К., Кобринский Б.А., Загоруйко Н.Г., Ярушки-на Н.Г., Паклин Н.Б., Батыршин И.З., Глова В.И., Аникин И.В., Исмагилов И.И., Катасёв A.C. и др. Однако, несмотря на это, многие вопросы предобработки данных для повышения эффективности работы нечетких нейронных сетей при формировании баз знаний экспертных систем недостаточно рассматривались.

Таким образом, актуальной задачей является разработка эффективных алгоритмов, методики и реализующего ее программного комплекса преднастройки и оптимизации параметров нечёткой нейронной сети для формирования баз знаний экспертных систем. Решению этой задачи посвящено настоящее исследование.

Объект исследования: нейронечеткая модель формирования баз знаний экспертных систем.

Предмет исследования: методы и алгоритмы построения функций принадлежности и кластеризации экспериментальных данных.

Цель работы: повышение точности аппроксимации экспериментальных данных при обучении нечеткой нейронной сети.

Научная задача: разработка методики, формальных алгоритмов и программного комплекса преднастройки и оптимизации параметров нечеткой нейронной сети.

Достижение цели и решение задачи потребовало:

• анализа эффективности методов интеллектуального анализа данных и стратегий получения знаний для экспертных систем;

• анализа существующих методов решения задачи выделения значений лингвистической переменной (задача нечеткого гранулирования информации);

• разработки метода и алгоритма нечеткой кластеризации для определения оптимального числа градаций входных параметров нечеткой нейронной сети;

• разработки алгоритма выбора оптимальной формы и начальных параметров функций принадлежности нечетких гранул;и

• программной реализации алгоритмов преднастройки и оптимизации параметров нечёткой нейронной сети;

• оценки эффективности работы методики;

• эксперимента по формированию баз знаний экспертных систем с учетом преднастройки и оптимизации параметров нейронечеткой модели.

Методы исследования - методы математического моделирования, кластерного анализа, нечёткой логики, искусственных нейронных сетей, мягких вычислений. В качестве инструментальных средств использовалась среда математического моделирования Math Works MatLab 7 и программный комплекс формирования баз знаний экспертных систем «Нечеткая нейронная сеть».

Достоверность полученных результатов обоснована корректным использованием математических методов, строгостью доказательства теорем, результатами математического моделирования на базе профессиональной среды Math Works MatLab 7, результатами экспериментов и испытаний, а также результатами использования материалов диссертации и разработанных программ в государственных организациях.

Научная новизна работы заключается в следующем:

• разработан метод и алгоритм нечеткой кластеризации значений входных параметров нечёткой нейронной сети, исключающий недостатки существующих алгоритмов и применимый в условиях поставленной задачи;

• разработан алгоритм выбора формы и настройки начальных параметров ФП нечетких гранул входных лингвистических переменных.

• предложена методика повышающая эффективность формирования баз знаний для использования в механизмах вывода экспертных систем;

Теоретическая значимость:

• разработаны алгоритмы преднастройки и оптимизации параметров нейронечеткой модели формирования баз знаний экспертных систем.

• доказаны теоремы для основополагающих понятий: отношение а-квази-эквивалентности, порог а-квазиэквивалентности, шкала отношения а-квазиэквивалентности.

• предложена методика, повышения точности аппроксимации экспериментальных данных при обучении нечеткой нейронной сети;

Практическая ценность диссертационной работы заключается в разработке и реализации программного комплекса методики, позволяющего повысить эффективность анализа статистических данных и формирования системы нечётко-продукционных правил баз знаний экспертных систем.

По проблеме диссертационной работы опубликовано 17 работ, в том числе, 2 статьи в журналах из списка, рекомендованного ВАК России, 8 статей и 9 тезисов докладов.

Основные положения и результаты диссертации докладывались и обсуждались: на 4-й и 7-й ежегодной международной научно-практической конференции «Инфокоммуникационные технологии глобального информационного общества» (Казань, 2006, 2009); ежегодной научно-практической конференции «Наука и профессиональная деятельность» (Нижнекамск, 2008); II Всероссийской научно-практической конференции «Современная торговля: теория, методология, практика» (Казань, 2008); 9-й международной научно-технической конференции «Проблемы техники и технологии телекоммуникаций», посвященная 100-летию со дня рождения академика В.А. Котельникова, 120-летию телефонной связи в Татарстане (Казань, 2008); международной молодёжной научной конференции «XVII Туполевские чтения» (Казань, 2008); всероссийской молодежной научной конференции «Инновационные технологии в торговле и экономике» (Казань,

2008); республиканской научно-практической конференции «Проблемы анализа и моделирования региональных социально-экономических процессов» (Казань,

2009); международной конференции «Мягкие вычисления и измерения (8СМ'2009)» (Санкт-Петербург, 2009); Казанском городском семинаре «Методы моделирования» (Казань, 2009).

Реализация результатов работы. Результаты исследования:

• внедрены в опытную эксплуатацию в составе системы «Антиспам» для рабочих станций информационных систем МВД Республики Татарстан и группы компаний «Центр», решающей задачу предварительного выявления писем несанкционированной массовой рассылки;

• использованы при построении базы знаний мягкой экспертной системы диагностики развития и особенностей клинических проявлений остеохондроза поясничного отдела позвоночника в Казанской государственной медицинской академии;

• внедрены в учебный процесс Казанского государственного технического университета им. А.Н. Туполева и используются при изучении материалов следующих дисциплин «Математические основы человеко-машинных систем», «Базы знаний интеллектуальных систем», «Теория принятия решений в системах обеспечения информационной безопасности».

На защиту выносятся следующие результаты:

• алгоритмы преднастройки и оптимизации параметров нейронечёткой модели формирования баз знаний экспертных систем;

• методика преднастройки и оптимизации параметров нейронечёткой модели формирования баз знаний экспертных систем;

• программный комплекс, реализующий предложенную методику.

Структура и объём диссертации. Диссертация изложена на 144 страницах

машинописного текста, содержит 50 рисунков, 5 таблиц, состоит из введения, четырёх глав, заключения, списка использованной литературы из 100 наименований на 10 страницах.

Сведения о личном вкладе автора. Разработана методика, методы и алгоритмы преднастройки и оптимизации параметров нейронечёткой модели формирования баз знаний экспертных систем, а также программный комплекс реализующий алгоритмы методики на базе нечёткой нейронной сети, проведены прикладные исследования при работе с программным комплексом для оценки эффективности использования методики в решении практических задач.

На базе нечеткой нейронной сети сформирована база знаний экспертной системы медицинской диагностики и экспертной системы «Антиспам» предварительной классификации писем несанкционированной массовой рассылки. Проведена опытная эксплуатация систем, разработан план мероприятий по внедрению в промышленную эксплуатацию.

Подготовлены обучающие выборки и проведено обучение нечеткой нейронной сети с получением системы правил. Проведен сравнительный анализ результатов работы нечеткой нейронной сети при различных подходах к настройке ее параметров - с применение методики преднастройки и оптимизации и без нее.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы проводимых исследований, сформулирована цель работы, приведена структура диссертации.

В первой главе рассматриваются вопросы и проблемы формирования баз знаний интеллектуальных человеко-машинных систем поддержки принятия решений. Описывается используемая в работе нейронечеткая модель. Актуализируется необходимость повышения эффективности нейронечеткой модели при формировании баз знаний. Ставится задача по разработке методики и алгоритмов преднастройки и оптимизации параметров нечеткой нейронной сети.

Для решения сложно формализуемых задач требуется разработка систем поддержки принятия решений - экспертных систем, основой которых является база знаний. Перед разработчиками ЭС постоянно встают проблемы «добычи» и формализации знаний, а также поиска новых способов их получения. Для этого используют извлечение, приобретение и формирование знаний.

В настоящее время для формирования баз знаний актуально создание гибридных технологий - нечетких нейронных сетей, сочетающих в себе достоинства нейросетевых моделей и нечетких систем.

Структура используемой в данной работе нечеткой нейронной сети однозначно определяется следующим множеством параметров:

1) количеством нейронов во входном слое;

2) количеством выходных нейронов;

3) числом градаций входных нейроноз;

4) алгоритмом нечёткого логического вывода на следующей нечётко-продукционной модели:

(1.1)

где Р1 - {Р/} - множество параметров, на которые накладываются ограничения в условиях правила Я/,

AJ = {A/} - множество нечётких ограничений на параметры множества Р' - нечётких условий антецедента правила Rf,

wJ = {w/} - веса нечётких ограничений А' на параметры Р1;

CFJ - степень достоверности сформированного правила Rj — степень уверенности эксперта в его универсальности (CERTAINTYFACTOR);

Tj еТ - технология, рекомендуемая к проведению при выполнении условий А' правила Rj.

Модель (1.1) может быть представлена в следующем виде:

Правило Rj «ЕСЛИ Р/ есть А( (w{) И

/У есть A-j (w() И И

Р^ есть А{ (w{) ТО Возможно применение технологии Гу» [CFJ]

Веса w{ нечётких ограничений А{ антецедента правила Rj определяют важность ограничений А{ в правиле. Численные значения весов определяются на основе лингвистической шкалы оценок, представленной в табл. 1.

Табл. 1. Значения лингвистической шкалы оценок важности условий нечётких продукционных правил и соответствующих им целочисленных эквивалентов

Лингвистическая категория Целочисленный эквивалент

Очень слабая важность 1

Не сильная важность 2

Умеренная важность 3

Важность 4

Очень важен 5

Чрезмерно важен б

Руководствуясь данной шкалой оценок, эксперт может оценивать важность вводимых нечётких ограничений на исходные параметры.

Проведенный в работе анализ эффективности нечеткой нейронной сети показал, что качество обучения ННС в значительной степени зависит от выбора числа нечетких гранул для входных ЛП. Увеличение количества входов нейронной сети и числа градаций входных нейронов приводит к возрастанию времени обучения сети, повышению точности аппроксимации и, соответственно, качества обучения ННС. Однако ведение слишком большого числа значений ЛП приводит к затруднению человеком выбора одного из них в некоторой ситуации. С другой стороны, необоснованное уменьшение количества значений ЛП приводит к недостаточности информации для человека при описании некоторой ситуации. Кроме того, для использования нечеткой информации, формализованной математическим аппаратом нечёткой логики, необходимы процедуры выбора оптимальных форм и преднастройки параметров соответствующих функций принадлежности (ФП). Использование той или иной ФП часто определяется спецификой решаемой задачи, а иногда и квалификацией эксперта, дающего лингвистическую

оценку получаемым закономерностям. При этом важно отметить, что от того, насколько адекватно построенная функция отражает знания эксперта, зависит адекватность нечетких моделей. Критерием адекватности может служить «естественность» заключений, получаемых на основе этих моделей. Подобный критерий «естественности» является обобщением известного теста Тьюринга.

Таким образом, актуально повышение точности аппроксимации экспериментальных данных при обучении ННС путем автоматического выбора оптимального количества нечётких гранул входных ЛП нечеткой нейронной сети и соответствующих форм ФП.

Итогом первой главы является постановка задачи на разработку методики и алгоритмов преднастройки и оптимизации параметров нейронечеткой модели.

Во второй главе описывается методика преднастройки и оптимизации параметров ННС, определяющий ее алгоритм нечёткой кластеризации значений входных параметров ННС и алгоритм выбора оптимальной формы и инициализации параметров соответствующих ФП. Приведены результаты анализа существующих методов кластеризации в задаче гранулирования информации и построения функций принадлежности нечетких гранул.

Часто проблему выбора количества нечётких градаций решают эксперты. Из чисто психологических соображений они выбирают нечетное число значений лингвистической переменной, например, 3, 5, 7. При этом данный выбор происходит субъективно и не всегда отражает реальную картину.

При использовании автоматических методов выбор количества значений лингвистической переменной осуществляется на основе критерия его оптимальности. Для этого часто используют методы кластерного анализа данных. К настоящему времени для решения задачи кластеризации разработано и используется большое количество различных алгоритмов. Допущения традиционных алгоритмов кластеризации определяют следующие факторы не позволяющие в полной мере применять их в разрабатываемой методике:

> являются неприемлемыми априорные предположения о свойствах кластеров, принципах объединения объектов или задание количества кластеров;

> является неприемлемым построение алгоритма лишь на отношении точек к центрам кластеров, а не на основе взаимного расположения точек.

> недопустимо отсутствие понятной лингвистической интерпретации разбиений.

В связи с этим для эффективного решения задачи кластеризации значений входных параметров нечеткой нейронной сети актуальна разработка специального алгоритма, учитывающего взаимосвязь между отдельными точками данных без их привязки к центру кластера.

В основу разработанного алгоритма кластеризации положен аппарат нечетких отношений, использующий понятие отношения а-толерантности и а-квази-эквивалентности, имеющие, соответственно, смысл попарного сравнения образцов данных относительно заданного образца и межгруппового сравнения данных. Для построения семейства отношений а-квазиэквивалентности применяется последовательность методов сравнения данных, каждый из которых основывается на предыдущем и является более подходящим для непосредственного решения задачи нечеткой кластеризации.

У Сравнение по расстоянию между образцами данных - попарное сравнение образцов данных.

> Сравнение при помощи нормальных мер сходства - поочередное сравнение всех образцов данных с каждым из образцов. Результат - нечеткие множества образцов данных, близких к каждому из образцов данных.

> Сравнение при помощи относительных мер сходства - попарное сравнение образцов данных относительно заданного образца. Результат - степень принадлежности каждой пары образцов данных к соответствующему отношению сходства.

> Сравнение образцов данных при помощи отношения а-толерантности на множестве образцов данных - схожесть любых двух образцов данных относительно всех остальных образцов. Результат - степень принадлежности каждой пары образцов данных к отношению а-толерантности.

> Сравнение при помощи отношения а-квазиэквивалентности и шкалы отношения а-квазиэквивалентности - межгрупповое сходство данных. Результат -степень принадлежности каждой пары образцов данных к отношению а-квазиэквивалентности.

Методом кластеризации в алгоритме является применение семейства отношений эквивалентности, каждое из которых получаются при помощи перехода от отношения а-квазиэквивалентности к отношению эквивалентности в классическом смысле использованием соответствующего уровня отношения а-квазиэквивалентности из шкалы отношения а-квазиэквивалентности. Те образцы данных, которые в соответствии с отношением а-квазиэквивалентности имеют сходство, превышающее указанный уровень, являются эквивалентными, остальные -неэквивалентными.

Разбиение по кластерам является нечетким - соответственно наличию нечеткой взаимосвязи данных. Количество разбиений является конечным и определяется мощностью (количеством уровней отношения) шкалы отношения а-квазиэквивалентности. Каждое конкретное разбиение по кластерам соответствует разбиению множества образцов данных на классы эквивалентности при некотором определенном уровне а-квазиэквивалентности.

Пусть значения входных параметров нейронной сети х,- заданы на непустом множестве X и кластеризуемый объект представляет собой только один признак.

Введем основные понятия и определения.

Нормальной мерой сходства по расстоянию х„ с х,- будем называть такую меру, которая достигает своих граничных значений на множестве Хс функцией принадлежности, определяемой следующим образом.

\х„ -х\

где d(x ,*,) = !--i—t-*—г, Q - количество значении входной переменной.

тих )х„ -хЛ tEii.cj1 4

На основании данной меры сходства построим семейство а-толерантных

отношений для определения степени схожести двух точек данных относительно некоторой заданной точки. Относительной мерой сходства двух точек данных относительно точкиXtназывают функцию :X2 ->[0,1], xi еХ, определяемую как:

(Vх* ) = Н 1-Ч, (х„) - (хк) | (2)

где (х) - нормальная мера сходства, х е X.

Мерой сходства точек данных на множестве X называют функцию £: X2 -> [0,1] которая определяется как

Ца,Ъ) = Т{с,х{а,Ь).....Ц,(а,Ь)) (3)

где Т- /-норма (например, min), £ (я, Ь) - относительная мера сходства, х, е X, 1 = 1,0, а,ЬеХ. Полученное отношение является отношением а-толерантности на множестве X.

Транзитивным замыканием нечеткого отношения R, определенного на множестве X, будем называть следующее нечеткое отношение:

м (4)

где по д = адцикл Я9 =ä|_1 oiv^;

Операции в формуле (4) определяются в соответствии с определениями операций над нечеткими множествами и операций композиции нечетких отношений, а именно:

е„ = S(T(aa,b4),...J(aig,bQ)) = ST(aik\),

Rn =R°...oR = R"-,oR,

где 5— Г-конорма, а Т— Г-норма; где Л,=Л;

где Б — Г-конорма.

В работе представлено доказательство следующих теорем. Теорема 1. Если отношение R - отношение а-толерантности, то справедливо: йсЛгс„. с Я" с....

Следствие 1. Отношение R' при условии, что отношение R- отношение а-толерантности, также является отношением а-толерантности.

Следствие 2. Для отношения Я2 справедливо: если га >а и г^>а, то

Гд >а ^ = Также справедливо обобщение для Ri: если

Гдк, *«, *а>~>гкмр ^«> то справедливо гцр > а V*,,.= 1,| X|.

Таким образом, очевидно, если К - отношение а-толерантности, то

Теорема 2. Транзитивное замыкание Л, вычисляемое как наименьшая верхняя граница объединения отношений К, для отношения а-толерантности Я на множестве X равно отношению

Теорема 3. Объединение отношений а-толерантности есть также отношение а-толерантности.

Следствие 3. Учитывая, что Л' является отношением а-толерантности согласно следствия 1, а также теорему 3, можно заключить, что транзитивное замыкание отношения а-толерантности также является отношением а-толерантности.

Теорема 4. Транзитивное замыкание отношения а-толерантности порождает отношение а-квазиэквивалентности на множестве X.

Порог а-квазиэквивалентности на множестве X - число а1п(., при котором все элементы множества X являются а-квазиэквивалентными, а при любом а > аы, данное утверждение не соблюдается.

Другими словами, порог а-квазиэквивалентности есть наибольшая нижняя граница значений степеней принадлежности отношения а-квазиэквивалентности. Число а > аы - уровень а-квазиэквивалентности.

В классической теории множеств доказана следующая теорема.

Теорема 5. Отношение эквивалентности Я разбивает множество Хна попарно непересекающиеся классы эквивалентных элементов таким образом, что каждый элемент Л'принадлежит точно одному классу эквивалентности.

В работе представлено доказательство следующей теоремы.

Теорема 6. Задание уровня а-квазиэквивалентности порождает разбиение множества X на классы эквивалентных элементов таким образом, что каждый элемент Xпринадлежит точно одному классу эквивалентности.

Шкалой отношения а-квазиэквивалентности будем называть минимальный набор уровней эквивалентности а^ б[ашс,1), каждый из которых порождает

отношение эквивалентности ), такое, что Я{с(ц) * ) V/ Ф }.

Разработанный алгоритм нечеткой кластеризации можно представить в виде структурной блок-схем (рис.1).

Рассмотрим задачу выбора оптимальных форм функций принадлежности значений входных ЛП. Функции принадлежности нечеткого множества традиционно строят по экспертной информации. Существует значительное количество таких методов, которые можно разделить на две группы: прямые и косвенные.

Примерами прямых методов являются непосредственное задание ФП таблицей, графиком или формулой. В косвенных методах значения ФП выбираются таким образом, чтобы удовлетворить заранее сформулированным условиям. Экспертная информация - это лишь исходная информация для построения функции.

Недостатком обеих групп методов является большая доля субъективизма. Иной подход к построению ФП основывается на параметрической идентификации нечетких моделей по экспериментальным данным «входы - выход». Использование такого подхода снимает субъективизм построения функций, однако взамен требует обучающей выборки с представительными примерами «входы — выход». Кроме того, ФП одинаковых по смыслу нечетких множеств получаются разными в результате идентификации различных зависимостей «входы - выход».

Рис. 1. Блок-схема алгоритма нечеткой кластеризации

Таким образом, для построения ФП входных параметров ННС актуальна разработка специального алгоритма, обеспечивающего оптимальность формы и параметров ФП и, как следствие, формирование адекватных нечетких моделей.

В данной работе предлагается новый алгоритм определения формы и начальных параметров ФП по анализу распределения экспериментальных данных. Основной идеей предлагаемого алгоритма является использование результатов кластеризации экспериментальных данных. В основу алгоритма построения ФП по распределению результатов наблюдений положен алгоритм нечеткой кластеризации. На выходе данного алгоритма определяется оптимальное количество сформированных кластеров. Тогда можно сопоставить нечеткий кластер нечеткому множеству. При этом ФП нечеткого кластера будет соответствовать искомой ФП нечеткого множества.

Пусть известны следующие числовые значения некоторого показателя (УчУ2>-'Уу)- Рассмотрим задачу построения ФП по этим данным - синтез одного нечеткого множества у, функция принадлежности которого соответствует пространству данных (У\,У2,-;Уу) ■ Эта задача соответствует отображению вида:

где ц„ - степень принадлежности элемента нечеткому множеству у, V = 1,У.

и

Тогда, зная разбиение значений рассматриваемого показателя на кластеры, центру-го кластера Су = {х/,х^,х/,...,х'я] можно определить как минимум суммы расстояний от всех точек до искомого центра:

=х{1£Л(х{,х/)->тт, где к = 1,п (5)

¡-1 * Рис. 2 иллюстрирует правило определения центрау'-го кластера.

Ь7—-ч-»

Рис. 2. Центр у'-го кластера

Зная центр кластера, определяются степени принадлежности каждой точки данному кластеру по формуле:

Не,(**'> = 1- у 1 4 , (6)

=1

На рис. 3 приведен результат расчета по формуле (6). Н1

М х{ х{

Рис. 3. Степени принадлежности точек кластеру

Найденное нечеткое множество у можно аппроксимировать подходящей параметрической функцией принадлежности. Оценка точности аппроксимации определяется величиной остаточной дисперсии или ее отношением к исходной дисперсии. На практике строят несколько аппроксимаций и принимают ту, которая дает минимум указанной оценки.

В настоящее время в системах нечёткого моделирования наибольшее распространение среди экспертов получили треугольная, трапецеидальная и гауссова функции принадлежности. В предлагаемом подходе для моделирования нечётких ограничений кроме указанных трёх используются также двойная и сдвоенная гауссовы ФП, как обобщения трапецеидальной и треугольной функции соответственно.

Будем считать, что рассматриваемые наблюдения и изучаемые процессы подчиняются некоторому закону, описываемому математической моделью, и отклонения от него являются случайными. В этом случае метод наименьших квадратов является наилучшим для оценки точности аппроксимации. Используя данный метод и проводя оценку величин остаточной дисперсии, определяем форму и производим инициализацию параметров ФП, наиболее точно описывающую исходное нечеткое множество.

Таким образом, алгоритм выбора оптимальных форм и начальных параметров функций принадлежности для значений входных лингвистических переменных ННС можно представить в виде следующей блок-схемы (рис. 4).

Рис. 4. Блок-схема алгоритма выбора оптимальных форм и начальных параметров функции принадлежности

Методика преднастройки и оптимизации параметров нейронечеткой модели заключается в последовательном применении предложенных алгоритмов, позволяющих до начала работы ННС автоматически выбрать объективно оптимальное количество нечётких градаций значений входных нейронов и наилучшим образом описывающую их форму и начальные параметры функций принадлежности.

В третьей главе описывается проведение численно-параметрических исследований разработанной методики и алгоритмов с целью их апробации и оценки эффективности. Описывается реализованный в среде математического моделирования Math Works MatLab 7 программный комплекс методики. В данной среде алгоритмы были реализованы с графическим интерфейсом на встроенном языке программирования MatLab.

Проведен анализ устойчивости алгоритма нечёткой кластеризации к случайным «выбросам» в статистических данных, нетипичным и пропущенным значениям, возможным ошибкам ввода и т.п., а также анализ оптимальности его кластерного решения.

Для этого исходная выборка случайным образом делилась на две примерно равные части, проводилась кластеризация обеих частей и сравнивались полученные результаты.

Предпринимался и другой подход проверки устойчивости, предполагающий многократное размножение (дублирование) исходной выборки из N объектов, объединение всех дублированных выборок в одну большую выборку (псевдогенеральную совокупность) и случайное извлечение из нее новой выборки из N объектов. После этого проводилась кластеризация этой выборки, и сравнивались полученные результаты, извлекалась новая случайная выборка и вновь проводилась кластеризация и т.д.

Наряду с описанными способами использовался и метод сравнения результатов, полученных другими алгоритмами кластеризации. В данном случае использовался алгоритм нечётких к-средних, в сравнении с которым разработанный алгоритм кластеризации на основе аппарата нечётких отношений наглядно, посредством визуализации кластерных решений в графическом интерфейсе программного комплекса, показал устойчивость и оптимальность его кластерных решений на всех итерациях эксперимента.

Для оценки времени выполнения алгоритмов методики была вычислена общепринятая характеристика - асимптотическая временная сложность алгоритмов. Она характеризуется порядком 0(п4) от числа элементов для всего процесса преднастроЙки и оптимизации параметров нечеткой нейронной сети.

Для оценки эффективности алгоритмов методики проведены исследования на примере эконометрических данных. Были использованы данные проекта «СКРИН» Национальной ассоциации участников фондового рынка - данные более чем 400 предприятий и их бизнес-проектов с различными значениями по 27 финансовым параметрам. По распределению этих данных проведен анализ сроков окупаемости проектов и построены функции принадлежности значений соответ-

Рис.5. Функции принадлежности лингвистической переменной «сроки

окупаемости проектов»

Алгоритм кластеризации предлагаемой методики исследован при изучении «рынка эмоций» - рынка любых товаров и услуг, у которого эмоциональная составляющая стоимости во много раз выше функциональной. Для этого использованы данные опроса большого количества людей разных половых и возрастных групп из исследований агентства QUANS Research. В результате было сформиро-

вано 32 сегмента, в каждом из которых были сгруппированы покупатели со схожими потребностями. К данным сегментам в дальнейшем можно применять индивидуальные коммуникационные стратегии, способные эффективно воздействовать на покупателя.

Кроме того, для оценки эффективности методики на базе программного комплекса «Нечёткая нейронная сеть» проанализировано влияние преднастройки и оптимизации на скорость и качество обучения ННС на примере данных медицинской диагностики. Для этого использованы данные клинического, нейро-ортопедического, рентгенокомпьютернотомографического обследования 230 женщин в возрасте от 15 до 92 лет и 180 мужчин в возрасте от 16 до 81 года с различными синдромами поясничного остеохондроза. Выборка данных включала более 50000 значений количественных признаков течения остеохондроза по 79 параметрам.

При обучении нечеткой нейронной сети проводилось исследование эффективности работы методики. Оценивалось качество обучения ННС по изменению ее ошибки выхода при различных подходах к выбору числа градаций входных ЛП и форм их функций принадлежности. При использовании методики, основанной на разработанных алгоритмах, качество обучения ННС не уступало, а во многих случаях, превосходило качество обучения сети, в которой выбор числа градаций входных нейронов и форм ФП определялся субъективно экспертом. На рис. 6 и 7 представлены типовые примеры кривых зависимости ошибки выхода ННС от количества циклов ее обучения при различных подходах к выбору числа градаций входных переменных и форм их функций принадлежности.

13 447 33 447 53 447 73 447 93447 113 44

Рис. 6. Изменение ошибки выхода сети при автоматической кластеризации значений входных параметров по предлагаемой методике

Рис. 7. Изменение ошибки выхода сети при субъективном выборе числа градаций

Из последнего графика видно, что при субъективном определении числа градаций входных переменных и форм их ФП нейронная сеть обучается неста-

бильно. Числовые характеристики процесса обучения приведены в табл. 2. _Табл. 2. Сравнение результатов обучения нечеткой нейронной сети

Определение числа ^градаций и форм ФП Параметры —...... Автоматически по предлагаемой методике Субъективно на основе экспертной оценки

Ошибка выхода 0,072 0,118

Время обучения 00:01:20 00:01:45

Число эпох обучения 113447 165377

Рассмотренный пример показал, что при использовании предлагаемой методики качество обучения ННС заметно улучшилось. Это говорит о практической возможности и целесообразности использования данной методики.

В четвертой главе рассматриваются практические вопросы формирования баз знаний на примере системы предварительного выявления несанкционированной массовой рассылки электронных писем и системы медицинской диагностики. Рассматриваются этапы анализа медицинских данных на базе нечёткой нейронной сети. Приводятся примеры сформированных правил продукции в рассматриваемых предметных областях. Проведен сравнительный анализ результатов работы нечеткой нейронной сети при различных подходах к настройке ее параметров - с применением методики преднастройки и оптимизации и без нее.

Для системы предварительного выявления несанкционированной массовой рассылки (спама) сформирована база знаний. Внедрение системы на рабочих станциях корпоративной сети необходимо для выявления спама в потоках электронной почты. Система производит классификацию входящих писем и информирует пользователя о принадлежности письма к спаму, принимая решение на основании сформированной базы знаний.

Для её формирования наряду с экспертами использовалась нечёткая нейронная сеть в комплексе с разработанной методикой преднастройки и оптимизации ее параметров, с помощью которых обрабатывалась статистическая информация, представлявшая собой значения признаков пришедшего письма.

Для эксперимента было использовано пространство признаков оформления и стиля писем, форматирования и заголовков. Обучающие выборки включали в себя поля «количество адресатов», «количество замен кириллических букв на латиницу», «частота встречаемости слов верхнего регистра» и «классификатор спама». Для реализации почтового трафика при обучении ННС была использована собственная база из 500 писем, большая часть которой содержит характерные признаки спама. Обучение проводилось с использованием треугольных функций принадлежности, установленных в результате применения разработанной методики. В результате сформировано множество правил, из которых отобраны наиболее значимые, определяющие условия определения спама.

Экспертная система успешно прошла тестирование на локальной рабочей станции, этап опытной эксплуатации и внедрена в промышленную эксплуатацию в корпоративной сети МВД по Республике Татарстан. При работе система показала эффективность используемой системы классификации писем, что подтвержде-

но процентными уровнями коэффициента ошибочного пропуска (7%), коэффициента ошибочного отказа (5%) и ошибки обобщения 16%) в сравнении с существующими системами фильтрации спама в почтовом трафике, а также работой системы без применения методики преднастройки и оптимизации параметров нейро-нечеткой модели формирования ее базы знаний.

Практическое использование результатов её работы позволяет:

• повышать уровень защищенности корпоративной сети и ее информации;

• сокращать время и снижать нагрузку на специалистов при анализе входящей корреспонденции и, как следствие, повысить их работоспособность.

Для проверки возможности повышения эффективности применения нечёткой нейронной сети на всех этапах медицинской диагностики использованы данные клинического, нейро-ортопедического, рентгенокомпьютернотомографиче-ского обследования женщин и мужчин в различных возрастных группах с различными синдромами поясничного остеохондроза на стационарном этапе обострения и в стадии начинающейся ремиссии. Обучение нейронной сети и обработка данных проведены на базе кафедры реабилитологии и спортивной медицины Казанской государственной медицинской академии под руководством к.м.н., доцента кафедры Подольской М.А.

В результате обучения сети на 105 обучающих выборках получено 525 правил, значимость которых оценивалась экспертами — специалистами-вертеброневрологами высокой квалификации.

Работа нечёткой нейронной сети в комплексе с методикой преднастройки и оптимизации ее параметров отвечает логике постановки диагноза экспертом и эффективно моделирует этапы его интеллектуальной деятельности. В подавляющем большинстве случаев сформированные правила совпадали с мнениями экспертов, что позволяет использовать ННС с разработанной методикой в составе экспертных диагностических систем.

Проверка разработанной методики на медицинских данных подтверждает повышение точности автоматизированного процесса диагностики. Данные вер-теброневрологического анализа послужили лишь многофакторной моделью, способной описать закономерности возникновения, развития, клинических особенностей заболевания, долгосрочного прогноза состояния пациентов. Методика и ней-ронечеткая модель могут служить математической оболочкой, способной в короткие сроки эффективно решать сложные экспертные задачи не только медицине.

В заключение диссертационной работы сформулированы научные результаты, полученные в ходе её выполнения, намечены направления перспективных исследований.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1) Проведен анализ эффективности методов интеллектуального анализа данных и стратегий получения знаний для экспертных систем с целью обоснования актуальности разработки новых математических методов и алгоритмов автоматизированного формирования баз знаний ЭС, а также необходимость повышения эффективности одного из таких методов - нейронечеткой модели.

2) Проанализированы существующие подходы к решению задачи выделения значений лингвистической переменной (задача нечеткого гранулирования инфор-

мации). В результате анализа обоснована необходимость разработки специального алгоритма гранулирования информации.

3) Разработана методика преднастройки и оптимизации параметров нейроне-чёткой модели формирования баз знаний. Количество нечетких гранул входных лингвистических переменных нечеткой нейронной сети, а также формы и начальные параметры соответствующих функций принадлежности определяются на основе разработанных алгоритмов.

4) Разработан программный комплекс, реализующий методику преднастройки и оптимизации параметров нейронечёткой модели формирования баз знаний. Показана возможность использования методики в составе мягких ЭС.

5) Проведены численно-параметрические исследования оценки эффективности разработанной методики, применение которой повышает точность нечеткой аппроксимации экспериментальных данных более чем на 30%, что также подтверждается и результатами проведенной апробации.

6) Проведено обучение нечёткой нейронной сети на множестве обучающих выборок с применением методики преднастройки и оптимизации параметров сети. Методика показала свою эффективность при анализе медицинских данных и в задаче формирования правил принятия решений в системах фильтрации писем несанкционированной массовой рассылки.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

В научных журналах, рекомендованных ВАК:

1. Глова В.И., Корнилов Г.С., Катасёв A.C. Кластеризация значений входных параметров нечеткой нейронной сети // Вестник Казанского государственного технического университета им. А.Н. Туполева, №1, 2009. С. 74-77.

2. Глова В.И., Корнилов Г.С., Катасёв A.C. Преднастройка и оптимизация параметров нечеткой нейронной сети при формировании баз знаний экспертных систем // Информационные технологии, №2, 2010. С. 51-58.

В других журналах и материалах научных конференций:

1. Катасёв A.C., Корнилов Г.С. Катасёва Ю.С. Формирование правил принятия решений в социально-экономических системах // Материалы Республиканской научно-практич. конф. «Проблемы анализа и моделирования региональных социально-экономических процессов». Казань, 2009. С. 86-88.

2. Катасёв A.C., Корнилов Г.С. Методика построения функций принадлежности значений лингвистических переменных в решении задач экономики // Международная научно-практическая конференция «Проблемы социально-экономического развития города и села в условиях мирового экономического кризиса». Казань, 2009 г.: сборник докладов. С. 47-50.

3. Катасёв A.C., Корнилов Г.С., Аникин И.В. Адаптивная нейронечеткая модель формирования баз знаний экспертных систем // XII Международная конференция по мягким вычислениям и измерениям (SCM'2009). Санкт- Петербург, 2009 г.: сборник докладов. С. 219-222.

4. Корнилов Г. С. Алгоритм нечеткой кластеризации // XVI Туполевские чтения. Международная молодёжная научная конференция, Казань, 2008.: тезисы докладов, 3-й том. С. 80-81.

5. Корнилов Г.С. Алгоритм нечёткой кластеризации для выделения значений лингвистической переменной И Ежегодная научно-практическая конференция «Наука и профессиональная деятельность»: материалы конференции. Нижнекамск, 2008. С. 141-145.

6. Корнилов Г.С. Методика анализа данных на основе нечеткой кластеризации // XVII Туполевские чтения. Международная молодёжная научная конференция, Казань, 2008.: тезисы докладов, 3-й том. С. 125-126.

7. Корнилов Г.С. Нейронечеткая модель формирования и использования базы знаний в решении задач информационной безопасности // Инфокоммуникацион-ные технологии глобального информационного общества: тез. докл. 4-й ежегодной международной научно-практической конференции. Казань, 2006. С. 100-104.

8. Корнилов Г.С., Катаеве A.C. Нечёткий кластерный анализ в задачах социально-экономического прогнозирования // Материалы Республиканской научно-практической конференции «Проблемы анализа и моделирования региональных социально-экономических процессов». Казань, 2009. С. 89-91.

9. Корнилов Г.С., Катаеве A.C., Аникин И.В. Методы и алгоритмы предна-стройки и оптимизации параметров нечеткой нейронной сети // XII Международная конференция по мягким вычислениям и измерениям (SCM'2009). Санкт- Петербург, 2009 г.: сборник докладов. С. 223-226.

10. Корнилов Г.С., Катасёв A.C., КатасёваЮ.С. Выделение значений лингвистических переменных методом нечёткого кластерного анализа // II Всероссийская научно-практическая конференция «Современная торговля: теория, методология, практика»: материалы конф. Казань, 2008. С. 153-156.

11 .Корнилов Г.С., Катасёв A.C., Катасёва Ю.С. Математические методы в исследовании рыночной корзины покупателя // Материалы Всероссийской Молодежной научной конференции «Инновационные технологии в торговле и экономике». Казань, 2008. С. 103-104.

12.Корнилов Г.С., Катасёв A.C., Катасёва Ю.С. Сегментация рынка и позиционирование товара на основе алгоритма нечеткой кластеризации // Материалы Всероссийской Молодежной научной конференции «Инновационные технологии в торговле и экономике». Казань, 2008. С. 130-131.

13. Корнилов Г.С., Катасёв A.C. Формирование правил принятия решений по обеспечению информационной безопасности в инфокоммуникационных сетях // 9-я международная научно-техническая конференция «Проблемы техники и технологии телекоммуникаций», посвященная 100-летию со дня рождения академика В.А. Котельникова, 120-летию телефонной связи в Татарстане: материалы конференции. Казань, 2008. С. 441-442.

14. Корнилов Г.С. Методы и алгоритмы преднастройки и оптимизации параметров нейронечеткой модели формирования баз знаний экспертных систем // Труды Казанского городского семинара «Методы моделирования». Казань, 2009, Вып. 2.

15. Корнилов Г.С., Катасёв A.C., Насыров Р.И. Адаптивная нейронечеткая модель формирования баз знаний экспертных систем в решении задачи фильтрации «спама» // Инфокоммуникационные технологии глобального информационного общества: тез. докл. 7-й ежегодной международной научно-практической конференции. Казань, 2009. С. 100-104.

Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Печ.л. 1,25. Усл.печл. 1,16. Уч.-изд.л. 1,04. Тираж 110. Заказ Н2.

Типография Издательства Казанского государственного технического университета 420111 Казань, К. Маркса, 10

СПИСОК ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1. ФОРМИРОВАНИЕ БАЗ ЗНАНИЙ ЭКСПЕРТНЫХ СИСТЕМ.

1.1. Экспертные системы.

1.1.1. Структура, состав экспертных систем и их характеристики.

1.1.2. Стратегии получения знаний для экспертных систем.

1.2. Обнаружение знаний в базах данных.

1.3. Нейронечёткая модель формирования баз знаний экспертных систем.

1.3.1. Структура и алгоритм обучения нечёткой нейронной сети.

1.3.2. Анализ возможностей нечёткой нейронной сети.

1.3.3. Проблема гранулирования информации и выбора оптимальных форм' функций принадлежности нечётких множеств.

1.3.4. Постановка задачи по разработке методики и алгоритмов преднастройки и оптимизации параметров нейронечёткой модели.

1.4. Выводы.

2. АЛГОРИТМЫ ПРЕДНАСТРОЙКИ И ОПТИМИЗАЦИИ ПАРАМЕТРОВ НЕЧЁТКОЙ НЕЙРОННОЙ СЕТИ.

2.1. Методы кластеризации в задаче гранулирования информации.

2.1.1. Понятие однородности и задача кластеризации.

2.1.2. Анализ методов кластеризации.44'

2.2. Алгоритм нечёткой кластеризации значений входных параметров нечёткой нейронной сети.

2.2.1. Постановка задачи нечёткой кластеризации значений входных параметров нечёткой нейронной сети.

2.2.2. Алгоритм нечёткой кластеризации.

2.3. Выбор оптимальных форм и начальных значений параметров функций принадлежности.

2.3.1. Постановка задачи выбора оптимальной формы функции принадлежности.

2.3.2. Анализ методов построения функции принадлежности.

2.3.3. Алгоритм выбора оптимальной формы и инициализации параметров функций принадлежности.

2.4. Методика преднастройки и оптимизации параметров нечёткой нейронной сети.

2.5. Выводы.

3. ЧИСЛЕННО-ПАРАМЕТРИЧЕСКИЕ ИССЛЕДОВАНИЯ.

3.1. Исследования в среде моделирования MatLab.

3.1.1. Описание среды моделирования.

3.1.2. Анализ устойчивости алгоритма нечёткой кластеризации и оптимальности кластерного решения.

3.1.3. Временная сложность вычислений по преднастройке и оптимизации, параметров нечёткой нейронной сети.

3.2. Исследования на базе программного комплекса «Нечёткая нейронная сеть».

3.2.1. Описание программного комплекса.

3.2.2. Анализ влияния преднастройки и оптимизации на скорость и качество обучения нечёткой нейронной сети.

3.3. Выводы.92'

4. ПРАКТИЧЕСКОЕ РЕШЕНИЕ ЗАДАЧИ ФОРМИРОВАНИЯ БАЗ ЗНАНИЙ ЭКСПЕРТНЫХ СИСТЕМ.

4.1. Формирование базы знаний экспертной системы предварительного выявления спама.

4.1.1. Задача фильтрации спама и общее описание системы.

4.1.2. Построение базы знаний экспертной системы фильтрации почтовых сообщений.

4.1.3. Полученные практические результаты.

4.2. Формирование базы знаний экспертной системы медицинской диагностики и реабилитации.

4.2.1. Особенности диагностического процесса в медицине.

4.2.2. Построение базы знаний экспертной системы.

4.2.3. Полученные практические результаты.123.

4.3. Выводы.

Современные информационные системы анализа больших массивов информации или управления сложными процессами невозможно представить без элементов искусственного интеллекта. Это, как правило, интеллектуальные системы, моделирующие процесс рассуждения эксперта при принятии им решения - экспертные системы (ЭС). Основным элементом ЭС является база знаний, представленная множеством систематизированных правил, описывающих закономерности в рассматриваемой предметной области, поэтому проектирование баз знаний является важной задачей при разработке экспертных систем.

Традиционные подходы получения знаний, включающие процессы их извлечения и приобретения, имеют ряд ограничений, актуализирующих необходимость разработки методов, алгоритмов и реализующих их программных комплексов автоматизированного формирования баз знаний экспертных систем. Для решения задач интеллектуального анализа данных большое распространение получили такие направления искусственного интеллекта, как нейросетевые модели и нечёткие системы. Актуально создание гибридных технологий — нечётких нейронных сетей (ННС), сочетающих в себе достоинства нейросетевых моделей и нечетких систем, способных аппроксимировать экспериментальные данные системой нечётко-продукционных правил и в результате обучения настраивать параметры их функций принадлежности.

Однако проведенный анализ возможностей нейронечёткой модели показывает, что качество обучения ННС в значительной степени зависит от выбора числа нечетких гранул для входных лингвистических переменных (ЛП). Кроме того, для использования нечеткой информации, формализованной математическим аппаратом нечёткой логики, необходимы процедуры выбора оптимальных форм и преднастройки параметров соответствующих функций принадлежности (ФП).

Исследованию в этой области посвящены работы таких ученых как Заде JI.A., Ванг П.П., Рознер Б.С., Студлер Дж., Парми Дж., Хоффман Д., Поспелов

Д.А., Аверкин А.Н., Финн В.К., Кобринский Б.А., Загоруйко Н.Г., Ярушкина Н.Г., Паклин Н.Б., Батыршин И.З., Глова В.И., Аникин И.В., Исмагилов И.И., Катасёв A.C. и др. Однако, несмотря на это, многие вопросы предобработки данных для повышения эффективности работы нечетких нейронных сетей при формировании баз знаний экспертных систем недостаточно рассматривались.

Таким образом, актуальной задачей является разработка эффективных алгоритмов, методики и реализующего ее программного комплекса преднастрой-ки и оптимизации параметров нечёткой нейронной сети для формирования баз знаний экспертных систем. Решению этой задачи посвящено настоящее исследование.

Объект исследования: нейронечеткая модель формирования баз знаний экспертных систем.

Предмет исследования: методы и алгоритмы построения функций принадлежности и кластеризации экспериментальных данных.

Цель работы: повышение точности аппроксимации экспериментальных данных при обучении нечеткой нейронной сети.

Научная задача: разработка методики, формальных алгоритмов и программного комплекса преднастройки и оптимизации параметров нечеткой нейронной сети.

Достижение цели и решение задачи потребовало: анализа эффективности методов интеллектуальной обработки информации и стратегий получения знаний для экспертных систем; анализа существующих методов решения задачи выделения значений лингвистической переменной (задача нечеткого гранулирования информации); разработки метода и алгоритма нечеткой кластеризации для определения оптимального числа градаций входных параметров нечеткой нейронной сети; разработки алгоритма выбора оптимальной формы и начальных парамет-1 ров функций принадлежности нечетких гранул; программной реализации алгоритмов преднастройки и оптимизации параметров нечёткой нейронной сети; оценки эффективности работы методики; эксперимента по формированию баз знаний экспертных систем с учетом преднастройки и оптимизации параметров нейронечеткой модели.

Методы исследования - методы математического моделирования, кластерного анализа, нечёткой логики, искусственных нейронных сетей, мягких вычислений.

В качестве инструментальных средств использовались: среда математического моделирования Math Works MatLab 7 и программный комплекс формирования баз знаний экспертных систем «Нечеткая нейронная сеть».

Достоверность полученных результатов обоснована корректным использованием математических методов, строгостью доказательства теорем, результатами математического моделирования на базе профессиональной среды Math Works MatLab 7, результатами экспериментов и испытаний, а также результатами использования материалов диссертации и разработанных программ в государственных организациях.

Научная новизна работы заключается в следующем: разработан метод и алгоритм нечеткой кластеризации значений входных параметров нечёткой нейронной сети, исключающий недостатки существующих алгоритмов и применимый в условиях поставленной задачи; разработан алгоритм выбора формы и настройки начальных параметров функций принадлежности нечетких гранул входных лингвистических переменных. предложена методика повышающая эффективность формирования баз знаний для использования их в механизмах вывода экспертных систем; Теоретическая значимость: разработаны алгоритмы преднастройки и оптимизации параметров нейронечеткой модели формирования баз знаний экспертных систем; доказаны теоремы для основополагающих понятий: отношение а-квази-эквивалентности, порог а-квазиэквивалентности, шкала отношения а-квазиэквивалентности. предложена методика, повышения точности аппроксимации экспериментальных данных при обучении нечеткой нейронной сети Практическая ценность диссертационной работы заключается в разработке и реализации программного комплекса методики, позволяющего повысить эффективность анализа статистических данных и формирования системы нечётко-продукционных правил баз знаний экспертных систем.

По проблеме диссертационной работы опубликовано 16 работ, в том числе, 7 статей и 9 тезисов докладов, 1 статья в журнале из списка, рекомендованного ВАК России.

Основные положения и результаты диссертации докладывались и обсуждались: на 4-й и 7-й ежегодной международной научно-практической конференции «Инфокоммуникационные технологии глобального информационного общества» (Казань, 2006, 2009); ежегодной научно-практической конференции «Наука и профессиональная деятельность» (Нижнекамск, 2008); II Всероссийской научно-практической конференции «Современная торговля: теория, методология, практика» (Казань, 2008); 9-й международной научно-технической конференции «Проблемы техники и технологии телекоммуникаций», посвященная 100-летию со дня рождения академика В.А. Котельникова, 120-летию телефонной связи в Татарстане (Казань, 2008); международной молодёжной научной конференции «XVII Туполевские чтения» (Казань, 2008); всероссийской молодежной научной конференции «Инновационные технологии в торговле и экономике» (Казань, 2008); республиканской научно-практической конференции «Проблемы анализа и моделирования региональных социально-экономических процессов» (Казань, 2009); международной конференции «Мягкие вычисления и измерения (8СМ'2009)» (Санкт-Петербург, 2009); Казанском городском семинаре «Методы моделирования» (Казань, 2009). Реализация результатов работы. Результаты исследования: внедрены в опытную эксплуатацию в составе системы «Антиспам» для рабочих станций информационных систем МВД Республики Татарстан и группы компаний «Центр», решающей задачу предварительного выявления писем несанкционированной массовой рассылки; использованы при построении базы знаний мягкой экспертной системы диагностики развития и особенностей клинических проявлений остеохондроза поясничного отдела позвоночника в Казанской государственной медицинской академии; внедрены в учебный процесс Казанского государственного технического университета им. А.Н. Туполева и используются при изучении материалов следующих дисциплин «Математические основы человеко-машинных систем», «Базы знаний интеллектуальных систем», «Теория принятия решений в системах обеспечения информационной безопасности».

На защиту выносятся следующие результаты: алгоритмы преднастройки и оптимизации параметров нейронечёткой модели формирования баз знаний экспертных систем; методика преднастройки и оптимизации параметров нейронечёткой модели формирования баз знаний экспертных систем программный комплекс, реализующий предложенную методику.

Структура и объём диссертации. Диссертация изложена на 144 страницах машинописного текста, содержит 50 рисунков, 5 таблиц, состоит из введения, четырёх глав, заключения, списка использованной литературы из 100 наименований.

Сведения о личном вкладе автора. Разработана методика, методы и алгоритмы преднастройки и оптимизации параметров нейронечёткой модели формирования баз знаний экспертных систем, а также программный комплекс реализующий алгоритмы методики на базе нечёткой нейронной сети, проведены прикладные исследования при работе с программным комплексом для оценки эффективности использования методики в решении практических задач.

На базе нечеткой нейронной сети сформирована база знаний экспертной системы медицинской диагностики и экспертной системы «Антиспам» предварительной классификации писем несанкционированной массовой рассылки.

Проведена опытная эксплуатация систем, разработан план мероприятий по внедрению в промышленную эксплуатацию.

Подготовлены обучающие выборки и проведено обучение нечеткой нейронной сети с получением системы правил. Проведен сравнительный анализ результатов работы нечеткой нейронной сети при различных подходах к настройке ее параметров — с применение методики преднастройки и оптимизации и без нее.

В первой главе рассматриваются вопросы и проблемы формирования баз знаний интеллектуальных человеко-машинных систем поддержки принятия решений. Показывается, что при решении задачи формирования баз знаний целесообразно наряду с экспертными методами использовать методы интеллектуального анализа данных. Актуализируется необходимость повышения эффективности нейронечеткой модели решения данной задачи. Ставится задача по разработке методики и алгоритмов преднастройки и оптимизации параметров нейронечеткой модели формирования без знаний экспертных систем.

Во второй главе описывается методика преднастройки и оптимизации параметров нечёткой нейронной сети, определяющий ее алгоритм нечёткой кластеризации значений входных параметров ННС и алгоритм выбора оптимальной формы и инициализации параметров соответствующих функций принадлежности. Приведены результаты анализа существующих методов кластеризации в задаче гранулирования информации и построения функций принадлежности нечетких гранул.

В третьей главе описывается проведение численно-параметрических исследований разработанной методики и алгоритмов с целью их апробации и оценки эффективности. Описывается реализованный с помощью среды математического моделирования Math Works MatLab 7 программный комплекс разработанных алгоритмов. В данной среде алгоритмы были реализованы с графическим интерфейсом на встроенном языке программирования MatLab.

В четвертой главе рассматриваются практические вопросы формирования баз знаний на примере системы медицинской диагностики и комплексной системы предварительного выявления несанкционированной массовой рассылки электронных писем. Рассматриваются этапы анализа медицинских данных на базе нечёткой нейронной сети. Приводятся примеры сформированных правил продукции в рассматриваемых предметных областях. Проведен сравнительный анализ результатов работы нечеткой нейронной сети при различных подходах к настройке ее параметров — с применением методики преднастройки и оптимизации и без нее.

В заключении диссертационной работы сформулированы научные результаты, полученные в ходе её выполнения, намечены направления перспективных исследований.

Диссертация выполнена на кафедре систем информационной безопасности (СИБ) Казанского государственного технического университета им. А.Н. Туполева (КАИ).

Автор выражает искреннюю* благодарность своему научному руководителю - доктору технических наук, профессору Виктору Ивановичу Глова за постоянное внимание и ценные советы, кандидату технических наук, доценту Аникину Игорю Вячеславовичу за консультации при написании диссертации. Особая благодарность выражается кандидату медицинских наук Подольской Марине Алексеевне за предоставленные медицинские данные и большую помощь при их обработке, анализе и интерпретации полученных результатов, а также кандидату технических наук, доценту Катасёву Алексею Сергеевичу за предоставленную комплексную программную систему «Нечеткая нейронная сеть» и консультации при работе с ней.

4.3. Выводы

Путем преднастройки и оптимизации параметров ННС можно существенно повысить эффективность аппроксимации экспериментальных данных.

Для решения данной задачи предложена методика, научная новизна которой заключается в применении специально разработанного алгоритма нечеткой кластеризации для выделения значений входных ЛП, исключающего недостатки существующих алгоритмов и обладающего практической применимостью. Методика и ее программный комплекс позволяют до начала работы ННС автоматически (в результате анализа содержащихся в обучающей выборке экспериментальных данных) выбрать объективно оптимальное количество нечетких градаций значений входных нейронов и наилучшим образом описывающую их форму и начальные параметры функций принадлежности. Их применение повышает эффективность нечеткой аппроксимации экспериментальных данных более чем на 30%, что подтверждено результатами проведенной апробации.

ЗАКЛЮЧЕНИЕ

В ходе диссертационного исследования решены следующие задачи.

• Проведен анализ эффективности методов интеллектуального анализа данных и стратегий получения знаний для экспертных систем с целью обоснования актуальности разработки новых математических методов и алгоритмов автоматизированного формирования баз знаний экспертных систем, а также необходимость повышения эффективности одного из таких методов - нейроне-четкой модели.

• Проанализированы существующие подходы к решению задачи выделения значений лингвистической переменной (задача нечеткого гранулирования информации). В результате анализа обоснована необходимость разработки специального алгоритма гранулирования информации.

• Разработана методика преднастройки и оптимизации параметров нейро-нечёткой модели формирования баз знаний. Количество нечетких гранул входных лингвистических переменных нечеткой нейронной сети, а также формы и начальные параметры соответствующих функций принадлежности определяются на основе разработанных алгоритмов.

• Разработан программный комплекс, реализующий методику преднастройки и оптимизации параметров нейронечёткой модели формирования баз знаний. Показана возможность использования методики в составе мягких экспертных систем.

• Проведены численно-параметрические исследования оценки эффективности разработанной методики, применение которой повышает качество обучения нечеткой нейронной сети более чем на 30%, что также подтверждается и результатами проведенной апробации.

• Проведено обучение нечёткой нейронной сети на множестве обучающих выборок с применением методики преднастройки и оптимизации параметров сети. Методика показала свою эффективность при анализе медицинских данных и в задаче формирования правил принятия решений в системах фильтрации писем несанкционированной массовой рассылки. « Перспективным видится решение задачи минимизации временной сложности алгоритма нечёткой кластеризации значений входных параметров ННС и алгоритма выбора оптимальной формы и инициализации параметров соответствующих ФП.

1. Frawley M.J., Piatesky-Shapiro G., Matheus C.J. Knowledge discovery in databases: An overview. AI Magazine, 1992. pp. 1-27.

2. Mitra S., Pal S., Mitra P. Data Mining in Soft Computing Framework: A Survey // IEEE Trans, on Neural Networks. V. 13, 2002.

3. Turing, A.M. Computing machinery and intelligence // Mind. 1950. №59. - P.433-460.

4. Aldenderfer M.S., Blashfield R.K. Cluster Analysis // Sage Publications. -1984 #2.

5. Zadeh L.A. Fuzzy logic, neural networks and soft computing // Communications of the ACM. V. 37, 1994.

6. Zhang Y.Q., Fraser M.D., Gagliano R.A., Kandel A. Granular Neural networks for numerical-linguistic data fusion and knowledge discovery // IEEE Trans, on Neural Networks. V. 11, 2000.

7. Batyrshin I., Kaynak O., Khabibulin R. Test generation for clustering algorithms, in: New Trends in Artificial Intelligence and Neural Networks (Ed. by T. Ciftcibasi, M. Karaman, V. Atalay), EMO Scientific Books, Ankara, 1997, P. 195 — 199.

8. Batyrshin I., Khabibulin R. On construction of invariant relational clustering algorithms, in: Interactive Systems: The Problems of Human-Computer Inter-» action, (Ed. by P. Sosnin), Uljanovsk, 1997, v.2, 3 P. 5.

9. Batyrshin I., Khabibulin R. Testing of Clustering Algorithms on Invariance EUFIT'97, Aachen, Germany, 1997, pp. 1847-1851.

10. Batyrshin I.Z. Fuzzy relations in system analysis/ZFuzzy Sets in Informatics/Moscow internation, conf.-Moscow, 1988-P. 11-12.

11. Bezdek J.C. A note on two clustering algorithms for relational network data. SPIE, vol. 1293, Applications of Artificial Intelligence VIII (1990), P. 268277.

12. Cunningham K.M., Ogilvie J.C. Evaluation of hierarchical grouping techniques: a preliminary study. The Computer Journal, 15, 3, P. 209 - 213.

13. Delgado M., Gomez-Skarmeta A.F. Vila A. On the use of hierarchical clustering in fuzzy modeling. Int. J. Of Approx. Reasoning, 14, 1996, P. 237 257. .

14. Dubois D., Esteva F., Garcia P., Godo L., Prade H. A logical approach to interpolation based on similarity realtions. Report de Recerca IIIA 96/07, Barcelona, 1996, P. 105-125.

15. Gu T., Dubuisson B. Similarity of classes and fuzzy clustering. Fuzzy Sets and Systems, 34, 1990, p. 213 - 221.

16. Hashimoto H. Transitivity of generalized fuzzy matrices. Fuzzy Sets and Systems, 17, 1985, p. 83 - 90.

17. Hirsch G., Lamotte M., Mas M.T., Vigneron M.J. Phonemic classification using a fuzzy dissimilitude relation. Fuzzy Sets and Systems, 5, 1981, p. 267 -t 275.

18. Johnson S.C. Hierarchical clustering schemes. — Psychometrika, 1967, 32,3, p. 241-254.

19. Kitainik L. Fuzzy Decision Procedures with Binary Relations. Towards a Unified Theory. Kluwer, Boston, 1993. - 254 pp.

20. Klawonn F., Kruse R. Equality relations as a basis for fuzzy control. -Fuzzy Sets and Systems, 54, 1993, p. 147 156.

21. Shortliffe E. Computer based medical consultations: MYCIN, American Elsevier, New York, 1976, p. 176-195.

22. Libert G., Roubens M. Non metric fuzzy clustering algorithms and their cluster validity, in: M.M. Gupta and E. Sanchez (eds.). Approximate Reasoning in Decision Analysis. North-Holland Publishing Company, 1982, p. 417 425.

23. Lopez de Mantaras R., Valverde L. New results in fuzzy clustering based on the concept of indistinguishability relation. IEEE Trans, on Pattern Analysis and Machine Intelligence, 10, 5, 1988, p. 754 - 757.

24. Matula D.W. Methods of graph theory in cluster analysis algorithms, in: Classification and Clustering (Ed. by J. Van Ryzin). Academic Press, 1977. (Russian translation: Clussificatsija i cluster-Moscow, Mir, 1980, p. 83 —111.)

25. Rousseeuw P J. Discussion: Fuzzy clustering at the intersection. Tech-nometrics, v. 37, 3, 1995, p. 283 - 286.

26. Tamura S., Higuchi S., Tanaka K. Pattern classification based on fuzzy relations IEEE Trans, on Systems, Man and Cybernetics SMC-1 (1971), p. 61-66.

27. Wagenknecht M. On pseudo-transitive approximations of fuzzy relations. -Fuzzy Sets and Systems, 44, 1991, p. 45 55.

28. Wang X. An investigation into relations between some transitivity-related concepts. Fuzzy Sets and Systems, 89, 1997, p. 257 - 262.

29. Zadeh L.A. Fuzzy algorithms.- Information and Control 1968 - 12, p. 94-102.

30. Куприянов М.С., Ярыгин О.Н. Построение отношения и меры сходства нечетких объектов // Техническая кибернетика. — 1988. № 3.

31. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решения на основе нечетких моделей: примеры использования; Рига "Знание", 1990, 184 с. ,

32. Вятченин Д.А. Нечеткие методы автоматической классификации // Монография Минск: УП «Технопринт», 2003. - 219 с.

33. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2001. - 384 е.: ил.

34. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. М: Радио и связь, 1990. - 288 с.

35. Змитрович А.И. Интеллектуальные информационные системы. — Мн.: НТООО «ТетраСистемс». Минск, 1997. - 368 с

36. Маренко В.А. Способы представления данных в экспертных системах // Математические структуры и моделирование. 2001. - № 8. — С. 34-39.

37. Паклин Н.Б. Адаптивные модели нечёткого вывода для идентификации нелинейных зависимостей в сложных системах: Дисс. на соиск. уч. степ, к-та техн. наук. Ижевск, 2004. - 162 с.

38. Питер Джексон. Введение в экспертные системы: Пер. с англ.: Уч. пос. М.: Издательский дом «Вильяме», 2001. - 624 е.: ил.

39. Подольская М.А., Нуриев З.Ш. Компьютерно-томографическое исследование паравертебральных мышц на поясничном уровне при дистрофических вертеброгенных заболеваниях // Медицинская визуализация. 2004. — № 4.-С. 127-136.

40. Светуньков С.Г. Общая схема оценивания эконометрических моделей // Известия Санкт-Петербургского государственного университета экономики и финансов, 2002, № 3.

41. Черняховская М.Ю. Представление знаний в экспертных системах медицинской диагностики. Владивосток: Институт автоматики и процессов управления ДВНЦ АН СССР, 1983. - 212 с.

42. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику. Винница: УИИВЕРСУМ-Винница, 1999. 320 с.

43. Аверкин А.Н. Нечеткое отношение моделирования и его использование для классификации и аппроксимации в нечетких лингвистических пространствах.- Изв. АН СССР Техническая кибернетика, 1982, N 2, с. 215.

44. Аверкин А.Н., Макеев С.П. Аппроксимация нечетких отношений I-го и 2-го типов нечеткими отношениями эквивалентности//Тезисы III научно-технического семинара "Управление при наличии расплывчатых категорий", Пермь, 1980, 20 22.

45. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. Справочное изд.-М.:Финансы и статистика, 1983. 471 с.

46. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. Справочное издание/Под ред. С.А. Айвазяна,- М.:Финансы и статистика, 1989.- 607 с.

47. Батыршин И.З. Иерархические алгоритмы выделения классов толерантности в задачах классификации //Применение вероятностно-статистических методов в бурении и нефтедобыче: Тез. докл. IV Всесоюзной конференции. Баку, 1984- С. 16-17.

48. Батыршин И.З. Кластеризация на основе размытых отношений сходства //Управление при наличии расплывчатых категорий: Тез.докл. 3-го научно-технического семинара Пермь, 1980. - С. 25-27.

49. Дюран Б., Оделл П. Кластерный анализ: Пер. с англ. -М.: Статистика, 1977.-125 с.

50. Батыршин И.З. Шкалированные отношения и принятие решений в логиках на шкалах // Методы математической логики в задачах планирования иповедения. Т.2: Тез. докл. IX Всесоюзного симпозиума по кибернетике. -М., 1981-С. 4-6.

51. Жамбю М. Иерархический кластер-анализ и соответствия. — М: Финансы и статистика, 1988.-342 с.

52. Заде Л.А. Размытые множества и их применение в распознавании образов и кластер-анализе. В кн.: Классификация и кластер /Под ред. Дж.Вэн Райзина- М: Мир, 1980.-С. 208-247.

53. Каплинский А.И., Руссман И.Б., Умывакин В.М. Моделирование и алгоритмизация слабоформализованных задач выбора наилучших вариантов систем. Воронеж: Изд-во ВГУ, 1990. - 168 с.

54. Кимбл Г. Как правильно пользоваться статистикой.-М.: Финансы и статистика, 1982. 293 с.

55. Классификация и кластер /Под ред. Дж.Вэн Райзина- М: Мир, 1980.-389 с.

56. Крускал Дж. Взаимосвязь между многомерным шкалированием и кластер-анализом.- В кн.: Классификация и кластер /Под ред. Дж.Вэн Райзина.- М: Мир, 1980.- С. 20 41.

57. Кузьмин В.Б. Построение групповых решений в пространствах четких и нечетких бинарных отношений М: Наука, 1982 - 168 с.

58. Куропаткин П.В. Оптимальные и адаптивные системы. -М.: Высшая школа, 1980. -270 с.I

59. Мандель И.Д. Кластерный анализ. М.: Финансы и статистика, 1988.- 176 с.

60. Миллер Г. Магическое число семь плюс или минус два. О некоторых пределах нашей способности перерабатывать информацию. В кн.: Инженерная психология. - М.: Прогресс, 1964. - С. 192 - 225.

61. Мягкие вычисления 96: Труды Международного семинара /Под ред. И.З. Батыршина, Д.А. Поспелова. - Казань, 1996. - 222 с.

62. Норвич A.M., Турксен И.Б. Построение функций принадлежности — В кн.: Нечеткие множества и теория возможностей. Последние достижения /Под ред. P.P. Ягера. М.: Радио и связь, 1986 - С. 64-71.

63. Олдендерфер М.С., Блэшфилд Р.К. Кластерный анализ. В кн.: Факторный, дискриминантный и кластерный анализ. М.: Финансы и статистика, 1989

64. Орлов А.И. Устойчивость в социально-экономических моделях. -М., 1979. 9.-С. 139-214.

65. Прикладная статистика: Классификация и снижение размерности: Справочник/ Под ред. С.А.Айвазяна. -М.: Финансы и статистика, 1989. 450 с.

66. Раяцкас Р.Л., Плакунов М.К. Количественный анализ в экономике. -М.: Наука, 1987.-391 с.

67. Зима В.М., Молдовян A.A., Молдовян H.A. Безопасность глобальных сетевых технологий. 2-е изд. - СПб.: БХВ-Петербург, 2003. - С. 105-233.

68. Симанков B.C., Луценко Е.В. Исследование эффективности управления обучением с применением адаптивной информационной модели //Компьютерные технологии в науке и образовании XXI века: Тез. докл. Все-россиской конференции. —Уляновск: УлГУ, 1999. 3 с.

69. Сокал P.P. Кластер-анализ и классификация: предпосылки и основные направления. В кн: Классификация и кластер /Под ред. Дж.Вэн Райзина— М: Мир, 1980.-С. 7-19.

70. Проект «СКРИН» Национальной ассоциации участников фондового рынка http://www.skrin.ru

71. Веселовский В.П. Практическая вертеброневрология и мануальная терапия. Рига. 1991. 344 с.

72. Попелянский Я.Ю. Вертебральные синдромы поясничного остеохондроза. Казань. 1974. 284 с.

73. Кобршский Б.А. Искусственный интеллект и медицина: возможности и перспективы систем, основанных на знаниях // Новости искусственного интеллекта. 2001. - № 4. - С. 44-51.

74. Реброва О.Ю. Статистический анализ медицинских данных. Применение пакета прикладных программ STATISTICA. М., МедиаСфера, 2003. 312 с.

75. Черняховская М.Ю. Представление знаний в экспертных системах медицинской диагностики. Владивосток: Институт автоматики и процессов управления ДВНЦ АН СССР, 1983. - 212 с.

76. Подольская М.А. Мышечная преднастройка при поясничном остеохондрозе. Автореферат канд. диссертации. Казань, 1983. - 16 с.

77. Глова В.И., Корнилов Г.С., Катасёв A.C. Кластеризация значений входных параметров нечеткой нейронной сети // Вестник Казанского государственного технического университета им. А.Н. Туполева, №1, 2009. С. 74-77.

78. Катасёв A.C., Корнилов Г.С., Аникин И.В. Адаптивная нейронечет-кая модель формирования баз знаний экспертных систем // XII Международная конференция по мягким вычислениям и измерениям (SCM'2009). Санкт- Петербург, 2009 г.: сборник докладов. С. 219-222

79. Корнилов Г.С. Алгоритм нечеткой кластеризации // XVI Туполев-ские чтения. Международная молодёжная научная конференция, Казань, 2008.: тезисы докладов, 3-й том. С. 80-81.

80. Корнилов Г.С., Катасёв A.C., Аникин И.В. Методы и алгоритмыпреднастройки и оптимизации параметров нечеткой нейронной сети //

81. XII Международная конференция по мягким вычислениям и измерениямi

82. SCM'2009). Санкт- Петербург, 2009 г.: сборник докладов. С. 223-226.

83. Корнилов Г.С., Катасёв A.C., Катасёва Ю.С. Математические методы в исследовании рыночной корзины покупателя // Материалы Всероссийской Молодежной научной конференции «Инновационные технологии в торговле и экономике». Казань, 2008. С. 103-104.