автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Структурно-параметрическая оптимизация баз знаний обучаемых экспертных систем

Нижегородский государственный технический университет

На правах рукописи

БУХНИН Алексей Викторович

СТРУКТУРНО-ПАРАМЕТРИЧЕСКАЯ ОПТИМИЗАЦИЯ БАЗ ЗНАНИЙ ОБУЧАЕМЫХ ЭКСПЕРТНЫХ СИСТЕМ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (в науке и промышленности), технические науки

Автореферат диссертации на соискание ученой степени кандидата технических наук

Нижний Новгород 2005

Работа выполнена на кафедре "Информатика и системы управления" Нижегородского государственного технического университета (НГТУ)

Научный руководитель:

доктор технических наук, доцент Ю.С. Бажанов

Официальные оппоненты:

доктор технических наук, профессор К.Г. Кирьянов доктор технических наук, доцент В.Р. Милов

<

Ведущая организация:

Научно-исследовательский центр контроля и диагностики технических систем, Н. Новгород.

Защита состоится "_"_2005 г. в_часов

на заседании диссертационного совета № Д 212.165.05 в Нижегородском государственном техническом университете по адресу: 603600, г. Нижний Новгород, ГСП-41, ул. Минина, 24, НГГУ.

С диссертацией можно ознакомиться в библиотеке Нижегородского государственного технического университета

Автореферат разослан "_"_2005 г.

Ученый секретарь диссертационного совета

кандидат технических наук А.П. Иванов

/«fSJL,

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность нсслсдовлшш При решении сложных задач, связанных с использованием слабоформализонанных знаний специалистов-практиков, успешно применяются технологии искусственного мшеллскы Экспертные спсiемм (ЭС) - один из наиболее распространенных классов интеллект дльных сиасм Они оперируют знаниями, хранящимися в базах знаний (БЗ) в понятной человеку форме, с целью выработки рекомендаций или решения проблем в тех областях науки и техники, где традиционные математические методы малопригодны (экономика, медицина, геология, химия и др.). В России исследования ЭС проводили ученые B.J1. Вагин, В.И. Городецкий, Г.С Осипов, Э.В. Попов, Д А Поспелов, B.J1. Стефанкж, В.К. Финн, В.Ф. Хорошевский и многие другие. Развитию нечетких ЭС способствовали работы А.Н. Аверкина, JI. Заде (L. Zadeh), Дж. Клира (G. Klir), А. Кофмана (А. Kaufmann), Е. Мамдани (Е. Mamdani).

Создание эффективной системы - дорогостоящий и продолжительный процесс, требующий привлечения специалистов различных направлений: программистов, инженеров по знаниям, экспертов в прикладной области. Знания системе передаются во время собеседований между инженером по знаниям и экспертом. Функция приобретения знаний считается одним из главных "узких мест" технологии экспертных систем из-за низкой скорости наполнения БЗ системы правилами.

Между тем, существуют прикладные области, в которых собрано большое количество фактической информации. Эти данные могут быть использованы для генерации правил или для оптимизации имеющейся базы знаний. Усилия многих исследователей направлены на разработку адаптивных (самоорганизующихся) систем, способных обучаться на примерах. Среди них искусственные нейронные сети, системы, использующие метод группового учета аргументов (МГУА), адаптивные системы нечеткого логического вывода. Все технологии обладают как достоинствами, так и недостатками. Нейросетевой подход и МГУА приводят к получению логически непрозрачных систем. Способ решения задачи такими системами трудно вербализовать. Существующие подходы к получению логически прозрачных нейросетей нельзя признать эффективными. Да и само понятие "логической прозрачности" для интеллектуальных систем недостаточно формализовано. В свою очередь, наиболее изученные варианты систем нечеткого логическою вывода не обладают достаточной гибкостью в представлении знаний. Их базы знаний имеют одноуровневый вид, т.е. промежуточные выводы не используются. Кроме того, существующие методы оптимизации таких систем допускают ограниченное участие эксперта в обучении. Его роль сводится к подготовке обучающей выборки и выбору параметров алгоритма оптимизации. Использование априорной информации о прикладной области (например, в виде формулирования начальной базы знаний) не допускается. Общепризнанного лучшего метода оптимизации нечетких систем на данный момент не существует. Известные алгоритмы обучения различаются особенностями этапов структурной и параметрической оптимизации, подходами к настройке параметров сегментации входных переменных. Последняя задача является особо важной и трудно решаемой (если учитывать требование простой вербализуемости результирующей базы знаний).

Таким образом, актуальной является задача созданйя эффективного метода ошимизации баз знаний экспертных систем, с возможностью модификации списка нечетких правил и настройки параметров сегментации входных переменных. Метод должен допускать использование априорной информации о прикладной области на разных этапах обучения. Модель системы должна поддерживать иерархический логический вывод.

4*4

Щ

Целью работы является разработка метода структурно-параметрическом оптимизации баз знаний обучаемых экспертных систем и исследование его >ф-фсмивности. Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработать математическую модель нечеткой адаптивной системы, сочетаю- , щую гибкость и универсальность в представлении знаний с простотой вербализации.

2. Ввести критерий структурной сложности нечеткой адаптивной модели, формализующий понятие "логической прозрачности".

3. Разработать и программно реализовать метод оптимизации адаптивной системы, допускающий автоматическую генерацию и модификацию нечетких правил, настройку параметров сегментации входных переменных и при этом позволяющий использовать априорную информацию о прикладной области на различных этапах обучения.

4. Исследовать эффективность применения предложенной модели нечеткой адаптивной системы при решении прикладных задач.

На защиту выносятся:

1. Метод оптимизации баз знаний экспертных систем, основанный на преобразовании исходной БЗ в нечеткую сеть логического вывода, оптимизации сети с использованием обучающей выборки и обратном преобразовании сети в базу знаний.

2. Генетический алгоритм параметрической оптимизации нечеткой сети.

3. Алгоритм факторизации нечеткой сети логического вывода, использующий критерий структурной сложности для получения сети с более легко интерпретируемой структурой.

4. Результаты исследования эффективности предложенной модели и метода оптимизации при решении прикладных задач.

Методы исследования. Работа базируется на методах и моделях теории нечетких множеств, эволюционных вычислений, гибридных интеллектуальных систем, математической статистики, объектно-ориентированного программирования, а также алгоритмах синтеза микропрограммных автоматов.

Научная новизна. В диссертационной работе получены следующие результаты, характеризующиеся научной новизной:

1. Разработан метод оптимизации баз знаний экспертных систем, основанный на преобразовании исходной БЗ в нечеткую сеть логического вывода, оптимизации сета и обратном преобразовании сети в базу знаний. Метод допускает использование априорной информации о прикладной области для получения наиболее полной и точной базы знаний в условиях малой обучающей выборки.

2. Разработана математическая модель нечеткой сети логического вывода, включающая исчерпывающий набор типов элементов, необходимых для преобразования БЗ в сеть и обратно.

3. Введен критерий структурной сложности нечеткой сети логического вывода, используемый для сравнения сетей с различающимися структурами, но позволяющих решать задачу с одинаковой точностью.

4. Разработан алгоритм факторизации нечеткой сети, основанный на выделении устойчивых сочетаний посылок в условных частях нечетких элементов.

Практическая значимость и ценность работы заключается в создании программы-оболочки для построения экспертных систем, которая позволяет пользователю, не являющемуся программистом, создавать базы знаний, оптимизировать их с использованием обучающей выборки, проводить интеллектуальный анализ данных, выявляя логические закономерности. С применением данной

разработки была cownia аналитическая модель для прогнозирования активности кариеса зубов в период беременности и ближайшие после родов сроки, преде ин-лнюшая профессиональный интерес для врачей-стома голою»

Апробации работ. Основные положения и результаты дисссртшифнной работы докладывались и обсуждались на Всероссийской научно-технической конференции "Информационные системы и технологии" ИСТ - 2002, Всероссийской научно-технической конференции ИСТ - 2003. Всероссийской научно-технической конференции ИСТ - 2004; II! Всероссийской молодежной научно технической конференции "Будущее технической пауки"; Всероссийской научно-технической конференции ИСТ - 2005.

Публикации. ГО материалам диссертационной работы опубликовано 10 печатных работ, из них 3 статьи и 7 публикаций в материалах научных конференций.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 102 наименований и четырех приложений; содержит 143 машинописные страницы основного текста, включая 20 рисунков и 3 таблицы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования, дана общая характеристика работы, сформулированы ее цели и задачи.

Первая глава посвящена обзору современных подходов к построению экспертных систем и методов интеллектуального анализа данных. Приведены общие сведения об ЭС, перечислены основные модели представления знаний в интеллектуальных системах (фреймы, семантические сети, нейросетевые и продукционные модели).

Способ представления знаний, основанный на продукциях ("если - то"-правилах), используется не только в ЭС, но и в системах поиска логических закономерностей в данных. Это сходство может позволить переносить знания из систем данного типа в ЭС и обратно, либо комбинировать различные технологии ИИ в одной системе. Большую гибкость в решении задач системе придает использование нечетких правил и нечеткого логического вывода.

Далее в главе рассмотрены традиционные подходы к приобретению знаний ЭС Самыми первыми были созданы инструментальные средства, направленные на помощь при вводе правил, проверку на непротиворечивость базы знаний. Системы следующего поколения были ориентированы на частичную автоматизацию процесса извлечения знаний. В ходе диалога с экспертом такая программа задает вопросы в соответствии со стратегией, направляемой имеющимися у нее знаниями о предметной области.

Методы формирования знаний на основе машинного обучения (или machine learning) считаются наиболее перспективным направлением инженерии знаний. Они основаны на предположении, что в результате автоматизации процесса обучения знания будут сформированы с использованием имеющегося эмпирического материала. Методы извлечения знаний из баз данных интенсивно разрабатываются в рамках нового направления в области ИИ, называемого Data mining (DM).

Подробно рассмотрены методы DM, оперирующие знаниями в виде "ести -то"-правил, выявлены их достоинства й недостатки, исследована возможность их применения для приобретения знаний ЭС. Среди них- деревья решений, алгоритмы ограниченного перебора, эволюционное программирование, нейронные сети (НС) Особого интереса заслуживает стремление исследователей объединить по-

ложительные стороны различных технологий ИИ для получения эффективной и легко интерпретируемой модели

Рассмотрим нечеткие нейронные сети — гибридные системы, объединяющие нейросегевые методы с технологиями нечеткой логики Эта сеть состоит из нечетких нейронов, которые играют роль продукционных правил в сети логического вывода экспертной системы. Система на основе нечеткой НС обладает основными преимуществами нейросетевых систем (параллельная обработка данных, обучаемость) и систем, использующих нечеткую логику. Имеется возможность применения априорной информации путем формирования начальной сети с частично оптимальными параметрами. При обучении сети на примерах следует абстрагироваться от того, что она нечеткая, и применять известные методы настройки ней-росетей.

В настоящее время наиболее исследованы модели с одноуровневой базой знаний, известные также под названием адаптивных нейро-нечетких систем вывода (Adaptive Neuro-Fuzzy inference System). Оптимальных методов обучения нечетких систем на данный момент не найдено, и актуальными являются исследования в этом направлении. Основные принципы построения алгоритмов самоорганизации нечетких систем: копирование обучающей выборки, оптимизация числа продукционных правил как отдельного параметра, совместная оптимизация по числу продукционных правил и весам нечеткой сети, алгоритмы сокращения (редукции), алгоритмы наращивания нечетких сетей (конструктивные алгоритмы). Может оказаться полезной комбинация описанных подходов. Применимость различных алгоритмов оптимизации для настройки параметров системы зависит от выбранной модели и характера решаемых прикладных задач. Для решения наиболее широкого круга задач могут быть использованы генетические алгоритмы, сочетающие в себе элементы детерминистического и стохастического подходов.

Во второй главе рассматривается структура БЗ обучаемой ЭС, приводится модель нечеткой сети логического вывода, дается общее описание процесса обучения БЗ. Задача, решаемая обученной моделью, формулируется следующим образом: необходимо определить степени истинности (СИ) каждого из h возможных исходов, т.е. значения yt €Е[0;1] (i =1,...,А), при заданных значениях и,

входных переменных (X, ^[^¡пу'^тах/]' J = l'"4ui) и СИ и2 входных фактов

(Xj €Е[0;1], j = Mj + 1,...,И, U = Ul + и2). СИ исходов определяют уровни доверия к рекомендациям системы, при этом 1 соответствует максимальному уровню, 0 - минимальному, а все промежуточные значения определяют градации уровня доверия. В данной работе не предлагается конкретный способ интерпретации СИ выводов.

Для представления знаний предлагается использовать списки нечетких продукционных правил вида: ЕСЛИ (условие), ТО (следствие). Условие представляет собой конъюнкцию либо дизъюнкцию элементарных событий, в качестве которых могут выступать факты попадания значений входных переменных в некоторые интервалы, факты наличия у наблюдаемого объекта определенного признака, а также следствия других правил из той же БЗ. Посылка может браться с отрицанием, а также имеет вес И>( определяющий ее влияние на СИ всего условия. Независимые параметры являются лингвистическими переменными, а СИ фактов попадания в интервалы (сегменты) вычисляются как значения функций

принадлежности (ФП) нечетких множеств, заданных на области определения параметра.

Каждое правило определяет СИ некоторого факта, указанною в его правой части (следствие), при наступлении ситуации, описываемой левой частью Правило имеет вес и'£г[0;1|, указывающий на степень доверия к его выводу. Некоторая группа правил отвечает за определение СИ выходных факюв, что и является решением задачи в текущей ситуации.

В предлагаемом подходе структурно-параметрической оптимизации подвергается не база знаний непосредственно, а эквивалентная ей сеть нечеткого вывода, состоящая из нечетких нейроподобных элементов. Каждый элемент имеет уникальное имя, определяемое именами правил и входных параметров исходной базы знаний либо сгенерированное во время процесса обучения. Часть нейронов описывает входные переменные, другие - играют роль продукционных правил. Такую сеть можно рассматривать как разновидность нейронных сетей. По топологии это будут многослойные синхронные сети прямого распространения с пе-• рекрестными связями. При этом сеть может быть легко вербализована. От стан-

дартных гибридных сетей она отличается наличием нейронов, реализующих промежуточные вводы, что приводит к получению многоуровневой иерархии правил. Эта особенность делает предложенные системы более гибким инструмен-1 том для выражения знаний о прикладной области. В терминах нечетких систем

сеть описанного типа производит нечеткий логический вывод по алгоритму Сугэ-но 0-го порядка, однако не содержит характерный для всех нечетких систем блок деффузификации. Это позволяет упростить преобразование базы знаний в сеть и обратно, приводит к упрощению алгоритма структурной оптимизации, позволяет сократить набор оптимизируемых параметров системы. Кроме того, особенностью данной системы является применение блока агрегации выводов в виде элемента типа "ИЛИ" (реализующего функцию max), а не сумматора, более характерного для типичных нечетких систем. Такой подход позволяет получать сети более однородной структуры (не требуется введение дополнительного типа элементов), что упрощает вербализацию. С учетом сказанного был сформирован набор необходимых типов элементов.

1. Нечеткий элемент типа "ИЛИ" может иметь несколько входных и выходных связей. Если интерпретировать входные сигналы нейрона как СИ посылок, а выходной - как СИ гипотезы, то можно считать, что при работе нейрона происходит логический вывод. Один из возможных вариантов математической модели нечеткого нейрона типа "ИЛИ":

а fx, если а = О ^Wmax^-W,,...,^-^)^ еу СИ выво-

да; М' - вес элемента; х, - СИ i-й посылки; ><', - вес /-й посылки

(У> , И> €r[0;l]; / - 1—,п ); С,- е{0;1} - параметр, указывающий на знак посылки (он равен 1, если посылка взята с отрицанием, и 0 в обратном случае); п - число входных сигналов (посылок). _____

2. Нечеткий элемент типа "И" аналогичен предыдущему. Для него:

у = W min(jCjCT' +(1 - Wj),...,xn°" +(1-vv„)), где + означает операцию алгебраической суммы (х, + х2 «• X, + х2 -x{-x2).

Предлагаемые модели позволяю! ciponib адаптируемые нечеткие системы, предоставляя исчерпывающий набор параметров, оптимизируемых в процессе автоматического обучения. При этом сохраняется возможность интерпретации человеком логики производимого элеменюм преобразования информации. Так, численные значения весов посылок MoiyT бьиь вербализованы с использованием слов: "необходимо" (для wt 6Е(0,9;1]), "почти обязательно" (и>( €Е(0,7;(),9]), "не обязательно" (и; €Е(0,4;0,7]), "почти не важно" €Е(0,1;0,4]). Посылка с весом wt s 0,1 может бьиь исключена из рассмотрения. Вес элемента заменяется фразами: "точно", "вероятно", "есть основания полагать" и т.д.

3. Элемент mima "Входной" не имеет входных связей, может иметь несколько выходных связей, по которым передает значение степени уверенности соответствующего факта, введенное пользователем или взятое из обучающей выборки. Он не производит преобразование информации.

4. Элемент типа "Входная переменная" определяет лингвистическую переменную со следующими параметрами: Хтт - минимальное допустимое значение

переменной; - максимальное допустимое значение; ns - число сегментов (интервалов), на которые разбита область определения переменной; П = {7Г1,7Г2,...,7ГпУ - массив параметров сегментации, определяющих перекрывающиеся трапециевидные функции принадлежности, при этом число параметров рассчитывается как "П ~ (/ls ~ и выполняется соотношение Я, Каждая трапециевидная ФП задается функцией fT(x;a,b,c,d), где а>Ь,с,d -числовые параметры, упорядоченные соотношением: flsbscsd. Параметры and характеризуют нижнее основание трапеции, Ь и с - верхнее На рис.! приведен пример разбиения переменной х на три интервала. Первый сегмент задан функцией fT(x\2,2,l,\ 1), второй - fT(x;7,11,17,24), третий -fT (*;17,24,28,28). Соответственно,

данная переменная имеет следующие параметры: хтт = 2;

сегмент I

сегмент 2

сегмент 3

= 28 ■

П. —3-

П = {7,11,17,24}.

5. Элемент типа "Сегмент" Это вспомогательный тип, служащий для связывания нечетких элементов-правил с входными переменными. Такой элемент имеет один вход, соединенный с выходом элемента типа "Входная переменная" и единственный выход, соединенный с элементом типа "Нечеткий И" или "Нечеткий ИЛИ". На выход передается значение функции принадлежности, соответствующей одному из сегментов независимой переменной, при текущем значении этой переменной Номер К сегмента хранится в качестве единственного параметра элемента данного типа.

Теперь опишем все этапы структурно-параметрической оптимизации базы знаний в соответствии с разработанным методом:

1. Эксперт формирует исходный список правил на основе имеющихся у пего знаний и в соответствии с собственными представлениями о способе решения прикладной задачи.

2. Эксперт подготавливает обучающую выборку из т строк вида:

<х,,у,' >=<х,рл-,2,...,х,„,>-;„>',;,...,)•;, >, ГДс х, -(хл,х,г,...,хш) - вектор входных значений /'-го примера, У = {у11,у1-1,• ••>>',/,) вектор требуемых выходных значений для /'-го примера, / = 1 ,.,.,/н.

3. Исходная база знаний однозначно преобразуется в нечеткую сеть логического вывода. При этом каждое правило заменяется нечетким элементом, названным по имени факта-вывода, указанного в правой части. Если несколько правил содержали один и тот же вывод, к именам элементов добавляются номера в соответствии с порядком обработки (для исключения дублирования имен), а их выходы соединяются положительными связями с единичными весами с входами дополнительного элемента типа "ИЛИ", названного по имени факта-вывода.

4. Эксперт определяет, какие параметры сети не должны изменяться в процессе параметрической оптимизации, какие элементы и связи не могут быть удалены в процессе последующего сокращения сети.

5. Эксперт задает значения параметров генетического алгоритма, применяемого для параметрической оптимизации сети.

6. Запуск структурно-параметрической оптимизации с целью уменьшения ошибки системы на обучающей выборке, в ходе которой добавляются элементы типа "Нечеткий И". После добавления элемента производится параметрическая оптимизация (корректируются все нефиксированные параметры сети логического вывода, включая параметры сегментации). Наращивание сети повторяется до тех пор, пока ошибка по обучающей выборке не достигнет величины, заданной экспертом, или пока она не перестанет уменьшаться.

т А

Ошибка рассчитывается по формулам: Е = к дн ■ —__+ к ■ тах(У Е )>

„ \к,с ■ (/„ - л )2> при / £ у ,

Е , где ксредн - вес, с которым учитывается

\КР-(У,-Уц)2> пРи/„ > У,г средняя ошибка; кткс - вес максимальной ошибки; кпс - цена ложного срабатывания; кф - цена ошибки типа "пропуск"; уц требуемое значение /'-го выхода сети при подаче на входы значений из /-го примера; Уу - фактическое значение у'-го выхода сети для /'-го примера. Коэффициенты ксре0н, кмакс, км и кпр задаются экспертом перед запуском оптимизации исходя из особенностей прикладной области и целей исследования.

7. Производится редукция сети путем последовательных попыток удаления элементов и связей.

8. С целью получения оптимальной но структуре сети применяется алгоритм факторизации.

9 Происходит вербализация сети, т.е. ее преобразование в базу знаний

10. Оценка 1»3 экспертом и при необходимости новюрнос обучение с изменением части свойств модели или параметров алгоритмов оптимизации В третьей главе описаны основные ашоришы оптимизации нечеткой сети логического вывода.

В разделе 3.1 приведен ¡снетический алгоритм (ГА) параметрической оптимизации. Обозначим чере5 У. вектор параметров всех элементов сети, через О -описание области допустимых значений этих управляемых параметров Тогда обучение нечеткой модели сводится к задаче нелинейной оптимизации: ГПШ где Е - критерий оптимальности модели, равный ошибке системы на

обучающей выборке. Разработанный ГА оперирует бинарными строками, т.е. хромосома представляется в виде: С = [X, V] = (сс] ,(Х2,...,а) , где - преобразование, осуществляющее переход от вектора X к генотипу; ((2],&2,---,ОС[ ) - битовая строка длиной Ь (а, £{0; 1}, I -1,...,/,). Вектор параметров сети X составлен из векторов параметров элементов: к — (Х,,).,,...,^). Хромосома формируется путем обхода всех элементов сети в любом порядке (порядок запоминается) и конкатенации бинарных представлений элементов, полученных с по-

N

мощью соответст вующих преобразований. Поэтому Ь - ^ Ь); - длина бинарного представления вектора параметров у-го элемента; N - число элементов сети. Генами являются бинарные представления каждого параметра каждого элемента (их общее число обозначим через N ). На рис. 2 представлен общий вид хромосомы.

Типы и допустимые области компонентов такого вектора зависят от типа соответствующего элемента. Приведем процедуры преобразования для каждого типа элементов:

1. Нечеткий элемент типа "ИЛИ" ("И"). Два типа нечетких элементов обладают одинаковыми наборами параметров: н>, \У = (*>,, ж,,

Я = (гт,,(т2,...,<тв). Параметры а 1 Е{0;1}, следовательно, они уже представляют собой бинарные переменные Веса 1у,и>е[0;1] - вещественные числа, каждое из

которых преобразуется по формуле: Ч/, : С = се11 (х(2'' — 1)|;с —> В, где

се!1(") - функция, возвращающая наименьшее целое число, большее либо равное аргументу; х - вещественное представление параметра, с - целочисленное, В -двоичное представление (В = (Д, Д2,...,/?,), Д £{0; 1}, / = 1,...,/,); /, - разрядность представления параметров (устанавливается исследователем как один из параметров ГА, чаще всего /,£Е1;3). Обратное преобразование Ч;,"! :

элемент 1 элемент 2 элемент N

< К а," <

ген 1 ген 2 ген

- 1. -

Рис.2

1» с

= —■ Дл,|||;1 бинарного представления вектора параметров элемента будет равна: £ = па + пк ■ /,, где Па - число посылок с нефиксированными знаками, - число посылок с нефиксированными весами, увеличенное на единицу, если и вес правила не фиксирован.

2 Элемент типа "Входная переменная". Управляемыми параметрами входной переменной являются элементы массива параметров сегментации П = {7Г},?Г2,Я"^}. На их значения накладываются следующие ограничения:

*т,„ <Хтах, ¿ = 1,...,77; 7Г, *пм,/ = !,.. „77-1.

Кодирование этих параметров производится по формуле: Ч*2 :

С —--, с —» й —> V*, где X - вещественное представление пале — х

шах шш

раметра 7Г(, / = , с - целочисленное, В - двоичное представление, С -

представление в коде Грея; 12 - разрядность представления параметров (устанавливается исследователем, рекомендуется задавать значения из интервала 5;10, тогда вещественные значения параметров будут закодированы с максимальной относительной погрешностью от 0,032 до 0,001). Преобразование в код Грея приводит к плавному изменению параметров сегментации при инверсии одного бита

в результате мутации. Обратное преобразование Ч,2'1: С —> В —*С,

X = С ' ~ ) + х

(2'2-1)

Для соблюдения ограничения Я1 5 7Г(+1 полученные в результате преобразования Ч/2"1 вещественные значения параметров сегментации упорядочиваются по возрастанию. Длина бинарного представления вектора параметров элемента будет равна: Ь =7] • /2. Массив параметров сегментации может быть зафиксирован исследователем, что приведет к его исключению из списка параметров оптимизации системы.

3. Элемент типа "Сегмент" имеет один управляемый параметр К ,

где п$ - число сегментов связанной с ним входной переменной. Кодирование управляемого параметра осуществляется по формуле: Ч'3 : С = К —1, С—»В, где с - целочисленное представление параметра, В - двоичное представление строкой длины /3 = сеП(1с^2(и5)) Обратное преобразование 4х : В С, К = С +1. В результате действия операюров мутации и скрещивания

при условии ^ 23) после преобразования Ч^'1 может быть получено значение К > пъ. Для соблюдения ограничения на область допустимых значений па-

раметра проводится нормализация по формуле: К = mod(/v - ) + 1, где mod(v) - функция, возвращающая остаток целочисленного деления первого операнда на второй.

Каждой особи С ставится в соответствие оценка ее неприспособленности £(С), равная ошибке системы на обучающей выборке при значениях параметров

элементов X, полученных применением преобразований Ч^^Ч^^Ч'з' из генотипа особи. Целью генетического алгоритма является поиск особей с наименьшим значением Е(С). Совокупность особей (CJ,...,C') образует популяцию Р' численностью V. Индекс t обозначает номер поколения в ходе жизненного цикла популяции Т (t = 0,1,..., Т).

Приведем шаги генетического алгоритма:

1. Инициализация. Формирование популяции Р° заданного размера v (t = 0). Особи оцениваются и сортируются по возрастанию неприспособленности E(C'j) ( / = 1,..., v). Инициализируется учитываемая в ходе выполнения ГА переменная t ■= 0- число поколений, в течение которых не менялось минимальное значение неприспособленности в популяции.

2. Проверка условий остановки алгоритма. Критерием окончания эволюции служит достижение предельного числа поколений (t = 7max} или повторение

• *

характеристик лучшей особи в течение определенного числа итераций (/ = /тах ).

3. Применение оператора скрещивания. Формируется новая совокупность особей, состоящая из заданного числа потомков особей текущей популяции. Они получаются в результате одно- или двухточечного скрещивания. Родительская пара выбирается с использованием рангового вероятностного отбора, т.е. каждой особи в упорядоченной по неприспособленности популяции приписывается число, определяемое ее местом в списке i и называемое рангом г. Вероятность выбора особи Р(С/) пропорциональна рангу и определяется выражениями:

■ у л1 ■ Р(С'\ = ' = —4_

+ - = V 3 2 1 • Лучшая особь будет вы-

4 4 \ г —у + -V

& ' 4 2

бираться в к раз чаще, чем худшая, где к рассчитывается по формуле:

г 4

к = — = 5--.В пределе при V —* лучшая особь должна выбираться в 5 раз

К V

чаще худшей. Хромосомы отобранной родительской пары (С, ,С2) комбинируются, в результате чего получаются две хромосомы потомков (С^С^), унаследовавших часть генетической информации от обоих родителей. Число скрещиваний А^ задается исследователем как один из параметров ГА.

4. Применение оператора мутации. Совокупность пополняется заданным числом Ыт "мутантов". Мутация заключается в случайном выборе особи на основе рангового вероятностного отбора и инвертировании значений определенного

числа произвольных битов в се хромосоме. Число инверсий Ninv определяется как

случайное целое число из интервала [1; min(/* +1;10)].

5. Оценка популяции и формирование новою поколения. Особи новой совокупности оцениваются. Далее данная совокупность объединяется с текущим поколением, и производится сортировка по возрастанию неприспособленности. Затем производится редукция объединенной совокупности с целыо получить новое поколение исходного размера. При этом заданное число Nt. элитных особей с наименьшими оценками неприспособленности однозначно остается в популяции. Из остальной части совокупности выбираются и удаляются N0 особей. Кандидат на удаление выбирается с использованием инверсного рангового отбора, т.е. ранг

• N.

рассчитывается по формуле: г, - i + . Таким образом, оставшиеся в совокупности особи составляют новое поколение Р'+1. Счетчик поколений t увеличивается на единицу. Оценка неприспособленности лучшей особи Е'Ын1 (минимальная в популяции) является решением задачи оптимизации на текущей итерации алгоритма. При выполнении условия E'/Kil ~ E'^l,, t* увеличивается на единицу.

6. Новый этап эволюции (переход к шагу 2).

Особенностью разработанного ГА является участие особей текущего поколения при формировании нового поколения наравне с потомками. Данный подход применяется с целью увеличения числа рассматриваемых решений при отборе перспективных особей без дополнительных расходов времени на оценку (так как предки уже были оценены на предыдущей итерации). Это особенно актуально для решаемой задачи, так как определение неприспособленности каждой особи требует вычисления сложной функции ошибки по большому числу примеров из обучающей выборки. При этом потенциальная проблема уменьшения разнообразия генотипов решается за счет "щадящего" рангового вероятностного обора и более высокой интенсивности мутации, чем в классическом ГА.

Раздел 3.2 посвящен алгоритму факторизации сети, который приводит структуру сети к виду, более доступному для оценки человеком. Рассмотрим сеть с четырьмя входными элементами и двумя выходными. Ей соответствует база знаний: 1. ЕСЛИ el И е2 И еЗ, ТО е5; 2. ЕСЛИ е1Ие2И е4, ТО еб.

Условные части обоих правил содержат конъюнкцию посылок el и е2. Очевидно, это говорит о том, что совместное наступление соответствующих событий является закономерным. Поэтому стоит ввести еще одно правило, отвечающее за промежуточный вывод. Измененная база знаний выглядит так: 1. ЕСЛИ el И е2, ТО е7; 2. ЕСЛИ е7 И еЗ, ТО е5; 3. ЕСЛИ el И е4, ТО еб.

Вероятно, эксперт сможет найти подходящее название для ситуации "el И е2", которое будет использовано при вербализации сети. Т.о. логическая прозрачность сети повысилась. Однако число элементов после улучшения сети увеличилось с б до 7 при неизменном количестве связей, т.е. стремление уменьшать число элементов и связей не является оптимальным вариантом. Аналитически критерий

1v

структурной сложности (Q) может быть выражен формулой: Q ■= ^ nfiixi, где N

- число элементов сети, nuiXI - число исходящих связей г-го элемента. Для рассмотренной исходной сети Q =10, а после оптимизации (2=8. Предложенная

формула имеет эмпирический характер и отражает стремление выделить в отдельные элементы по возможности большее число устойчивых сочетаний посылок, встречаемых в большом числе правил. В работе доказывается, что при упрощении сети в результате процедуры выделения устойчивого сочетания посылок (проиллюстрированной выше) значение критерия сложности () уменьшается Шаги алгоритма факторизации сети:

1. Создается список условных частей всех незафиксированных элементов-правил типа "И" существующей на данный момент сети: Ьисх = {Л,, А2,..., Аы }.

А, ¿ = 1,...,МШХ, / = 1,...,/?,, е1; ={р,к',сг} - посылка, имеющая

определенные вес гс и знак <У, а также символьное имя р. При этом посылки всех правил рассматриваются как элементы множества Н не содер-

жащего одинаковых посылок.

2. В списке Ьиа всевозможными попарными пересечениями находятся повторяющиеся сочетания посылок. Если пересечение некоторых, например первых

к

к, множеств А1,...,Ак не пусто: = 7 где Z = {2,,...,2т}; г, ££;

/-1

/ = 1,...,/я, то нечеткая сеть может быть модифицирована путем введения нового нечеткого элемента типа "И" с условной частью X и весом и> = 1. При совпадении какого-либо из множеств с X (А/ = Z) нет необходимости вводить новый

элемент. Условные части будут заменены объединениями А] и X, где

А] =0 при А:=г или А1 = (А;\г)Щер} при А^Х (ер£П - добавочная посылка с параметрами И> = 1, (Т = 0 и р равным имени нового элемента или элемента, условная часть которого совпала с X).

3. Для каждого найденного пересечения 2 рассчитывается выигрыш ц(Х) в значении критерия (2, получаемый при выделении соответствующего сочетания посылок в новый элемент. Данный выигрыш находится как разность между значением критерия структурной сложности до выделения (¡2) и после (¡2):

т ( т ! Ч2 \ = ^к))2 -1 ))2 + ("«*<Л)-О;,) +1) I. Здесь «„(е)

- число исходящих связей элемента с именем, совпадающим с названием соответствующей посылки е.

4. Производится выделение сочетания посылок X, имеющего наибольшее значение выигрыша ц(Х). В результате этого формируется новый список

Ьцсх = {Д,...,Процедура повторяется со второго шага до тех

пор, пока не окажется, что не существует сочетания с положительным значением выигрыша.

В четвертой главе приведены результаты исследования эффективности разработанного подхода при решении тестовых и практических за_дач. Эффективность генетического алгоритма оптимизации определяется правильностью выбора значений его параметров: размера популяции, доли мутаций, доли элитных особей, предельного числа повторений характеристик лучшей особи. Для выработки

' рекомендаций по выбору значений параметров ГЛ были проведены эксперименты

' по восстановлению значений параметров тестовой сети с использованием обу-

чающей выборки. Обучению подвергалась сеть с оптимальной структурой, но с неоптимальными параметрами элементов. В качестве примера рассмотрена сеть, содержавшая 17 элементов и 25 связей. Зависимость выходного значения от вход' ных имела достаточно сложный нелинейный вид. Обучающая выборка содержала ' 243 примера с различными комбинациями значений входов сети. Изменяемыми ' параметрами при оптимизации являлись 12 параметров сегментации у двух входных переменных (кодировались 8 битами каждый), 10 параметров элементов типа "Сегмент" (по 2 бита, т.к. каждая входная переменная имела 4 сегмента), 15 зна-' ков посылок (по 1 биту), 15 весов посылок и 5 весов элементов-правил типа "Не-4 четкий И". Веса кодировались 3 битами - меньшая точность не позволяла достичь приемлемого уровня ошибки, а в большей уже не было необходимости. Таким образом, генотип имел длину Ь = 191 бит, а число возможных комбинаций, составлявших область поиска оптимальных значений, равнялось 219' — 3-Ю57. Во время экспериментов ГА был запущен с 42 различными комбинациями значений пара*> метров. Размер популяции менялся от 30 до 440 особей. Доля мутаций составляла от 9% до 64% от размера популяции. Доля элитных особей менялась от 11% до 100%.

По результатам экспериментов составлены рекомендации: размер популя->» ции выбирается из диапазона от 1У2 до 2 Ь\ доля мутаций выбирается из диапазона

от 25% до 70%, доля элитных особей - от 25% до 80%, при этом значение одного из этих двух параметров не должно превышать значение второго более чем в 2 раза. Анализ опытов показал, что в данном примере для максимально допустимого числа повторений характеристик лучшей особи достаточным является значение равное 50 поколениям (даже в неудачных опытах до окончания эволюции лучшее решение менялось не реже, чем раз в 40 поколений). На рис.3 показана зависимость величины ошибки от номера поколения для опыта с лучшим результатом.

В ходе научной работы в сотрудничестве с аспирантом кафедры ортопедической стоматологии НГМА Покровским М.Ю. была решена задача построения аналитической модели для прогнозирования активности кариеса зубов в период беременности и 4 ближайшие после родов сроки. В качестве исходных данных имелись результаты обследования 97 пациенток (20 параметров, 1 зави-, симая переменная, принимающая одно из трех значений). На основе анализа литературы были отобраны 6 прогностических факторов, наиболее сильно влияющих на активность кариеса зубов: уровень резистентности по Недосеко В.Б., резистентность эмали (КОСРЭ), вязкость, рН, МПС, буферная емкость. В дальнейшем эксперименты показали, что необходимо увеличить их число до 8 (добавились возраст пациентки и резус фактор крови). Эксперт на основе своих знаний с использованием информации из литературных источников по предметной области произвел разбивку входных переменных на небольшое число интервалов (3-6 для одной переменной). На основе априорной информации о пред-

Рис.3

метной области был сформирован начальный набор логических правил. Он был дополнен наиболее значимыми и безошибочными правилами, найденными системой WizWhy (эта система предназначена для поиска логических закономерностей в данных методом ограниченного перебора). Всего получилось порядка 20 правил. Система WizWhy имеет ряд недостатков, из-за которых она может использоваться лишь как вспомогательное средство. Затем была проведена структурно-параметрическая оптимизация набора правил. В начале этой процедуры число правил автоматически увеличилось до 50 - 60. По достижении предельных значений ошибки на обучающей выборке (когда ошибка перестала уменьшаться) произошло упрощение базы знаний за счет отбрасывания незначащих правил и связей между правилами. В результате был получен набор из примерно 40 правил. В начале работы, когда успешной оптимизации не происходило, производилось уточнение сегментации и добавление новых входных параметров.

Далее, полученная база знаний была проанализирована с целью отбрасывания некоторых правил, не отражающих тенденцию или противоречащих знаниям о предметной области (такие правила обычно охватывают 1 - 2 случая из обучающего множества). Данная процедура позволяет избежать "переобучения" системы (то есть запоминания конкретных примеров вместо нахождения тенденции) в условиях малой выборки.

Уменьшение базы знаний до 31 правила привело к тому, что система ошибалась дополнительно в нескольких случаях по сравнению с предыдущей, но такая БЗ не содержала заведомо противоречивых правил. Ошибочно решаемых примеров 15 из 97, то есть точность прогноза составила 85%. Анализ ошибок приводит к выводу о необходимости введения дополнительных входных параметров или проведения более подробной сегментации для уменьшения ошибочности прогноза, но это ухудшит логическую прозрачность прогностической модели. База знаний содержит 4 уровня иерархии логических правил. Результаты прогноза, который строится на основе этих правил, эксперта удовлетворяют. Как минимум одно правило, отражающее явную тенденцию, вызвало затруднения при оценке экспертом. Однако оно не вступает в противоречие с априорными знаниями по предметной области, т.е. была найдена скрытая зависимость.

Кроме того, в ходе исследований были решены задача классификации цветов (известная "Задача об ирисах Фишера") и задача прогнозирования временных рядов на примере предсказания курса ЕВРО. Для первой задачи набор данных содержит 150 записей, несущих информацию о трех классах примеров (по 50 объектов на класс). Особенностью задачи является то, что один из классов линейно отличим от двух других. Последние линейно неразличимы. Исследование показало, что совмещение автоматической генерации правил с возможностью внесения исследователем изменений в структуру и параметры модели позволило получить точную и полную классифицирующую систему. Точность прогноза составила 96%, что сравнимо с результатами алгоритмов поиска нечетких правил Full-RE, MDTF и REX.

Для второй задачи в качестве исходных данных была использована информация о динамике курса ЕВРО за период с 01.01.2004 по 10.05.2005, которая доступна в Интернете по адресу www.finmarket.ru. Обучающая выборка строилась методом скользящего окна, когда каждая запись содержит значения курса за несколько дней, следующих друг за другом (в нашем примере - 5 дней). Для использования было отобрано 130 примеров, из них первые 100 вошли в обучающую выборку, а последние 30 составили тестовый задачник. Относительная среднеквадратичная ошибка обученной модели для тестовой выборки составила

0.055. Коэффициент корреляции между эталонным и предсказанным значениями выходной переменной равен 0,743. На рис. 4 приведены графики эталонного (у) и предсказанного (d_I) значений зависимой переменной.

Основным преимуществом предлагаемого подхода над другими методами предсказания-временных рядов, дающими более точные результаты, является получение логических зависимостей из данных в явном виде, допускающем простую интерпретацию человеком.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Главным результатом диссертационной работы является разработка метода структурно-параметрической оптимизации баз знаний экспертных систем, допускающего использование априорной информации о прикладной области в процессе автоматического обучения модели, что позволяет сократить время оптимизации и получить наиболее полную и точную базу знаний в условиях малой обучающей выборки. Основные научные и практические результаты диссертации:

1. Разработана математическая модель адаптируемой нечеткой сети логического вывода, допускающая простое преобразование "База знаний -> Сеть" и обратное преобразование. Разработаны алгоритмы ее структурно-параметрической оптимизации: конструктивный алгоритм структурной оптимизации гибридной сети (в котором корректировка правил и функций принадлежности лингвистических переменных происходит одновременно с использованием генетического алгоритма), алгоритм редукции сети, алгоритм факторизации.

2. Предложен критерий структурной сложности сети, позволяющий сравнивать модели, решающие задачу с одинаковой точностью, выбирая наиболее оптимальную по структуре. Показано преимущество данного критерия по сравнению с предлагавшимися ранее.

3. Разработан генетический алгоритм параметрической оптимизации нечеткой сети логического вывода. На основе результатов экспериментов даны рекомендации по выбору значений параметров ГА в зависимости от сложности решаемой задачи. Экспериментально показано преимущество двухточечного варианта оператора скрещивания над одноточечным.

4. Разработана программа-оболочка для построения и обучения нечетких экспертных систем, реализующая методы и алгоритмы, предложенные в работе.

5. Показана эффективность предложенной модели нечеткой системы и метода ее структурно-параметрической оптимизации при решении задач классификации, прогнозирования и диагностирования. На примере широко известной "Задачи об ирисах Фишера" показано преимущество разработанного метода, допускающего использование априорной информации о прикладной области с целью получения более полной базы знаний. Также была решена задача построения аналитической модели для прогнозирования активности кариеса зубов в период беременности и ближайшие после родов сроки, представляющая профессиональный интерес для врачей-стоматологов.

Рис. 4

НАУЧНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Бухнин A.B., Бажанов Ю.С. Построение логически прозрачных искусственных нейроных сетей // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. - Н.Новгород, 2002.

2. Бухнин A.B., Бажанов Ю.С. Структурно-параметрическая оптимизация баз знаний экспертных систем // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. -Н.Новгород, 2002.

3. Бухнин A.B., Бажанов Ю.С. Выбор критерия оптимальности при структурной оптимизации сети логического вывода // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. -Н.Новгород, 2003.

4. Бухнин A.B., Бажанов Ю.С. Оптимизация баз знаний экспертных систем с применением нечетких нейронных сетей // Вестник ВГАВТ Межвузовская серия "Моделирование и оптимизация сложных систем". — Н.Новгород, 2003.

5. Бухнин A.B., Бажанов Ю.С. Использование априорной информации при построении адаптивных систем нечеткого вывода // III Всероссийская молодежная научно-техническая конференция "Будущее технической науки": тезисы докладов. - Н.Новгород, 2004.

6. Бухнин A.B., Бажанов Ю.С. Построение адаптивных систем нечеткого вывода в условиях малой обучающей выборки // Сборник научных работ "Труды НГТУ". - Н.Новгород, 2004. - Т.47: Системы обработки информации и управления. - №11. - С. 86-89.

7. Бухнин A.B., Бажанов Ю.С. Применение генетического алгоритма при параметрической оптимизации нечетких сетей логического вывода // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. - Н.Новгород, 2004.

8. Бухнин A.B., Бажанов Ю.С. Особенности конструктивного алгоритма самоорганизации нечеткой продукционной системы // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. - Н.Новгород, 2005.

9. Бухнин A.B., Бажанов Ю.С. Структурная организация нечеткой продукционной системы // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. - Н.Новгород, 2005.

10. Бухнин A.B., Николаева Е.Ю., Табет Ясир Али Ахмед, БулековаО.В. Изучение патогенеза тесного положения зубов с помощью математического анализа // Ученые заметки Санкт-Петербургского государственного медицинского университета им. И.П. Павлова. - 2005. - Т. XII. - №2. - С. 43-45.

Подписано в печать 21.10.2005. Формат 60 х 84 '/|6. Бумага офсетная. Печать офсетная. Уч.-изд. л. 1,0. Тираж 100 экз. Заказ 671.

Нижегородский государственный технический университет. Типография НГТУ. 603600, г. Нижний Новгород, ул. К. Минина, 24.

¿û0iMi

Введение.

Глава первая. Современные подходы к построению экспертных систем и методы интеллектуального анализа данных.

1.1. Традиционные подходы к представлению и приобретению знаний в интеллектуальных системах.

1.1.1. Общие сведения об экспертных системах.

1.1.2. Представление знаний в экспертных системах.

1.1.3. Приобретение знаний экспертными системами.

1.2. Интеллектуальный анализ данных.

1.2.1. История развития Data mining.

1.2.2. Обзор алгоритмов Data mining.

1.3. Адаптивные системы нечеткого логического вывода.

1.4. Выводы.

Глава вторая. Метод структурно-параметрической оптимизации базы знаний.

2.1. Структура базы знаний.

2.2. Математическая модель нечеткой сети логического вывода.

2.2.1. Нечеткий элемент типа "ИЛИ".

2.2.2. Нечеткий элемент типа "И".

2.2.3. Элемент типа "Входной".

2.2.4. Элемент типа "Входная переменная".

2.2.5. Элемент типа "Сегмент".

2.2.6. Пример нечеткой сети логического вывода.

2.3. Общее описание процесса оптимизации базы знаний.

2.4. Выводы.

Глава третья. Основные алгоритмы оптимизации нечеткой сети логического вывода.

3.1. Генетический алгоритм параметрической оптимизации.

3.2. Алгоритм факторизации.

3.3. Выводы.

Глава четвертая. Исследование эффективности разработанного подхода с помощью математического моделирования.

4.1. Исследование зависимости эффективности генетического алгоритма параметрической оптимизации от значений его параметров.

4.2. Сравнение эффективности модификаций генетического алгоритма.

4.3. Решение прикладных задач.

4.3.1. Классификация цветов.

4.3.2. Построение аналитической модели для прогнозирования активности кариеса зубов в период беременности и ближайшие после родов сроки.

4.3.3. Прогнозирование валютных цен на финансовом рынке.

4.4. Выводы.

Актуальность исследования. При решении сложных задач во многих областях человеческой деятельности, связанных с использованием слабоформализованных знаний специалистов-практиков, успешно применяются технологии искусственного интеллекта. Системы, основанные на базах знаний или моделях предметной области, описанных на языке, близком к естественному, называют интеллектуальными. На данный момент прикладные интеллектуальные системы используются в десятках тысяч приложений [86]. Одним из наиболее распространенных видов интеллектуальных систем являются экспертные системы (ЭС).

Экспертные системы — это класс интеллектуальных систем, ориентированный на распространение опыта высококвалифицированных специалистов для консультирования менее квалифицированных пользователей. Современные ЭС - это сложные программные комплексы, позволяющие использовать ЭВМ для обработки информации в тех областях науки и техники, где традиционные математические методы малопригодны. К таким областям можно отнести экономику, медицину, геологию, химию и др.

Главное отличие ЭС от других программных средств - это наличие базы знаний (БЗ), в которой знания хранятся в понятной человеку форме, что позволяет специалисту их легче анализировать и изменять. Первыми широкую известность получили нечеткие экспертные системы, в которых представляются и обрабатываются неточные знания (знаменитая медицинская система MYCIN [34]).

В России исследования ЭС проводили ученые B.JI. Вагин, В.И. Городецкий, Г.С. Осипов, Э.В. Попов, Д.А. Поспелов, B.JI. Стефанюк, В.К. Финн, В.Ф. Хорошевский и многие другие. Развитию нечетких ЭС способствовали работы А.Н. Аверкина, А.Н. Борисова, Л.А. Заде, Дж. Клира, А. Кофмана, Е.А. Мамдани, Д.А. Поспелова, А.П. Рыжова и др.

Современное состояние разработок в области ЭС в России исследователи характеризуют "как стадию все возрастающего интереса среди широких слоев специалистов - финансистов, менеджеров, преподавателей, инженеров, медиков, психологов, программистов, лингвистов" [86]. Недостаток в недавнем прошлом учебников и специальной литературы на русском языке, ограниченное финансирование исследований в этой области привело к тому, что отечественный рынок инструментов для разработки ЭС пока является слабым.

Создание эффективной системы - дорогостоящий и продолжительный процесс, требующий привлечения специалистов различных направлений: программистов, инженеров по знаниям, экспертов в прикладной области. Одной из основных проблем при этом является приобретение знаний, т.е. "передача потенциального опыта решения проблемы от некоторого источника знаний и преобразование его в вид, который позволяет использовать эти знания в программе" [94]. Знания передаются во время собеседований между инженером по знаниям и экспертом в предметной области. "Многие исследователи рассматривают функцию приобретения знаний в качестве одного из главных "узких мест" технологии экспертных систем из-за низкой скорости наполнения базы знаний системы правилами" [95]. Для получения требуемого результата необходимо взаимопонимание между экспертом и инженером по знаниям. Не всегда специалист может объяснить, как он решает задачи в своей области.

Между тем, существуют прикладные области, в которых собрано большое количество фактической информации. Эти данные могут быть использованы для генерации правил или для оптимизации имеющейся базы знаний. В настоящее время усилия многих исследователей направ-, лены на разработку адаптивных или самоорганизующихся систем, способных обучаться на примерах. Под самоорганизующейся системой понимается система, упорядоченность и организованность которой возрастает со временем. Наиболее известными примерами подобных систем являются искусственные нейронные сети, системы, использующие метод группового учета аргументов (МГУА), адаптивные системы нечеткого логического вывода (последним посвящены работы Ч. Карра, О. Кордона, Б. Коско, В.В. Круглова, А.П. Ротштейна, Т. Фукуда, Ф. Херреры, С.Д. Штовбы, Р. Янга и др.) Все используемые технологии обладают как достоинствами, так и определенными недостатками. Ней-росетевой подход и МГУА приводят к получению логически непрозрачных систем. Способ решения задачи такими системами трудно вербализовать. Существующие подходы к получению логически прозрачных нейросетей нельзя признать эффективными. Да и само понятие "логической прозрачности" иерархических интеллектуальных систем недостаточно формализовано.

В свою очередь, наиболее изученные варианты систем нечеткого логического вывода не обладают достаточной гибкостью в представлении знаний. Их базы знаний имеют одноуровневый вид, т.е. промежуточные выводы не используются. Кроме того, существующие методы ^ оптимизации таких систем допускают ограниченное участие эксперта в обучении. Его роль сводится к подготовке обучающей выборки и выбору параметров алгоритма оптимизации. Использование априорной информации о прикладной области в виде формулирования начальной базы знаний, защиты от изменения части параметров модели не допускается. Общепризнанного лучшего метода оптимизации нечетких систем на данный момент не существует. Известные алгоритмы обучения различаются особенностями этапов структурной и параметрической оптимизации, подходами к настройке параметров сегментации входных переменных. Последняя задача является особо важной и трудно решаемой (если учитывать требование простой вербализуемости результирующей базы знаний).

Таким образом, актуальной является задача создания эффективного метода оптимизации баз знаний экспертных систем, с возможностью модификации списка нечетких правил и настройки параметров сегментации входных переменных. Метод должен допускать использование априорной информации о прикладной области на разных этапах обучения. Модель системы должна поддерживать иерархический логический вывод.

Целью работы является разработка метода структурно-параметрической оптимизации баз знаний обучаемых экспертных систем и исследование его эффективности. Для достижения поставленной цели необходимо решить следующие задачи:

1. Разработать математическую модель нечеткой адаптивной системы, сочетающую гибкость и универсальность в представлении знаний с простотой вербализации.

2. Ввести критерий структурной сложности нечеткой адаптивной модели, формализующий понятие "логической прозрачности".

3. Разработать и программно реализовать метод оптимизации адаптивной системы, допускающий автоматическую генерацию и модификацию нечетких правил, настройку параметров сегментации входных переменных и при этом позволяющий использовать априорную информацию о прикладной области на различных этапах обучения.

4. Исследовать эффективность применения предложенной модели нечеткой адаптивной системы при решении прикладных задач.

На защиту выносятся:

1. Метод оптимизации баз знаний экспертных систем, основанный на преобразовании исходной БЗ в нечеткую сеть логического вывода, оптимизации сети с использованием обучающей выборки и обратном преобразовании сети в базу знаний.

2. Генетический алгоритм параметрической оптимизации нечеткой сети.

3. Алгоритм факторизации нечеткой сети логического вывода, использующий критерий структурной сложности для получения сети с более легко интерпретируемой структурой.

4. Результаты исследования эффективности предложенной модели и метода оптимизации при решении прикладных задач.

Методы исследования. Работа базируется на методах и моделях теории нечетких множеств, эволюционных вычислений, гибридных интеллектуальных систем, математической статистики, объектно-ориентированного программирования, а также алгоритмах синтеза микропрограммных автоматов.

Научная новизна. В диссертационной работе получены следующие результаты, характеризующиеся научной новизной:

1. Разработан метод оптимизации баз знаний экспертных систем, основанный на преобразовании исходной БЗ в нечеткую сеть логического вывода, оптимизации сети и обратном преобразовании сети в базу знаний. Метод допускает использование априорной информации о прикладной области для получения наиболее полной и точной базы знаний в условиях малой обучающей выборки.

2. Разработана математическая модель нечеткой сети логического вывода, включающая исчерпывающий набор типов элементов, необходимых для преобразования БЗ в сеть и обратно.

3. Введен критерий структурной сложности нечеткой сети логического вывода, используемый для сравнения сетей с различающимися структурами, но позволяющих решать задачу с одинаковой точностью.

4. Разработан алгоритм факторизации нечеткой сети, основанный на выделении устойчивых сочетаний посылок в условных частях нечетких элементов.

Практическая значимость и ценность работы заключается в создании программы-оболочки для построения экспертных систем, которая позволяет пользователю, не являющемуся программистом, создавать базы знаний, оптимизировать их с использованием обучающей выборки, проводить интеллектуальный анализ данных, выявляя логические закономерности. С применением данной разработки была создана аналитическая модель для прогнозирования активности кариеса зубов в период беременности и ближайшие после родов сроки, представляющая профессиональный интерес для врачей-стоматологов.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на Всероссийской научно-технической конференции "Информационные системы и технологии" ИСТ - 2002; Всероссийской научно-технической конференции ИСТ - 2003; Всероссийской научно-технической конференции ИСТ - 2004; III Всероссийской молодежной научно-технической конференции "Будущее технической науки"; Всероссийской научно-технической конференции ИСТ-2005.

Публикации. По материалам диссертационной работы опубликовано 10 печатных работ, из них 3 статьи и 7 публикаций в материалах научных конференций.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 102 наименований и четырех приложений; содержит 142 машинописные страницы основного текста, включая 27 рисунков и 3 таблицы.

4.4. ВЫВОДЫ

1. На основе результатов экспериментов даны рекомендации по выбору значений параметров ГА в зависимости от сложности решаемой задачи.

2. Приведено экспериментальное подтверждение преимущества двухточечного варианта оператора скрещивания над одноточечным.

3. Показана эффективность предложенной модели нечеткой системы и метода ее структурно-параметрической оптимизации при решении широкого круга прикладных задач (классификации, прогнозирования, диагностирования).

4. Приведен пример успешного решения задачи создания базы знаний медицинской экспертной системы с использованием обучающей выборки для автоматической модификации БЗ.

ЗАКЛЮЧЕНИЕ

Главным результатом диссертационной работы является разработка метода структурно-параметрической оптимизации баз знаний экспертных систем, допускающего использование априорной информации о прикладной области в процессе автоматического обучения модели, что позволяет сократить время оптимизации и получить наиболее полную и точную базу знаний в условиях малой обучающей выборки. Основные научные и практические результаты диссертации сводятся к следующему:

1. Разработана математическая модель адаптируемой нечеткой сети логического вывода, допускающая простое преобразование "База знаний -> Сеть" и обратное преобразование. Разработаны алгоритмы ее структурно-параметрической оптимизации: конструктивный алгоритм структурной оптимизации гибридной сети (в котором корректировка правил и функций принадлежности лингвистических переменных происходит одновременно с использованием генетического алгоритма), алгоритм редукции сети, алгоритм факторизации.

2. Предложен критерий структурной сложности сети, позволяющий сравнивать модели, решающие задачу с одинаковой точностью, выбирая наиболее оптимальную по структуре. Показано преимущество данного критерия по сравнению с предлагавшимися ранее.

3. Разработан генетический алгоритм параметрической оптимизации нечеткой сети логического вывода. На основе результатов экспериментов даны рекомендации по выбору значений параметров ГА в зависимости от сложности решаемой задачи. Экспериментально показано преимущество двухточечного варианта оператора скрещивания над одноточечным. Разработана программа-оболочка для построения и обучения нечетких экспертных систем, реализующая методы и алгоритмы, предложенные в работе.

Показана эффективность предложенной модели нечеткой системы и метода ее структурно-параметрической оптимизации при решении задач классификации, прогнозирования и диагностирования. На примере широко известной "Задачи об ирисах Фишера" показано преимущество разработанного метода, допускающего использование априорной информации о прикладной области с целью получения более полной базы знаний. Также была решена задача построения аналитической модели для прогнозирования активности кариеса зубов в период беременности и ближайшие после родов сроки, представляющая профессиональный интерес для врачей-стоматологов.

1. Асанов А.А. Генетический алгоритм построения экспертных решающих правил в задаче многокритериальной классификации // Электронный журнал "Исследовано в России". 2002. - (Рус.). - URL: http://zhumal.ape.relarn.ru/articles/2002/155.pdf 10 мая 2005.

2. Базы данных. Интеллектуальная обработка информации / В.В. Корнеев, А.Ф. Гареев, С.В. Васютин, В.В. Райх. М.: Нолидж, 2001.-496 с.

3. Баранов С.И. Синтез микропрограммных автоматов (граф-схемы и автоматы). 2-е изд., перераб. и доп. - Л.: Энергия, Ленингр. отд-ние, 1979. - 232 с.

4. Сборник научных трудов. В 3 частях. 4.1. -М.: МИФИ, 1999. -С. 17-24.

5. Батнщев Д.И. Генетические алгоритмы решения экстремальных задач / Под ред. Львовича Я.Е.: Учеб. пособие. Воронеж, 1995. -69 с.

6. Батищев Д.И. Методы оптимального проектирования: Учеб. пособие для вузов. М.: Радио и связь, 1984. - 248 с.

7. Батищев Д.И., Исаев С.А. Оптимизация многоэкстремальных функций с помощью генетических алгоритмов II Межвузовский сборник научных трудов "Высокие технологии в технике, медицине и образовании". ВГТУ, Воронеж, 1997. - С. 4-17.

8. Башмаков А.И., Башмаков И.А. Интеллектуальные информационные технологии: Учеб. пособие. М.: Изд-во МГТУ им. Н.Э. Баумана, 2005. - 304 с.

9. Бухнин А.В., Бажанов Ю.С. Выбор критерия оптимальности при структурной оптимизации сети логического вывода // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. Н.Новгород, 2003.

10. Бухнин А.В., Бажанов Ю.С. Использование априорной информации при построении адаптивных систем нечеткого вывода // III Всероссийская молодежная научно-техническая конференция "Будущее технической науки": тезисы докладов. Н.Новгород, 2004.

11. Бухнин А.В., Бажанов Ю.С. Оптимизация баз знаний экспертных систем с применением нечетких нейронных сетей // Вестник ВГАВТ Межвузовская серия "Моделирование и оптимизация сложных систем". Н.Новгород, 2003.

12. Бухнин А.В., Бажанов Ю.С. Особенности конструктивного алгоритма самоорганизации нечеткой продукционной системы // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. Н.Новгород, 2005.

13. Бухнин А.В., Бажанов Ю.С. Построение адаптивных систем нечеткого вывода в условиях малой обучающей выборки // Сборник научных работ "Труды НГТУ". Н.Новгород, 2004. - Т.47: Системы обработки информации и управления. - №11. - С. 8689.

14. Бухнин А.В., Бажанов Ю.С. Построение логически прозрачных искусственных нейроных сетей // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. Н.Новгород, 2002.

15. Бухнин А.В., Бажанов Ю.С. Применение генетического алгоритма при параметрической оптимизации нечетких сетей логического вывода // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. -Н.Новгород, 2004.

16. Бухнин А.В., Бажанов Ю.С. Структурная организация нечеткой продукционной системы // Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. Н.Новгород, 2005.

17. Бухнин А.В., Бажанов Ю.С. Структурно-параметрическая оптимизация баз знаний экспертных систем Н Всероссийская научно-техническая конференция "Информационные системы и технологии": тезисы докладов. Н.Новгород, 2002.

18. Гаврилов А.В. Гибридная экспертная система для профориентации // Сборник научных трудов НГТУ. 1997. — № 3(8). -С. 123-132

19. Гаврилов А.В., Губарев В.В., Джо К.-Х., Ли Х.Х. Архитектура гибридной системы управления мобильного робота // Научный вестник НГТУ. 2004. - № 2

20. Гаврилов А.В., Канглер В.М. Использование искусственных нейронных сетей для анализа данных // Сборник научных трудов НГТУ. 1999. - №3(16). - С. 56-63.

21. Гаврилов А.В., Новицкая Ю.В. Гибридные интеллектуальные системы // Сборник научных трудов НГТУ, Новосибирск: НГТУ. 2004. - №1(35). - С. 55-60.

22. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2000. - 384 с.

23. Галкина В.А. Дискретная математика: комбинаторные методы оптимизации. М.: Гелиос АРВ, 2003. - 232 с.

24. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной математики / РАН. Сиб. Отд. Новосибирск, 1998. - Т. 1, № 1. - С. 11-24.

25. Горбань А.Н. Функции многих переменных и нейронные сети // Соросовский образовательный журнал. 1998. - №12. - С. 105112.

26. Девятков В.В. Системы искусственного интеллекта: Учеб. пособие для вузов. М.: Изд-во МГТУ им. Н.Э. Баумана, 2001. - 352 с.

27. Дегтерев А.С., Канашкин Ф.В., Сумароков А.Д. Обобщение генетических алгоритмов и алгоритмов схемы МИВЕР // Электронный журнал "Исследовано в России". 2004. - (Рус.). -URL: http://zhurnal.ape.relam.ru/articles/2004/153.pdftl0 мая 2005.

28. Деменков Н.П. Pemeime многокритериальных задач оптимизации и принятия решений в нечеткой постановке // Тр. Международной конференции по мягким вычислениям и измерениям SCM-2000. -Т.1. С. 66-69.

29. Десять лет спустя (интервью с Д. Мичи) // Будущее искусственного интеллекта-М.: Наука, 1991. С. 213-216.

30. Джексон П. Введение в экспертные системы. / Пер. с англ. и ред. В.Т. Тертышного. М.: Издательский дом "Вильяме", 2001. -624 с.

31. Джонс М.Т. Программирование искусственного интеллекта в приложениях / Пер. с англ. Осипова А.И. М.: ДМК Пресс, 2004.-312 с.

32. Дьяконов В., Круглов В. Математические пакеты расширения MATLAB. Специальный справочник. СПб.: Питер, 2001. -480 с.

33. Дюк В., Самойленко A. Data mining: учебный курс. СПб.: Питер, 2001.-368 с.

34. Жернаков С.В. К вопросу о построении гибридных нейро-печетких экспертных систем диагностики и контроля ГТД // Управление в сложных системах. Уфа, 1999. - С. 119-126.

35. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976.

36. Заенцев И.В. Нейронные сети: основные модели / Учебное пособие к курсу "Нейронные сети" для студентов 5 курса магистратуры к. электроники физического ф-та Воронежского Государственного университета, 1999.

37. Зайцева Е.Н., Станкевич Ю.А. Некоторые современные методы решения оптимизационных задач // Материалы Второй международной конференции "Новые информационные технологии в образовании". Мн., 1996.

38. Калинина Е.А., Цаканян Е.В. Применение технологии Data mining для автоматизированного построения баз знаний интегрированных экспертных систем // Интеллектуальные системы и технологии. -2000. 4.3. - С. 156-157.

39. Киликовский В.В., Олимпиева С.П., Киликовский В.В. Компьютерные медицинские консультативные системы, основанные на представлении знаний эксперта в виде семантической сети // Медицинский научный и учебно-методический журнал. 2001. -№2.-С. 17-27.

40. Кобринский Б.А. Нечеткая логика в анализе образных представлений в медицинских системах искусственного интеллекта // Междунар. конф. по мягким вычислениям и измерениям: Сб. докл. Т.1. СПб, 1998. С. 233-235.

41. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных. Докл. АН СССР, 1956. Т. 108, №2. С. 179-182.

42. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного. Докл. АН СССР, 1957. Т. 114, №5. С. 953-956.

43. Комарцова Л.Г., Максимов А.В. Нейрокомпьютеры: Учеб. пособие для вузов. М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 320 с.

44. Круглов В.В. Адаптивные системы нечеткого логического вывода // Нейрокомпьютеры: разработка, применение. 2003. - №5. -С. 13-16.

45. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001. -382 с.

46. Круглой В.В., Дли М.И., Голуиов Р.Ю. Нечеткая логика и искусственные нейронные сети. М.: Физико-математическая литература, 2001.-224 с.

47. Курейчик В.В., Нужнов Е.В. Подходы к организации интегрированной инструментальной среды поддержки процедур генетического поиска и оптимизации решений // Перспективные информационные технологии и интеллектуальные системы. 2003. -№4 (16).

48. Кутуков С.Е. Приложение генетических алгоритмов в управлении технологическими режимами нефтепродуктопроводов // Нефтегазовое дело, 2003. 16 с.

49. Леоненков А.В. Нечеткое моделирование в среде MATLAB и fuzzyTECH. СПб.: БХВ-Петербург, 2003. - 736 с.

50. Маренко В.А. Модели и алгоритмы экспертных систем поддержки принятия решений по электромагнитной совместимости: Автореф. дис. . канд. техн. наук: 05.13.18 / Тюменский государственный университет. Тюмень, 2004. - 20 с.

51. Методы нейроинформатики / Под. ред. А.Н. Горбаня; отв. за выпуск М.Г. Доррер. КГТУ, Красноярск, 1998.-205 с.

52. Методы робастного, нсйро-нсчеткого и адаптивного управления: Учебник / Под ред. Н.Д. Егупова; 2-е изд., стереотипное. М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 744 с.

53. Мижаль О.Ф. Локально-параллельная согласованная корректировка термов лингвистической переменной // "Проблемы бионики", Вып. 56, Харьков, 2002, с. 88-93.

54. Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе. — М.: Горячая линия Телеком, 2003. - 205 с.

55. Минаков И.А. Сравнительный анализ некоторых методов случайного поиска и оптимизации // Известия Самарского научного центра Российской академии наук. Управление и моделирование в сложных системах. 1999. - №2. - С. 286-293.

56. Миркес Е.М. Нейроинформатика / Учебное пособие, Краснояр-CKirii государственный технический университет. Красноярск, 2002.

57. Михаль О.Ф. Организация экспертных систем продукционного типа на локально-параллельных нечетких алгоритмах // "Радиотехника и информатика". 2003. - №1. - С. 93-100.

58. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб.: Наука и Техника, 2003.-384 с.

59. Нейроинформатика / А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин и др. Новосибирск: Наука. Сибирское предприятие РАН, 1998.-296 с.

60. Осовкский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского. М.: Финансы и статистика, 2002. -344 с.

61. Паклин Н.Б. Адаптивные модели нечеткого вывода для идентификации нелинейных зависимостей в сложных системах: Авто-реф. дис. . канд. техн. наук: 05.13.18 / ГОУ ВПО "Ижевский государственный технический университет". — Ижевск, 2004. — 20 с.

62. Паклин Н.Б., Сенилов М.А., Тененев В.А. Интеллектуальные модели на основе гибридного генетического алгоритма с градиентным обуче1шем лидера // Искусствешплй интеллект. Донецк: Наука i освгга. - 2004. - № 4. - С. 159-168.

63. Ротштейн А.П. Интеллектуальные технологии идентификации. -(Рус.). -URL: http://exponenta.ru 14 июня 2005.

64. Рутковская Д., Пилиньский М., Рутковский JI. Нейронные сети, генетические алгоритмы и нечеткие системы / Пер. с польск. И. Д. Рудинского. М.: Горячая линия - Телеком, 2004. - 452 с.

65. Снитюк В.Е., Шарапов В.М. Эвошоционно-параметрическая оптимизация RBF-сети // Искусственный интеллект. 2003. - №4.

66. Тененев В.А., Паклин Н.Б. Гибридный генетический алгоритм с дополнительным обучением лидера // Интеллектуальные системы в производстве. 2003. - № 2. - Ижевск: Изд-во ИжГТУ, 2003.-С. 181-206.

67. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления: Учеб. пособие для вузов. М.: Высш. шк., 2002. -183 с.

68. Уоссермен Ф. Нейрокомпьютерная техника / Пер. с англ. Ю. А. Зуева, В. А. Точенова. -М: Мир, 1992. 184 с.

69. Усков А.А., Кузьмин А.В. Интеллектуальные технологии управ-лешш. Искусственные нейронные сети и нечеткая логика. М.: Горячая линия - Телеком, 2004. - 143 с.

70. Усков А.А., Пучков А.Ю., Окунев Б.В. Адаптивная нечеткая сеть // Материалы Международной научной конференции "Математические методы в технике и технологиях ММТТ-16". -Ростов-на-Дону, 2003

71. Царегородцев В.Г. Взгляд на архитектуру и требования к ней-роимитатору для решения современных индустриальных задач // Материалы XI Всероссийского семинара "Нейроинформатика и ее приложения". Красноярск, 2003. - 215 с. - С. 171-175.

72. Царегородцев В.Г. К определению информативности независимых переменных для нейронной сети // Материалы XI Всероссийского семинара "Нейроинформатика и ее приложения". -Красноярск, 2003. -215с. С. 176-177.

73. Царегородцев В.Г. Перспективы распараллеливания программ нейросетевого анализа и обработки данных // Материалы III Всеросс. конф. "Математика, информатика, управление 2004". - Иркутск, 2004.

74. Цой Ю.Р., Спицин В.Г. Применение генетического алгоритма для решения задачи адаптивного нейроуправления // Нейроинформатика 2005: Сборник научных трудов VII Всероссийской научно-технической конференции - Т.1. - М.: МИФИ, 2005. -С. 35^43.

75. Цой Ю.Р., Спицын В.Г. Адаптивный оператор мутации для ней-роэволюционного алгоритма. // Труды XI Международной научно-ирактической конференции студентов и молодых ученых "Современные техника и технологии". Томск, 2005.

76. Цой Ю.Р., Спицын В.Г. Генетический алгоритм настройки искусственной нейронной сети // Тезисы докладов конференции-конкурса студентов, аспирантов и молодых ученых "Технологии Microsoft в информатике и программировании". Новосибирск, 2004.-С. 131-133.

77. Цой Ю.Р., Спицын В.Г. Применение генетического алгоритма в задачах оптимизации многоэкстремальных функций //Труды региональной научно-практической конференции студентов "Молодежь и современные информационные технологии". Томск, 2003.-С. 10-11.

78. Частиков А.П., Гаврилова Т.А., Белов Д.Л. Разработка экспертных систем. Среда CLIPS. СПб.: БХВ-Петербург, 2003. - 608 с.

79. Шарапов В.М., Снитюк В.Е. Биокибернетический метод определения оптимума целевой функции в условиях неопределенности // Искусственный интеллект. 2002. - №4.

80. Штейнбух К. Автоматы и человек. М.: Сов. Радио, 1967. -493 с.

81. Щавелев Л.В. Способы аналитической обработки данных для поддержки принятия решений // СУБД. 1998. - № 4-5.

82. Щетинин В.Г. Многослойная самоорганизация нейронных сетей оптимальной сложности // Автоматика и вычислительная техника. Рига, 1998. - №4. - С.30-37.

83. Щетинин В.Г., Костюнин А.В. Принятие решений на нейронных сетях оптимальной сложности // Автоматизация и современные технологии. М., 1998. - №4. - С. 38^13.

84. Щетинин В.Г., Столярова О.В., Костюнин А.В. Синтез решающих правил на нейронных сетях для управления производством // Приборы и системы управления. М., 1999. - №1. - С. 72-77.

85. Bernado-Mansilla Е., Garrell-Guiu J.M. Accuracy-Based Learning Classifer Systems: Models, Analysis and Applications to Classification Tasks // Evolutionary Computation. Massachusetts Institute of Technology, 2003. - V.l 1. -№3. -pp. 209-238.

86. Feigenbaum E.A. The art of artificial intelligence: themes and case studies of knowledge engineering // In Proc. 5th International Joint Conference on Artificial Intelligence, 1977.-pp. 1014-1029.

87. Goldberg D.E. Algorytmy genetyczne i ich zastosowania, WNT, Warszawa, 1995.

88. Holland J.H. Adaptation in Natural and Artificial Systems, Ann Arbor: University of Michigan Press, 1975.

89. Holland J.H. Building Blocks, Cohort Genetic Algorithms, and Hy-perplane-Defined Functions // Evolutionary Computation. Massachusetts Institute of Technology, 2000. - V.8. - №4. - pp. 373-391.

90. Lozowski A., Cholewo T.J., Zurada J.M. Symbolic Rule Representation in Neural Network Models // In Proceedings of the Second Conference on Neural Networks and Their Applications. Szczyrk, Poland, 1996. - V.2. - pp. 300-305.

91. Markowska-Kaczmar U., Trelak W. Extraction of Fuzzy Rules from Trained Neural Network using Evolutionary Algorithm // ESANN'2003 proceedings European Symposium on Artificial Neural Networks Bruges (Belgium), 2003. - pp. 149-154.

92. Stanley K.O., Miikkulainen R. Evolving Neural Networks through Augmenting Topologies // Evolutionary Computation. Massachusetts Institute of Technology, 2002. - V.10. - №2. - pp. 99-127.

93. Stonier R., Mohammadian M. Evolutionary Learning in Fuzzy Logic Control Systems // Complexity International. NSW, Australia, 1996. -№3.1. Приложснис 1

94. База знаний для прогнозирования активности кариеса зубов в период беременности и ближайшие после родов сроки1. Сегментация параметров —

95. ЕСЛИ "Вязкость смешанной слюны" В ДИАПАЗОНЕ 0.00; 0.00; 3.30; 3.39.

96. ТО "Низкая вязкость смешанной слюны"

97. ЕСЛИ "Вязкость смешанной слюны" В ДИАПАЗОНЕ 3.30; 3.39; 3.66; 3.92.

98. ТО "Нормальная невысокая вязкость смешанной слтоны"

99. ЕСЛИ "Вязкость смешанной слюны" В ДИАПАЗОНЕ 3.66; 3.92; 4.45; 4.60.

100. ТО "Нормальная вязкость смешанной слюны"

101. ЕСЛИ "Вязкость смешанной слюны" В ДИАПАЗОНЕ 4.45; 4.60; 8.00; 9.00.

102. ТО "Высокая вязкость сметанной слюны"

103. ЕСЛИ "Вязкость смешанной слюны" В ДИАПАЗОНЕ 8,00; 9.00; 15.00; 15.00.

104. ТО "Очень высокая вязкость смешанной слюны"

105. ЕСЛИ "рН смешанной слюны" В ДИАПАЗОНЕ 5.00; 5.00; 6.20; 6.30.

106. ТО "Очень низкий рН смешанной слюны"

107. ЕСЛИ "рН смешанной слюны" В ДИАПАЗОНЕ 6.20; 6.30; 6.40; 6.50.

108. ТО "Низкий рН смешанной слюны"

109. ЕСЛИ "рН смешанной слюны" В ДИАПАЗОНЕ 6.40; 6.50; 6.80; 6.90.

110. ТО "Умеренно сниженный рН смешанной слюны"

111. ЕСЛИ "рН смешашюй слюны" В ДИАПАЗОНЕ 6.80; 6.90; 8.00; 8.00.

112. ТО "Нормальный рН смешанной слюны"

113. ЕСЛИ "Буферная ёмкость смешашюй слюны" В ДИАПАЗОНЕ 2.00; 2.00; 3.57; 3.57.

114. ТО "Очень низкая буферная ёмкость смешанной слюны"

115. ЕСЛИ "Буферная ёмкость смешанной слюны" В ДИАПАЗОНЕ 3.57; 3.60; 4.70; 4.76.

116. ТО "Сниженная буферная ёмкость смешашюй слюны"

117. ЕСЛИ "Буферная ёмкость смешанной слюны" В ДИАПАЗОНЕ 4.76; 4.76; 6.25; 6.30.

118. ТО "Нормальная буферная ёмкость смешанной слюны"

119. ЕСЛИ "Буферная ёмкость смешанной слюны" В ДИАПАЗОНЕ 6.25; 6.30; 10.00; 10.10.

120. ТО "Высокая буферная ёмкость смешанной слюны"

121. ЕСЛИ "Буферная ёмкость смешанной слюны" В ДИАПАЗОНЕ 10.00; 10.10; 30.00; 30.00.

122. ТО "Очень высокая буферная ёмкость смешанной слюны"

123. ЕСЛИ "Минерализующий потенциал слюны (МПС)" В ДИАПАЗОНЕ 0.00; 0.00; 1.50; 1.60. ТО "Очень низкий МПС"

124. ЕСЛИ "Минерализующий потенциал слюны (МПС)" В ДИАПАЗОНЕ 1.50; 1.60; 1.80; 1.90. ТО "Низкий МПС"

125. ЕСЛИ "Минерализующий потенциал слюны (МПС)" В ДИАПАЗОНЕ 1.80; 1.90; 2.10; 2.20. ТО "Пониженный МПС"

126. ЕСЛИ "Минерализующий потенциал слюны (МПС)" В ДИАПАЗОНЕ 2.10; 2.20; 2.25; 2.33. ТО "Нормальный МПС"

127. ЕСЛИ "Минерализующий потенциал слюны (МПС)" В ДИАПАЗОНЕ 2,25; 233; 5.00; 5.00. ТО "Повышенный МПС"

128. ЕСЛИ "Возраст" В ДИАПАЗОНЕ 17.00; 17.00; 24.00; 25.00. ТО "Молодая пациентка"

129. ЕСЛИ "Возраст" В ДИАПАЗОНЕ 24.00; 25.00; 35.00; 35.00. ТО "Пациентка зрелого возраста"1. Промежуточные выводы —

130. ЕСЛИ "КОСРЭ = 4" ИЛИ "КОСРЭ = 5" ИЛИ "КОСРЭ = 6"

131. ТО "Низкая резистентность эмали (КОСРЭ = 4 или 5 или 6)"

132. ЕСЛИ "Очень низкая буферная ёмкость смешанной слюны" ИЛИ "Сниженная буферная ёмкость смешанной слюны" ТО "Низкая буферная ёмкость смешанной слюны"

133. ЕСЛИ "Средний уровень резистентности (2)" И "КОСРЭ = 4"

134. ТО "Средний уровень резистентности зубов "к "кариесу и низкая резистентность эмали"

135. ЕСЛИ "КОСРЭ =1" ИЛИ "КОСРЭ = 2"

136. ТО "Высокая резистентность эмали (КОСРЭ = 1 или 2)"

137. ЕСЛИ "Низкая вязкость смешанной сшоны"

138. ИЛИ "Нормальная невысокая вязкость смешанной слюны"

139. ТО "Низкая или невысокая вязкость смешашюй слюны"

140. ЕСЛИ НЕ "Очень низкий рН смешанной слюны" И "КОСРЭ = 4"

141. ТО "Низкая резистентность эмали при не очень низком рН " ЕСЛИ "КОСРЭ = 5"

142. И "Низкая буферная ёмкость смешанной слюны"

143. ТО "КОСРЭ = 5 при низкой буферной ёмкости"

144. ЕСЛИ "Нормальная буферная емкость смешанной слюны" ИЛИ "Умеренно сниженный рН смешанной слюны" ИЛИ "Очень низкая буферная ёмкость смешанной слюны" ИЛИ "КОСРЭ = 5"

145. ИЛИ "Нормальная вязкость смешанной слюны"

146. ИЛИ "Низкая резистентность эмали при не очень шоком рН "

147. ТО "Параметры соответствуют среднему или высокому риску развитиякариеса"

148. Высокий риск развития кариеса —

149. ЕСЛИ "Низкий уровень резистентности (3)" И "КОСРЭ = 5"

150. И "Нормальная вязкость смешанной слюны" ТО "Высокий риск развития кариеса"1. ЕСЛИ "Очень низкий МПС"

151. И "Средний уровень резистентности зубов к кариесу п низкая резистентность эмали"

152. ТО "Высокий риск развития кариеса"

153. ЕСЛИ "Низкая резистентность эмали (КОСРЭ 4 или 5 или 6)" И "Нормальная вязкость смешанной слюны" И "Низкая буферная ёмкость смешанной слюны" ТО 'Бысокий риск развития кариеса"

154. Средний риск развития кариеса —

155. ЕСЛИ "Очень низкий уровень резистентности (4)" И "Молодая пациентка" ТО "Средний риск развития кариеса"

156. ЕСЛИ "КОСРЭ = 5" И "Нормальный МПС" ТО "Средний риск развития кариеса"1. ЕСЛИ

157. Низкий уровень резистентности (3)"

158. И "Низкий рН смешанной слюны" ТО "Средний риск развития кариеса"

159. ЕСЛИ "Низкий уровень резистентности (3)" И "Нормальная буферная ёмкость смешанной слюны" ТО "Средний риск развития кариеса"

160. ЕСЛИ "Очень низкая буферная ёмкость смешанной слюны" И "КОСРЭ = 4"

161. И НЕ "Средний уровень резистентности (2)" И "Низкая вязкость смешанной слюны" ТО "Средний риск развития кариеса"

162. ЕСЛИ "Средний уровень резистентности (2)" И "КОСРЭ = 5"

163. И "Низкая вязкость смешанной слюны" И "Молодая пациентка" ТО "Средний риск развития кариеса"

164. ЕСЛИ НЕ "Нормальная буферная ёмкость смешанной слюны" И "Резус-отрицательная кровь" И "Молодая пациентка" ТО "Средний риск развития кариеса"

165. ЕСЛИ "Низкая резистентность эмали (КОСРЭ = 4 или 5 или 6)" И "Высокая буферная ёмкость смешанной слюны" ТО "Средний риск развития кариеса"1. ЕСЛИ НЕ "КОСРЭ = 5"

166. И "Очень низкая буферная ёмкость смешанной слюны" И "Пациентка зрелого возраста" .И "Низкий или-пониженный МПС" ТО "Средний.риск развития кариеса"

167. ЕСЛИ "Средшш уровень резистентности зубов к кариесу и низкая резистентность эмали"

168. И "Очень высокая вязкость смешанной слюны" ТО "Средний риск развития кариеса"

169. ЕСЛИ "Средний уровень резистентности зубов к кариесу и низкая резистентность эмали"

170. И "Очень низкая буферная ёмкость смешанной слюны" И "Пониженный МПС" ТО "Средний риск развития кариеса"

171. Низкий риск развития кариеса —

172. ЕСЛИ "Пациентка зрелого возраста" И НЕ "КОСРЭ = 4"

173. И "Очень низкий уровень резистентности (4)" ТО "Низкий риск развития кариеса"

174. ЕСЛИ "Высокая резистентность эмали (КОСРЭ = 1 или 2)" И "Высокий или средний уровень резистентности (1 или 2)" ТО "Низкий риск развития кариеса"

175. ЕСЛИ "Высокий или средний уровень резистентности (1 или 2)" И "Низкая или невысокая вязкость смешанной слюны" И "Пациентка зрелого возраста" И "Повышенный МПС" ТО "Нгокий риск развития кариеса"

176. ЕСЛИ НЕ "Высокая буферная ёмкость смешашюй слюны" И "Высокий или средний уровень резистентности (1 или 2)" И НЕ "Пониженный МПС"