автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Модели и алгоритмы обработки данных и знаний для повышения эффективности прогнозирования показателей сложных объектов

ВВЕДЕНИЕ

ГЛАВА 1. ИССЛЕДОВАНИЕ СУЩЕСТВУЮЩИХ РАЗРАБОТОК И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ДЛЯ ПРОГНОЗИРОВАНИЯ И ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ В СЛОЖНЫХ ОБЪЕКТАХ.

Аннотация

1.1 Актуальность исследований в области прогнозирования и интеллектуального анализа.

1.2 Программные комплексы на рынке прогнозирования и интеллектуальных систем и их особенности.

1.3 Цель разработки системы и решаемые задачи 44 Выводы по главе

ГЛАВА 2. РАЗРАБОТКА КОНЦЕПЦИИ ПОСТРОЕНИЯ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ ПРОГНОЗИРОВАНИЯ СЛОЖНЫХ ОБЪЕКТОВ

Аннотация

2.1 Разработка требований и определение структуры интеллектуальной системы прогнозирования. Создание модели системы с помощью ЦМЬ.

2.2 Разработка концепции построения интеллектуального модуля системы прогнозирования.

2.3 Разработка базы знаний для интеллектуального модуля.

2.3.1 Общие правила построения базы знаний

2.3.2 Разработка БД для БЗ

2.3.3 Разработка механизма логического вывода

2.4 Вывод знаний в интеллектуальной системе прогнозирования и выработка правил. эволюционные и гибридные модели построения прогноза.

Выводы по главе 2:

ГЛАВА 3. РАЗРАБОТКА МОДЕЛЕЙ И АЛГОРИТМОВ ДЛЯ ИНТЕЛЛЕКТУАЛЬНОЙ СИСТЕМЫ ПРОГНОЗИРОВАНИЯ СЛОЖНЫХ

ОБЪЕКТОВ

Аннотация

3.1. Разработка алгоритмов работы интеллектуального модуля

3.1.1 Алгоритмы генерации знаний:

3.1.2 Алгоритмы анализа знаний (логического вывода), выявления и ликвидации противоречий:

3.1.3 Алгоритмы ранговой оценки правил. Определение качества работы системы, эмпирические алгоритмы расчета качественных характеристик.

3.1.4 Эвристические алгоритмы оптимального управления запуском и работой отдельных модулей и системы прогнозирования в целом

3.1.5 Эвристические алгоритмы анализа работы пользователя.

3.1.6 Алгоритмы обучения и специальные методы генерации правил в системе

3.2 Разработка моделей и алгоритмов для временных рядов.

3.2.1. Временные ряды и оценка качества отдельных рядов

3.2.2. Индивидуальные модели временных рядов

3.2.3. Коллектив разнотипных моделей

3.3 Разработка алгоритмов в модулях прогнозирования с учетом компонентной организации системы.

3.4 Разработка моделей и алгоритмов для модуля гибридизации (как составной части интеллектуального модуля)

3.4.1 Комбинированные модели временных рядов

3.4.2 Адаптивные модели гибридизации

3.4.3 Модуль гибридизации и алгоритм гибридизации. 127 Выводы по главе 3:

ГЛАВА 4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА, МОДЕЛИРОВАНИЯ И ПРОГНОЗИРОВАНИЯ И АНАЛИЗ ЕЕ ЭФФЕКТИВНОСТИ.

Аннотация

4.1 Разработка COM-технологии для реализации интеллектуальной системы прогнозирования

4.1.1 Анализ особенностей сом - технологий

4.1.2 Альтернативные направления

4.2 Разработка XML структур и модуля их обработки

4.2.3 Модуль обработки структур

4.3 Программная реализация системы

4.3.1 Выбор среды программирования

4.3.2 Характеристики модулей системы

4.3.3 Процесс разработки модулей системы для разработчика внешних модулей.

1.3.4 Работа комплекса в сети интернет и схема платного доступа.

4.4 Анализ эффективности интеллектуальной системы прогнозирования

4.4.1 Оценка эффективности программного комплекса

4.4.2 Анализ эффективности на экспериментальных данных

4.5 Анализ возможностей системы и рекомендации по ее использованию.

4.5.1 Достоинства и недостатки

4.5.2 Развитие информационных технологий

4.5.3 Актуальность и необходимость исследований в проблемной области

4.5.4 Развитие интеллектуальной системы прогнозирования с внедрением новых технологий

4.5.5 Сравнительные характеристики интеллектуальной системы прогнозирования и некоторых программных комплексов 186 Выводы по главе 4:

Оценка перспектив развития любой системы является сложной задачей при наличии неопределенностей, которые сопровождают любой динамический процесс. Чем дальше перспектива, тем в большей степени будет сказываться влияние неполноты знаний.

Компьютерные технологии автоматического интеллектуального анализа данных и прогнозирования (data mining - добыча данных из знаний[26]) в настоящее время переживают бурный расцвет. Это связано главным образом с потоком новых идей, исходящих из области компьютерных наук, образовавшейся на пересечении искусственного интеллекта, статистики и теории баз данных.

Исследования, посвященные интеллектуальному анализу данных и прогнозированию можно найти в работах отечественных (Гавриловой Т.А., Гусева Ю.М., Зайнашева Н.К., Ивахненко А.Г., Л.А.Керова, В.А. Павлова C.B., Фридлянда А.М, Хорошевского В.Ф., А.П.Частикова, Ю.В.Юдина, Юрачковского Ю.П, Юсуповой Н.И.) и зарубежных ученых (Chambers L., Groumpos P., James Popple и др.).

Основными трудностями, возникающими при реализации алгоритмов и моделей прогнозирования, с использованием интеллектуальных подходов являются: необходимость получения быстрых решений, обеспечивающих решение задачи прогнозирования в реальном времени, необходимость в разработке специальных методов сокращения времени расчетов при ее применении; необходимость использования экспертных, эмпирических и интеллектуальных элементов, а также разделения задач с пользователем; ограниченность входных данных, в качестве которых часто выступают определенные наборы данных, такие как массивы статистик; плохая расширяемость и дополняемость систем. Это в общем счете ведет к узкой специализации допустимых предметных областей для системы.

В связи с этим возникает множество теоретических, технологических и практических задач, связанных с организацией, обработкой и хранением данных и знаний при построении интеллектуальных систем в распределенной компьютерной среде с ориентацией на пользователей различного уровня подготовленности. Эти задачи являются важными в приложении к различным сложным системам: техническим, экономическим и др., и в настоящее время недостаточно исследованными.

Таким образом, можно сформулировать следующую цель: исследование и разработка интеллектуальной системы прогнозирования показателей сложных систем на основе использования интеллектуальных методов обработки и организации данных и знаний для повышения быстродействия и точности прогноза при реализации в распределенной компьютерной среде с теледоступом.

Для достижения поставленной цели в работе решаются следующие задачи: разработать концепцию построения интеллектуальной системы прогнозирования показателей сложных систем с использованием методов обработки и организации данных и знаний для распределенной компьютерной среды с теледоступом;

- разработать модели и алгоритмы интеллектуального анализа, обработки данных и знаний, обеспечивающих повышение быстродействия и точности прогнозных решений; осуществить опытную реализацию программного обеспечения интеллектуальной системы прогнозирования в распределенной вычислительной среде с теледоступом;

- проверить работоспособность и эффективность предложенного подхода, в том числе для различных предметных областей.

В работе использовались методы разработки интеллектуальных систем, систем на основе эволюционного программирования, экспертных систем, распределенных и сетевых систем. При разработке программного обеспечения применялись методы объектно-ориентированного программирования, методы имитационного моделирования, методы хранилищ данных, модели и методы прогнозирования, интеллектуальные методы обработки данных и знаний. Основные положения, выносимые на защиту:

- концепция интеллектуальной системы прогнозирования показателей сложных объектов;

- формальные модели работы интеллектуальной системы на основе объектно-ориентированного подхода к моделированию и языка UML[4];

-модели и алгоритмы обработки данных и знаний, которые обеспечивают улучшение качества прогноза, сокращения времени работы системы, а также подход к использованию различных структур входных данных;

- программное обеспечение, реализующее разработанные модели и алгоритмы интеллектуальной системы прогнозирования, реализованное на основе СОМ технологий;

- методика и результаты исследования эффективности предложенных алгоритмов в различных предметных областях.

Научная новизна работы заключается в следующем: -новизна концепции построения интеллектуальной системы прогнозирования состоит в том, что предложен модуль обработки структур данных, ориентированный на обработку XML - документов, а также разработан блок интеллектуального анализа - основной модуль системы, где происходит формирование знаний на основе анализа рангов;

- предложены новые модели организации данных и знаний в блоке интеллектуального анализа, организованные в рамках объектно-ориентированного подхода. При использовании объектно-ориентированного подхода для организации управления внешними и внутренними модулями впервые объединяются информационные структуры, алгоритмы их интерпретации, правила возникновения, поведения, визуализации;

-новые алгоритмы работы и взаимодействия основных компонентов: блока интеллектуального анализа, их взаимодействия, блока обработки структур данных. Новизна состоит в том, что для поиска прогноза используется разработанная система правил, позволяющая работать с различными типами входных данных и использовать на основе этих правил различные методы прогнозирования

В результате выполнения диссертационной работы автором получены следующие результаты, имеющие практическое значение:

- объектно-ориентированные модели, описывающие как информационные структуры, так и алгоритмы их интерпретации, правила возникновения, поведения, визуализации для организации управления;

-эвристические алгоритмы работы интеллектуального блока, позволяющие реализовать в вычислительной среде прогнозирование в различных предметных областях;

-эвристические алгоритмы улучшения качества прогноза и времени работы, имеющие уникальные характеристики при работе с большим числом статистик;

- методика и результаты компьютерного тестирования, позволяющие оценить качественные показатели эффективности алгоритмов нахождения прогноза в различных предметных областях;

- разработано программное обеспечение, реализующее предложенные модели и алгоритмы нахождения прогноза, обладающие развитым интерфейсом пользователя, средствами визуализации и проверки эффективности моделей и алгоритмов на основе предложенной методики;

- реализация предложенных моделей в компьютерной моделирующей среде и программное обеспечение для платформ IBM PC, позволяющие проводить исследования работоспособности и эффективности предложенных алгоритмов.

Результаты исследований являются частью научных исследований по программе Минобразования РФ за 2000-2001г. по теме «Модели системного анализа деятельности предприятий Республики Башкортостан с целью их реформирования на новой экономической и технологической основе», в рамках исследований по Федеральной целевой программе «Интеграции науки и высшего образования Российской Федерации на 2002 -2006 г.г.» по проекту П0039 «Фундаментальные исследования и новые технологии проектирования сложных технических систем, международной программе АМЕТМА8-Г<ЮЕ, хоздоговора "Разработка методов для интеллектуальных систем прогнозирования показателей сложных объектов" по теме ИФ-ТК-14-02-03/Б.

Результаты, полученные в диссертационной работе, в виде опытного программного обеспечения в совокупности с методикой использования, внедрены в отделе информационных технологий Госкомсобственности РБ, используется для решения задач прогнозирования арендуемых и покупаемых площадей жилых помещений в распределенной компьютерной среде, в режиме теледоступа, а также в информационном центре санатория Янгантау для решения задач прогнозирования численности отдыхающих при работе в режиме теледоступа. Результаты внедрения системы показали работоспособность опытной версии системы и эффективность решения задач.

Программное обеспечение внедрено также в учебный процесс на кафедре ВМиК в виде лабораторных работ для студентов специальности «Программное обеспечение вычислительной техники и автоматизированных систем» Разработанное программное обеспечение моделирования и нахождения прогноза зарегистрировано в реестре программ для ЭВМ Российского агентства по патентам и товарным знакам.

Выводы по главе 4:

Проведен анализ основной технология системы, указаны ее достоинства и недостатки. Произведено сравнение с альтернативной технологией. Установлено соответствие сош-технологии основным нуждам и требованиям, предъявленным программному комплексу.

Сформулированы основные предпосылки к использованию XML и преимущества этой технологии. Выявлена необходимость использования этой технологии в системе. Разработан язык спецификации внутренних структур данных комплекса с использованием XML. Разработан и реализован модуль обработки структур и описана его схема работы.

Разработаны и реализованы компоненты, с использованием различных технологий. Определены их взаимосвязи и структурные особенности. Приведены примеры кода и объяснены принципы работы.

Получены результаты прогнозирования на экспериментальных данных, исследована эффективность работы интеллектуальной системы прогнозирования по разработанной методике.

ЗАКЛЮЧЕНИЕ

В диссертационной работе содержится решение важной научно-практической задачи разработки интеллектуальной системы прогнозирования показателей сложных систем на основе использования интеллектуальных методов обработки и организации данных и знаний для повышения эффективности прогноза при реализации в распределенной компьютерной среде с теледоступом.

Разработанная концепция построения интеллектуальной системы прогнозирования показателей сложных систем с использованием методов обработки и организации данных и знаний для распределенной компьютерной среды с теледоступом, основывается на использовании модуля обработки структур данных, ориентированного на обработку XML документов, а также блока интеллектуального анализа, где формирование знаний происходит на основе анализа рангов.

Разработанные модели обработки данных и знаний в блоке интеллектуального анализа функционируют на основе объектно-ориентированного подхода и созданы с использованием UML проектирования. При использовании объектно-ориентированного подхода для организации управления внешними и внутренними модулями впервые объединяются информационные структуры, алгоритмы их интерпретации, правила возникновения, поведения, визуализации. Разработанные алгоритмы работы и взаимодействия основных компонентов блока интеллектуального анализа, основанные на разработанной системе правил, позволяющей работать с различными типами входных данных и использовать на основе этих правил различные методы прогнозирования, обеспечивают повышение быстроты и точности.

Реализованный опытный вариант интеллектуальной системы прогнозирования показателей сложных систем и проведенные экспериментальные исследования показали работоспособность и эффективность системы. Быстродействие системы при использовании предложенного подхода в рассмотренных примерах повысилось за счет: -увеличения быстродействия за счет сетевой обработки данных и знаний (распараллеливание) в два раза;

-уменьшения времени обработки отдельной задачи, за счет выбора коллектива моделей, осуществляемого интеллектуальным модулем - 10 %; -ускоренной работы с базой знаний за счет частичного перебора и сортировкой по системе рангов, в отличие от систем СВ11, где производится полный перебор правил базы знаний в 1.5 раза;

-регулирования скорости работы сложных алгоритмов (например, комбинаторных), требующих длительных вычислений - подбор параметров моделей прогнозирования с помощью генетических алгоритмов на 30%;

- увеличения скорости работы за счет менеджера внешних модулей на 10%;

- хранения базы знаний на клиентской машине - соответственно нет необходимости передавать данные о выбранных правилах с центрального сервера на 15%.

Точность прогноза в рассмотренных примерах за счет использовании интеллектуального модуля повысилась на 15-30% С момента разработки опытного образца системы в ноябре 2000 года, средняя погрешность краткосрочного прогноза составила 2%. Для сравнения, в аналогичных системах средняя погрешность краткосрочного прогноза равна 3-7%.

1. В. Афанасьев. Анализ временных рядов и прогнозирование. МгФинансы и статистика, 2000, 240с.

2. Бессонов В.А. Методы исследования эволюционирующих парных взаимосвязей между социально-экономическими макропоказателями. М.: ВЦ РАН, 1993.

3. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление, 1974,270с.

4. Буч Г., Рамбо Д., Джекобсон А. Язык UML Руководство пользователя: Пер. с англ. -М.: ДМК, 2000. 432с.

5. Е. Е. Бронштейн. Нейросетевой инструментарий для прогнозирования экономических показателей сложных систем. CSIT'2000. Ufa, Russia, 2000. Volume3: pp. 047-050

6. В. Васенин, Владимир Роганов. GRACE: распределенные приложения в Internet. Открытые системы, #05-06/2001

7. Волчков С.А. Мировые стандарты управления промышленным предприятием в информационных системах (ERP системах). Воронеж: Международная академия науки и практики организации производства// Организатор производства - 1999 г. -№1- с.43.

8. В. В. Девятков. Системы искусственного интеллекта.2001

9. Т. Гаврилова, В. Хорошевский. Базы знаний интеллектуальных систем, 2000

10. В. А. Геловани, А. А. Башлыков, В. Б. Бритков, Е. Д. Вязилов. Интеллектуальные системы поддержки принятия решений в нештатных ситуациях с использованием информации о состоянии природной среды ,2001

11. В. Герасенко. Прогнозирование и планирование экономики. Новое Знание, 2001.

12. Горелова B.JI, Мельникова E.H. Основы прогнозирования систем.-М:Высшая школа, 1986. -285л.

13. Гринев М. Системы управления полуструктурированными данными. «Открытые системы», 2000, № 5

14. Гринолл Э. Финансы и финансовое планирование для руководителей среднего звена. /Пер. с англ. -М:Дело и Сервис, 1999. -96с.

15. Дональд Е. Кнут . Искусство программирования. 3 т. 2002

16. Н. Дубова. СОМ или CORBA вот в чем вопрос. -Открытые системы, 03/99

17. Н. Елманова. Распределенные вычисления и технологии Inprise. Компьютер Пресс CD, 1999, N 3

18. А. М. Епанешников, В. А.Епанешников. Delphi 5. Базы данных , 2000

19. Ильин А.И. Планирование на предприятии . -Минск: Мисанта, 1998. -292с.

20. Ивахненко А.Г., Степашко B.C. Помехоустойчивость моделирования. -Киев: Наук.думка, 1985. -214с.

21. Ивахненко А.Г., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. -М:Радио и связь, 1987. -120с.

22. Ивахненко А.Г. Индуктивный метод самоорганизации моделей сложных систем -М:Наук.думка, 1982. -296с.

23. Л.А.Керов, А.П.Частиков, Ю.В.Юдин, В.А.Юхтенко ; Под ред . Ю.В.Юдина Экспертные системы: Инструментальные средства разработки: Учебн. пособие / СПб.: Политехника, 1996 - 220 с

24. А.Ложечкин.Протокол SOAP, Журнал «Мир ПК» #12-2000

25. С. Лейз, Доминик Декмин Обмен сообщениями на уровне приложений. Еженедельник «Computerworld Россия» #35-2000

26. М.Киселев, Е.Соломатин. Средства добычи знаний в бизнесе и финансах. Открытые системы, № 4, 1997, с.41-44.

27. С.Н. Колесников, "Стратегии бизнеса: управление ресурсами и запасами", Москва, "Статус-Кво 97", 2000

28. Н. Кречетов. Продукты для интеллектуального анализа данных. Рынок программных средств, N14-1597, с.32-39.

29. В. В. Корнеев, А. Ф. Гареев, С. В. Васютин, В. В. Райх. Базы данных. Интеллектуальная обработка информации

30. Нижегородцев P.M. Модели логистической динамики как инструмент экономического анализа и прогнозирования // Моделирование экономической динамики. М.: Диалог МГУ, 1997. С. 34 51.

31. Ю.Пуха . Объектные технологии построения распределенных информационных систем,, СУБД, 03/97

32. Ричард Томас. Количественные методы анализа хозяйственной деятельности./Пер. с англ. -М:Дело и Сервис, 1999. -418с.

33. О. Степанов, Андрей Филёв. СОМ+ компоненты средствами .Net. «Технология Клиент-Сервер», 20.11.2001

34. Т. Струнков, Что такое генетические алгоритмы, PC Week RE, 19/99.

35. Таунсенд К., Фохт Д. Проектирование и программная реализация экспертных систем на персональных ЭВМ: Пер с англ. М.: Финансы и статистика, 1990. - 320 с. ил.

36. Э.А.Трахтенгерц. Компьютерная поддержка принятия решений в САПР, Автоматизация проектирования #05/97.

37. Уотшем Т. Дж., Кейт Паррамоу Количественные методы в финансах/ Пер. с англ. Под ред. проф. Ефимовой Е.Р. -М:Финансы, изд.объединение ЮНИТИ, 1999. -520с.

38. А.Федоров, Н. Елманова. Архитектура Microsoft Analysis Services, КомпьютерПресс 6'2001

39. В. К. Финн. Интеллектуальные системы и общество, М: Дело,2000

40. В. А. Филиппов. Интеллектуальный анализ данных: методы и средства. 2002

41. Г.И. Францкевич, Алексей А. Букарев, Валерий П. Костюк. Нейросетевые и генетические модели и методы анализа данных. Саратов, СГТУ 2001

42. Францкевич Г.И., Костюк В.П. Разработка экспертной системы для анализа и прогноза финансовой деятельности предприятий.// Математическое и программное обеспечение вычислительных систем. Межвузовский сборник научных трудов, М.-1998 г. с. 111-115

43. Хурамшин Р.И. О методах прогнозирования, используемых в английских экономических структурах.// Математическое моделирование в решении научных и технических задач. Выпуск 2, "Технология",Уфа-2001, стр.38

44. Хурамшин Р.И., Набиуллин P.M., Тарасова Т.Д. Методология и информационные технологии прогнозирования экономических показателей сложных систем.

45. ХурамшинР.И. Прогнозирование и моделирование в сложных экономических системах, (тезисы) // Международная научная конференция

46. Моделирование, вычисления, проектирование в условиях неопределенности — 2000», Уфа -2000, УГАТУ

47. Хурамшин Р.И. Прогнозирование финансовых результатов деятельности коммерческого банка с использованием комбинаторных методов (ТЕЗИСЫ ДОКЛАДА) // Международная молодежная научно-техническая конференция.

48. Хурамшин Р.И. Программа "Система краткосрочного прогнозирования прибыли банка с использованием метода группового учета аргументов", Уфа, УГАТУ, 2000.

49. Фридлянд A.M., Хурамшин Р.И. Программа "Система интеллектуального анализа моделирования и прогнозирования", Уфа,УГАТУ, 1999.

50. Р.И.Хурамшин, Р.Р.Хамзин, Интеллектуальная система сбора и обработки экономической информации, РФФИ на Международную молодежную научно-техническую конференцию «Интеллектуальные системы управления и обработки информации» , Уфа, 6 декабря 2001

51. Хурамшин Р. Григорчук Т.И., Многофакторный метод комбинаторного прогнозирования, Материалы Международной научной конференции «Методы кибернетики технологических процессов», Уфа, УГНТУ, 1999

52. Ф. Хэйес, Distributed Component Object Model, Computerworld, #24/1999

53. Четыркин Е.М. Методы финансовых и коммерческих расчетов, 1992

54. В. Шабат. Каталоги LDAP и метакаталоги. Открытые системы, #05/2002

55. А. Шурыгин. Прикладная стохастика: робастность, оценивание, прогноз. Финансы и статистика, 2000.

56. Aleven V., Ashley К. Evaluating A Learning Environment For Case-Based Argumentation Skills. Sixth International Conference on Artificial Intelligence and Law, ACM Press, 1997. -p. 170

57. Dr Akeel Al-Attar, MD of Attar Software. Data Mining Beyond Algorithms.2000

58. Dr Akeel Al-Attar, MD of Attar Software. A Hybrid GA-Heuristic Search Strategy. AI EXPERT USA, 09/2000

59. Bergadano F., Gunetti D. Inductive logic Programming: From Machine Learning to Software Engineering. Cambridge, MIT Press, 1996

60. Booch G.Object Oriented Analysis and Design with Applications Redwood. Benjamin/Cummings, 1994.

61. Chapell D. Understanding ActiveX and OLE. Microsoft press. 1996.

62. Clancey W.J. Notes on "Epistemology of a rule-based expert system". Artificial intelligence, 59. -p. 197-204

63. Fridland A., Tarasova T., Khuramshin R., Khamzin R. How To Improve Forecasting Technologies Using Intelligent Systems. // CSIT 2001, Ufa, Russia-2001, pp

64. Golding A.R., Rosenbloom P.S. Improving rule-based systems by combining rule-based and case-based reasoning. National Conference on Artificial Intelligence, 87. -p.215-254

65. Harmon P., Hall.C. Intelligent Software Systems Development: An IS Manager's Guide. New York: Wiley

66. James Popple. A Pragmatic Legal Expert System, Aldershot,! 996,384pp

67. Jamshidi M., Zadeh L., Boverie S. Application of Fuzzy Logic: Towards High Machine Intelligence Quotient Systems. Englewood Cliffs. Prentice Hall.

68. Kolodner J.L. Case Based Reasoning. Los Altos: Morgan Caufmann.

69. Korf R.E., Reid M. Complexity analysis of admissible heuristic search. 15th National Conference on Artificial Intelligence, 1998. -p. 305-310.

70. Maybury M. Intelligent Multi-Media Interfaces. Cambridge, MIT press, 1993

71. Mitchell T.M. Machine Learning. New-York, McGraw Hill, 1997

72. Moore J.D. Participating in Explanatory Dialogues. Cambridge, MIT Press, 1995

73. Musen M.A. Overcoming the limitations of role-limiting methods. Knowledge Acquisition, 4(2), 1992

74. Neapolitan R.E, Probabilistic reasoning in expert systems: theory and algorithms. NewYork, Wiley, 1990

75. Norvig P.Paradigms of artificial intelligence programming. Los altos, Morgan Kaufmann, 1992

76. Pearl J. Probabilistic reasoning in Intelligent systems: network of plausible inference. Los Altos. Morgan Kaufmann, 1997

77. Prerau D.S. Developing and managing expert systems. Addison Wesley, 1990

78. Puerta A.R., Neches R., Eriksson H., Szeleky P, Luo P., Musen M.A. Toward ontology-based frameworks for knowledge acquisition tools. 8 th Banff Knowledge-Based Systems Workshop 26, 1994. -p. 1-14

79. Rayward-Smith V.J. Applications of Modern Heuristic Methods. Alfred Waller, 1994.

80. Rich E., Knight K. Artificial Intelligence. New York. McGraw Hill, 1991.

81. Rumelhart D.E. Parallel Distributed processing: Explorations in the Microstructure of Cognition: Foundations, Cambridge, MIT press, 1986

82. Russel S.J., Norvig P. Artificial intelligence: A modern approach. Englewood Cliffs, Prentice Hall

83. Schach S.R. Software engineering, Irwin, 1993

84. Schmuller. Expert System Shells at Work. PC AI, 1992.

85. Stefik M. Introduction to knowledge Systems. San Francisco. Morgan Kaufmann, 1995

86. Studer R. Benjamins V.R., Fensel D. Knowledge engineering: Principles and Methods. Data and knowledge engineering 25(1,2), 1998. -pi70-174

87. Tarasova T.D, Khuramshin R.I. (1999). Combinatorial Miltifactor Forecast Methods. USATU, Ufa, pp.8,9.

88. Yen J. Using polymorphism to improve expert system maintainability. IEEE Expert (4), 1991

89. Hicks, R.New Trends in Expert Systems Development and Implementation: The 3rd Generation of Expert Systems, PC AI 14(2).

90. Huntington, D.Expert Systems for Online Advice: Knowledge at your Fingertips, PC AI 14(4)

91. Mohan, C. Frontiers of Expert Systems: Reasoning with Limited Knowledge. Kluwer Academic Pub, pps 303

92. Chambers, L. Practical Handbook of Genetic Algorithms: Applications, Second Edition. 2000, CRC Press, pps. 528

93. Waterman D.A. A guide to expert systems. Addison-Wesley, 1986

94. Walker E.A. A first Course in Fuzzy Logic. Boca Raton, CRC press, 1996.

95. Wielinga B J, Shreiber A. Conceptual modelling of large reusable knowledge bases. In management and processing of complex data structures. Third workshop on information systems and artificial intelligence, 1994.

96. Wilkins D.C. Knowledge base refinement using apprenticeship learning techniques. National Conference on Artificial Intelligence, 1988

97. Wu, C., and McLarty, J. Neural Networks and Genome Informatics, (2000) Elsevier Science, pps. 220.1. БЛАГОДАРНОСТИ