автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Исследование и разработка методов и моделей правдоподобных рассуждений в интеллектуальных системах поддержки принятия решений

ВВЕДЕНИЕ.

1. АНАЛИЗ МЕТОДОВ ПРЕДСТАВЛЕНИЯ И ОБРАБОТКИ ЗНАНИЙ.

1.1. Представление знаний в интеллектуальных системах.

1.2. Анализ механизмов правдоподобных рассуждений в интеллектуальных системах.

1.3. Немонотонные рассуждения в системах принятия решений.

1.4. Выводы.

2. РАЗРАБОТКА МОДЕЛЕЙ И АЛГОРИТМОВ ПРАВДОПОДОБНЫХ РАССУЖДЕНИЙ В ИНТЕЛЛЕКТУАЛЬНЫХ И ЭКСПЕРТНЫХ СИСТЕМАХ.

2.1. Моделирование рассуждений на основе операторов сходства.

2.2. Обучение интеллектуальной системы методами кластерного анализа.

2.3. Принятие решений на основе агрегирования оценок неопределенности зависимых признаков.

2.4. Немонотонные рассуждения с исключениями.

2.5. Выводы.

3. МЕТОДЫ И МОДЕЛИ ПРИНЯТИЯ РЕШЕНИЙ В АВТОМАТИЗИРОВАННОЙ СИСТЕМЕ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ.

3.1. Особенности обучения в системе дистанционного образования.

3.2. Мониторинг процесса обучения.

3.3. Оценка системы знаний на основе структурной аналогии.

3.4. Выводы.

4. РАЗРАБОТКА ПРИКЛАДНЫХ СИСТЕМ ПОДДЕРЖКИ ПРИНЯТИЯ

РЕШЕНИЙ.

4.1. Инструментальная среда проектирования СППР для моделирования правдоподобных и немонотонных рассуждений.

4.2. Интеллектуальные средства системы дистанционного обучения

KnowledgeCT".Л

4.3. Выводы.

Актуальность проблемы. Изменение роли ЭВМ при решении слабоструктурированных задач ставит проблему разработки принципиально новых интеллектуальных систем. Специфика этих систем состоит в том, что многие ситуации принятия решений требуют от человека быстрой реакции в условиях неопределенности исходной информации при дефиците времени и ограниченных ресурсах. Исследования в области принятия решений и ее приложений привели к осознанию того факта, что задачи принятия сложных решений лицо, принимающее решение (ЛПР), формулирует и обсуждает на профессиональном языке (подмножестве естественного языка), отражающем специфику задач. Построение моделей принятия решений для задач, имеющих нечеткое словесное описание, стало возможным благодаря введению Заде JI.A. понятия нечеткого множества. Особенность исследований в области нечетких множеств состоит в том, что основной целью было создание аппарата, способного моделировать нечеткие человеческие рассуждения и объяснять человеческие приемы принятия решений в ходе решения различных задач. Значительный вклад в развитие аппарата теории нечетких множеств и его прикладного аспекта внесли: Аверкин А.Н., Алексеев A.B., Батыршин И.З., Берштейн Л.С., Блишун А.Ф., Борисов А.Н., Дюбуа Д., Коф-ман А., Мелихов А.Н., Мамдани Е., Мицумото М., Негойце К., Орловский С.А., Поспелов Д.А., Прад А., Ягер P.P. и многие другие ученые.

Поскольку принятие компетентных решений в сложной быстро меняющейся обстановке достаточно непростая задача, требующая очень высокой квалификации ЛПР, то создание систем поддержки принятия решений (СППР), основанных на исследованиях в области искусственного интеллекта, инженерии знаний, методах математического моделирования и обработки данных, является актуальной проблемой. Несмотря на большое количество работ, связанных с разработкой подобных систем, все еще остаются нерешенными проблемы моделирования логики принятия решений человеком.

Одним из важнейших условий повышения роли и степени воздействия интеллектуальных видов деятельности на переход мирового сообщества от индустриального этапа к информационному является информатизация образования. Этим объясняется то внимание, которое уделяется в последние годы использованию новых информационных и коммуникационных технологий (НИТ) в образовании. Цифровая технология произвела своего рода революцию, она позволяет объединить в цифровой форме текст, графическое и видеоизображение, речевое и музыкальное сопровождение; на основе этой технологии создаются мощные новые средства представления и передачи знаний, а также средства обучения. Поскольку в результате применения НИТ обучаемый не ограничен теперь пространственными и временными рамками, эта технология открывает новые и более гибкие возможности для обучения. Дистанционное образование (ДО) быстро завоевало признание повсюду в мире и широко используется на всех ступенях образования, включая высшее. Сейчас, когда налицо тенденция развития дистанционного образования, массового использования автоматизированных обучающих систем, необходимо особое внимание уделять методике проектирования подобных систем, рассматривая автоматизированное обучение как процесс управления познавательной деятельностью. Вместе с тем в публикациях по проблемам ДО основное внимание уделяется разработке электронных учебников, выбору платформ, дидактике новых образовательных сред, методологии проведения обучения и т.п. Однако в стороне остаются вопросы, связанные с сопровождением процесса обучения. Особенность построения систем дистанционного обучения состоит в присутствии большого числа неопределенных факторов, касающихся как организации процесса обучения, так и тестирования знаний. В этой связи использование моделей правдоподобных рассуждений с целью построения для обучающих программ подсистем мониторинга процесса обучения и оценки системы знаний кажется оправданным. Исследование и разработка методов и моделей для обеспечения качественного процесса дистанционного обучения являются актуальными, поскольку научные исследования в области дистанционного образования находятся на стадии становления, как в нашей стране, так и за рубежом.

Актуальность темы диссертационной работы определяется необходимостью повышения эффективности профессиональной деятельности в области управления и информационного обслуживания за счет использования интеллектуальных информационных систем поддержки принятия решений. Большинство задач, возникающих в этих областях, не поддаются строгой формализации и для их решения возможно привлечение нетрадиционного математического аппарата - аппарата теории нечетких множеств и нечеткой логики.

Целью диссертационной работы является исследование и разработка методов и моделей правдоподобных рассуждений в интеллектуальных системах поддержки принятия решений, характеризуемых неопределенностью и изменчивостью исходной информации.

Основными задачами диссертации являются:

1. Исследование и разработка моделей и алгоритмов правдоподобных и немонотонных рассуждений в интеллектуальных системах принятия решений.

2. Исследование и разработка индивидуальной модели поведения обучаемого для мониторинга процесса обучения и методов оценки системы знаний на основе структурной аналогии в системе дистанционного образования.

3. Построение прикладных интеллектуальных систем поддержки принятия решений на основе предложенных моделей и алгоритмов правдоподобных рассуждений.

Методы исследования основываются на теории искусственного интеллекта, ситуационного управления, аппарате теории нечетких множеств и нечеткой логики, теории графов.

Названные цель диссертации, основные задачи и методы исследования послужили предпосылкой для получения новых научных результатов в области интеллектуальных систем поддержки принятия решений.

Научная новизна работы состоит в следующем:

1. Предложен подход к проектированию интеллектуальных систем, функционирующих на основе моделей и алгоритмов правдоподобных рассуждений.

2. Разработаны модели поведения и аттестации обучаемого, позволяющие осуществлять мониторинг процесса обучения и оценку системы знаний.

3. Предложена архитектура инструментальной среды проектирования С1ТПР, обладающей способностью корректно оценить текущие ситуации при нечетком выводе и изменить логику принятия решения в условиях неопределенной и изменчивой исходной информации, и интеллектуальной компоненты системы дистанционного обучения "KnowledgeCT", позволяющей осуществить сопровождение процесса обучения с учетом индивидуального стиля обучаемого.

Практическая ценность работы состоит в следующем: 1. Предложенные модели и алгоритмы монотонных и немонотонных рассуждений довольно просты с точки зрения программной реализации и лаконично интегрируется в рамках одной СППР, так как при этом может использоваться продукционная база знаний (БЗ), в случае необходимости дополненная правилами с исключениями. Подобная система позволяет получить вывод относительно текущей ситуации, при наличии как положительных фактов, служащих основанием для вывода заключения, так и отрицательных фактов (исключительных условий), которые уменьшают правдоподобность заключения или отвергают его. Еще одной особенностью системы является возможность обучения на основе кластерного анализа. Также система позволяет ускорить процесс вывода, используя для анализа центры кластеров БЗ. 2. Интеллектуальные компоненты системы дистанционного обучения "Кпо\у1ес^еСТ", основанные на предложенных моделях и алгоритмах для мониторинга процесса обучения и оценки качества образования позволят осуществить полноценное обучение, несмотря на отсутствие непосредственного контакта студента с преподавателем, прогнозировать деятельность обучаемого, корректировать его поведение для достижения поставленных целей обучения, учитывая при этом его индивидуальные предпочтения, а также более полно и объективно оценить систему полученных знаний и умений. При этом, что немаловажно, решается вопрос перераспределения функций между человеком и вычислительными средствами, в результате чего студент получает больше самостоятельности, а преподаватель - время для интеллектуальной (творческой) работы.

Реализация результатов работы. Полученные в диссертации результаты использовались в г/б работах 44760, 44850, 44851 по программам Минобразования Российской Федерации, а также при выполнении гранта РФФИ №99-01-00242.

Научные и практические результаты работы внедрены в ЦДО ТРТУ при создании системы открытого образования, в учебный процесс на кафедре САиТ ТРТУ в курсе лекций и лабораторных работ по дисциплинам "Интеллектуальные технологии" и "Методы искусственного интеллекта", в НКБ "Миус", в ОКБ "Ритм". Акты внедрения и использования научных результатов прилагаются к диссертации.

На защиту выносятся следующие основные положения, каждое из которых обладает новизной, имеет научную или практическую ценность и направлено на решение поставленных задач:

1. Принципы проектирования интеллектуальных систем с базой неопределенных знаний на основе применения моделей и алгоритмов правдоподобных рассуждений.

2. Методики организации мониторинга процесса обучения и оценки качества образования в системе дистанционного образования.

3. Прикладные интеллектуальные системы поддержки принятия решений на основе предложенных моделей и алгоритмов правдоподобных рассуждений.

Апробация работы и публикации. Основные результаты диссертации представлены на 7-м Европейском конгрессе по интеллектуальным технологиям и программному обеспечению EUFIT-1999 (Aachen, Germany), на Европейском симпозиуме по интеллектуальным технологиям ESIT-2000 (Aachen, Germany), на научно-технических конференциях профессорско-преподавательского состава, аспирантов и сотрудников ТРТУ в 1999 и 2001 гг., на I и III Всероссийских научных конференциях молодых ученных и аспирантов "Новые информационные технологии. Разработка и аспекты применения", проводимых в ТРТУ в 1998 и 2000 гг., на I Всесибирском конгрессе женщин-математиков в 2000 г., на Всероссийской научно-технической конференции с международным участием "Компьютерные технологии в инженерной и управленческой деятельности" в 2000 г. По теме диссертации опубликовано 17 работ.

Структура и объем диссертационной работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Общий объем диссертации 177 стр., основного текста 160, включая 20 рисунков, список литературы изложен на 9 стр. и содержит 87 наименований.

4.3. Выводы

На основе предложенных в диссертации моделей и алгоритмов для правдоподобных и немонотонных рассуждений разработана инструментальная среда проектирования систем поддержки принятия решений. Впервые модели монотонных и немонотонных правдоподобных рассуждений интегрированы в рамках единой СППР, при этом используется продукционная база знаний, которая в случае необходимости дополняется правилами с исключениями. Подобная система позволяет получить вывод относительно текущей ситуации, при наличии как положительных фактов, служащих основанием для вывода заключения, так и отрицательных фактов (исключительных условий), которые уменьшают правдоподобность заключения или отвергают его. Еще одной особенностью этой системы является возможность обучения на основе кластерного анализа. Также система позво

149 ляет ускорить процесс вывода, используя для анализа только центры кластеров базы знаний.

Впервые предложены и реализованы в ИСДО "Кпош1ес^еСТ" модели принятия решений для системы дистанционного образования, которые позволят осуществить полноценное обучение, несмотря на отсутствие непосредственного контакта студента с преподавателем, прогнозировать деятельность обучаемого, корректировать его поведение для достижения поставленных целей обучения, учитывая при этом его индивидуальные стратегии, а также более полно и объективно оценить системы полученных знаний и умений. При этом, что немаловажно, решается вопрос перераспределения функций между человеком и вычислительными средствами, в результате чего студент получает больше самостоятельности, а преподаватель - время для интеллектуальной (творческой) работы.

ЗАКЛЮЧЕНИЕ

В диссертационной работе были исследованы и разработаны методы и модели правдоподобных рассуждений в интеллектуальных системах поддержки принятия решений, характеризуемых неопределенностью и изменчивостью исходной информации. При этом получены следующие новые научные и практические результаты.

1. Предложен алгоритм правдоподобных рассуждений, позволяющий корректно оценить текущие ситуации при нечетком выводе и, таким образом, усилить чувствительность получаемых результатов по отношению к изменению оценок неопределенности на входе системы.

2. Предложен подход, позволяющий уменьшить размерность базы знаний при ее анализе относительно текущей совокупности исходных данных с использованием центров кластеров; построена процедура обучения базы нечетких знаний на основе кластерного анализа и композиционного вывода.

3. Предложен метод принятия решений на основе агрегирования оценок неопределенности признаков для случая, когда рассуждения эксперта базируются на совокупности зависимых признаков и могут быть представлены в виде иерархической структуры.

4. Разработаны оригинальные схемы и модели немонотонных рассуждений с исключениями, позволяющие изменять логику принятия решений в интеллектуальной системе.

5. Предложены модели принятия решений для системы дистанционного образования, которые позволяют осуществить полноценное обучение, несмотря на отсутствие непосредственного контакта студента с преподавателем, учитывая при этом индивидуальные особенности обучаемого.

6. Предложена методика для оценки качества образования, позволяющая более полно и объективно оценить систему знаний и умений обучаемого.

151

7. На основе разработанных в диссертации моделей и алгоритмов в прикладных системах поддержки принятия решений разработаны: инструментальная среда проектирования СППР для моделирования правдоподобных и немонотонных рассуждений, а также подсистемы мониторинга процесса обучения и оценки качества образования в интеллектуальной системе дистанционного обучения "Кпо\¥1ес^еСТ".

1. Осуга С. Обработка знаний: Пер. с .япон. - М.: Мир, 1989. - 293с.

2. Приобретение знаний./под ред. С. Осуги, Ю. Саэки. М.: Мир, 1990,-304с.

3. Георгиев В.О. Модели представления знаний предметных областей диалоговых систем// Изв. АН СССР. Техн. киберн., № 5, 1993.

4. Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник/ Под ред. Д.А. Поспелова - М.: Радио и связь, 1990. - 304с.

5. Попов Э.В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ. М.: Наука. Гл. ред. Физ.-мат. Лит., 1987. -288с.

6. Минский М. Фреймы для представления знаний: Пер. с англ. М.: Энергия, 1979.-152с.

7. Пойа Д. Математика и правдоподобные рассуждения. М.: Наука, 1975. -464с.

8. Нечеткие множества в моделях управления и искусственного интеллекта/Под ред. Д.А. Поспелова. М. Наука. Гл. ред. физ.-мат. лит., 1986.-312с.

9. Обработка нечеткой информации в системах принятия решений/ А.Н. Борисов, A.B. Алексеев, Г.В. Меркурьева и др. М.: Радио и связь, 1989. -424с.

10. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации. М.: Наука, 1986. - 208с.

11. П.Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982. -432с.

12. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. М.: Радио и связь, 1990. 288с.

13. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. - 165с.

14. Заде JI.А. Размытые множества и их применение в распознавании образов и кластер-анализе. В кн. Классификация и кластер /Под ред. Дж.Вэн Райзина.-М.: Мир, 1980. С.208-247.

15. Прикладные нечеткие системы ./под ред. Т. Терано, К. Асаи, М. Сугэно. -М.: Мир, 1993.- 368с.

16. Мелихов А.Н., Берштейн Л.С., Коровин С .Я. Ситуационные советующие системы с нечеткой логикой.-М.:Наука, 1990.-272с.

17. Батыршин И.З. Лексикографические оценки правдоподобности с универсальными границами//Изв. АН СССР. Техн. киберн., №5, 1994.

18. Логический подход к искусственному интеллекту: от классической логики к логическому программированию: Пер. с франц./ Тейз А., Грибомон П., Луи Ж. и др. М.: Мир, 1990. - 432с.

19. Ларичев О.И. и др. Выявление экспертных знаний. М.:Наука, 1989.-128с.

20. Калашникова Т.Г. Использование методов кластерного анализа в процессе обучения экспертных систем// 1 Всесибирский конгресс женщин-математиков. Тезисы докладов. Красноярск, 2000. С. 83.

21. S.V. Astanin, T.G. Kalashnikova, Problems of the decisions stability in fuzzy productions systems// 7th European Congress on Intelligent Techniques & Soft Computing, Aachen, Germany, 1999.

22. Тарасов K.E., Беликов B.K., Фролова А.И. Логика и семиотика диагноза (методологические проблемы). М.: Медицина, 1989. - 272с.

23. У инфицированные заключения по электрокардиологическим исследованиям (методические указания)/Под ред. B.C. Гасилина. М.: Министерство здравоохранения СССР, 1987. - 45с.

24. Берштейн Л.С., Коровин С.Я., Мелихов А.Н., Сергеев Н.Е. Функционально-структурное исследование ситуационно-фреймовой сети экспертной системы с нечеткой логикой// Изв. РАН. Техн. кибернетика, №2, 1994.

25. Смете Ф. Простейшие семантические операторы. В кн.: Нечеткие множества и теория возможности. Последние достижения/ Под ред. P.P. Ягера. М.: Радио и связь, 1986. С. 177-186.

26. ЗЗ.Астанин C.B. Нечеткие методы и модели принятия решений в человеко-машинных и организационных системах гибридного интеллекта: Диссертация на соискание ученой степени доктора технических наук. Таганрог: изд-во ТРТУ, 1997.

27. Shahsi, К. Raju, and P.S. Avadhani. Reasoning with Fuzzy Censors// IEEE Trans. Syst., Man, Cybern., 1994, vol. 24, no. 7, pp. 1061-1064.

28. Беллман P., Заде JI. Принятие решений в расплывчатых условиях// Вопросы анализа и процедуры принятия решений: Сб. переводов/ Под ред. И.Ф.Шахнова. М.: Мир, 1976. - С. 172-215.

29. Астанин C.B., Захаревич В.Г. Обработка и представление знаний в информационно-советующих комплексах систем гибридного интеллекта. Таганрог: Изд. Таганрогского государственного радиотехнического университета, 1997.-136с.

30. Калашникова Т.Г. Немонотонные рассуждения с исключениями// Международная молодежная научная конференция. XXVI Гагаринские чтения, 2000. С. 57.

31. S. Astanin, Т. Kalashnikova, Decisions Making under Fuzzy Exceptional Conditions// ESIT 2000 European Symposium on Intelligent Techniques, Aachen: Verlag Mainz, Germany, 2000.

32. Астанин C.B., Захаревич В.Г., Калашникова Т.Г. Правдоподобные рассуждения в системах принятия решений.// Известия высших учебных заведений. Северо-Кавказский регион. Технические науки, № 4 (108), 1999. С. 10-18.

33. Астанин C.B., Калашникова Т.Г. Модель немонотонных рассуждений на основе нечеткой логики// Известия ТРТУ. Интеллектуальные САПР "Материалы Международной научно-технической конференции "Интеллектуальные САПР". Таганрог: ТРТУ, № 2, 2000. С. 81-84.

34. Открытое образование объективная парадигма XXI века/Под общей ред. Тихомирова В .П.// Изд-во МЭСИ, М.: 2000 - 288 с.

35. Карпенко А.В. Сравнительный анализ традиционной и телекоммуникационной схем организации проблемно-поисковой деятельности студентов// Научно-практич. журнал "Дистанционное образование", М: МЭСИ, № 6, 1999. С. 10-15.

36. А. Маррек «Нейростудент» в реструктурированной системе образования// Образование и Информатика. Труды II Международного конгресса Юнеско. T. III, 1996. С. III-37-III-39.

37. Костюкова Н.И., Попков В.К. Математические модели, дидактические и эргономические аспекты разработки автоматизированных обучающих комплексов// Научно-практич. журнал "Дистанционное образование", М: МЭСИ, №6, 1999. С. 19-22.

38. Крюков В.В., Шахгельдян К.И., Архипова Е.Н. Информационная обучающая среда на основе Java-технологии и сервисов Интернет// Научно-практич. журнал "Дистанционное образование", М: МЭСИ, № 5,1999. С.11-17.

39. Павлов В.В. Системы человек-машина: проблемы и синтез. К.: Вигца шк. Головное изд-во, 1987. - 55с.

40. Астанин С.В., Берштейн JT.C., Захаревич В.Г. Проектирование интеллектуального интерфейса "человек-машина". Ростов-на-Дону: Изд. РГУ. 1990.- 118с.

41. Соловов A.B. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: СГАУ, 1995. 138с.

42. Эпштейн B.JI. Гипертекст новая парадигма информатики// Автоматика и

43. Попов Д.И. Оценка знаний в дистанционном обучении//Материалы Восьмой международной конференции "Открытое образование в России XXI века". Тезисы докладов. Москва: МЭСИ, 2000. С. 183-188.

44. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных педагогических тестов. М.:ВТУ, 2000.

45. Шадриков В.Д. Деятельность и способности. М.: Изд. корпорация "Логос", 1994.-320с.

46. Рубинштейн С.Л. Основы общей психологии. -М.: Учпедгиз, 1946. 704с.

47. Астанин C.B. Сопровождение процесса обучения на основе нечеткого моделирования// Научно-практич. журнал "Дистанционное образование", М: МЭСИ, № 5, 2000.

48. Астанин C.B., Калашникова Т.Г. Разработка индивидуальной модели поведения обучаемого в системе дистанционного образования// "Перспективные информационные технологии и интеллектуальные системы". Таганрог: ТРТУ, № 5, 2001. С. 179-196.

49. Астанин C.B. Трансформационная модель поведения// Межвузовский сборник научных трудов "Объектно-ориентированный анализ и проектирование адаптивных интеллектуальных систем реального времени" Новочеркасск: Изд. НГТУ, 1996.

50. Bourelly L., Chouraqui Е., Ricard M. Formalization of an approximate reasoning: the analogical reasoning// Proc. of the IF AC Int. Symp. on Fuzzy Information. Knowledge Representation and Decision Analysis. Marsille. July. 1983.-pp.135-141.

51. Малышев Н.Г., Берштейн Л.С., Боженюк A.B. Нечеткие модели для экспертных систем в САПР. М.: Энергоатомиздат. 1991.-136с.

52. Поспелов Д.А. Ситуационное управление: теория и практика. М.: Наука, 1986.-288с.

53. Мелихов А.Н., Мелихова О.Н. О логическом выводе в интеллектуальных системах на основе нечеткой аналогии// Изв. РАН. Теория и системы управления, №5, 1995. С.112-123.

54. Астанин C.B. Правдоподобные рассуждения по аналогии// Интеллектуальные САПР. Таганрог: Изд.ТРТУ, 1996.

55. Кофман А. Введение в прикладную комбинаторику. М.: Наука, 1975. -480с.

56. Берштейн Л.С., Боженюк A.B. Определение нечетких внутренне устойчивых, внешне устойчивых множеств и ядер нечетких ориентированных графов// Изв. РАН. Теория и системы управления, № 1, 1999.

57. Калашникова Т.Г. Применение аналогии для оценки системы знаний// "Перспективные информационные технологии и интеллектуальные системы". Таганрог: ТРТУ, № 5, 2001. С. 220-232.

58. Таунсенд К., ФохтД. Проектирование и программная реализация экспертных систем на персональных ЭВМ: Пер. с англ./ Предисл. Г.С. Осипова. М.: Финансы и статистика, 1990. - 320с.

59. Нейлор К. Как построить свою экспертную систему: Пер. с англ. М.: Энергоатомиздат, 1991. - 286с.

60. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. Ростов-на-Дону: Изд-во РГУ, 1999. - 278с.

61. Уотермен Д. Руководство по экспертным системам: Пер. с англ./ Под ред. Стефанюка В.Л., М.: Мир, 1989.-388с.

62. Экспертные системы: состояние и перспективы. Сборник научных трудов/ Отв. редактор Д.А. Поспелов. М.: Наука, 1989.81 .Болдырев М. Решение задач с применением нечеткой логики// soft@tora-centre.ru

63. CubiCalc An Interactive Shell for Using Fuzzy Rules// http://www.electriciti.com.hl.cbc.html83.http://www.wior.uni-karlsruhe.de/Bibliothek/SoftwareforOR/FuzzyLogic/ com/fuzzytech.html

64. Андреев А.Б., Моисееев В.Б., Усманов В.В., Усачев Ю.Е. Система адаптивного тестирования знаний// Материалы конференции "Анализ качества образования и тестирование". М.: Изд-во МЭСИ, 2001. - С. 30-37.

65. Головина Е.Ю., Чибизова Н.В. О построении интеллектуальной обучающей системы// Изв. РАН. Теория и системы управления, № 5, 1996. С. 85-92.

66. Никичкин В.В., Цуканова Н.И. Обучение как многошаговый дискретный процесс управления с нечеткими параметрами// Изв. РАН. Теория и системы управления, № 5, 1996. С. 93-96.162