автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Построение баз экспертных знаний для интеллектуальных обучающих систем

На правах рукописи

Кочин Дмитрий Юрьевич

ПОСТРОЕНИЕ БАЗ ЭКСПЕРТНЫХ ЗНАНИЙ ДЛЯ ИНТЕЛЛЕКТУАЛЬНЫХ ОБУЧАЮЩИХ СИСТЕМ

Специальность 05.13.01 Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва - 2006

Работа выполнена в Институте системного анализа Российской академии наук

Научный руководитель — доктор технических наук

профессор Петровский Алексей Борисович

Официальные оппоненты — доктор технических наук, профессор

Стефанюк Вадим Львович

кандидат физико-математических наук ! Янишевский Игорь Михайлович

Ведущая организация — Институт программных систем

Российской академии наук

Защита состоится «-2 О» ят^р^ 2006 г. в час.

на заседании специализированного совета Д.002.086.02 при Институте

системного анализа РАН по адресу:

Москва, 117312, Проспект 60 лет. Октября, д. 9.

С диссертацией можно ознакомиться в библиотеке ИСА РАН.

Автореферат разослан « ! $ » '^(¿•■¿■р^ 2006 г.

Ученый секретарь

диссертационного совета Д.002.086.02

д.т.н. А.И. Пропой

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Стремительный рост знаний, создаваемых человеком, делает все более актуальными задачи обучения и переобучения. Во многих важных областях человеческой деятельности, путь развития от новичка до опытного специалиста занимает значительное время. Поэтому актуальной является задача поиска путей более быстрого и более эффективного обучения, а также предоставления возможности неограниченному числу начинающих специалистов овладеть опытом лучших мастеров своей профессии — экспертов.

Доступность персональных компьютеров делает возможным их повсеместное использование в учебных заведениях и для самостоятельной подготовки, однако недостаток соответствующих обучающих программных систем и методов их разработки не позволяет решить эту задачу в полной мере. Одной из причин такого положения вещей являются значительные теоретические трудности в построении интеллектуальных обучающих систем (НОС), основанных на знаниях опытных специалистов для так называемых слабоструктурируемых предметных областей, в частности, медицинской диагностики, где доминирующими факторами при принятии решений являются профессиональный опыт и интуиция.

Эффективность ИОС в первую очередь определяется объемом и качеством содержащихся в них формализованных экспертных знаний, как декларативных (теоретических), так и процедуралъных (практических навыков). В то же время процесс получения этих знаний от экспертов остается одной из наиболее сложных и актуальных задач при построении как ИОС, так и обычных экспертных систем, являясь так называемым «узким местом» при создании систем, основанных на знаниях. На необходимость создания специальных методов выявления экспертных знаний и их теоретического обоснования указывается в работах многих отечественных и зарубежных авторов: Л. Заде, Д. Канемана, О.И. Ларичева, Э.В. Попова, Д.А. Поспелова, Б. Руа, Г. Саймона, ВЛ. Стефанюка, А. Тверски, Э. Фейгенбаума, В.К. Финна, Р. Хоффмана и др.

Трудности выявления экспертных знаний во многом обусловлены подсознательным характером процедуральных знаний, когда эксперт не может вербализовать полную и непротиворечивую систему правил, которую он использует при припятни решений. В совокупности с повышенными требованиями к точности н полноте знаний, которые предъявляются к экспертным знаниям для построения на их основе ИОС, эта проблема делает актуальной разработку методик выявления не только полных и непротиворечивых систем экспертных решающих правил, но и

методик повышения достоверности извлеченных знаний, минимизирующих ошибки эксперта.

Цели и задачи исследования. Целью диссертации является развитие методов и программных средств построения экспертных баз знаний для их использования в компьютерных обучающих системах для слабоструюурируемых предметных областей, где определяющими являются профессиональный опыт и интуиция эксперта при отсутствии объективных моделей проблемной ситуации.

Для достижения поставленных целей были сформулированы и решены следующие задачи:

• разработка алгоритма построения полных и непротиворечивых баз экспертных знаний для слабоструктурируемых предметных областей;

• разработка методов формального представления экспертных решающих правил;

• разработка методики извлечения достоверных экспертных знаний, минимизирующей неточность информации и ошибки эксперта;

• разработка программных средств, реализующих предложенные

' методы и алгоритмы.

Методы исследования. В работе используются методы теории принятия решений, теории графов, теории информации, искусственного интеллекта, теории построения алгоритмов и систем.

Результаты, выносимые на защиту.

• Алгоритм решения задачи порядковой классификации многопризнаковых объектов, имеющий широкую область применимости и высокую эффективность опроса эксперта.

• Метод и алгоритмы формализованного представления экспертных решающих правил.

• Методика извлечения достоверных экспертных знаний.

• Программная реализация предложенных методов и алгоритмов.

Научная новизна работы. В диссертации получены следующие новые

научные результаты:

• Разработан новый метод КЛАРА (КЛАссификация Реальных Альтернатив) построения полных и непротиворечивых баз экспертных знаний для слабоструктурируемых предметных областей, позволяющий повысить эффективность опроса эксперта и применимый к широкому кругу задач экспертной классификации.

• Формализовано понятие экспертного решающего правила и построен алгоритм их выявления.

• Введено понятие зоны неустойчивых экспертных знаний и предложена методика выявления этой зоны.

• Предложена общая методика построения достоверных баз экспертных знаний, минимизирующая случайные ошибочные суждения эксперта,

а также выявляющая суждения эксперта с низкой степенью уверенности.

* Построены базы знаний по диагностике острого инфаркта миокарда и расслаивающей аневризмы аорты. На их основе построены соответствующие интеллектуальные обучающие системы.

Практическая ценность работы. Метод КЛАРА реализован в виде программной системы, с помощью которой можно в короткий срок создавать полные и непротиворечивые базы экспертных, знаний - для построения ИОС и экспертных систем для задач порядковой классификации. Метод КЛАРА эффективно работает в случаях разреженных пространств объектов, подлежащих классификации,- что особенно востребовано в задачах медицинской диагностики, геологии, технической диагностики, банковского дела и др.

На основе предложенной методики построения достоверных баз экспертных знаний для интеллектуальных обучающих систем с использованием реализованной системы КЛАРА построены система ОСДИМ (Обучающая Система по Диагностике острого Инфаркта Миокарда) для обучения .диагностике острого инфаркта миокарда и система обучения диагностике расслаивающей аневризмы аорты, которые применяются в Учебно-научном центре по внедрению передовых медицинских технологий городской клинической больницы (ГКБ) им. С. П. Боткина, г. Москва, а также в ГКБ № 33 им. проф. A.A.Остроумова, г. Москва.

Обоснованность и корректность предложенных методов и алгоритмов потверждены на примере практического построения систем обучения медицинской диагностике острого инфаркта миокарда и расслаивающей аневризмы аорты.

Реализация результатов. Результаты диссертации использованы при выполнении проекта 2.21 программы фундаментальных исследований президиума РАН «Математическое можелирование и интеллектуальные системы» (2001-2005 годы), проекта 1.2 программы фундаментальных исследований ОИТВС РАН «Фундаментальные основы информационнах технологий и систем», проектов 01-01-00514, 03-01-06283, 04-01-00290 Российского фонда фундаментальных исследовании, гранта Президента Российской Федерации для поддержки ведущих научных школ НШ1964.2003.1.

Апробация работы. Результаты диссертации и материалы исследований докладывались и обсуждались на восьмой национальной конференции по искусственному интеллекту с международным участием (КИИ*2002), Коломна, Россия, 7-12 октября 2002 г.; Международных научных конференциях «Интеллектуализация обработки информации» (ИОИ-2006) Крым, Алушта, 4-11 июня 2006 г. и (ИОИ-2004) Крым,

Алушта, 14-19 июня 2004 г.; 20-ой европейской конференции по исследованию операций «Исследование операций и управление электронными службами», Родос - Греция, 4-7 июля, 2004 г.; первой международной конференции «Системный анализ и информационные технологии» (САИТ-2005), Переславль-Залесский, 12-16 сентября 2005 г.; 10-й конференции по искусственному интеллекту в медицине (AIME 05) 23 - 27 июля 2005 г., Абердин, Шотландия; научных семинарах ИСА РАН (2001-2006 годы)

Публикации. По материалам диссертации опубликовано 10 работ (в том числе 2 публикации в ведущих рецензируемых научных изданиях, рекомендованных ВАК, 5 публикаций в трудах научных конференций).

Личный вклад соискателя. Результаты, выносимые на защиту, получены автором самостоятельно. Личный вклад соискателя в совместно опубликованных работах составляет 1.9 п.л.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (69 наименований), и приложения. Общий объем работы составляет 115 страниц, включая 8 таблиц и 15 рисунков.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность работы, формулируется ее цель, научная новизна, полученные результаты и структура диссертации.

В первой главе рассматриваются проблемы извлечения и последующей передачи экспертных знаний с помощью интеллектуальных обучающих систем с точки зрения информационного подхода — одного из основных направлений в современной когнитивной психологии. Отмечается принципиальное различие в подходах к построению ИОС для хорошо структур иру ем ых областей знаний, к которым относятся, например, задачи математики, физики, программирования, и слабоструктурируемых областей, таких как медицинская диагностика.

В отличие от хорошо структурируемых областей знаний, где основные усилия исследователей при построении ИОС сфокусированы на построении моделей обучаемого и процесса обучения, основной проблемой построения ИОС для слабоструктурируемых областей остается проблема извлечения экспертных знаний, подход к решению которой определяет все остальные аспекты построения каждой конкретной обучающей системы.

Рассмотрены особенности мышления экспертов, порождающие основную проблему построения ИОС для слабоструктурируемых областей — невербализуемость знаний, когда эксперты не могут сформулировать правила, которыми они пользуются при принятии решений. Те немногие

правила, которые удается получить в явном виде, охватывают лишь наиболее простые задачи из тех, которые эксперт способен правильно решить. Тем самым можно считать, что, по крайней мере, часть, правил распознавания, которые формируются у экспертов в результате многолетней практики, находятся на подсознательном уровне.

Различаются два типа подсознательных навыков (процедуралъных знаний): подсознательные навыки первого типа, первоначально имевшие явное, декларативное представление, применение которых . стало автоматическим в результате продолжительной практики, и подсознательные навыки второго типа, которые даже изначально не были представлены в явном, декларативном виде.

На основе анализа наиболее известных обучающих" систем, основанных на экспертных знаниях (GUIDON, QMR, ILIAD, TRAINER, ACT-R, QUEST) делается вывод, что эффективность обучающей системы в слабоструктурируемой области зависит, главным образом, от полноты и достоверности базы экспертных знаний. Все недостатки базы знаний, в том числе неполнота, наличие противоречий и возможные несовпадения с решениями эксперта, непосредственно отражаются на качестве обучающей системы и, следовательно, на качестве обучения. При этом главную сложность представляет именно извлечение процедуралыгых знаний, : практических навыков, потому что эти знания носят подсознательный характер и не могут быть вербализованы и переданы экспертом явно. . ..

Для построения баз знаний в слабоструктурируемых областях хорошо применим подход порядковой экспертной классификации. Формальная постановка задачи порядковой классификации многопризнаковых объектов состоит в следующем:

Дано:

1. G — свойство, отвечающее целевому критерию задачи (наличие и степень тяжести заболевания, критичность неисправности в технической системе, ценность кредитного проекта и т.д.).

2. К = {/ч, Кг,..., Кц) - множество критериев (признаков), по которым оценивается каждый объект исследования.

3. Sq }, £ = 1,..., 2V - шкала оценок по критерию

соч- число градаций на шкале критерия Kq. Оценки к?, к^

упорядочены по убыванию характерности для свойства G, то есть, на каждом множестве Sq определено рефлексивное антисимметричное транзитивное отношение Qq (необязательно связное) такое, что (k?rkj)*Qq^>i<j.

4. Y = Si х S2 х...х Sx - декартово произведение шкал критериев, которое определяет пространство гипотетически возможных

состояний объектов, подлежащих классификации. Каждый объект описывается набором оценок по критериям АГ/, ..., К\- и представляется в виде векторной оценки у е У, где у = (у\>у2,--- *Kv). уя — одна из оценок из множества ST

N

5. L = | = J~J Фд — мощность множества Y,

<И

6. Y* ç У— множество объектов, которые требуется классифицировать. Это множество назовем допустимым, а составляющие его объекты допустимыми.

1. С ~ {Ci, Сг,См) - множество классов решений, упорядоченных по убыванию выраженности свойства G„ то есть, на множестве С определено рефлексивное антисимметричное транзитивное отношение Qc такое, что (С,, C f je Qc i < j.

Вводится бинарное отношение строгого доминирования векторных оценок:

которое для краткости может записываться как (х, уУ= Р <=> хРу о х>-у.

Требуется: на основе знаний эксперта построить разбиение множества допустимых объектов У* на M непересекающихся классов решений С, (C/~\Cf=0 oCqI7*) так, чтобы выполнялось свойство

непротиворечивости классификации:

V л-, j е Y таких, что д: е С/, >• е С„ (л:, у)е Р => i> j . (2)

Сделан обзор подходов к решению поставленной задачи, которые можно разбить на четыре группы. К первой группе относятся подходы к построению экспертных баз знаний, когда эксперт явно формулирует логические рассуждения и заключения, которые ложатся в основу базы знаний. Недостаток этого подхода в том, что значительная часть экспертных навыков, как отмечалось ранее, находится на подсознательном уровне и не может быть корректно извлечена в явном виде.

В рамках подходов второй группы, к которым примыкает известный метод ELECTRE TRI, эксперт определяет либо субъективные вероятности влияния отдельных признаков на конечное решение, либо задает свои предпочтения в виде бальных оценок. Недостаток этих подходов в том, что согласованное назначение вероятностных, балльных оценок является слишком сложной задачей для системы переработки информации человека, что обычно ведет к ошибкам и противоречиям.

К третьей группе примыкают подходы, где эксперт формирует наборы решенных примеров, на основе которых различные алгоритмы машинного обучения, например, нейронные сети, строят базу экспертных знаний.

Точность имитации эксперта сильно зависит от полноты обучающей выборки, что не всегда удаётся обеспечить на практике.

Наконец, в четвертой группе представлены подходы, в которых эксперт последовательно делает заключения относительно предъявляемых ему описаний объектов из рассматриваемой предметной области. Стратегия выбора объектов для предъявления эксперту гарантирует построение согласованной и полной базы знаний. К этой группе относится и подход вербального анализа решений (ВАР). Выявление знаний таким способом максимально близко к реальной профессиональной деятельности эксперта, поэтому полученное знание содержит, в том числе, и подсознательный пласт экспертного знания, который может быть далее проанализирован и формализован.

Приводится обзор методов ВАР, как наиболее подходящих для построения баз экспертных знаний для интеллектуальных систем обучения, описаны методы ОРКЛАСС, КЛАНШ, ЗТЕРСЬАББ и ЦИКЛ, указаны их достоинства и недостатки. Среди недостатков отмечаются высокая вычислительная сложность, узкая область применения или неэффективная работа с разреженными пространствами объектов, когда допустимые объекты У* составляют малую часть объектов полного пространства У. Последний недостаток существенен для задач медицинской диагностики, когда множество комбинаций симптомов исключаются из рассмотрения ввиду невозможности такого сочетания в реальности.

Далее рассматривается проблема достоверности извлеченных знаний. Указывается, что искажение знаний может происходить из-за ошибок эксперта, связанных с рядом причин, в том числе с усталостью, редкой встречаемостью случая на практике, недостаточностью информации в формализованной задаче. Различаются два вида экспертных ошибок -грубые ошибки, приводящие к логическим противоречиям, то есть нарушению условия (2) и ошибки, не приводящие к логическим противоречиям, но искажающие границы классов решений. Ошибки второго вида не могут быть выявлены автоматически, и рассмотренные методы не предоставляют средств для их обнаружения.

Описана гипотеза об использовании экспертами при решении профессиональных задач подсознательных решающих правил, имеющих счетно-аддитивную структуру. Скорость, с которой эксперт принимает решения, позволяет предположить, что такие правила размещаются в кратковременной памяти человека, имеющей ограниченный объем. То есть, число экспертных решающих правил должно быть невелико.

На основании проведенного анализа делаются выводы и формулируются цели исследования.

Во второй главе описывается новый алгоритм КЛАРА решения задачи экспертной классификации, имеющий широкую область применения, низкую вычислительную сложность и эффективно применимый для случаев разреженных пространств классифицируемых объектов. Различаются два вида задач экспертной классификации. В задаче номинальной экспертной классификации необходимо определить для каждого элемента множества ¥ наличие или отсутствие некоторых свойств, т. е. решить задачу покрытия. В задаче порядковой экспертной классификации необходимо определить степень выраженности единственного свойства О, т. е. решить задачу разбиения. В работе используется такая декомпозиция задачи экспертной классификации, которая позволяет решать оба вида задач с помощью единого алгоритма.

Вводятся следующие определения.

Определение 1. Альтернативы д;, у е У называются сравнимыми: х~у, если х >:у или .у ^ х, иначе они называются несравнимыми: х^у.

Любые две альтернативы, принадлежащие одному классу, либо находятся в отношении доминирования, либо несравнимы, следовательно, в каждом классе можно выделить подмножества недоминируемых и недоминирующих альтернатив.

Определение 2. Подмножество альтернатив #и(С„) класса С„ называется верхней грант/ей этого класса, если V хеСя 3 у&Ви(С„) такой,

что^Ь* и Ух,у<=Ви(С„),х х^у.

Определение 3. Подмножество альтернатив Н\С„) класса С„ называется нижней границей этого класса, если Чх<^С„ ЗуеВ*~(С„) такой, что х >2у и \/х,у^В\С„), х*у=> х*-у.

Определение 4. Альтернатива лее У непосредственно доминирует альтернативу уеУ, еслих>~у и ЪгеУ:х>-г>~у.

Определение 5. Альтернатива х е У непосредственно доминируется альтернативой7, еслидг-^ и 2 геУ: х-< г ■<у.

Множество альтернатив, непосредственно доминирующих альтернативу х, обозначается как ¿"(лс), а множество непосредственно доминируемых - как

Определение 6. Орграфом (/(У, Е) непосредственного доминирования альтернатив называется ориентированный ациклический граф, в котором множество вершин есть множество альтернатив У, а в множество дуг Ее: Ух У состоит из элементов (х, у), в которых альтернатива х^У непосредственно доминирует альтернативуу^У.

Определение 7. Последовательность альтернатив *г = <уиу2, ...,ур>, в которой ум е 1 ^ /' < (/ - 1), называется цепью. Число Ди>)=/

альтернатив цепи и» называется длиной цепи. Отдельная альтернатива является цепью длины 1.

Алгоритм КЛАРА основан на идее дихотомии цепей альтернатив, начиная с цепи максимальной длины, впервые использованной в алгоритме ДИФКЛАСС, а затем в КЛАНШ, и адаптирует эту идею на случай разреженных пространств Y. Кроме того, в алгоритме КЛАРА используется новая идея адаптивной дихотомии, позволяющая быстрее находить границы классов решений и ускоряющая классификацию.

Задача порядковой классификации может быть решена путем предъявления эксперту всех допустимых альтернатив, число которых равно card Y*, для получения искомого разбиения на классы. Использование отношения доминирования (1) и условия непротиворечивости (2) позволяет существенно сократить число непосредственно предъявляемых альтернатив и тем самым ускорить процедуру построения классификации. Действительно, согласно этим условиям, альтернатива х, имеющая более характерные для свойства G оценки, чем у, то есть х>~у, не может быть отнесена к классу с менее

выраженным свойством G. Таким образом, благодаря использованию информации об уже классифицированных альтернативах для классификации оставшихся, становится возможным сократить число предъявляемых альтернатив.

Приводится общая схема алгоритма КЛАРА.

1. В начале классификации коэффициенты дихотомии ф полагаются равным 1Л. Коэффициенты dt представляют собой отношение, в котором цепи, проходящие через множество классифицируемых альтернатив У, делятся границами классов С, и Cj+j.

2. Орграф G(Y> Е) доминирования альтернатив может иметь несколько компонент связности, поэтому последовательно исследуются все допустимые, но еще не классифицированные альтернативы из множества 7*. Очередная выбранная альтернатива xs называется исходной,

3. В текущей компоненте связности (к которой принадлежит альтернатива xs) орграфа G(Y, Е) строится цепь nw, альтернатив максимальной длины, проходящая через исходную альтернативу х$ и содержащая максимальное число ещё неклассифицированных альтернатив из допустимого множества У*.

4. Поскольку классы {С„} упорядочены по качеству, границы между классами на цепи строятся последовательно, отделяя класс большего качества Сп от класса меньшего качества С,*.

Начало

Инициализация данных, нумерация альтернатив, установка значений коэффициентов дихотомии равными Л, "У4

Выбор первой неклассифицированной альтернативы х3 из множества допустимых

альтернатив 7+

1

Построение цепи максимальной длины "м. проходящей через исходную

альтернативу зд

Выбор тары соседних классов С, и между которыми надо построить границу.

да

Рис. 1. Блок-схема алгоритма КЛАРА

и

5. Для предъявления эксперту выделяется элемент лг/ цепи где / = (¿„-Цютах), причем если альтернатива -х/ оказалась недопустимой или уже классифицированной, то в качестве нового л*/ берется неклассифицированный допустимый элемент цепи с ближайшим индексом.

6. Эксперту предъявляется допустимая альтернатива X/ цепи и^* и проводится распространение его решения на максимально возможное число элементов, принадлежность которых к классам С„ и С&. 1 остается неопределенной.

7. Если и'^ еще содержит допустимые неклассифицированные элементы, то продолжается дихотомия цепи \Vmax, которая завершается, когда все входящие в нее допустимые альтернативы оказываются прямо или косвенно классифицированы относительно классов С„ и Сж-1. В противном случае, на цепи ищется следующаю граница между классами (производится возврат на шаг 4). Если же цепь классифицирована относительно всех классов, то для каждого класса находится индекс к в цепи \Vmax, где происходит смена класса с С» на Ст 1. Полагается с/нирА/Ци»»»*). На каждом последующем шаге (¡п есть среднее арифметическое всех посчитанных до этого

8. Цикл выполняется до тех пор, пока все допустимые альтернативы из допустимого множества У* не окажутся классифицированными от* носительно этой пары классов.

Описываются все входящие в общий алгоритм вспомогательные процедуры, в том числе распространение по доминированию, процесс адаптивной дихотомии максимальной цепи, поиск максимальной цепи. Идея адаптивной дихотомии цепи состоит в том, что для поиска границы классов на ней применяется не деление пополам, а деление в определенной пропорции, которая подсчитываете« исходя из истории деления цепи на классы.

Процедура поиска максимальной цепи основана на процедуре, аналогичной методу КЛАНШ, и адаптирована для поиска цепи, содержащей максимальное число допустимых ещё не классифицированных альтернатив. Доказана математическая корректность этой процедуры.

Показано, что если каждый критерий характеризуется только двумя оценками, упорядоченными по характерности, а число классов решений фиксировано, то вычислительная сложность процедуры поиска очередной альтернативы для предъявления эксперту, которая представляет собой итерацию главного цикла алгоритма КЛАРА, не превышает 0(|У|^21У1). Эта оценка совпадает с аналогичным показателем алгоритмов КЛАНШ и ДИФКЛАСС.

Рассмотрен механизм проверки согласованности ответов эксперта с условием непротиворечивости классификации (2), выявления и оперативного устранения возникающих противоречий по мере построения полной классификации.

Проведено сравнение алгоритма КЛАНШ с другими алгоритмами порядковой классификации по следующей методике сравнения.

Исследования поведения человека при решении задач классификации показывают, что его решения могут хорошо аппроксимироваться решающими правилами, имеющие структуру двухуровнего дерева, корень которого соответствует конъюнкции значений некоторых наиболее важных (основных) критериев, а концевые вершины суть сочетания характерных „ для рассматриваемого класса оценок по менее важным (дополнительным) критериям. Например, альтернатива у принадлежит классу Сь если она имеет 1-оценку по первому и второму критерию и не менее двух 1-оценок по остальным критериям.

Пусть даны два класса решения: и С2. Зафиксируем N - число двоичных критериев. Обозначим через г — число основных критериев, а через t — число 1-оценок по дополнительным критериям, причем 1 ¿/<(№г). Если альтернатива у имеет 1-оценки по всем.г основным критериям и не менее / 1-оценок по дополнительным, то она принадлежит классу Си в противном случае — классу С г. Сформулированное правило используется при статистическом моделировании работы алгоритма в качестве решающего правила для подсчета числа обращений к эксперту, необходимого для построения полной классификации. Будем называть средним числом обращений г> 0 алгоритма К среднее число обращений данного алгоритма среди всевозможных вариантов выбора г основных критериев, число которых равно С^.

Число обращений к эксперту никогда не может быть меньше суммы числа элементов нижней границы первого класса решений и

верхней границы второго класса Ви(Сг). Поэтому можно определить эффективность алгоритма классификации следующим образом:

ад г, о

Приводятся данные и графики, отражающие среднее число обращений к эксперту, а также эффективность сравниваемых алгоритмов при решении задач классификации с различными типами границ между двумя классами решений. График эффективности алгоритма КЛАРА при 11 двоичных признаках показан на Рис. 2:

Алгоритм КЛАРА

Р4 (-3

Число основных признаков

Число дополнительных признаков

Рис. 2: Эффективность алгоритма КЛАРА при 11 двоичных признаках.

Для однозначного сравнения алгоритмов определим среднюю эффективность Еср(К, И) алгоритма классификации К на N двоичных критериях как его эффективность ¿'(/¿7 г, /), усредненную по всевозможным сочетаниям г и где г = 0, ..., (N-1) и * = О, (ЛГ-1) за исключением пары (г = 0, / — 0).

Численное моделирование работы алгоритма КЛАРА по общей методике сравнения алгоритмов классификации показало, что по средней эффективности КЛАРА превосходит алгоритм КЛАНШ, имеющий такую же область применимости, и уступает алгоритмам ДИФКЛАСС и ЦИКЛ, имеющим более узкую область применимости.

В третьей главе рассматривается проблема извлечения достоверных экспертных знаний. Результатом работы всякого метода порядковой классификации являются границы классов, по которым любую альтернативу из классифицированного множества можно отнести к одному из классов. Путем анализа получившихся границ классов возможно выявить правила, которые породили данную классификацию. Например, простое решающее правило «к классу Сг относятся альтернативы, у которых не менее трех высших оценок» порождает следующую классификацию со следующей нижней границей первого класса: #(00= {22111, 21211, 12211, 21121, 12121, 11221, 21112, 12112, 11212, 11122}. Легко заметить, что все элементы этой границы суть все возможные перестановки из трех единиц и двух двоек, и её можно

записать одним выражением Р53<1),2(2). Такая запись весьма близка к исходному смыслу решающего правила, но представлена в более формализованном виде.

Приводится формальная постановка задачи описания границы класса в виде набора решающих правил. Вводится формальная запись

аЬ*** + кроме {аЪс<Зе,• ■■,аЬрдг}, (3)

которая называется шаблоном правила. Шаблон правила состоит из трех частей.

1. Первую часть шаблона правила, то есть аЪназовём фиксированной частью правила. Фиксированная часть задаёт общие оценки по заданным критериям для всего множества альтернатив, описываемых правилом. По критериям, где в фиксированной части явно указаны оценки, эти же оценки стоят во всех альтернативах правила. По критериям, на месте которых указаны звездочки, у альтернатив описываемого правилом множества стоят перестановки оценок, задаваемые второй частью правила.

2. Вторую часть шаблона р^1^1 назовём перестановочной частью правила. Она задаёт параметры перестановок, которые будут осуществляться на местах, помеченных и соответствует сочетаниям значений дополнительных признаков. Здесь п равно числу звёздочек, ^ - числу оценок хъ участвующих в перестановке.

3. Третья часть шаблона представляет собой перечисление исключений - альтернатив, которых не хватает до полной перестановки.

Ставится задача описания некоторой заданной совокупности альтернатив В минимальным числом правил вида (3) так, чтобы каждая альтернатива попадала ровно в одно правило. Требование минимальности разложения основывается на гипотезе, что решающие правила содержатся в кратковременной памяти эксперта, имеющей ограниченный объём.

Вводятся определения.

Определение 8. Составом оценок альтернативы называется вектор

з = (¿ь ..., ¿п), где и = тах(<£>), — количество 1-ых оценок в

ч -

альтернативе.

Определение 9. Перестановочную часть правила, порождённную составом оценок $ = ..., кп\ назовём перестановочную часть Р6 = /£!Ч-ЧД»1( где т _ хщсло ненулевых компонент вектора е.

Доказаны следующие утверждения.

Утверждение 1. Правило вида (3) описывает множество альтернатив с одинаковыми составами оценок.

Утверждение 2. Множество альтернатив с одинаковым составом оценок не содержит альтернатив, находящихся в отношении доминирования (1).

Утверждение 3. Если мощность множества альтернатив с одинаковым

га!

составом 9 = (ки ..., А*) равна —--—, где т — число ненулевых

Л| !•... * кж!

компонент вектора то этому множеству соответствует правило, состоящее только из перестановочной части Р,.

Утверждение 4. Если мощность множества альтернатив с одинаковым

составом я = (¿1,..., ко) меньше —-—где т - число ненулевых

!•...• кя!

компонент вектора 8, то этому множеству соответствует правило, состоящее из перестановочно й части Р*, кроме {некоторое множество альтернатив}.

На основании этих утверждений решающее правило следует искать только для множества альтернатив с одинаковым составом оценок Любое множество альтернатив с одинаковым составом оценок может быть описано правилом вида (3) с перечислением альтернатив исключений. Однако правила с большим числом исключений интереса не представляют, так как желательно найти только краткие правила. Поэтому предлагается ввести ограничение на мощность множества исключений, а именно, оно должно содержать не более кс элементов, и кс составляет от общего числа элементов, описываемых перестановочной частью правила, не более кр процентов. В реализованной системе КЛАРА было принято кс=3 н кр = 25%.

Приводится ряд алгоритмов для решения задачи описания произвольного множества альтернатив В с одинаковым составом оценок в виде набора решающих правил.

Алгоритм 1 — поиск единственного правила.

1. Критерии, по которым у всех альтернатив множества одинаковые оценки, исключаются из рассмотрения.

2. Множество альтернатив с уменьшенным числом критериев подставляются в условие утверждения 4 с учетом ограничений на кс и кр

3. Если условие не удовлетворяется, то множество альтернатив В одним правилом не записывается.

4. В противном случае, объединяя результат применения утверждения 4 с исключенными на шаге 1 критериями с фиксированными оценками, получим искомое правило.

Общий Алгоритм 2 — заключается в переборе всех возможных подмножеств множества В и применения к ним алгоритма 1 поиска единственного правила. Выбираются все варианты разбиения множества В

на минимальное число подмножеств, описываемых единственным правилом, то есть описание множества В минимальным числом правил.

Указывается, что алгоритм полного перебора подмножеств имеет очень высокую вычислительную сложность. Поэтому предлагается алгоритм 3, который заключается в рекурсивном разбиении множества альтернатив В на подмножества по каждому из критериев так, что в каждом подмножестве оценки по данному критерию будут общими для всех альтернатив подмножества. Алгоритм 3 примененяется к подмножествам алгоритма 1 до тех пор, пока алгоритм 1 не выдаст единственное правило. Результатом работы алгоритма 3 также являются минимальные разбиения множества В из тех, которые были получены в процессе его работы. Показывается, что вычислительная сложность алгоритма 3 равна Э = ОО^-Л^1®1). Алгоритм 3 перебирает не все возможные разбиения. Это не является существенным недостатком, поскольку исследования показывают, что решающие правила в большинстве своём имеют иерархическую структуру, основанную на различных значениях основного признака. То есть, различные правила, входящие в иерархию, имеют различные значения основного признака.

Попытаться уменьшить неточность алгоритма 3 призван алгоритм 4, который является синтезом алгоритмов 2 и 3. В процессе рекурсивного разбиения множества В на подмножества для подмножеств с небольшим числом элементов этот алгоритм использует алгоритм 2, иначе — алгоритм 3.

Полученные в результате анализа границ классов решающие правила требуется проверить. Вообще говоря, минимальное разложение множества альтернатив на описывающие его правила не единственно. Чаще всего это обусловлено первоначальным выбором ключевых признаков (критериев), которые составляют фиксированную часть правила в записи (3). Алгоритм поиска решающих правил производит поиск всех минимальных разложений. Поэтому, если разложение не единственно, выбор ключевых признаков осуществляет эксперт, отдавая предпочтение одному из наборов правил.

Перепроверка состоит в повторном предъявлении наиболее «подозрительных» альтернатив эксперту. Наиболее подозрительны альтернативы, которые описываются тривиальными правилами (содержащими только фиксированную часть), и исключения. Если эксперт относит предъявленную альтернативу к другому классу, то может возникнуть три ситуации:

1. Противоречий нет и всё классифицируемое множество осталось классифш{ированньш. В этой ситуации заново производится поиск правил и предъявление не вписывающихся в правила альтернатив, за исключением уже предъявленных.

2. Противоречий не возникло, но часть альтернатив оказалась не классифицированной. Такая ситуация возможна, когда предъявленная альтернатива позволила косвенно классифицировать некоторое множество альтернатив, находящихся с ней в отношении доминирования. После изменения её класса косвенная классификация распространяется на них иначе. В этой ситуации запускается механизм классификации, чтобы довести классификацию до конца. После окончания осуществляется переход в ситуацию 1.

3. Возникло логическое противоречие. В этом случае запускается обычный механизм устранения логических противоречий. После этого возможен переход в ситуацию 1 или 2.

Частой причиной ошибок эксперта является его усталость из-за большой длительности работы по классификации. Приводится схема декомпозиции больших задач классификации на несколько упрощенных. При этом результаты решения каждой упрощенной задачи описываются в виде решающих правил, которые могут быть использованы позднее при решении исходной задачи, сокращая время её решения.

Пусть имеется N критериев с соч оценками по д-му критерию (¿/=1, ..., Ы) и Ы классов решений СХ,.. ,СМ. Классы решений объединяются в два

__, к _ м

класса, обозначенные С и С, следующим образом: С = \^)Сп С— С,

(=1

для некоторого к. Назовем оценки, более характерные для класса С,

«верхними», а оценки, более характерные для класса С, «нижними». Вместо исходной задачи классификации в полном пространстве предлагается решить упрощенные задачи, в которых выбираются два класса решений С и С, а оценки выбираются одним из следующих способов:

1. По каждому критерию берутся две нижние оценки.

2. По каждому критерию берутся две верхние оценки.

3. По каждому критерию берется самая верхняя и самая нижняя оценки. Приводятся результаты, показывающие, что для исходной задачи

остаются верны, в первом случае - правила нижней границы класса С, во

втором случае - правила, полученные для верхней границы класса С, и в третьем случае — правила, полученные для нижней границы С и верхней

границы класса С.

Помимо упрощения задачи классификации и надежного сохранения промежуточных результатов в виде набора решающих правил, метод упрощенных задач в некоторых случаях может существенно сократить общее число обращений к эксперту. В работе даётся соответствующая теоретическая оценка.

Эксперт может ошибаться и тогда, когда данный конкретный случай редко встречается на практике, и у эксперта недостаточно опыта для его классификации. Такие знания называются «неустойчивыми» и не подходят для использования в ИОС. В работе выдвинута гипотеза, что эксперт неявно держит в памяти не правила разделения классов, а именно правила отнесения ситуации к конкретному классу. Предполагается, что не только нижняя граница класса А, но и верхняя граница класса В описывается небольшим числом экспертных правил. Между ними располагаются «неустойчивые знания» (см. Рис. 3 и Рис. 4).

Рис. 3. Простая задача классификации Рис. 4. Сложная задача классификации. Присутствуют «неустойчивые знания» на границах классов

СЕ) ( •/! ( А Ф/Ь \ Ф/О V г© ----е> 5 ^ О \ о в ) О У о /

ф — Граничные элементы класса А О —Граничные элементы класса В Ф — Граничные элементы класса А О — Граничные элементы класса В © — Нестабильные ситуации

Была проведена серия экспериментов, подтвердивших гипотезу. На основании гипотезы становится возможным выявлять зону неустойчивых знаний эксперта.

С учетом изложенного строится общая методика извлечения достоверных экспертных знаний. Извлечение знаний происходит в диалоге с экспертом. На первом этапе производится структуризация предметной области: формулировка свойства б, задание экспертом множества критериев К, построение и упорядочение шкал критериев, определение экспертом множества упорядоченных классов решений С. Выделяются исключения, то есть из множества У удаляются такие ситуации, которые, например, не встречаются в жизни по причине несочетаемости некоторых признаков. Невозможные сочетания могут исключаться как на первом, так и на втором этапе.

Второй этап методики выявления знаний — экспертная классификация, состоит в предъявлении эксперту последовательности векторных оценок. Этот этап является довольно длительной процедурой, поскольку число всевозможных сочетаний признаков обычно весьма велико. Методика предусматривает выделение из исходной задачи классификации упрощенных задач, которые получаются из исходной переходом только к двум значениям по каждому признаку. Решение упрощенных задач производится гораздо быстрее, что обеспечивает возможность получить более надежные результаты. Каждая упрощенная задача рассматривается как исходная задача с точки зрения применения данной методики, то есть, к упрощенным задачам также применяются описанные ниже третий и четвертый этапы. Полученные правила вводятся в полную задачу, и эксперт решает уже частично решенную задачу в полном пространстве.

На третьем этапе методики выполняется проверка границ классов.

На четвертом этапе полученные границы классов преобразуются в экспертные решающие правила специального вида (3) и согласуются с экспертом. Может оказаться, что правила окажутся слишком сложными. В этом случае, возможно, понадобится провести процедуру выявления зоны неустойчивых знаний, потому что сложные, «некрасивые» правила зачастую свидетельствуют о неустойчивости выявленных знаний. Для этого осуществляется возврат ко второму этапу методики.

В результате применения описанной методики получается полная и непротиворечивая база экспертных знаний в заданной предметной области. Лучше всего данная методика применима к слабоструктурированным областям, например, таким как медицина, что подтверждено многолетней практикой решения подобных задач.

В четвертой главе описываются система КЛАРА извлечения экспертных знаний, реализующая предложенный метод построения полных и непротиворечивых баз экспертных знаний; система ОСДИМ для обучения навыкам диагностики острого инфаркта миокарда (ОИМ), и система обучения диагностике расслаивающей аневризмы аорты (РАА), построенные на основе предложенных методов.

С помощью системы КЛАРА можно задавать и изменять структуру задачи классификации, которая включает в себя:

1. Список классов решений, список критериев, списки оценок по шкале каждого критерия; ■

1. Орграфы доминирования оценок по критериям, задаваемые списками дуг;

3. Упорядочение классов решений по характерности для свойства б.

После задания структуры задачи классификации система КЛАРА позволяет:

1. Проводить опрос эксперта, последовательно выбирая альтернативы с последующим их предъявлением эксперту для классификации. Описание альтернативы предаставлено на Рис. 5.

2. Осуществлять контроль на непротиворечивость ответов эксперта.

3. Задавать явные правила классификации либо в диалоговом режиме по ходу построения классификации, либо загрузив файл с описанием правил.

4. Отображать и сохранять для дальнейшего анализа границы классов решений.

5. Представлять границы классов решений в виде правил.

6. Производить проверку границ классов решений и решающих правил путем предъявления их эксперту.

7. Строить разбиения классов решений на слои альтернатив различной степени сложности и сохранять их для дальнейшего использования в обучающей системе.

11(0} Возраст старше 30 лет ;■ 5

1В анамнезе - серд^-мо-сосудистые эаболосзния Г " • ' .' •"" •

13 О) Приступ боней вмо-еото. тошнота, рвота ^

14 (С) Прмступуду-лья, мкожестео опаинь« раанокй-ь-бсрных хрипов ё легни*• 1 [5. (СЗ Острая оч«т!ваянввратсгическаясимптоматика' .

16. (0)Систолич9скоо ДД «же 30 мм рт .ст . резкая слабость, холодный пот ' ........... ;■/:,.* Щ-

|7. (1)Синусоваябрадикасдия илитахикардия,илиппроксигмсуправеятрииулярнойтадакардии илиморцат« -

Появление а двух и Солее очведениях смещения вниз сегмента ЭТ и о гркцл ельного зубца Т с послед ^ 19. (0) Повышение в крови уровня МВК<Ж. мио<тю6ина, сердеччь« тропош>лв Т или I в 1-2 сутки эабопееан . 11 1) Зон аы-ьеэки в левом жепуд. •

' . ■ ......„ ^ ^ ьь %ь " . . л, / .л. V" А>.

^ХмсС^ОИМ

Рис. 5. Альтернатива, предъявленная эксперту для классификации в системе КЛАРА.

Задача диагностики заболевания рассматривается как задача порядковой классификации в многомерном пространстве, представляющем собой декартово произведения шкал диагностических признаков. Диагностика заболевания строится на клинических и

инструментальных признаках, каждый из которых имеет от 2 до 5 различных значений. Каждый элемент пространства может быть отнесен к одному классу решений. Для задачи диагности расслаивающей аневризмы аорты: «РАА», «не РАА»; для задачи диагностики острого инфаркта миокарда: «ОИМ», «Для ОИМ требуется дообследование» и «не О ИМ». С помощью системы КЛАРА эксперт построил полные классификации за 4 сеанса работы по 3 часа с небольшими перерывами, ответив менее чем на 600 вопросов системы при общей суммарной размерности пространства свыше 10000 альтернатив. В первые два сеанса решались упрощенные задачи.

На основе проведенного анализа границ классов решений с помощью предложенного алгоритма был сформулирован набор решающих правил, с высокой точностью аппроксимирующих решения эксперта, и на их базе были построены решающие правила для диагностики рассматриваемых заболеваний. Эти правила были положены в основу обучающих систем, предназначенных для обучения начинающих врачей навыкам диагностики острого инфаркта миокарда и расслаивающей аневризмы аорты.

Функции обучающей системы О С ДИМ включают:

1. Обучение декларативным знаниям о данной предметной области.

2. Обучение процедуральным знаниям (практическим навыкам диагностики).

3. Ведение протокола обучения процедуральным знаниям.

Обучение процедуральным знаниям предполагает предварительное

изучение декларативных знаний, то есть постановки рассматриваемой задачи диагностики, предлагаемых шагов ее решения, используемых диагностических признаков, их характерных значений для рассматриваемых заболеваний. Система обучения декларативным знаниям представляет собой электронный вариант краткого учебного пособия, после прочтения которого обучаемому предлагается решить ряд задач для проверки усвоенного материала.

Переход к обучению процедуральным знаниям, т.е. искусству диагностики, возможен только после овладения необходимым объемом декларативных знаний. До перехода ко второму этапу обучения пользователь предварительно экзаменуется на задачах максимальной сложности для определения уровня его начальной подготовки.

Обучение процедуральным знаниям начинается с наиболее простых задач. При правильных ответах обучаемого сложность задач постепенно увеличивается до максимальной. Каждая задача представляет собой развернутое описание гипотетического пациента, которому соответствует некоторая альтернатива в пространстве состояний задачи классификации. Вместе с текстовыми фрагментами расшифровки ЭКГ изображаются и их графики. При неправильных ответах обучаемому немедленно

предоставляются объяснения и комментарии, поясняющие выводы эксперта при решении аналогичных задач. Предоставляемые объяснения не могут непосредственно использоваться как решающие правила при решении предъявленной задачи, но способствуют развитию клинического мышления у пользователей обучающей системы.

После прохождения курса обучения пользователь еще раз сдаёт экзамен на той же выборке задач максимальной сложности, в результате чего делается вывод об эффективности обучения.

Эксперименты по обучению диагностике проходили на базе Учебно-научного центра по внедрению передовых медицинских технологий при ГКБ им. С.П. Боткина. В них принимали участие клинические ординаторы Российской государственной медицинской академии постдипломного образования и молодые врачи ГКБ им. С.П. Боткина, всего более 15 человек. Курс обучения состоял из двух сеансов по 4 часа. За это время каждый из испытуемых решал в среднем около 500 задач. Если на предварительном тесте процент правильных ответов в среднем совпадал с показателями случайного выбора, то после окончания курса обучения испытуемые демонстрировали на контрольном тесте 90-100% совпадений с ответами эксперта. При этом они не могли словесно сформулировать полную систему решающих правил, которые бы описывали все их решения, т.е. сформированный навык диагностики был подсознательным. Некоторые испытуемые проходили повторный тест через неделю и показатели снижались не более чем на 5%, что говорит о закреплении навыка.

В заключении изложены основные результаты и выводы по диссертационной работе,

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен анализ современных ИОС, основанных на экспертных знаниях, показавший, что наиболее значимыми характеристиками ИОС как средства передачи экспертных знаний являются качество базы знаний и ее соответствие психологическим аспектам принятия решений. Имеются существенные трудности в построении баз знаний для ИОС в слабоструктурируемых областях знаний, удовлетворяющих указанным требованиям.

2. В рамках подхода вербального анализа решений разработан новый метод классификации КЛАРА для построения полных и непротиворечивых баз экспертных знаний .для слабоструктурируемых областей знаний, который имеет широкую область применимости.

3. Показано, что алгоритм КЛАРА превосходит по эффективности и не уступает по вычислительной сложности алгоритмам порядковой классификации КЛАНШ, ОРКЛАСС, немного отстаёт по эффективности от алгоритма ЦИКЛ, но способен решать значительно более широкий круг задач, включая эффективную применимость к случаям разреженных пространств альтернатив для классификации, а также работу с частично упорядоченными шкалами критериев.

4. Введено понятие зоны неустойчивых экспертных знаний в задачах порядковой экспертной классификации и проведены эксперименты по исследованию возможности выявления этой зоны.

5. Разработан алгоритм поиска формальных решающих правил, описывающих порядковую классификацию многокритериальных объектов.

6. Предложена общая методика построения экспертных баз знаний с повышенными требованиями к достоверности знаний, пригодных для построения на их основе интеллектуальных обучающих систем.

7. С помощью системы КЛАРА построены полные и непротиворечивые базы знаний для задач диагностики острого инфаркта миокарда и расслаивающей аневризмы аорты.

8. На основе построенных баз знаний созданы интеллектуальные обучающие системы ОСДИМ и РАА, которые используются в Учебно-научном центре по внедрению передовых медицинских технологий ГКБ им. С. П. Боткина, г, Москва, и ГКБ №33 им. A.A. Остроумова, г. Москва, для повышения квалификации молодых врачей.

В приложении приведены вспомогательный алгоритм нумерации вершин графа доминирования альтернатив с оценкой его вычислительной трудоемкости, таблицы эффективности метода решения упрощенных задач, данные численного моделирования алгоритма КЛАРА, структура рассматриваемых задач.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ

ДИССЕРТАЦИИ

1. Кочин Д.Ю. Метод классификации заданного множества многокритериальных альтернатив. // Методы поддержки принятия решений. Сборник трудов Института системного анализа РАН. — М.: Эдиториал УРСС, 2001. — С. 4-18.

2. Kochin D.Yu., Larichev O.I., Kortnev A.V. Decision support system for classification of a finite set of multicriteria alternatives. // Journal of Decision Support Systems, 2002, 33, — C. 13-21.

3. Кочин Д.Ю., Асанов A.A. Метод выявления решающих правил в задачах экспертной классификации. // Искусственный интеллект, 2002, №2. — С. 20-31.

4. Кочин Д.Ю., Асанов A.A. Выявление подсознательных экспертных решающих правил в задачах многокритериальной классификации. // Восьмая национальная конференция по искусственному интеллекту с международным участием (КИИ'2002). Труды конференции. Том 1. - М.: Физматлнг, 2002. — С. 534-544.

5. Кочин Д.Ю., Подлипский O.K. Системы неявного обучения экспертным.знаниям. // Искусственный интеллект, 2004, №2. — С. 305-309.

6. Кочин Д.Ю., Подлипский O.K. Построение баз экспертных знаний. // Моделировние процессов управления, Сборник научных трудов. — М.: Московский физико-технический институт, 2004.— С. 116-123.

7. Кочин Д.Ю., Подлипский O.K. О границах классов решений в задачах экспертной классификации. // Некоторые проблемы фундаментальной и прикладной математики. — М.: Московский физико-технический институт, 2004.— С. 103-118.

8. Kochin D., Ustinovichius L., SUesoraitiene V., Implicit Learning System for Teaching the Art of Acute Cardiac Infarction Diagnosis. // 10th Conference on Artificial Intelligence in Medicine (AIME 05). S. Miksch etal., (Eds.): LNAI3581,2005.— С. 395-399.

9. Кочин Д.Ю. Построение систем неявного' обучения экспертным знаниям. // Труды 1-ой международной конференции «Системный анализ и информационные технологии» (SAIT-2005). В 2 т. Т. 1.— М.: КомКнига, 2005.— С. 263-267.

10. Кочин Д.Ю. Система неявного обучения диагностике острого инфаркта миокарда.- // Методы поддержки принятия решений. Сборник трудов Института системного анализа РАН. Т.12 — М.: Едиториал УРСС, 2005. — С. 26-42.

Подписано в печать 17.10.2006 Формат 60x90/16 Объём 1,0 пл. Тираж 100 экз. Заказ №17100619

Оттиражировано на ризографе в ООО «УниверПринт» ИНН/КПП 7728572912X772801001

Адрес: 117292, г. Москва, ул. Дмитрия Ульянова, д. 8, кор.

Тел. 740-76-47,125-22-73.

http://www.univerpriiit.ru

i I

ВВЕДЕНИЕ.

1 ПРОБЛЕМЫ ПЕРЕДАЧИ ЭКСПЕРТНЫХ ЗНАНИЙ.

1.1 Типы экспертных знаний.

1.2 характеристики экспертного знания.

1.3 интеллектуальные обучающие системы.

1.4 задача экспертной классификации.

1.5 методы выявления экспертных знаний.

1.6 вербальный анализ решений.

1.6.1 Метод ОРКЛАСС.

1.6.2 Метод КЛАНШ.

1.6.3 Метод БТЕРСЬАББ.

1.6.4 Метод ЦИКЛ.

1.7 достоверность извлеченных экспертных знаний.

1.8 выводы.

2 ПОРЯДКОВАЯ ЭКСПЕРТНАЯ КЛАССИФИКАЦИЯ АЛЬТЕРНАТИВ: МЕТОД КЛАРА.

2.1 Основные определения.

2.2 Алгоритм классификации.

2.3 Процедура поиска максимальной цепи.

2.4 Оценка вычислительной сложности алгоритма КЛАРА.

2.5 Устранение логических противоречий в ответах эксперта.

2.6 Сравнение алгоритмов порядковой классификации.

2.7 Оценка эффективности алгоритма КЛАРА.

2.8 Выводы.

3 ИЗВЛЕЧЕНИЕ ДОСТОВЕРНЫХ ЭКСПЕРТНЫХ ЗНАНИЙ.

3.1 В ыявление решающих правил классификации.

3.2 Построение минимального набора решающих правил.

3.3 Процедура проверки решающих правил.

3.4 Упрощенные задачи классификации.

3.5 Оценка эффективности упрощенных задач.

3.6 Гипотеза о зоне «неустойчивых знаний».

3.7 Методика извлечения достоверных экспертных знаний.

3.8 Выводы.

4 ИНТЕЛЛЕКТУАЛЬНЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ.

4.1 кардиологические заболевания.

4.2 система извлечения экспертных знаний КЛАРА.

4.2.1 Архитектура и функции системы.

4.2.2 Структуризация задачи классификации.

4.2.3 Построение базы знаний.

4.3 Обучающие системы.

4.3. J Обучение декларативным знаниям.

4.3.2 Обучение проъ^едуральным знаниям.

4.3.3 Практическое применение.

Во многих областях человеческой деятельности, путь развития от новичка до опытного специалиста занимает значительное время. Поэтому весьма актуальной является проблема поиска путей более быстрого и более эффективного обучения. Доступность персональных компьютеров делает возможным их повсеместное использование и в учебных заведениях, и для самостоятельной подготовки. Однако отсутствие эффективных обучающих программ не позволяет решить эту задачу в полной мере. Одной из причин такого положения вещей являются значительные методологические трудности в построении баз экспертных знаний, которые отражают практические навыки опытных специалистов - экспертов и составляют основу интеллектуальных обучающих систем (ИОС). К точности и полноте баз экспертных знаний, используемых в ИОС, предъявляются повышенные требования. Поэтому разработка новых методов построения баз экспертных знаний для интеллектуальных обучающих систем является актуальной теоретической и практической задачей.

Цель настоящей работы - развитие методов и технологий построения полных и непротиворечивых баз экспертных знаний в слабоструктурируемых предметных областях, в которых в настоящее время отсутствуют объективные модели принятия решений, и решения принимаются экспертом на основе своего профессионального опыта и интуиции. Научная новизна работы состоит в следующем: • Разработан новый метод КЛАРА (КЛАссификация Реальных Альтернатив) построения полных и непротиворечивых баз экспертных знаний для слабоструктурируемых предметных областей, позволяющий повысить эффективность опроса эксперта, и применимый к широкому кругу задач порядковой экспертной классификации.

• Формализовано понятие экспертного решающего правила и построен алгоритм их выявления.

• Введено понятие зоны неустойчивых экспертных знаний и предложена методика выявления этой зоны.

• Предложена общая методика построения достоверных баз экспертных знаний, минимизирующая случайные ошибочные суждения эксперта, а также выявляющая суждения эксперта с низкой степенью уверенности.

• Построены базы знаний по диагностике острого инфаркта миокарда и расслаивающей аневризмы аорты, на основе которых созданы соответствующие интеллектуальные обучающие системы.

В первой главе рассматриваются проблемы извлечения и последующей передачи экспертных знаний с помощью интеллектуальных обучающих систем с точки зрения информационного подхода - одного из основных направлений в современной когнитивной психологии.

Указывается принципиальное различие в подходах к построению ИОС для хорошо структурируемых областей знаний, к которым относится, например, решение типовых задач математики, физики, программирования, и слабоструктурируемых областей, таких как медицинская диагностика. Рассмотрены особенности мышления экспертов, порождающие основную проблему построения ИОС для слабоструктурируемых областей, таких как, например, медицинская диагностика - проблему извлечения экспертных знаний, когда эксперты не могут сформулировать правила, которыми они пользуются при принятии решений.

На основе анализа наиболее известных обучающих систем, основанных на экспертных знаниях, делается вывод, что эффективность обучающей системы в слабоструктурируемой области зависит, главным образом, от полноты и достоверности базы экспертных знаний. Все недостатки базы знаний, в том числе неполнота, наличие противоречий и возможные несовпадения с решениями эксперта, непосредственно отражаются на качестве обучающей системы и, следовательно, на качестве обучения. При этом главную сложность представляет именно извлечение процедуральных знаний, практических навыков, потому что эти знания носят подсознательный характер и не могут быть выражены (вербализованы) экспертом в явном виде.

Формулируется задача порядковой экспертной классификации и приводится обзор подходов к её решению. Для каждого подхода анализируются его достоинства и недостатки по отношению к проблеме построения баз экспертных знаний для интеллектуальных обучающих систем. Также рассматривается проблема достоверности извлеченных знаний. Указывается, что искажение знаний может происходить из-за ошибок эксперта, связанных с рядом причин, таких как усталость, редкая встречаемость случая на практике, недостаточность информации в формализованной задаче.

На основании проведенного анализа делаются выводы и формулируются цели исследования.

Во второй главе описывается новый алгоритм КЛАРА решения задачи порядковой экспертной классификации, имеющий широкую область применения, низкую вычислительную сложность и эффективно применимый для случаев разреженных пространств классифицируемых объектов, что особенно важно для задач медицинской диагностики.

Приводятся результаты численного моделирования, позволяющие оценить эффективность предложенного алгоритма и сравнить его с алгоритмами пространственной дихотомии, КЛАНШ, ОРКЛАСС и ЦИКЛ.

В третьей главе рассматривается проблема извлечения достоверных экспертных знаний. Результатом работы всякого метода порядковой классификации являются границы классов, по которым любую альтернативу из классифицированного множества можно отнести к одному из классов.

Путем анализа получившихся границ классов возможно выявить правила, которые породили данную классификацию.

Формализуется понятие экспертного решающего правила, приводятся алгоритмы для выявления набора решающих правил, описывающих классификацию.

Описывается методика разбиения исходной большой задачи классификации на серию задач меньшей размерности. Такая декомпозиция позволяет снизить нагрузку на эксперта и уменьшить вероятность ошибок.

Выдвигается гипотеза о возможном наличии у эксперта зоны неустойчивых знаний, когда эксперт может относить одну и ту же ситуацию к разным классам в разное время. Приводится метод локализации этой зоны, поскольку неустойчивые знания не пригодны для обучения.

Строится общая методика извлечения достоверных экспертных знаний, учитывающая все изложенные аспекты.

В четвертой главе описываются система КЛАРА извлечения экспертных знаний, реализующая предложенный метод построения полных и непротиворечивых баз экспертных знаний; система ОСДИМ для обучения навыкам диагностики острого инфаркта миокарда и система РАА для обучения навыкам диагностики расслаивающей аневризмы аорты, построенные на основе предложенных методов. Приводятся результаты применения обучающих систем при обучении молодых врачей в учебно-научном центре по внедрению передовых медицинских технологий городской клинической больницы (ГКБ) им. С. П. Боткина, г. Москва и на кафедре анестезиологии и реаниматологии Московского государственного медико-стоматологического университета (МГМСУ) в ГКБ № 33 им. А.А.Остроумова, г. Москва.

Выход

Индекс

0020011000 : 0.00 1. ОИМ

Ответ

Рис. 4.9. Один из учебных примеров

При решении примеров обучаемому рекомендуется выделять разными цветами с помощью мыши характерные значения диагностических признаков, что, как показал опыт, положительно сказывается на качестве обучения.

-I:I xi

Диагностика Острого Инфаркта Миокарда щтшт ш

Пояснение:

В данном случае появление на ЭКГ блокады левой ножки пучка Гиса в сочетании с повышением концентрации биомаркеров некроза миокарда и наличием зон акинезии свидетельствует о наличии ОИМ

ОИМ может проявиться общвмозговой или острой очаговой неврологической симптоматикой (инсульт) на фоне хронической цереброваскулярной недостаточности, так как нарушение гемодинамики при ОИМ ухудшает мозговое кровообращение

-щататвявввяввшшшиж

AA'.i

У." : '.¿I''*'*'-■ .■-■¿УУ'-'ГУЛ-,

Сложность:

50% , задача 6

Возраст старше 30 лет. В анамнезе гиперлипидемия. Болей не было. Одышки нет, хрипов нет Цереброваскулярныв расстройства Умеренное снижение ДЦ Пароксизм мерцательной аритмии.

Ширина комплекса QRS = 0,14сек. Комплексы QRS типа R без зубцов Q в первом AVL, V5-V6 Широкие и глубокие зубцы S в VIVÍ, Сегменты ST опущены и зубцы Т двухфазные (•/+) в I.AVL, v6 Повышение в крови уровня МВ-КФК, сердечны* тропонинов. миоглобина, АСТ/АЛТ, ЛДГ1, в 1-2 сутки заболевания Наличие зон акинезии, дискинезии в левом желудочке.

На этот раз правильно!

1 ОИМ

Нажмите любую клавишу.

0022011200 0 00 1. ОИМ

Ответ

-! 1*1

Диагностика Острого Инфаркта Миокарда

Пояснение:

Боли в животе могут быть проявлением ОИМ -гастралгическая форма ОИМ

ОИМ может начаться с приступа удушья и отека легких (астматический статус) в связи с развитием острой лееожелудочковой недостаточности.

Отсутствие зон акинезии или дискикезии на ЭхоКГ не исключает ОИМ. т

Сложность:

50% , задача 9

Возраст меньше 30 лет

Анамнез не отягощен.

Приступ болей в животе, тошнота, рвота

Приступ удушья, множество влажных разнокалиберных хрипов в легких.

Цереброваскулярных расстройств нет

АД обычное для больного.

Синусовая тахикардия

Ширина комплекса QRS = 0,14сек Комплексы ORS типа R без зубцов Q е первом AVL, VS-Vtj. Широкие и глубокие зубцы S в VIVÍ Сегменты ST опущены и зубцы Т двухфазные (-/+) в I, AVL, ■£

Уровень МВ-КФК, сердечных тропонинов, миоглобина, АСТ/АЛТ, ЛДП, в 1-2 сутки заболевания не повышался.

Зон акинезии в левом желудочке иет

На этот раз правильно!

1, ОИМ

Нажмите любую клавишу.

1110111211 : 0.001, ОИМ

Ответ

Рис. 4.10. Объяснение решения учебного примера При неправильных ответах обучаемому немедленно предоставляются объяснения и комментарии, поясняющие ход мыслей эксперта при решении аналогичных примеров (Рис. 4.10). Предоставляемые объяснения не могут непосредственно использоваться как решающие правила при решении примеров, но способствуют развитию клинического мышления у пользователей обучающей системы.

Обучение считается завершенным, когда обучаемому удается решить подряд без ошибок 15 примеров максимальной сложности. После прохождения курса обучения пользователь проходит еще раз экзамен, на той же выборке из 20 примеров максимальной сложности, в результате чего можно делать выводы об эффективности обучения.

4.3.3 Практическое применение

Обучение с помощью разработанных обучающих систем проходило на базе Учебно-научного центра по внедрению передовых медицинских технологий при ГКБ им. С.П. Боткина. В нем принимали участие клинические ординаторы Российской государственной медицинской академии постдипломного образования и молодые врачи ГКБ им. С.П. Боткина, всего более 15 человек. Курс обучения состоял из двух сеансов по 4 часа. За это время каждый из испытуемых решал в среднем около 500 задач. Если на предварительном тесте процент правильных ответов в среднем совпадал с показателями случайного выбора, то после окончания курса обучения испытуемые демонстрировали на контрольном тесте 90-100% совпадений с ответами эксперта. При этом они не могли сформулировать правила, которые они использовали при принятии решений. Некоторые испытуемые проходили повторный тест через 1-4 недели и демонстрировали те же показатели, что говорит о закреплении навыка.

В настоящее время система ОСДИМ и система обучения диагностике РАА используются в Учебно-научном центре по внедрению передовых медицинских технологий при ГКБ им. С.П. Боткина для повышения квалификации начинающих врачей и на кафедре анестезиологии и реаниматологии Московского государственного медико-стоматологического университета в ГКБ № 33 им. А.А.Остроумова, г. Москва.

5 Заключение

Накопленный опыт построения интеллектуальных обучающих систем, основанных на экспертных знаниях, показывает, что качество базы знаний является одним из наиболее значимых факторов для их успешного применения. Качество базы знаний, в свою очередь, определяется, прежде всего, точностью и полнотой представления экспертных знаний. Поэтому этап выявления и анализа экспертного знания во многом определяет качество, жизнеспособность и эффективность разрабатываемой интеллектуальной обучающей системы. Проведенный анализ современных методов выявления и представления экспертного знания показал, что на этом этапе имеется ряд серьезных трудностей, связанных с необходимостью учета возможностей и ограничений системы переработки информации человека, особенностей экспертного знания, обеспечения полноты и согласованности извлекаемого знания.

В диссертационной работе предложен новый подход к выявлению достоверного экспертного знания в задачах порядковой классификации. Разработана серия алгоритмов и методов, основанная на методологии вербального анализа решений, учитывающей психологические характеристики системы переработки информации человека. Учтены и использованы результаты изучения особенностей экспертного знания, полученные в ИСА РАН.

Предложенный подход обеспечивает эффективную процедуру построения полных и непротиворечивых баз экспертного знания, содержит средства для анализа достоверности извлекаемых знаний, включает алгоритмы выявления решающих правил, подобных используемыми экспертами в своей профессиональной деятельности. Особое внимание уделено корректной обработке возможных человеческих ошибок и зон неустойчивости экспертного знания.

Разработан новый алгоритм КЛАРА порядковой классификации многокритериальных альтернатив. Его отличие от существующих аналогов состоит в большей общности - способности работать с произвольными порядковыми шкалами критериев, произвольным количеством классов решений, неполным порядком на шкалах критериев, а также на сильно разреженном пространстве альтернатив. При этом алгоритм имеет большую эффективность, обеспечивая минимизацию времени, затрачиваемого экспертом. Результаты вычислительного сравнения эффективности алгоритмов порядковой классификации показывают, что алгоритм КЛАРА, уступая по средней эффективности алгоритму ЦИКЛ, имеющему более узкую область применения, существенно превосходит алгоритм КЛАНШ и другие алгоритмы.

Формализовано понятие экспертного решающего правила для задач порядковой классификации, построена серия алгоритмов выявления набора правил, описывающих заданную классификацию.

Выдвинута и экспериментально проверена гипотеза о возможном наличии у эксперта зоны неустойчивых знаний, когда эксперт может относить одну и ту же ситуацию к разным классам в разное время. Предложен метод локализации этой зоны, поскольку неустойчивые знания не пригодны для использования в интеллектуальных обучающих системах.

Предложена общая методика извлечения достоверных экспертных знаний, учитывающая все изложенные аспекты, в том числе декомпозицию задач большой размерности на серию упрощенных задач, локализацию и исключение зоны неустойчивых знаний, проверку границ классов решений и экспертных решающих правил.

Предложенные алгоритмы и методы реализованы в виде программной системы на платформе MS Windows® 9X/ME/NT/2000/XP. Разработанные системы и методы были использованы при создании интеллектуальных обучающих систем по диагностике острого инфаркта миокарда и расслаивающей аневризмы аорты, которые практически используются при обучении начинающих врачей.

1. Асанов, 2002. Асанов, А. А., Методы извлечения и анализа экспертных знаний. Диссертация на соискание ученой степени кандидата технических наук, — М.: ИСА РАН., 2002.

2. Асанов, Кочин, 2002. Асанов, А. А., Кочин, Д. Ю. Метод выявления решающих правил в задачах экспертной классификации. // Искусственный интеллект, №2, 2002. — с. 20-31.

3. Асанов, Ларичев, 1999. Асанов, А. А., Ларичев, О. И., Влияние надежности человеческой информации на результаты применения методов принятия решений. // Автоматика и Телемеханика, № 5,1999.

4. Аткинсон, 1980. Аткинсон, Р. Человеческая память и процесс обучения. — М.: Прогресс, 1980.

5. Емеличев, 1990. Емеличев, В. А. Лекции по теории графов. — М.: Наука, 1990. — с. 382.

6. Кочин, 2005. Кочин, Д. Ю., Система неявного обучения диагностике острого инфаркта миокарда. Методы поддержки принятия решений. // Сборник трудов Института Системного Анализа РАН. Т. 12 М.: Едиториал УРСС, 2005. — с. 26-42.

7. Кочин, Подлипский, 2004. Кочин, Д. Ю., Подлипский, О. К., О границах классов решений в задачах экспертной классификации. Некоторые проблемы фундаментальной и прикладной математики, Московский Физико-Технический Институт, —М.: 2004.— с. 103-118.

8. Ларичев и др., 1988. Ларичев, О. И., Мошкович, Е. М., Ребрик, С.Б., О возможностях человека в задачах классификации многокритериальных объектов. // Системные исследования (ежегодник), 1988.

9. Ларичев и др., 1989. Ларичев, О. И., Мечитов, А. И., Мошкович, Е. М,, Фуремс, Е. М., Выявление экспертных знаний. — М.: Наука, 1989. — с. 128.

10. Ларичев, 1994. Ларичев, О. И., Структуры экспертных знаний в задачах классификации. // Доклады Академии Наук, т. 336, № 6, 1994. — с. 750-752.

11. Ларичев, 2006. Ларичев, О. И., Вербальный анализ решений. — Институт системного анализа РАН. — М.: Наука, 2006.

12. Ларичев, Болотов, 1996. Ларичев, О. И., Болотов А. А., Система ДИФКЛАСС: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной диагностики. // НТИ, Сер. 2, Информ. процессы и системы, № 9, — М.: ВИНИТИ, 1996. — с. 9-15.

13. Ларичев, Мошкович, 1980. Ларичев, О. И., Мошкович, Е. М., О возможностях получения от человека непротиворечивых оценок многомерных альтернатив. //

14. Дескриптивный подход к изучению процессов принятия решений при многих критериях, сб. тр. ВНИИСИ, №9. — М.: 1980.

15. Ларичев, Мошкович, 1996. Ларичев, О. И., Мошкович, Е. М., Качественные методы принятия решений. — М.: Наука. Физматлит, 1996. — с. 207.

16. Липский, 1988. Липский, В., Комбинаторика для программистов. Пер. с польск. — М.: Мир, 1988, —с. 213.

17. Лорьер, 1991. Лорьер, Ж.-Л., Системы искусственного интеллекта / Пер. с франц. — М.: Мир, 1991, —с. 566.

18. Миллер, 1964. Миллер, Дж., Магическое число семь плюс-минус два. О некоторых пределах нашей способности перерабатывать информацию. // Инженерная психология. — М.: Прогресс, 1964.

19. Нарыжный, 1998. Нарыжный Е. В., Построение интеллектуальных обучающих систем, основанных на экспертных знаниях. Диссертация на соискание ученой степени кандидата технических наук, — М.: ИСА РАН, 1998.

20. Осипов, 1997. Осипов, Г. С., Приобретение знаний интеллектуальными системами. — М.: Наука. Физматлит, 1997. — с. 109.

21. Соколов, 1982. Соколов, Н. А., Об оптимальной расшифровке монотонных функций алгебры логики. // Журн. вычисл. матем. и матем. физ., т. 22, № 2, 1982. — с. 449461.

22. Соколов, 1987. Соколов, Н. А. Оптимальная расшифровка монотонных булевых функций. // Журн. вычисл. матем. и матем. физ., т. 27, № 12,1987. — с. 1878-1887.

23. Солсо, 1996. Солсо Р. Когнитивная психология. — М.: Тривола, 1996.

24. Форсайт, 1987. Форсайт, Р. (ред.). Экспертные системы. Принципы работы и примеры. / Пер. с англ. — М.: Радио и связь, 1987. — с. 224.

25. Фуремс, Гнеденко, 1996. Фуремс, Е. М., Гнеденко Л. С., Система STEPCLASS: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной диагностики. // НТИ, Сер. 2, Информ. процессы и системы, — М.: ВИНИТИ, № 9,1996. — с. 16-20.

26. Хейес-Рот и др., 1987. Хейес-Рот, Ф., Уотерман, Д., Ленат, Д. (ред.), Построение экспертных систем / Пер. с англ. — М.: Мир, 1987. — с. 441.

27. Anderson, 1982. Anderson, J. R., Acquisition of a Cognitive Skill. // Psychological Review, 89, 1982, —pp. 369-406.

28. Anderson, 1982. Anderson, J. R., The Architecture of Cognition. // Harvard University Press, 1983.

29. Berry, 1987. Berry, D. C., The Problem of Implicit Knowledge. // Expert Systems, Vol. 4, No. 3, 1987.

30. Berry, Broadbent, 1984. Berry, D. C., Broadbent, D. E., On the Relationship Between Task Performance and Associated Verbalisable Knowledge. // Quarterly Journal of Experimental Psychology, 36A, 1984. — pp. 209-231.

31. Bordage, 1999. Bordage, G., Why did I miss the diagnosis? // Some cognitive explanations and educational implications. Academic Medicine, 74(10), 1999. —pp. 138-143.

32. Brehaut et al., 2006. Brehaut J.C., Stiell, I.G., Graham, I.D., Will a New Clinical Decision Rule Be Widely Used? the Case of the Canadian C-Spine Rule // Academic Emergency Medicine, Volume 13, Number 4, 2006. — pp. 413-420.

33. Chase, Simon, 1973. Chase, W. G., Simon H. A., The Mind's Eye in Chess. // Chase W.G. (Ed.) Visual Information Processing. — New York: Academic, 1973. — pp. 215-281.

34. Clancey, 1982. Clancey, W. J., GUIDON. // The Handbook of Artificial Intelligence. — Los Altos, California: William Kaufmann, 1982.

35. Clancey, 1986. Clancey, W. J., Qualitative Student Models. // Annual Review of Computer Science, 1, 1986. — pp. 381-450.de Groot, 1965. de Groot, A. D., Thought and Choice in Chess. // Netherlands: Mouton Publishers, The Hague, 1965.

36. Ericsson, Lehnmann, 1996. Ericsson, K. A., Lehnmann, A. C., Expert and Exceptional Perfomance: Evidence of Maximal Adaptation to Task Constraints // Annual Review of Psychology, 47, 1996. — pp. 273-305.

37. Feigenbaum, McCorduck, 1983. Feigenbaum, E. A., McCorduck, P. // The 5-th Generation. — Addison-Wesley, Mass, 1983. — p. 266.

38. Fitts, 1964. Fitts, P. M., Perceptual-Motor Skill Learning. // Melton A. W. (Ed.) Categories of Human Learning. — Academic Press, New York, 1964.

39. Furems et al., 2002. Furems E., Larichev O., Lotov A. et all // Artificial Intelligence. . — Donetsk, Ukraine: Наука i освгга, Vol. 2, 2002. — pp. 346-352.

40. Hoffman et al., 1995. Hoffinan, R. R., Shabolt, N. R., Burton, A. M., Klein, G., Eliciting Knowledge from Experts // A Methodological Analysis. Organizational Behavior and Human Decision Processes, Vol.62, No.2, 1995. — pp.129-158.

41. Hunt, 1989. Hunt, E., COGNITIVE SCIENCE: Definition, Status and Questions. // Annual Review of Psychology, 40,1989.

42. Kahneman et al., 1982. Kahneman, D., Slovic, P., Tversky, A. Judgment under uncertainty: heuristics and biases. // Cambridge: Cambridge University Press, 1982.

43. Kihlstrom, 1987. Kihlstrom, J. F. The Cognitive Unconscious. // Science. Vol. 237, 1987. — pp. 1445-1452.

44. Miller, Masarie, 1989. Miller, R., Masarie F., Use of the Quick Medical Reference (QMR) Program as a Tool for Medical Education. // Methods of Information in Medicine, 28, 1989.

45. Newell, 1990. Newell, A. Unified Theories of Cognition. // Cambridge, MA: Harvard University Press, 1990.

46. Newell, Simon, 1972. Newell, A., Simon, H. A., Human Problem Solving. // Englewood Cliffs, NJ: Prentice-Hall Inc.,1972.

47. Quinlan, 1993. Quinlan, J. R., C4.5: programs for machine learning. — Morgan Kaufmann, San Mateo, CA., 1993.

48. Reber et al., 1980. Reber, A. S., Kassin, S. M., Lewis, S., Cantor, G. On the Relationship Between Implicit and Explicit Models of Learning a Complex Rule Structure. // Journal of Experimental Psychology: Human Learning and Memory, 6,1980. —pp. 492-502.

49. Reber, 1967. Reber, A. S., Implicit Learning of Artificial Grammars. // Journal of Verbal Learning and Verbal Behaviour, 5,1967. — pp. 855-863.

50. Reinhardt, Schewe, 1995. Reinhardt, B., Schewe, S. A Shell for Intelligent Tutoring Systems. // Proceedings of Artificial Intelligence in Education. —Charlottesville, VA: AACE., 1995.

51. Roy, Bouyssou, 1993. Roy, B., Bouyssou, D. Aide multicritère à la décision: méthodes et cas. — Paris: Economica., 1993.

52. Schmidt, Boshuizen, 1993. Schmidt, H. G., Boshuizen P. A. On Acquiring Expertise in Medicine. // Educational Psychology Review, Volume 5, Number 3. — Springer Netherlands, 1993. — pp. 205-221

53. Self, 1990. Self, J., Theoretical Foundations for Intelligent Tutoring Systems. // Journal of Artificial Intelligence in Education. 1(4), 1990. — pp. 3-14.

54. Simon, Chase, 1973. Simon, H.A., Chase, W.G., Skill in chess. // American Scientist, 61,1973. — pp. 394-403.

55. Slowinski, Zopounidis, 1995. Slowinski, R., Zopounidis, C., Application of the rough set approach to evaluation of bankruptcy risk, // International Journal of Intelligent Systems in Accounting, Finance and Management, 4, No.l, 1995. —pp. 27-41.

56. Tversky, Kahneman, 1983. Tversky, A., Kahneman, D., Extensional Versus Intuitive Reasoning: The Conjunction Fallacy in Probability Judgement. // Psychological Review, 90,1983,—pp. 293-315.

57. Warner, 1992. Warner H., The ILIAD program: an expert computer diagnostic program. // Journal of Medical Practice Management; 8(2), 1992.

58. White, Frederiksen, 1986. White, B., Y., Frederiksen, J. R., Progressions of quantitative models as a foundation for intelligent tutoring environments. // Technical Report #6277, BBN, 1986.