автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Решение задач классификации при двух оценках по каждому признаку для построения полных баз экспертных знаний

На правах рукописи

Подлипский Олег Константинович

РЕШЕНИЕ ЗАДАЧ КЛАССИФИКАЦИИ ПРИ ДВУХ ОЦЕНКАХ ПО КАЖДОМУ ПРИЗНАКУ ДЛЯ ПОСТРОЕНИЯ ПОЛНЫХ БАЗ ЭКСПЕРТНЫХ ЗНАНИЙ

Специальность 05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

¿^"7 У

Москва - 2005

Работа выполнена на кафедре высшей математики Московского физико-технического института (государственного университета)

Научный руководитель:

член-корреспондент Российской академии образования, доктор физико-математических наук, профессор Яковлев Геннадий Николаевич

Официальные оппоненты:

доктор физико-математических наук, профессор

Петров Игорь Борисович,

доктор физико-математических наук, профессор Дольников Владимир Леонидович.

Ведущая организация:

Вычислительный центр им. А.А. Дородницына Российской академии наук

Защита состоится 15 июня 2005 г. в 10 час. 30 мин. на заседании диссертационного совета К 212.156.02 при Московском физико-техническом институте (государственном университете) по адресу: 141700, Московская область, г. Долгопрудный, Институтский пер., 9.

С диссертацией можно ознакомиться в библиотеке МФТИ(ГУ).

Автореферат разослан 12 мая 2005 г.

Ученый секретарь диссертационного совета

к.ф.-м.н.

О.С. Федько

f&9f

Z/ЛР^Рб

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность работы.

Во многих важных областях человеческой деятельности отсутствуют объективные модели принятия решений, и эталоном качества решения задачи является опытный человек-эксперт. Однако путь развития новичка до опытного специалиста практически всегда занимает значительное время и часто требует существенных материальных и других затрат. Длительность формирования экспертных навыков определяет актуальность задачи сокращения этого времени.

Одним из основных направлений в искусственном интеллекте является создание компьютерных систем, имитирующих искусство эксперта. Подобные системы позволяют сохранить знание опытного профессионала, сделать его бессмертным и применимым одновременно во многих местах.

Для построения таких систем необходимо решить задачу экспертной классификации и, как следствие, задачу выявления подсознательных экспертных решающих правил. Эта задача имеет важное практическое значение, поскольку экспертные решающие правила могут бьггь проанализированы и использованы при построении систем искусственного интеллекта, а также при обучении молодых специалистов экспертному знанию.

Развитием теории и методов решения задач экспертной классификации, а также теорией выбора вариантов в СССР и России в разные годы занимались Айзерман М.А, Алескеров Ф.Т., Емельянов C.B., Ларичев О.И., Малишевский A.B., Поспелов Г.С., Финн В.К., Шахнов И.Ф. и др. Среди зарубежных ученых следует отметить Андерсона (Anderson), Бушанана (Buchanan), Винограда (Vinograd), Дэвиса (Davis), Кланси (Clancey), Минского (Minsky), Ньюэлла (Newell), Руа (Roy), Саймона (Simon), Уинстона (Winston), Фейгенбаума (Feigenbaum) и Шортлифа (Shortliffe).

Во многих практических случаях задача создания компьютерной модели эксперта может быть представлена как задача классификации, так как экспертное знание часто состоит в отнесении объектов (альтернатив, состояний) к классам решений. Так, например, врач изучает состояние пациента и ставит диагноз, выбирая из нескольких возможных типов заболеваний.

Набор продукций из какой-либо области знаний образует базу экспертных знаний. Качество базы экспертных знаний и эффективность построенной на ее основе интеллектуальной системы определяется, прежде всего, полнотой и точностью имитации экспертного знания.

ГОС. НАЦИОНАЛЬНАЯ БИБЛИОТЕКА С. Петербург /¿I <У

Множество объектов (описаний, ядоени|$) с которыми корректно работает такая система должно по возможности охватывать весь объем профессиональных знаний эксперта, а в идеале представлять собой Множество всех возможных объектов (описаний, явлений) в рассматриваемой предметной области. Решения, предлагаемые такой интеллектуальной системой, должны максимально точно соответствовать устойчивым решениям человека-эксперта, предлагаемых при тех же исходных данных.

Экспертное знание как правило подсознательно - в большинстве случаев эксперты не могут сформулировать правила, которые они используют в принятии решений. Правила, которые они все же могут явным образом вербализовать, охватывают лишь подмножество наиболее простых задач. Именно подсознательный характер экспертного знания вызвал значительные трудности при построении экспертных систем, а извлечение экспертных знаний было названо «узким местом» искусственного интеллекта.

Задача построения полных классификаций на основе использования свойств монотонности имеет уже почти полувековую историю и имеет известные алгоритмический решения, оптимальные по Шеннону (Алексеев В.Б., Соколов H.A.). Однако известные оптимальные алгоритмы являются оптимальными лишь для самого наихудшего случая, который никогда не встречается на практике. В реальных задачах эти алгоритмы ведут себя неоптимально. Для решения практических задач в Институте системного анализа РАН под руководством О.И. Ларичева было разработано целое семейство эвристических алгоритмов классификации (КЛАСС, ОРКЛАСС, ДИФКЛАСС, STEPCLASS, КЛАРА, ЦИКЛ) которые, как показала практика, ведут себя в реальных задачах во много раз эффективнее своих предшественников, оптимальных по Шеннону. Однако остается класс практических задач, в которых существующие алгоритмы либо не применимы, либо ведут себя недостаточно эффективно. В частности возникают проблемы при построении баз экспертных знаний, число объектов в которых достаточно велико (более 10000).

Таким образом актуальной задачей является создание и совершенствование методов, позволяющих извлекать и анализировать экспертные знания в задачах классификации в слабоструктурированных предметных областях.

Цели работы.

В настоящей диссертации рассматриваются следующие задачи:

• разработка и усовершенствование методов извлечения экспертного знания и создания полных, точных и непротиворечивых (согласованных) баз экспертных знаний в задачах классификации;

• усовершенствование моделей представления экспертных знаний для слабоструктурированных предметных областей, где определяющими являются профессиональный опыт и интуиция лица, принимающего решения (ЛПР), при' отсутствии объективных моделей принятия решений.

Научная новизна работы.

В диссертации получены следующие новые результаты:

• Предложен новый метод построения баз экспертных знаний: выявление решающих правил эксперта при помощи решения упрощенных задач (в исходной задаче шкалы критериев заменяются бинарными - по каждому критерию выбираются две оценки) с использованием существующих программ извлечения экспертных знаний. Данный метод расширяет область применимости существующих программ, позволяя строить полные и непротиворечивые классификации в пространствах векторных описаний объектов с произвольными количествами классов и градаций на шкалах критериев в задачах большой размерности.

• Аналитически получены оценки эффективности предложенного метода при работе с существующими программами извлечения экспертных знаний.

• Разработан и проведен вычислительный эксперимент по оценке эффективности предложенного метода.

• Получено экспериментальное подтверждение корректности и эффективности предложенного метода на примере решения практических задач - построения баз экспертных знаний для задач медицинской диагностики, построения медицинской диагностической экспертной системы.

• Совместно с Д.Ю. Кочиным предложена гипотеза о существовании зоны «нестабильных знаний».

• Разработан и проведен эксперимент для проверки указанной гипотезы.

• Предложено добавить в модель представления экспертных знаний зону «нестабильных знаний».

Методы исследований.

В работе используются методы теории принятия решений, теории выбора вариантов, теории графов, дискретной математики, теории информации, искусственного интеллекта.

Прастическая ценность работы.

С помощью предложенного метода построения баз экспертных знаний можно в короткие сроки создавать полные и непротиворечивые базы экспертных знаний, полностью отражающие предпочтения эксперта, основанные на его опыте и интуиции.

Предложенный метод позволяет анализировать извлеченное экспертное знание, выявлять решающие правила экспертов, определять области неустойчивости экспертного знания.

Полученные в результате полные и непротиворечивые системы экспертных решающих правил могут быть непосредственно использованы при создании баз знаний различных интеллектуальных систем: экспертных, обучающих и др.

Предложенный метод особо эффективен в случае, когда размеры баз экспертных знаний достаточно велики.

Реализация результатов работы.

С помощью предложенного метода были построены базы экспертных знаний для задач классификации острого инфаркта миокарда, расслаивающей аневризмы аорты.

С использованием проведенных исследований разработано программное обеспечение для Microsoft Windows NT/95/2000/XP: построена система «AD» для обучения диагностике расслаивающей аневризмы аорты.

Обучающая система «AD» реализована и внедрена в Учебно-научном центре по внедрению передовых медицинских технологий при ГКБ им. С.П. Боткина.

Апробация работы. Результаты диссертации и материалы исследований докладывались и обсуждались на:

• Научных семинарах кафедры высшей математики Московского физико-технического института (государственного университета).

• Научных семинарах отдела теории и методов принятия решений Института Системного Анализа РАН.

• Научных семинарах отдела интеллектуальных прикладных систем Вычислительного центра РАН.

• XLVI, XLVII научных конференциях Московского физико-технического института (государственного университета). (Долгопрудный, 2003,2004)

• Международной научной конференции «Интеллектуализация Обработки Информации ИОИ-2004». (Крым, Алушта, 2004)

• EURO XX. 20a European Confieren ce on Operational Research. OR and the Management of Electronic services. (2004, Rhodes, Greece)

Публикации. По материалам диссертации опубликовано 7 печатных работ. Список работ приведен в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы (68 наименований) и трех приложений. Общий объем работы составляет 117 страниц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении формулируется тема работы, обосновывается ее актуальность, формулируется ее цель, научная новизна, полученные результаты и структура диссертации.

В первой главе рассматриваются проблемы построения баз экспертных знаний. Отмечается, что в большинстве случаев экспертное знание подсознательно - специалист, как правило, не может вербализовать свои решения, хотя правильно и быстро решает задачи в своей предметной области.

Для построения баз знаний используется хорошо зарекомендовавший себя подход экспертной классификации (О.И. Ларичев, 1989), в рамках которого задача экспертной классификации предполагает определение множества критериев К= {K¡, К2, ..., Кц}, по которым проводится оценка состояний объекта исследования. ' Критерии предполагаются независимыми. Для каждого критерия Кч считается определенным некоторое множество S, ={*,', } возможных оценок. Декартово

произведение шкал оценок по всем критериям формирует пространство Y=S¡ х S2 х...х SV всевозможных состояний, подлежащих классификации на основе знаний эксперта. Построенная классификация считается полной, если для любого возможного состояния определен некоторый класс решения С„.

В работе рассматривается задача ординальной экспертной классификации, в которой необходимо определить степень выраженности единственного свойства (7, то есть решить задачу разбиения.

Рассмотрим теперь формальную постановку задачи ординальной классификации. Нам дано:

• С? - свойство, отвечающее целевому критерию задачи (наличие и степень тяжести заболевания, критичность неисправности в технической системе, ценность кредитного проекта и т.д.).

• К = {Кь К2, ..., Кц} - множество критериев (признаков), по которым оценивается каждый объект исследования.

• = ддя ^=1, ..., N - множество оценок по

критерию Кч\ тч - число градаций на шкале критерия Кя; оценки в упорядочены по убыванию характерности для свойства О, То есть, на каждом множестве Бч определено линейное антирефлексивное асимметричное транзитивное отношение Qч такое, что «> / < ].

• У=8, х Б2 х...х Бн - декартово произведение шкал критериев определяет пространство состояний объектов (альтернатив), подлежащих классификации.

N

• ^ = И = П ач- мощность множества К

• С = {С/, С2, ..., См} - множество классов решений, упорядоченных по убыванию выраженности свойства С. То есть на множестве С определено линейное антирефлексивное асимметричное транзитивное отношение Qc такое, что С,бсСу <=> г < У.

Каждый объект множества У описывается набором оценок по критериям Кь ..., Кц и представляется в виде векторной оценки у еУ, где У-(УИУ2,--- Уд равно номеру оценки из множества 8Г

Введем бинарное отношение строгого доминирования Р: (У>:,уеУ) хРу о V« -1.....ЛГ:*, £ у, и 39о е {!,...,*}:хь > у,,}. (1)

Это отношение называют отношением Парето. Как нетрудно заметить, оно является антирефлексивным, асимметричным и транзитивным.

Требуется: с помощью эксперта построить отображение Г {К,}, и

¿=1 ...Л/, такое, что к = уг(; У,(~]Ук =0, при к * 1 (где У, - множество

ы

векторных оценок, принадлежащих классу О), удовлетворяющее свойству непротиворечивости: Уду е У :х е У, ,у е У} ,хРу => г . (2)

Таким образом, задача классификации заключается в распределении £ объектов по М классам решений. При этом классификация считается непротиворечивой, если объект с более характерным для свойства б набором оценок по критериям не может принадлежать к классу, соответствующему меньшей степени выраженности свойства б.

Даются основные определения:

Альтернатива а, е У доминирует альтернативу в; е У: а, >- ар если а,Ра].

Альтернатива я, € У доминируетея альтернативой в, € У: а^щ, если а/Ра,.

Альтернативы а„ а7 € У'называются сравнимыми', а,«ар если а,>-а7 или а,-<ар иначе они называются несравнимыми: в/-о-в/.

Любые две альтернативы, принадлежащие одному классу либо находятся в отношении доминирования, либо несравнимы, следовательно в каждом классе можно выделить подмножества недоминируемых и недоминирующих альтернатив.

Множество всех недоминируемых альтернатив класса С„ называется верхней границей этого класса и обозначается 1Г1(С„).

Множество всех недоминирующих альтернатив класса С„ называется нижней границей этого класса и обозначается В1(С„).

Множеством Парето на С £ У называется множество Ср = {* е С | ¥у е С: уРх). Таким образом, верхние границы классов являются множествами Парето.

Задача порядковой классификации может быть решена путем предъявления эксперту всех |У| альтернатив для получения искомого разбиения на классы. Однако использование условий сравнимости альтернатив позволяет значительно сократить число предъявляемых альтернатив и тем самым ускорить процедуру построения классификации. Сокращение числа предъявляемых альтернатив становится возможным благодаря использованию информации об уже классифицированных альтернативах для классификации оставшихся.

Построенную классификацию можно охарактеризовать с помощью граничных элементов. Для задания классов достаточно задать лишь граничные элементы, принадлежащие соответствующим классам. Граничные элементы могут быть использованы для описания правил классификации, подсознательно используемых экспертами. Исследования показали, что граничные объекты классов могут быть достаточно точно описаны сравнительно небольшим числом правил, имеющих структуру двухуровневого дерева, корень которого соответствует конъюнкции значений некоторых наиболее важных (основных) критериев, а концевым

вершинам - сочетания характерных для рассматриваемого класса оценок

решающего правила

На рис. 1 верхний кружок (корень дерева) представляет совокупность значений диагностических признаков, наиболее важных для данного класса (с точки зрения эксперта). К ним добавляется определенное количество характерных для данного класса значений менее важных признаков (нижние кружки). Например, при 6 диагностических признаках правило для класса С) может иметь вид: к? к* + С\. Данная запись означает: характерные для первого класса значения второго и третьего признаков (они обязательно присутствуют), к которым нужно добавить любые три характерные для С\ значения из оставшихся четырех признаков.

Рассматриваются методы и современные системы извлечения экспертных знаний. Анализируются области экспертных знаний и задачи, для которых применимы рассматриваемые системы. На основе проведенного анализа формулируются нерешенные проблемы и формулируется цель диссертационного исследования.

Во второй главе предлагается новый метод построения баз экспертных знаний: выявление решающих правил эксперта при помощи решения упрощенных задач с использованием существующих программ извлечения экспертных знаний.

При большом числе критериев N и длинных шкалах 8Ч число £ становится настолько велико, что даже при использовании подхода ординальной классификации не удается провести полную классификацию за короткое время. При этом эксперт устает и делает большее число ошибок. Для решения больших задач классификации предлагается метод, состоящий в выделении из исходной задачи упрощенных задач. В исходной задаче шкалы критериев заменяются бинарными - по каждому критерию Кя выбираются две оценки. Количество альтернатив в упрощенной задаче равно 2", что в случае больших баз данных существенно меньше Ь.

Множество альтернатив упрощенной задачи является подмножеством множества альтернатив исходной задачи. Таким образом, правила

классификации, выделенные в упрощенной задаче, могут быть применены в полной (исходной) задаче.

Пусть у нас есть #критериев с /ц оценками по г'-му критерию (/=1,..., ДО и М классов решений С,,...,СМ. Классы решений объединяются в два

_ _ к м

класса С и С следующим образом: С =ус,,с= У С, для некоторого к.

/=1 ык+\

Назовем оценки, более характерные для класса С, «верхними», а оценки, более характерные для класса с, «нижними». Вместо исходной задачи в полном пространстве предлагается решить упрощенные задачи, в которых выбираются два класса решений С и с, а оценки выбираются одним из следующих способов:

(1) По каждому критерию берутся две нижние оценки.

(2) По каждому критерию берутся две верхние оценки.

(3) По каждому критерию берется самая верхняя и самая нижняя оценки.

(4) По каждому критерию берутся две соседние оценки, верхняя из которых более характерна для класса С, чем для класса С, а нижняя более характерна для класса С, чем для класса С.

(5) По каждому критерию берутся две соседние оценки, "расстояние" между которыми "наибольшее".

Для каждого из этих способов анализируется, какое отношение классификация и правила, полученные в упрощенной задаче, имеют к классификации и правилам в полной задаче.

Рассмотрим упрощенную задачу, в которой оценки выбираются одним из вышеуказанных способов. Пусть - решающие правила эксперта, описывающие нижнюю границу класса С, а Д1с~4' - решающие правила эксперта, описывающие верхнюю границу класса с. Каждое из рассматриваемых правил формулируется следующим образом: «Для принадлежности объекта классу С достаточно, чтобы по критериям ^я, >Ка2>•••■>*аг стояли оценки не менее уВ1 >Уа2>■ ■ • >Уат соответственно».

В работе формулируются и доказываются следующие теоремы и утверждения.

(1) Рассмотрим упрощенную задачу, в которой берутся две нижних оценки по каждому из критериев.

Теорема 1. Правила остаются справедливыми и в случае полной классификации.

Утверждение 1. При построении полной классификации правила й,' "р нуждаются в проверке.

Теорема 2. Объекты нижней границы класса С, полученные в упрощенной задаче, остаются граничными и в полной задаче.

Утверждение 2. Объекты верхней границы класса С, полученные в упрощенной задаче, могут перестать бьггь граничными в полной задаче.

(2) Рассмотрим усеченную упрощенную задачу, в которой берутся две верхних оценки по каждому из критериев.

Теорема 3. Правила Я';" остаются справедливыми и в случае полной классификации. ,

Утверждение 3. При построении полной классификации правила

нуждаются в проверке.

Теорема 4. Объекты верхней границы класса С, полученные в упрощенной задаче, остаются граничными и в полной задаче.

Утверждение 4. Объекты нижней границы класса С, полученные в упрощенной задаче, могут перестать быть граничными в полной задаче.

(3) Рассмотрим упрощенную задачу, в которой берутся по каждому из критериев самая верхняя и самая нижняя оценки.

Теорема 5. Правила Л,с"ь" и И*;"' остаются справедливыми и в случае полной классификации.

Утверждение 5. Объекты верхней границы класса С и объекты нижней границы класса С, полученные в упрощенной задаче, могут перестать быть граничными в полной задаче.

(4-5) Рассмотрим упрощенную задачу, в которой берутся по каждому из критериев две соседние оценки.'

Утверждение 6. При построении полной классификации правила Д|с~'<л* и нуждаются в проверке.

Утверждение 7. Объекты верхней границы класса С и объекты нижней границы класса С, полученные в упрощенной задаче, могут перестать быть граничными в полной задаче.

Рассмотренные выше теоремы и утверждения позволяют прийти к следующим выводам:

Решение упрощенной задач (1), (2) и (3) помогает получить часть граничных элементов и решающих правил.

Анализ решения упрощенной задач (4) и (5) помогает понять структуру решающих правил, а также найти в некоторых случаях такие Оценки на шкалах, что эксперт считает их "эквивалентными в смысле решающих правил".

В работе оценивается примерное количество вопросов, которое необходимо задать, для того чтобы полностью классифицировать все объекты. При этом используется следующее утверждение. Если в

пространстве есть к неклассифицированных объектов, то при применении существующих программ извлечения экспертных знаний (ОРКЛАСС) для построения полной классификации нам потребуется задать около к/4 вопросов.

Пусть у нас есть N критериев и по каждому критерию т>Ъ оценки (то есть пространство насчитывает т" объектов), и два класса решений: А и А. Тогда при опросе в полном пространстве нам бы потребовалось

около -т* вопросов, чтобы полностью классифицировать все объекты.

Оценивается количество вопросов, которое необходимо задать при использовании метода построения баз экспертных знаний при помощи решения упрощенных задач.

Сначала решается задача на крайних бинарных оценках по каждому критерию (при этом требуется задать 2ы~г вопросов). Пусть сформировались решающие правила:

«Для принадлежности объекта классу А достаточно, чтобы по к критериям стояли верхние оценки», и, как следствие, «Для принадлежности объекта классу А достаточно, чтобы по N-11+1 критерию стояли нижние оценки».

Тогда в полном пространстве классифицировано как принадлежащих классу Л: С*(т-1)"' + С'*'(т- -!-...+ ,

классу А: -!)*"' +С^м(т-1)к-2 +...+с£(/я-1)*Л

Остается задать примерно 1/4 вопросов от числа неклассифицированных элементов. Посчитанный выигрыш для малых Ы, т 1/1 к показан Диаграммах 1 и 2.

Диаграмма 1. Выигрыш в вопросах при 3 оценках по каждому из кратсркев

I шрачми 2 Рь и выл я ж лс \ -ре 4 | иг гю\ пг и« н

В работе описываются проведенные эксперименты, подтверждающие эффективность предложенного метода.

Решаются практические задачи - построены базы экспертных знаний для задач медицинской диагностики острого инфаркта миокарда (ОИМ) и расслаивающей аневризмы аорты (РАА).

В третьей главе на основании проведенных экспериментов выдвигается гипотеза о существовании зоны «нестабильных знаний». Дополняется существующая модель представления экспертных знаний. Предлагается усовершенствованная методика опроса эксперта. Получаются оценки максимального количества граничных элементов одного класса в зависимости от количества критериев и количества оценок по каждому из критериев.

Исследования поведения экспертов, а также' анализ множества граничных объектов для различных классификаций, созданных разными экспертами, позволили О.И. Ларичеву в начале 90-х годов выдвинуть гипотезу о том, как эксперт осуществляет классификацию объектов, описываемых многими признаками. Согласно этой гипотезе процесс классификации состоит в следующем.

1. На основании многолетней интенсивной практики эксперт "запасает" в своей долговременной памяти (ДВП) совокупность простых иерархических решающих правил, имеющих структуру двухуровневого дерева, позволяющих описать границы классов решений. Число этих правил невелико и не превышает объема кратковременной памяти (КВП). Однако эти правила не могут быть вербализованы.

2. При предъявлении очередного объекта эксперт "переносит" в КВП соответствующие решающие правила, сравнивает с ними объект и относит его к соответствующему классу решений. Если эти правила не позволяют

классифицировать объект, он заменяет их другими из полного множества правил, заранее выработанного на основе долголетней практики.

Многочисленные эксперименты (по построению сравнительно небольших баз знаний) подтвердили эту гипотезу. Однако при построении больших баз экспертных знаний мы пришли к необходимости расширить указанную гипотезу.

В задаче по диагностике расслаивающей аневризмы аорты (РАА) число гипотетически возможных ситуаций составило более 30 тысяч. Более чем за тридцатилетнюю практику наш эксперт столкнулся лишь с небольшой частью таких ситуаций. При классификации граничных, то есть наиболее сложных, объектов эксперт может прийти к ошибочному решению. Это связано с предъявлением ему новых для него, редко встречающихся ситуаций. Гипотеза об ограниченном числе решающих правил в некоторых случаях позволяет использовать для их классификации одно из имеющихся правил и при необходимости путем повторного опроса устранить подобные, редко встречающиеся ошибки эксперта.

Границы между классами решений представляются в виде набора решающих правил. На практике, при решении сложных задач, в которых граница класса решений описывается большим (7±2) числом правил, а также при решении сложных задач, с которыми эксперт ранее не встречался в своей практике, возможны случаи, когда эксперт затрудняется отнести ситуацию к тому или иному классу, или, наоборот, относит ситуацию сразу к двум классам. В некоторых случаях при решении задачи классификации эксперт может ответить:<(Не знаю». С описанными ситуациями мы столкнулись при построении нескольких больших баз экспертных знаний.

Все вышеизложенное позволило совместно с Д.Ю Кочиным выдвинуть гипотезу о существовании зоны «нестабильных знаний», в которую попадают ситуации, которые эксперт затрудняется отнести к тому или иному классу. Мы предположили, что эксперт держит в голове неявно не правила разделения классов, а именно правила отнесения ситуации к конкретному классу. То есть при решении сложных задач эксперт проверяет, входит ли ситуация в класс А, а также проверяет, входит ли данная ситуация в класс В (можно считать, что эксперт решает задачу отнесения ситуации либо к классу А, либо к классу В). При этом в первом случае он пользуется правилами, описывающими границу класса А, а во втором случае - правилами класса В. При этом может случиться, что некоторые ситуации эксперт не отнесет ни к классу А, ни к классу В. Также заметим, что в случае отсутствия зоны «нестабильных знаний»,

число правил, описывающих нижнюю границу класса А, может существенно отличаться от числа правил, описывающих верхнюю границу класса В. При этом в больших задачах граница одного из классов может содержать более десяти простых правил, что превышает объем КВП человека. Поэтому мы предположили, что небольшое число экспертных правил описывает не только нижнюю границу класса А, но и верхнюю границу класса В также описывает небольшое число правил. Между ними располагаются «нестабильные знания» (см. рис. 2 и рис, 3).

Чз ч

/ , ЛО

/ До

[ л 1/о *

\ Зо V Д°

N. ^р

0 - Граничные элементы класса А О - Граничные элементы класса В

Рис. 2. Простая задача классификации.

классов.

В работе описываются эксперименты, подтверждающие описанную гипотезу. Предлагается дополнить модель представления экспертных знаний введением описания границ классов решений в виде совокупности решающих правил и добавления зон «нестабильных знаний».

Предлагается методика опроса эксперта. Совместно с экспертом инженер-когнитолог строит базу экспертных знаний. Построение базы экспертных знаний включает в себя следующие этапы:

1. Обсуждение постановки задачи. Формулирование свойства С.

2. Выделение экспертом множества критериев К.

3. Построение шкал критериев. Предварительный анализ: проверка того, что оценки на шкалах упорядочены по убыванию характерности для свойства С.

4. Анализ множества У. Выделение исключений (то есть удаление из множества Г таких ситуаций, которые, например, не встречаются в жизни по причине несочетаемости некоторых признаков).

ф - Граничные элементы класса А О - Граничные элемента класса В О - Нестабильные ситуации

Рис. 3. Сложная задача классификации. Присутствуют «нестабильные знания» на границах

5. Выделение экспертом множества классов решений С.

6. Анализ множества У. Проверка на противоречивость предположения о транзитивности. При необходимости повторение п.п. 1-4.

7. Предварительный опрос эксперта с использованием метода построения баз экспертных знаний при помощи решения упрощенных задач.

8. Наблюдение за экспертом в процессе опроса. Анализ полученных результатов. При необходимости повторение п.п. 1-7. Выделение правил.

9. Введение полученных исключений и правил в систему извлечения экспертных знаний.

10. Построение при помощи системы полной непротиворечивой базы экспертных знаний.

В четвертой главе рассматривается применение предложенных методов и гипотез к разработке прикладных систем искусственного интеллекта. Описываются эксперименты по построению баз экспертных знаний для задач медицинской диагностики. Описывается система АО для обучения искусству диагностики расслаивающей аневризмы аорты (РАА), построенная на основе предложенных методов.

За последние несколько лет с использованием метода построения баз экспертных знаний при помощи решения упрощенных задач были построены большие базы экспертных знаний для задач диагностики таких заболеваний как острый инфаркт миокарда (ОИМ), расслаивающая аневризма аорты (РАА). Анализ структуры полученных баз знаний подтвердил выдвинутую гипотезу о существовании зон «нестабильных знаний».

Задача диагностики РАА рассматривалась как задача ординальной классификации в многомерном пространстве, представляющем собой декартово произведения шкал диагностических признаков. Каждый элемент пространства может быть отнесен к одному классу решений: «РАА возможна, необходимо провести обследование» или «Можно утверждать, что РАА нет». Диагностика строится на клинических и инструментальных признаках, каждый из которых имеет от 2 до 4 различных значений. С помощью метода построения баз экспертных знаний при помощи решения упрощенных задач был проведен предварительный опрос эксперта, во время которого эксперту было задано около 200 вопросов. После предварительного анализа полученные правила и исключения были введены в систему. После чего при помощи системы ОРКЛАСС эксперт построил полную классификацию, ответив менее чем на 300 вопросов системы. В результате было классифицировано более 35000 ситуаций.

На основе проведенного анализа границ классов решений был сформулирован набор решающих правил, с высокой точностью аппроксимирующих решения эксперта, и на их базе была построена модель процесса диагностики рассматриваемого заболевания.

Построенная модель была положена в основу системы АО, предназначенной для обучения начинающих врачей навыкам диагностики расслаивающей аневризмы аорты. В работе приводится описание программы.

В заключении изложены основные результаты и выводы по диссертационной работе, заключающиеся в следующем:

1. Предложен новый метод построения баз экспертных знаний: выявление решающих правил эксперта при помощи решения упрощенных задач с использованием существующих программ извлечения экспертных знаний. Данный метод расширяет область применимости существующих программ, позволяя строить полные и непротиворечивые классификации в пространствах векторных описаний объектов с произвольными количествами классов и градаций на шкалах критериев в задачах большой размерности. Данный метод обеспечивает равномерную нагрузку на эксперта и качественное сохранение промежуточных результатов в виде решающих правил. Применение метода позволяет сократить количество вопросов, которые необходимо задать эксперту для построения базы экспертных знаний. Аналитически и при помощи вычислительного эксперимента показана эффективность предложенного метода.

2. Предложена гипотеза о существовании зоны «нестабильных знаний». Проведена серия экспериментов, подтверждающих указанную гипотезу.

3.В модель О.И. Ларичева представления экспертных знаний добавлены зоны «нестабильных знаний» и описания границ классов в виде совокупности решающих правил.

4. С помощью метода построения баз экспертных знаний при помощи решения упрощенных задач построены полные и непротиворечивые базы знаний для задач диагностики острого инфаркта миокарда, расслаивающей аневризмы аорты.

5. На основе построенной базы знаний для диагностики расслаивающей аневризмы аорты создана интеллектуальная обучающая система АО, которая в настоящее время используется в Учебно-научном центре по внедрению передовых медицинских технологий ГКБ им. С. П. Боткина.

В приложении приведены таблицы для расчета выигрыша при использовании метода построения баз экспертных знаний при помощи

решения упрощенных задач; критерии и их шкалы, применяемые при диагностике расслаивающей аневризмы аорты (РАА); список решающих правил, задающих границы классов в задаче диагностики РАА.

Основные результаты исследований, проведенных в рамках диссертации, отражены в работах:

1. Асанов А.А., Подлипский О.К. Опыт построения большой базы экспертных знаний. // Методы поддержки принятия решений: Сборник трудов Института системного анализа Российской академии наук. - М.: Эдиториал УРСС, 2001. - С. 42-50.

2. Подлипский О.К. Экспертные обучающие системы. // Труды XLVI научной конференции Московского физико-технического института (государственного университета). Современные проблемы фундаментальных и прикладных наук. Часть X. - М. МФТИ, 2003. - С.9.

3. Кочин Д.Ю., Подлипский О.К. Построение баз экспертных знаний. // Моделирование процессов управления. Сборник научных трудов. -М.-.МФТИ, 2004. - С. 116-123.

4. Кочин Д.Ю., Подлипский О.К. Системы неявного обучения экспертным знаниям. // Научно-теоретический журнал «Искусственный интеллект» Института Проблем Искусственного Интеллекта Украинской Академии Наук. №2, 2004. - Украина, 2004. - С. 305-309.

5. Кочин ДЮ., Подлипский О.К. О границах классов решений в задачах экспертной классификации. // Некоторые проблемы фундаментальной и прикладной математики. Сборник научных трудов. - М. :МФТИ, 2004. -С.103-118.

6. Кочин Д.Ю., Подлипский О.К. Методика выявления экспертных знаний. // Труды XLVII научной конференции Московского физико-технического института (государственного университета). Современные проблемы фундаментальных и прикладных наук. Часть XI. - М.:МФТИ, 2004.-С. 13-14.

7. Kochin Dmitry, Podlípsky Oleg. Building Implicit Learning Systems for Teaching Expert Knowledge. // EURO XX. 20ft European Conference on Operational Research. OR and the Management of Electronic services. Abstract Book. - Rhodes, Greece, 2004. -P. 131.

ЛИЧНЫЙ ВКЛАД Гипотеза о существовании зон «нестабильных знаний» выдвинута совместно с Д.Ю. Кочиным. В совместных работах автору принадлежит теоретическая часть, постановки задач, формулировки и доказательства теорем. А.А. Асанову и Д.Ю. Кочину принадлежит разработка алгоритмов и часть их программной реализации, не входящая в диссертацию.

И 06 65

РНБ Русский фонд

2006-4 8295

I

Подлипский Олег Константинович

РЕШЕНИЕ ЗАДАЧ КЛАССИФИКАЦИИ ПРИ ДВУХ ОЦЕНКАХ ПО КАЖДОМУ ПРИЗНАКУ ДЛЯ ПОСТРОЕНИЯ ПОЛНЫХ БАЗ ЭКСПЕРТНЫХ ЗНАНИЙ

Подписано в печать 03.0S.200S. Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 1,0. Тираж 100 экз. Заказ № 414 НИЧМФТИ

Московский физико-технический институт (государственный университет) 141700, Московская обл., Долгопрудный, Институтский пер., 9 •

ВВЕДЕНИЕ.

ГЛАВА 1. ВЫЯВЛЕНИЕ ЭКСПЕРТНЫХ ЗНАНИЙ.

1.1. Задачи экспертной классификации. щ 1.2. Современные представления об экспертных знаниях.

1.3. Структура экспертных знаний.

1.4. Задача порядковой экспертной классификации.

1.5. Системы выявления экспертных знаний.

1.6. Выводы.

ГЛАВА 2. МЕТОДЫ ПОСТРОЕНИЯ БАЗ ЭКСПЕРТНЫХ ЗНАНИЙ.

2.1. Метод построения баз экспертных знаний при помощи решения упрощенных задач.

2.2. Оценки выигрыша использования метода построения баз экспертных знаний при помощи решения упрощенных задач.

2.3. Опыт построения больших баз экспертных знаний.

ГЛАВА 3. МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЭКСПЕРТНЫХ ЗНАНИЙ.

3.1. Экспертная классификация объектов.

• 3.2. Границы классов решений в задачах экспертной классификации.

3.3. Гипотеза о зоне «нестабильных знаний».

3.4. Методика извлечения экспертных знаний.

ГЛАВА 4. ПРИМЕНЕНИЕ ПРЕДЛОЖЕННЫХ МЕТОДОВ И ГИПОТЕЗ К РАЗРАБОТКЕ ПРИКЛАДНЫХ СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА.

4.1. Интеллектуальные обучающие системы.

4.2. Построение системы обучения диагностике РАА.

4.3. Результаты обучения.

Тема работы

Во многих важных областях человеческой деятельности отсутствуют объективные модели принятия решений, и эталоном качества решения задачи является опытный человек-эксперт. Однако путь развития новичка до опытного специалиста практически всегда занимает значительное время и часто требует существенных материальных и других затрат. Длительность формирования экспертных навыков определяет актуальность задачи сокращения этого времени.

Одним из основных направлений в искусственном интеллекте является создание компьютерных систем, имитирующих искусство эксперта. Подобные системы позволяют сохранить знание опытного профессионала, сделать его бессмертным и применимым одновременно во многих местах.

Для построения таких систем необходимо решить задачу экспертной классификации и, как следствие, задачу выявления подсознательных экспертных решающих правил. Эта задача имеет важное практическое значение, поскольку экспертные решающие правила могут быть проанализированы и использованы при построении систем искусственного интеллекта, а также при обучении молодых специалистов экспертному знанию.

Развитием теории и методов решения задач экспертной классификации в СССР и России в разные годы занимались

Айзерман М.А, Алескеров Ф.Т., Емельянов С.В., Ларичев О.И., Малишевский А.В., Поспелов Г.С., Финн В.К., Шахнов И.Ф. и др. [1, 10, 17, 20, 32, 43]. Среди зарубежных ученых следует отметить Андерсона (Anderson), Бушанана (Buchanan), Винограда (Vinograd), Дэвиса (Davis), Кланси (Clancey), Минского (Minsky), Ньюэлла (Newell), Руа (Roy), Саймона (Simon), Уинстона (Winston), Фейгенбаума (Feigenbaum) и Шортлифа (Shortliffe) [9, 37, 47, 54].

Во многих практических случаях задача создания компьютерной модели эксперта может быть представлена как задача классификации, так как экспертное знание часто состоит в отнесении объектов (альтернатив, состояний) к классам решений. Так, например, врач изучает состояние пациента и ставит диагноз, выбирая из нескольких возможных типов заболеваний.

Набор продукций из какой-либо области знаний образует базу экспертных знаний. Качество базы экспертных знаний и эффективность построенной на ее основе интеллектуальной системы определяется прежде всего полнотой и точностью имитации экспертного знания. Множество объектов (описаний, явлений) с которыми корректно работает такая система должно по возможности охватывать весь объем профессиональных знаний эксперта, а в идеале представлять собой множество всех возможных объектов (описаний, явлений) в рассматриваемой предметной области. Решения, предлагаемые такой интеллектуальной системой, должны максимально точно соответствовать устойчивым решениям человека-эксперта, предлагаемых при тех же исходных данных.

Экспертное знание как правило подсознательно [19, 20] — в большинстве случаев эксперты не могут сформулировать правила, которые они используют в принятии решений. Правила, которые они все же могут явным образом вербализовать, охватывают лишь подмножество наиболее простых задач. Именно подсознательный характер экспертного знания вызвал значительные трудности при построении экспертных систем, а извлечение экспертных знаний было названо «узким местом» искусственного интеллекта.

Задача построения полных классификаций на основе использования свойств монотонности имеет уже почти полувековую историю и имеет известные алгоритмические решения, оптимальные по Шеннону (Алексеев В.Б., Соколов Н.А.) [2, 12, 40, 41]. Однако известные оптимальные алгоритмы являются оптимальными лишь для самого наихудшего случая, который никогда не встречается на практике. В реальных задачах эти алгоритмы ведут себя неоптимально. Для решения практических задач под руководством О.И Ларичева было разработано целое семейство эвристических алгоритмов классификации (КЛАСС, ОРКЛАСС, ДИФКЛАСС, STEPCLASS, КЛАРА, ЦИКЛ) [21, 23, 24, 44, 61] которые, как показала практика, ведут себя в реальных задачах во много раз эффективнее своих предшественников, оптимальных по Шеннону. Однако остается класс практических задач, в которых существующие алгоритмы либо не применимы, либо ведут себя недостаточно эффективно. В частности возникают проблемы при построении баз экспертных знаний, число объектов в которых достаточно велико (более 10000).

Таким образом актуальной задачей является создание и совершенствование методов, позволяющих извлекать и анализировать экспертные знания в задачах классификации в слабоструктурированных предметных областях.

Настоящая диссертационная работа посвящена разработке и усовершенствованию

• методов извлечения экспертного знания и создания полных, точных и непротиворечивых (согласованных) баз экспертных знаний в задачах классификации;

• моделей представления экспертных знаний для слабоструктурированных предметных областей, где определяющими являются профессиональный опыт и интуиция лица, принимающего решения (ЛПР), при отсутствии объективных моделей принятия решений.

Научная новизна работы состоит в следующем:

В диссертации получены следующие новые результаты:

• Предложен новый метод построения баз экспертных знаний: выявление решающих правил эксперта при помощи решения упрощенных задач (в исходной задаче шкалы критериев заменяются бинарными - по каждому критерию выбираются две оценки) с использованием существующих программ извлечения экспертных знаний. Данный метод расширяет область применимости существующих программ, позволяя строить полные и непротиворечивые классификации в пространствах векторных описаний объектов с произвольными количествами классов и градаций на шкалах критериев в задачах большой размерности.

• Аналитически получены оценки эффективности предложенного метода при работе с существующими программами извлечения экспертных знаний.

• Разработан и проведен вычислительный эксперимент по оценке эффективности предложенного метода.

• Получено экспериментальное подтверждение корректности и эффективности предложенного метода на примере решения практических задач - построения баз экспертных знаний для задач медицинской диагностики, построения медицинской диагностической экспертной системы.

• Совместно с Д.Ю. Кочиным предложена гипотеза о существовании зоны «нестабильных знаний».

• Разработан и проведен эксперимент для проверки указанной гипотезы.

• Предложено добавить в модель представления экспертных знаний зону «нестабильных знаний».

• Экспериментально подтверждена возможность аппроксимации устойчивых решений эксперта для задач классификации с помощью малого числа дискриминантно-аддитивных решающих правил в случае больших баз экспертных знаний.

Для иллюстрации возможностей разработанного метода в диссертационной работе приведены описания баз экспертных знаний, построенных при помощи данного метода.

Основные особенности разработанного метода

С помощью предложенного метода построения баз экспертных знаний можно в короткие сроки создавать полные и непротиворечивые базы экспертных знаний для построения интеллектуальных обучающих систем (ИОС) и экспертных систем для задач классификации, полностью отражающие предпочтения эксперта, основанные на его опыте и интуиции.

Предложенный метод позволяет анализировать извлеченное экспертное знание, выявлять решающие правила экспертов, определять области неустойчивости экспертного знания.

Полученные в результате полные и непротиворечивые системы экспертных решающих правил могут быть непосредственно использованы при создании баз знаний различных интеллектуальных систем: экспертных, обучающих и др.

Предложенный метод позволяет обеспечить более ровную нагрузку на эксперта и качественное сохранение промежуточных результатов в виде решающих правил.

Предложенный метод особо эффективен в случае, когда базы экспертных знаний достаточно велики (содержат более 10000 объектов).

Структура работы

В первой главе с точки зрения информационного подхода рассматриваются проблемы построения баз экспертных знаний и проблемы передачи экспертных знаний путем создания ИОС. Рассматриваются особенности мышления экспертов, порождающие основную проблему построения ИОС для слабоструктурированных областей — проблему извлечения экспертных знаний, когда эксперты не могут сформулировать правила, которыми они пользуются при принятии решений. Формально ставится задача ординальной классификации. Вводятся основные определения. Отмечается, что решение задачи классификации может быть компактно представлено в виде описания границ классов решений при помощи «решающих правил»

Рассматриваются методы и современные системы извлечения экспертных знаний. Анализируются области экспертных знаний и задачи, для которых применимы рассматриваемые системы. На основе проведенного анализа формулируются нерешенные проблемы и формулируется цель диссертационного исследования.

Во второй главе предлагается новый метод построения баз экспертных знаний: выявление решающих правил эксперта при помощи решения упрощенных задач с использованием существующих программ извлечения экспертных знаний.

Для решения больших задач классификации предлагается метод, состоящий в выделении из исходной задачи упрощенных задач. В исходной задаче шкалы критериев заменяются бинарными — по каждому критерию Kq выбираются две оценки.

Для оценки эффективности и применимости предложенного метода формулируются и доказываются основные теоремы и утверждения.

В работе оценивается примерное количество вопросов, которое необходимо задать при использовании метода построения баз экспертных знаний при помощи решения упрощенных задач для того, чтобы полностью классифицировать все объекты в зависимости от структуры задачи и вида решающих правил.

Описываются проведенные эксперименты, подтверждающие эффективность предложенного метода. Решаются практические задачи — построены базы экспертных знаний для задач медицинской диагностики острого инфаркта миокарда (ОИМ) и расслаивающей аневризмы аорты (РАА).

В третьей главе на основании проведенных экспериментов выдвигается гипотеза о существовании зоны «нестабильных знаний». В работе описываются эксперименты, подтверждающие указанную гипотезу. Границы между классами решений представляются в виде набора решающих правил. Приводятся оценки максимального количества граничных элементов одного класса в зависимости от количества критериев и количества оценок по каждому из критериев.

Дополняется существующая модель представления экспертных знаний. Предлагается усовершенствованная методика опроса эксперта.

В четвертой главе рассматривается применение предложенных методов и гипотез к разработке прикладных систем искусственного интеллекта. Описываются эксперименты по построению баз экспертных знаний для задач медицинской диагностики. Описывается система AD для обучения искусству диагностики расслаивающей аневризмы аорты (РАА), построенная на основе предложенных методов. Приводятся результаты экспериментов по обучению молодых врачей ГКБ им. С.П. Боткина и ординаторов Российской Государственной Медицинской академии постдипломного образования.

В заключении излагаются основные результаты и выводы по диссертационной работе.

Основные результаты, полученные в работе, заключаются в следующем:

1. Предложен новый метод построения баз экспертных знаний: выявление решающих правил эксперта при помощи решения упрощенных задач с использованием существующих программ извлечения экспертных знаний. Данный метод расширяет область применимости существующих программ, позволяя строить полные и непротиворечивые классификации в пространствах векторных описаний объектов с произвольными количествами классов и градаций на шкалах критериев в задачах большой размерности. Данный метод обеспечивает равномерную нагрузку на эксперта и качественное сохранение промежуточных результатов в виде решающих правил. Применение метода позволяет сократить количество вопросов, которые необходимо задать эксперту для построения базы экспертных знаний. Аналитически и при помощи вычислительного эксперимента показана эффективность предложенного метода.

2. Предложена гипотеза о существовании зоны «нестабильных знаний». Проведена серия экспериментов, подтверждающих указанную гипотезу.

3.В модель О.И. Ларичева представления экспертных знаний добавлены зоны «нестабильных знаний» и описания границ классов в виде совокупности решающих правил.

4. С помощью метода построения баз экспертных знаний при помощи решения упрощенных задач построены полные и непротиворечивые базы знаний для задач диагностики острого инфаркта миокарда, расслаивающей аневризмы аорты.

5. На основе построенной базы знаний для диагностики расслаивающей аневризмы аорты создана интеллектуальная обучающая система AD, которая в настоящее время используется в Учебно-научном центре по внедрению передовых медицинских технологий ГКБ им. С. П. Боткина.

Заключение

1. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов. Основы теории М.:Наука, 1990 - 240 с.

2. Алексеев В.Б. О расшифровке некоторых классов монотонных многозначных функций. // Журнал Вычислительной Математики и Математической Физики. 1976 -Т.16, № 1 - С. 189-198.

3. Асанов А.А., Кочин Д.Ю. Выявление подсознательных экспертных решающих правил в задачах многокритериальной классификации. // КИИ-2002. Труды конференции. Т. 1. -М.:Физматлит, 2002. С. 534-544.

4. Асанов А.А., Кочин Д.Ю. Метод выявления решающих правил в задачах экспертной классификации. // Научно-теоретический журнал «Искусственный интеллект» Института Проблем Искусственного Интеллекта Украинской Академии Наук, №2-2002. Украина, 2002. -С. 20-21

5. Асанов А.А., Подлипский O.K. Опыт построения большой базы экспертных знаний. // Методы поддержки принятия решений: Сборник трудов Института системного анализа Российской академии наук. М.: Эдиториал УРСС, 2001. - С. 42-50.

6. Аткинсон Р. Человеческая память и процесс обучения. М.: Прогресс, 1980-528 с.

7. Баранов В.И., Стечкин Б.С. Экстремальные комбинаторные задачи и их приложения. М.:Физматлит, 2004 - 240 с.

8. Брушлинский А.В. Субъект: мышление, учение, воображение. — М.: Изд-во "Институт практической психологии"; Воронеж: НПО "Модэк", 1996.-392 с.

9. Джексон 77. Введение в экспертные системы М.: Вильяме, 2001 -624 с.

10. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. М.: Знание, 1985. - 32 с.

11. И. Клацки Р. Память человека. Структуры и процессы. — М.: Мир, 1978-320 с.

12. Кожевников Д.Л., Ларичев О.И. Сравнение алгоритмов расшифровки монотонных функций методом статистического моделирования // Журнал вычислительной математики и математической физики. 1999. - Т. 39, № 8. - С. 1415-1421.

13. Кочин Д.Ю., Подлипский O.K. Построение баз экспертных знаний. // Моделирование процессов управления. Сборник научных трудов. М., 2004. - С. 116-123.

14. Кочин Д.Ю., Подлипский O.K. Системы неявного обучения экспертным знаниям. // Научно-теоретический журнал «Искусственный интеллект» Института Проблем Искусственного Интеллекта Украинской Академии Наук, №2-2004. — Украина, 2004. -С. 305-309.

15. Кочин Д.Ю., Подлипский O.K. О границах классов решений в задачах экспертной классификации. // Некоторые проблемы фундаментальной и прикладной математики. Сборник научных трудов.-М., 2004.-С. 103-118.

16. Ларичев. О.И. Структуры экспертных знаний. // Психологический журнал. 1995 - № 3 - С. 82-89.

17. Ларичев О.И. Компьютерная имитация человеческих рассуждений в задачах классификации. // Научно-техническая информация, серия 2 «Информационные процессы и системы» -1996 -№9с. 1-4.

18. Ларичев О.И. Структура экспертных знаний в задачах классификации. // Доклады Академии Наук 1994 - Т. 336. № 6. - С. 750-752.

19. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных Странах. М.: Логос, 2000.

20. Ларичев О.И, Мошкович Е.М. Метод непосредственной классификации и проблемы получения надежной экспертной информации // Известия АН СССР. Техническая кибернетика. 1987. -№ 1.-С. 151-161.

21. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. М.: Наука, Физматлит, 1996

22. Ларичев О.И., Асанов А.А. Метод ЦИКЛ порядковой классификации многокритериальных альтернатив // Доклады Академии Наук 2000 - Т. 375, № 5.

23. Ларичев О.И., Болотов А.А. Система ДИФКЛАСС: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной классификации // Научно-техническая информация, серия 2 «Информационные процессы и системы» -1996 -№ 9 — С. 9-15.

24. Ларичев О.И., Брук Э.И. Компьютерное обучение умениям как часть университетского образования // Университетская Книга 2000 - №5 - С. 13-15

25. Ларичев О.И., Мечитов А.И., Мошкович Е.М., Фуремс Е.М. Выявление экспертных знаний. М., Наука, 1989.

26. Ларичев О.И., Нарыжный Е.В. Компьютерное обучение экспертным знаниям // Доклады Академии наук 1998 — Т. 332.

27. Ларичев О.И., Нарыжный Е.В. Компьютерное обучение процедуральным знаниям. // Психологический журнал — 1999 Т. 20, №6-С. 53-61.

28. Ларичев О.И., Нарыжный Е.В. Компьютерное обучение экспертным правилам в задачах классификации. // Научно-техническая информация, серия 2 «Информационные процессы и системы» - 1996 - № 9.

29. Ларичев, О.И., Нарыжный, Е.В., Кузнецова, В.П., Брук, Э.И. Новые возможности компьютерного обучения. // Вестник Российской Академии Наук 1999 - Т. 69, №2 - С. 106-119.

30. Макаров И.М., Виноградская Т.М., Рубчинский А.А., Соколов В.Б. Теория выбора и принятия решений: Учебное пособие М.: Наука, 1982-328 с.

31. Макеев С.П., Шахнов И.Ф. Упорядочение альтернатив на основе расплывчатых оценок // Сообщения по прикладной математике. — М.: ВЦАН СССР, 1989.-42 с.

32. Миллер Д.А. Магическое число семь плюс или минус два. О некоторых пределах нашей способности перерабатывать информацию. // Инженерная психология. М.: Прогресс, 1964. — С. 192-225.

33. Ногин В.Д. Принятие решений в многокритериальной среде — М.: Физматлит, 2002 176 с.

34. Оре О. Теория графов М.: Наука, 1980 - 336 с.

35. Подлипский O.K. Экспертные обучающие системы. // Труды XL VI научной конференции Московского физико-технического института (государственного университета). Современные проблемы фундаментальных и прикладных наук. Часть X. М., 2003. - С.9.

36. Руа Б. Проблемы и методы принятия решений в задачах с многими целевыми функциями. // В сб. Вопросы анализа и процедуры принятия решений. М.: Мир, 1976 - С.20-58.

37. Саймон Г., Чинг Ц. Распознавание, мышление и обучение как информационные процессы. // Психологический журнал 1988 - Т.9, №2-С. 33-46.

38. Сачков В.Н. Комбинаторные методы дискретной математики. -М.гНаука, 1977-320 с.

39. Соколов Н.А. Об оптимальной расшифровке монотонных функций алгебры логики. // Журнал вычислительной математики и математической физики. 1982 - Т. 22, № 2 - С. 449-461.

40. Соколов Н.А. Оптимальная расшифровка монотонных булевых функций. // Журнал вычислительной математики и математической физики.-1987-Т. 27, № 12-С. 1878-1887.

41. Солсо Р.Л. Когнитивная психология. М.: Тривола, 1996.

42. Финн В.К. Интеллектуальные системы: проблемы их развития и социальные последствия. // Будущее искусственного интеллекта М.: Наука, 1991-С. 157-177.

43. Фуремс ЕМ., Гнеденко Л.С. Система STEPCLASS: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной диагностики // Научно-техническая информация, серия 2 «Информационные процессы и системы» — 1996 — № 9 — С. 16-20.

44. Харари Ф. Теория графов М. Мир, 1973 — 302 с.

45. Эрдёш П., Спенсер Дж. Вероятностные методы в комбинаторике. -М.: Мир, 1976.

46. Anderson J.R. Acquisition of a Cognitive Skill. // Psychological Review. 1982 -V.4, № 89. - P. 369-406.

47. Anderson JR. Rules of the Mind. Hillsdale. NJ: Er-Ibaum, 1993 -320 p.

48. Anderson J.R., Corbett A.T., Koedinger K., Pelletier R. Cognitive tutors: Lessons learned. // The Journal of Learning Sciences 1995 — №4 — P. 167-207.

49. Anderson J.R., Reder L.M., Simon H.A. Applications and Misapplications of Cognitive Psychology to Mathematics Education — 1995 Carnegie Mellon University.

50. Bordage G. Why did I Miss the Diagnosis? Some Cognitive Explanations and Educational Implications // Academic Medicine 1999 -V. 74, № 10, October Supplement - P. 318-341.

51. Ericsson K.A., Charness N. Expert Performance. Its Structure and Acquisition. // American Psychologist 1994 - V. 49, № 8 - P. 725-747.

52. Gobet F., Simon H. Expert chess memory: Revisiting the chunking hypothesis. // Memory 1998 - №6 - P. 225-255.

53. Ignizio J.P. Introduction to expert systems McGraw-Hill, Inc, 1991 -402 p.

54. Katona G.O.H. Extremal problems for hypergraphs Mathematical centre tracts - 1974 - V. 56 - P. 13-42.

55. Kochin D., Podlipsky O. Building Implicit Learning Systems for Teaching Expert Knowledge. // EURO XX. 20th European Conference on

56. Operational Research. OR and the Management of Electronic services. Abstract Book Rhodes, Greece, 2004. - P. 131.

57. Koedinger K., Anderson J.R. Effective use of intelligent software in high school math classrooms. To appear in Artificial Intelligence in Education // Proceedings of the World Conference on AI in Education -AACE: Charlottsville, VA, 1993

58. Koksalan M., Ulu C. An interactive approach for placing alternatives in preference classes. // European Journal of Operational Research — 2003 -V. 144, № 2, P. 429-439.

59. Larichev О. I. Close Imitation of Expert Knowledge: the Problem and Methods // International Journal of Information Technology and Decision Making. 2002. - V. 1, № 1. - P. 27-42.

60. Larichev O.I., Asanov A.A., Naryzhny Y. V. Effectiveness evaluation of expert classification methods // European Journal of Operational Research. 2002 - V. 138, №. 2. - P. 260-273.

61. Larichev O. /., Kochin D. Yu., Kortnev A.V. Decision support system for classification of a finite set of multicriteria alternatives. // Decision Support Systems 2002 - V. 33, № 1 - P.l 3-21.

62. Shanteau J. Psychological Characteristics of Agricultural Experts: Application to Expert Systems. // In A. Weiss (Ed.), Climate and Agriculture: Systems approaches to decision making. — Lincoln: University of Nebraska, 1990.

63. Schmidt H.G., Boshuizen H.P.A. On acquiring expertise in medicine. // Educational Psychology Review 1993 - №5 - P. 1-17.

64. Simon H. How big is a chunk? // Science. 1974, V. 183, P. 482-488.

65. Singley M.K., Anderson J.R. The transfer of cognitive skill. -Cambridge, MA: Harvard University Press, 1989.

66. Svenson O., Sjoberg K. Evolution of cognitive processes for solving simple additions during the first three year school years. // Scandinavian Journal of Psychology 1983 -№24-P. 117-124.

67. Wielinga B.J., Schreber A.T., Breuker J.A. KADS: A modelling approach to knowledge engineering. // Knowledge Acquisition 1992 -V4, №1 - P. 5-53

68. Zhu X, Simon H.A. Learning mathematics from examples and by doing. // Cognition and Instruction 1988 - №4 - P. 137-166.