автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Метод комбинирования парных сравнений и система интеллектуальной поддержки для многокритериального выбора

Введение

1. Методы выделения лучших альтернатив по многим критериям

1.1 Метод анализа иерархий (Analytic Hierarchy Process)

1.2 Методы сравнительного превосходства (ELECTRE)

1.3 Теория многомерной полезности (ТМП)

1.4 Метод аддитивных полезностей (UTA)

1.5 Метод ЗАПРОС

1.6 Выводы

2. Метод КОМПАС выделения подмножества наилучших альтернатив 28 ® 2.1 Назначение метода

2.2 Структуризация проблемы

2.3 Формализация предпочтений ЛПР

2.4 Выявление предпочтений ЛПР

2.5 Процедура вывода

2.6 Проверка и устранение противоречий

2.7 Определение очередности сравнения альтернатив

2.8 Учет индивидуальных способностей ЛПР 47 ф 2.9 Блок-схема метода

2.10 Сравнение с другими методами.

3. Модель предпочтений ЛПР

3.1 Описание свойств предпочтений в логике предикатов первого порядка.

3.2 Сравнение произвольных векторных оценок и проверка противоречивости предпочтений ЛПР

3.3 Упрощенная модель предпочтений ЛПР

3.4 Необходимые условия сравнимости векторных оценок и

Ш противоречивости предпочтений ЛПР

3.5 Объяснение выведенных сравнений

3.6 Разбор противоречий

3.7 Парето оптимальность

3.8 Выводы

4. Модель прогнозирования предпочтений ЛПР

4.1 Функция прогнозирования

4.2 Функция прогнозирования и функция ценности

4.3 Выбор векторных оценок, предъявляемых для сравнения

4.4 Процедура опроса

4.5 Выводы

5. Система поддержки принятия решений UniComBOS.

5.1 Структуризация

5.2 Процедура выявления предпочтений ЛПР

5.3 Цветовая дифференциация

5.4 Анализ и устранение противоречий

5.5 Представление и объяснение результатов сравнения

5.6 Программная реализация СППР.

5.7 Выводы. 100 Заключение 101 Приложение 1 Описание свойств предпочтений с помощью дизъюнктов 103 Приложение 2 Доказательство Теоремы 1 110 Приложение 3 Алгоритм проверки сравнимости векторных оценок 118 Литература 121 Список иллюстраций 128 Список таблиц

• Сложные задачи выбора, составляющие основу принятия решений как особого процесса человеческой деятельности, возникают в различных сферах - как деловых, так и личных. Выбор стратегии развития организации, новых проектов, рынков сбыта, поставщиков сырья, персонала - все это примеры деловых задач принятия решений для руководителей государственных и частных организаций. Выбор профессии, работы, места проживания и отдыха - вот далеко не полный перечень важнейших личных задач, которые приходится решать человеку на протяжении всей своей жизни. Сложность выбора определяется двумя основными факторами.

Прежде всего, принятие решений осуществляется в условиях неопределенности. Делая выбор, ЛПР явно или неявно основывает его на последствиях принимаемых им решений, и эти последствия невозможно точно предугадать. Второй фактор связан с многокритериальностью или многоаспектностью вариантов решений, при этом по одним критериям один вариант лучше, а по другим - иной. Решение задачи выбора зависит также от психологических особенностей человека, ограничивающих его когнитивные возможности. Во избежание чрезмерной нагрузки, человек, как правило, использует различные эвристические приемы. Однако такие эвристики могут приводить к противоречиям и нерациональному выбору. Такие задачи определяются как слабоструктурируемые, поскольку требуют учета и качественных, и количественных аспектов, причем качественные, малоизвестные и неопределенные аспекты проблем имеют тенденцию доминировать.

Важность и сложность проблем принятия решений обуславливает необходимость исследований, направленных на изучение того, как люди принимают решения, разработку специальных методов и компьютерных систем поддержки принятия решений (СПГТР) для осуществления разумного и рационального выбора. Существенные результаты в этой области были q получены в работах М.А.Айзермана, Л.Заде, Р.Л.Кини, О.И.Ларичева,

Б.Г.Миркина, О.Моргенштерна, Дж.фон Неймана, В.Д.Ногина, В.В.Подиновского, Г.Райфа, Б.Руа, Т.Саати, П.Фишберна, К.Эрроу и других.

В последнее время наблюдается повышенный интерес к качественным методам поддержки принятия решений, т.е. методам, которые не используют преобразование высказываний ЛПР о своих предпочтениях в числовые зависимости. Однако узким местом вербального анализа решений остается высокая доля несравнимых вариантов и большое число вопросов для выявления предпочтений ЛПР. В связи с этим весьма актуальной является ® разработка новых методов, помогающих человеку выбирать предпочтительные варианты решений. Такие методы должны брать на себя трудности, связанные с учетом многих критериев, эффективно организовывать диалог с ЛПР и обеспечивать получение и объяснение результата, вызывающего доверие у ЛПР.

Следует отметить, что критерии могут быть как объективные, так и субъективные [Кини и др. (1976)]. Объективные критерии отражают измеримые характеристики альтернатив, и для них существует естественное ® отображение на числовую шкалу. Однако и для таких критериев не всегда возможно указать направление на шкале, в котором возрастает предпочтительность, как, например, в случае, когда нахождение значения критерия на определенном отрезке шкалы приемлемо, а выход за пределы этого отрезка нежелателен. Для многих задач нет естественного и однозначного отображения характеристик альтернатив на числовую шкалу. Такие характеристики и соответствующие им критерии называются субъективными. В большом числе методов принятия решений, тем не менее, формируются числовые шкалы для таких критериев и предлагаются ® процедуры построения отображения альтернатив на шкалы. Информация, требуемая от ЛПР в этих процедурах, может неоднозначно интерпретироваться самим ЛПР. Для адекватного отражения своих предпочтений ЛПР полезно иметь представление о механизме выбора, используемом в данном методе. Например, в методе анализа иерархий ЛПР, выбирая определенный вербальный уровень предпочтения одной оценки другой, фактически указывает, во сколько раз отличаются оценки по предпочтительности (в 1, 3, 5, 7 или 9 раз).

Цель данной работы заключается в создании математически и психологически обоснованного интерактивного метода многокритериального выбора лучших альтернатив на основе качественной информации о предпочтениях ЛПР, а также в реализации этого метода в СППР.

Разработанный метод КОМПАС предназначен не для принятия решения за ЛПР, а для помощи в структуризации его предпочтений и автоматизация этапов их обработки для нахождения наилучшего решения. Этот метод отличается от большинства существующих тем, что в нем шкалы критериев формируются только из оценок реальных альтернатив, в нем не используются количественные преобразования предпочтений ЛПР, предпочтения выявляются путем сравнения векторных оценок, отличающихся по одному, двум, трем и т.д. критериям, совокупность предпочтений проверяется на непротиворечивость, сравнения реальных альтернатив, полученных с помощью метода пошагово объясняются. Недостаток метода заключается в том, что в общем случае нельзя гарантировать выбор единственной лучшей альтернативы (это зависит от конкретной задачи и предпочтений ЛПР).

Метод КОМПАС предназначен для случаев, когда предпочтения ЛПР транзитивны и критерии независимы по предпочтению. В отличие от других методов, использующих такие же предположения, в методе КОМПАС их справедливость оперативно проверяется в ходе выявления предпочтений ф ЛПР.

В методе КОМПАС реализованы новые подходы к выявлению предпочтений ЛПР, выделению подмножества наилучших элементов, объяснению результатов и разбору противоречий. Каждый элемент частичного квазипорядка, построенного на альтернативах, может быть объяснен по запросу ЛПР. Объяснить сравнение пары векторных оценок, описывающих альтернативы, значит найти последовательность сравнений векторных оценок, причем каждый элемент этой последовательности либо сравнение, сделанное самим ЛПР, либо прямое следствие предыдущих ® сравнений. Объяснение, полученное как вывод формулы в логике предикатов первого порядка, предъявляется ЛПР как обычное логическое рассуждение в терминах альтернатив, критериев и оценок. Исходные данные для объяснения - это ответы ЛПР (сравнения векторных оценок) и свойства его предпочтений. Аналогичным образом анализируются противоречия в предпочтениях ЛПР. При этом каждый элемент доказательства противоречия представляет собой преобразование ответов ЛПР, и ЛПР может либо не согласиться с таким преобразованием, либо изменить свой ответ. Такая Ш процедура позволяет определить причину противоречия и устранить ее.

В методе КОМПАС предлагается системный подход к решению задачи выделения подмножества наилучших альтернатив. Метод позволяет проверить его адекватность для конкретной задачи, учитывает возможности человека сравнивать векторные оценки и допускать при этом ошибки. С помощью метода КОМПАС ЛПР формирует единую политику сравнения векторных оценок (согласованную систему предпочтений).

На основе метода КОМПАС создана компьютерная СППР UniComBOS, реализованная на языке программирования Java, что позволяет работать на большинстве современных вычислительных платформ. В ней организован эффективный диалог с ЛПР для выявления его предпочтений и помощи в выделении подмножества наилучших альтернатив. Особое внимание уделяется удобству выявления предпочтений ЛПР и информативности представления результатов решения задачи.

Теоретические исследования основаны на методах системного анализа, теории принятия решений, дискретной математики, логике предикатов первого порядка, теории графов, анализа вычислительной сложности алгоритмов, теории линейного программирования и аналитической геометрии.

Метод КОМПАС и СППР UniComBOS использовались на практических занятиях по курсу «Принятие решений» на факультете прикладной математики Университета г. Ювяскула в 2001-2003 годах. Система UniComBOS применялась на факультете строительных технологий и управления Технического университета имени Гедиминаса, Вильнюс, Литва, для решения задачи выбора варианта типового договора на выполнение строительных работ.

Первая глава содержит аналитический обзор существующих методов принятия решений при многих критериях. Рассмотрены основные особенности таких методов, выделенны их достоинства и недостатки.

Теория многомерной полезности, метод аналитической иерархии и методы сравнительного превосходства имеют свои достоинства, главным из которых является практически всегда реализуемая возможность выбора лучшей альтернативы или линейного упорядочения альтернатив. Однако все они имеют общий недостаток, связанный с недостаточным вниманием, уделяемым проблеме выявления предпочтений ЛПР. Психологические эксперименты свидетельствуют о том, что люди выполняют количественные измерения субъективных факторов со значительными ошибками. Кроме того, такие методы "не прозрачны" для ЛПР, поскольку используемые в них операции с количественными оценками невозможно объяснить ЛПР, что не способствует доверию к полученными результатам.

Вербальный анализ решений устраняет эти недостатки, поскольку предпочтения ЛПР выявляются в "качественном" виде, т.е. на языке, привычном ЛПР, и выявленные таким образом предпочтения не подвергаются никаким количественным преобразованиям. На них выполняются только операции сравнения ("лучше", "хуже" и "эквивалентно"). Результаты, получаемые в ходе анализа предпочтений, объясняются ЛПР. Однако существующие методы вербального анализа решений обладают слабой решающей способностью, т.е. оставляют большое число альтернатив несравнимыми. В основном, это обусловлено недостаточным объемом используемой информации о предпочтениях ЛПР, которая ограничивается сравнением альтернатив, отличающихся оценками только по двум критериям.

На основе проведенного анализа сделан вывод о необходимости разработки метода, базирующегося на принципах вербального анализа решений и обеспечивающего высокий уровень сравнимости альтернатив.

Во второй главе описывается новый метод КОМПАС (Комбинирование Парных Сравнений), предназначенный для решения широкого круга задач индивидуального многокритериального выбора, связанных с выделением подмножества наилучших альтернатив (вариантов, объектов, способов действия, стратегий).

В начале проводится структуризация решаемой задачи. Имеется конечная совокупность альтернатив, характеризуемых многими количественными (числовыми) или качественными (вербальными) признаками. Часто альтернативы могут быть получены только в результате сложного творческого процесса с участием экспертов из различных областей знаний. После этапа структуризации задачи будут сформированы множества реальных альтернатив, критериев, шкал критериев и векторных оценок альтернатив А. Требуется выделить подмножество наилучших альтернатив с учетом предпочтений ЛПР.

Метод основан на разработанном автором математическом аппарате сравнения многокритериальных описаний альтернатив в логике предикатов первого порядка на основе предпочтений ЛПР. Метод включает новые алгоритмы для выявления и устранения противоречий в предпочтениях ЛПР и выбора минимального подмножества лучших альтернатив из заданного множества на основе предпочтений ЛПР. Кроме того, предлагается подход к сокращению числа обращений к ЛПР при выявлении его предпочтений. Выводится необходимое условие противоречивости предпочтений ЛПР при неполной информации.

В третьей главе изложена модель предпочтений ЛПР, механизмы проверки непротиворечивости предпочтений и сравнимости произвольных векторных оценок. Последний механизм используется для выделения подмножества наилучших альтернатив.

В четвертой главе приведена модель прогнозирования предпочтений ЛПР и основанная на ней процедура формирования векторных оценок, предъявляемых ЛПР для сравнения.

В пятой главе описывается СППР UniComBOS, предназначенная для помощи ЛПР в решении слабоструктурируемых задач выбора при многих критериях и реализующая метод КОМПАС. Она содержит визуальные диалоговые компоненты для обмена информацией с ЛПР, автоматизированные процедуры проверки сравнимости произвольных векторных оценок, объяснения, поиска и устранения противоречий в диалоге с ЛПР. Основные компоненты СППР UniComBOS приведены на рисунке 2.

Характерной особенностью СППР UniComBOS является использование специальной цветовой индикации векторных оценок, для облегчения ответов ЛПР при выявлении его предпочтений. Группы оценок, ф отражающие достоинства и недостатки сравниваемых векторных оценок, выделяются разными цветами. Например, сравнение трехкритериальных векторных оценок выполняется только после сравнения одно- и двухкритериальных векторных оценок. Поэтому системе "известно", какие одно- и двухкритериальные векторные оценки в каждой паре трехкритериальных векторных оценок ЛПР считает лучшими, а какие худшими. Каждую пару трехкритериальных векторных оценок можно разбить на пару однокритериальных векторных оценок и пару двухкритериальных векторных оценок тремя разными способами. Это дает 9 дополнительные возможности для проверки согласованности ответов ЛПР, поскольку каждая пара таких векторных оценок показывается три раза в разном представлении с применением разной цветовой индикации, и три результата сравнения проверяются на идентичность.

В заключении приводятся основные результаты и выводы, полученные в диссертационной работе.

Основные результаты работы следующие:

• Проведен анализ существующих методов решения задачи выбора при многих критериях, выявлена необходимость разработки математически и психологически корректных методов, обеспечивающих высокую сравнимость альтернатив.

• Разработан метод вербального анализа решений КОМПАС, который, используя качественную информацию о структуре задачи и предпочтениях ЛПР, помогает ему выделить подмножество наилучших альтернатив.

• Построена модель предпочтений ЛПР в логике предикатов первого порядка.

Найдены необходимые условия сравнимости произвольных векторных оценок и противоречивости предпочтений ЛПР.

Разработан алгоритм выделения подмножества наилучших альтернатив из заданного множества на основе предпочтений ЛПР. Предложены процедуры выявления и устранения противоречий в предпочтениях ЛПР, которые позволяют определить причину противоречивости.

Разработана процедура контроля и учета ошибок, допускаемых ЛПР при сравнении многокритериальных альтернатив, для оценки надежности информации о его предпочтениях.

Предложена процедура эффективной организации опроса ЛПР для сокращения времени решения задачи. Проанализированы свойства этой процедуры.

Предложена новая процедура объяснения результатов, которая представляет собой рассуждения в терминах сравнений векторных оценок.

Разработана СППР с удобным пользовательским интерфейсом, реализующая метод КОМПАС.

Заключение

Рассматривается задача выбора лучшего объекта из заданного множества. Выбор осуществляется на основе специальной информации о предпочтениях ЛПР определенного вида. Предлагаемый подход базируется на предположениях о независимости критериев по предпочтению и транзитивности предпочтений, которые, как правило, верны для обширного класса задач. Определяются необходимые и достаточные условия для выявления несогласованности предпочтений. Несогласованность может возникнуть в результате ошибки при выявлении предпочтений ЛПР, либо из-за того, что для данной задачи не выполняются указанные предположения. Важно отметить, что выбор единственного объекта из множества не гарантируется. Число объектов, попадающих в группу лучших, определяется информацией о предпочтениях ЛПР, и может быть сокращено с помощью дополнительной информации. Так как описанный подход используется в компьютерной системе поддержки принятия решений, предлагаются некоторые дополнительные шаги, дающие представление об алгоритме решения задачи с помощью компьютера.

1. Айзерман М.А., Вольский В.И., Литваков Б.М. Элементы теории выбора. Псевдокритерии и псевдокритериальный выбор. М.: Нефтяник. 1994.

2. Ашихмин И.В. Анализ предпочтений ЛПР на частичных описаниях многокритериальных объектов. // Методы поддержки принятия решений. Т. 12, М.: Едиториал УРСС, 2005, с. 7-15.

3. Ашихмин И.В. Выбор лучшего объекта на основе отношения предпочтения на частичных описаниях объектов. // Искусственный интеллект. 2004, №2, с. 11-16.

4. Ашихмин И.В., Ройзензон Г.В. Выбор лучшего объекта на основе парных сравнений на подмножествах критериев. // Методы принятия решений. М.: Едиториал УРСС, 2001 г., с. 51-71.

5. Ашихмин И.В., Ройзензон Г.В., Фуремс Е.М. Упорядочивание объектов на основе парных сравнений на подмножествах критериев. // Труды международного конгресса "Искусственный интеллект в XXI веке". T.l, М.: Физматлит, 2001, с. 463-470.

6. Ашихмин И.В., Фуремс Е.М. Интеллектуальная поддержка многокритериального выбора система UniComBOS. // Первая международная конференция «Системный анализ и информационные технологии» (САИТ-2005): Труды конференции. T.l, М.: КомКнига, 2005, с. 236-239.

7. Ашихмин И.В., Фуремс Е.М. СППР UniComBOS для выбора лучшего объекта по многим критериям. // Искусственный интеллект 2004, №2, с. 243247.

8. Ашихмин И.В., Фуремс Е.М. UniComBOS интеллектуальная система поддержки принятия решений для сравнения и выбора многокритериальных объектов. // Методы поддержки принятия решений. М.: Едиториал УРСС, 2005, Т.12, с. 16-25.

9. Ашманов С.А. Линейное программирование. М.: Наука. Главная редакция физико-математической литературы. 1981.

10. Берж К. Теория графов и ее применения. М.: Иностранная литература.1962.

11. Биркгоф Г. Теория структур. М.: Иностранная литература. 1952.

12. Буянов Б.Б. Построение процедур сбора информации о предпочтениях в многокритериальных задачах. // Многокритериальные задачи принятия решений. М.: Машиностроение, 1978, с. 96-105.

13. Вагин В.Н., Головина Е.Ю., Загорянская А.А., Фомина М.В. Достоверный и правдоподобный вывод в интеллектуальных системах, Москва, Физматлит, 2004.

14. Верещагин Н.К., Шень А. Лекции по математической логике и теории алгоритмов. Языки и исчисления. Москва, МЦНМО, 2000.

15. Гнеденко JI.С., Фуремс Е.М. Эффективная процедура выявления ф нарушений транзитивности при попарных сравнениях. // Сборник трудов

16. ВНИИСИ, Москва, 1990, т. 10.

17. Гэри М., Джонсон Д., Вычислительные машины и труднорешаемые задачи. М.: Мир, 1982.

18. Девятков В.В., Системы искусственного интеллекта. М.: Издательство МГТУ имени Н.Э. Баумана, 2001.

19. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981.щ Клини С. Математическая логика. М.: Мир, 1973.

20. Кузнецов А.В., Сакович В.А., Холод Н.И. Высшая математика: Математическое программирование. Учебник. Мн.: Вышэйшая школа, 1994.

21. Ларичев О.И. объективные модели и субъективные решения. М.: Наука, 1987.

22. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учебник. М.: Логос, 2000.

23. Ларичев О.И., Ашихмин И.В., Ройзензон Г.В., Фуремс Е.М. ^ Поддержка выбора лучшего объекта на основе независимости критериев попредпочтениям и транзитивности. // Новости искусственного интеллекта. 2003, №4, с. 12-19.

24. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решения. М.; Физматгиз, 1996.

25. Ларичев О.И., Петровский А.Б. Системы поддержки принятия решений: современное состояние и перспективы развития. // Итоги науки и техники. Т. 21, М.: ВИНИТИ, 1987.

26. Лорьер Ж.-Л. Системы искусственного интеллекта. М.: Мир, 1991.

27. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974.

28. Нейман Дж. фон, Моргенштерн О. Теория игр и экономическое поведение. М.: Наука, 1970.

29. Ногин В.Д. Принятие решений в многокритериальной среде. М. Физматлит, 2002.

30. Озерной ВД, Гафт М.Г., Многокритериальные задачи принятия решений. // Проблемы принятия решений. М.: Наука, 1980.

31. Озерной BJVJ., Гафт М.Г., Методология решения дискретных мнгокритериальных задач. // Многокритериальные задачи принятия решений. М.: Машиностроение, 1978, с. 14-47.

32. Пападимитриу X., Стайнглиц К., Комбинаторная оптимизация. Алгоритмы и сложность. М.: Мир, 1985.

33. Подиновский В.В. Об относительной важности критериев в многокритериальных задачах принятия решений. // Многокритериальные задачи принятия решений. М.: Машиностроение, 1978, с. 48-92.

34. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М.: Наука, 1982.

35. Робинсон Дж.А. Машино-ориентированная логика, основанная на принципе резолюции. // Кибернетический сборник, вып. 7. М.: Мир 1970, с. 194-218.

36. Руа Б. Проблемы и методы принятия решений в задачах с многими целевыми функциями. // Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.

37. Руа Б. Классификация и выбор при наличии нескольких критерив. // Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.

38. Саймон Г. Науки об исскуственном. М.: Мир, 1972.

39. Слэйгл Дж. Искусственный интеллект. Москва, Мир, 1973.

40. Солсо P.JI. Когнитивная психология. М.: Тривиола, 1996.

41. Фишберн П. Теория полезности для принятия решенй. М.: Наука, 1978.

42. Хачиян JI. Г. Полиномиальный алгоритм в линейном программировании. ДАН СССР, 1979, Т. 244, № 5, с. 1093—1096.

43. Хачиян JI. Г. Полиномиальные алгоритмы в линейном программировании. ЖВМ и МФ, 1980, Т. 20, № 1, с. 51—68.

44. Чень Ч., Ли Р. Математическая логика и автоматическое доказательство теорем. М.: Наука, 1983.

45. Штойер Р. Многокритериальная оптимизация. Теория, вычисления и приложения. М.: Радио и связь, 1992.

46. Юдин Д.Б., Гольштейн Е.Г., Линейное программирование. Теория, методы и приложения. М.: Наука, 1969.

47. Ashihmin I.V., Furems Е.М. Decision Support System for the Best Object Selection with Inconsistency Control. // Abstracts of 58th Meeting of the European Working Group Multiple Criteria Decision Aiding. Moscow, URSS, 2003, pp. 5-6.

48. Debreu G., Topological methods in cardinal utility theory. Mathematical Methods in the Social Sciences, K. J. Arrow, S. Karlin, and P.Suppes, eds. Stanford Cal.(1960)

49. Fischoff B. The real world: What good is it? Organizational Behavior and Human Decision Processes, 1996, №65, pp. 232-248.

50. Jacquet-Lagreze E., Siskos Y., Assessing a set of additive functions for multicriteria decision making: The UTA method. // European Journal of Operational Research. 1982, №10(2), pp. 151-164.

51. Keeney R., H. Raiffa. Decisions with Multiple Objectives: Preferences and Value Tradeoffs. New York, John Wiley & Sons, 1976.

52. Mechitov A.I., Moshkovich H.M., and Olson D.L. Problems of decision rules elicitation in a classification task. // Decision Support Systems, 1994, №12, pp. 115-126.

53. Montgomery H., Svenson O. A think-aloud study of dominance structuring in decision processes. // In: H. Montgomery, O. Svenson (eds.). Process and Structure on Human Decision Making, J. Wiley and Sons, Chichester 1989.

54. Moshkovich H.M., Mechitov A.I., Olson D.L. Ordinal judgements in multiattribute decision analysis. // European Journal of Operational Research. 2002, №137, 625-641.

55. Roy B. Multicriteria Methodology for Decision Aiding. Dordrecht: Kluwer Academic Publisher. 1993.

56. Russo J. E., Rosen L. D. An eye fixation analysis of multiattribute choice. // Memory and Cognition. 1975, №3, pp. 267-276.

57. Tversky A. Intransitivity of preferences. // Psychological Review. 1969, №76, pp. 31-48.1. Список иллюстраций

58. Рисунок 2-1 Блок схема процедуры выявления предпочтений ЛПР.49

59. Рисунок 4-1 Функция прогнозирования после 33-го ответа ЛПР (построеныпорядки на шкалах критериев).75

60. Рисунок 4-2 Функция прогнозирования после 45-го ответа ЛПР.76

61. Рисунок 4-3 Функция прогнозирования после 84-го (последнего) ответа ЛПР77

62. Рисунок 4-4. Доля правильных ответов в зависимости от номера вопроса.83

63. Рисунок 4-5 Зависимость агрегированной доли правильных предсказанийначиная с n-го вопроса.83

64. Рисунок 4-6 Блок схема диалога с ЛПР.86

65. Рисунок 5-1. Структуризация проблемы.90

66. Рисунок 5-2 Сравнение оценок по одному критерию.91

67. Рисунок 5-3. Сравнение двухкритериальных векторных оценок.92

68. Рисунок 5-4. Сравнение трехкритериальных векторных оценок.93

69. Рисунок 5-5. Сравнение тех же векторных оценок в другом представлении .94

70. Рисунок 5-6. Анализ противоречия.96

71. Рисунок 5-7. Результаты.97

72. Рисунок 5-8 Компоненты СППР UniComBOS.98

73. Рисунок 5-9. Классы визуализации предпочтений ЛПР.100