автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Интерактивные методы снижения размерности признакового пространства в задачах многокритериального принятия решений

На правах рукописи

Ройзензон Григорий Владимирович

Интерактивные методы снижения размерности признакового пространства в задачах многокритериального принятия решений

Специальность 05.13.10 Управление в социальных и экономических системах (технические науки)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва —2008

003449929

Работа выполнена в лаборатории «Методы и системы поддержки принятия решений» в Учреждении Российской академии наук Институте системного анализа РАН

Научный руководитель:

доктор технических наук Петровский Алексей Борисович Официальные оппоненты:

доктор технических наук,

профессор Местецкий Леонид Моисеевич

кандидат технических наук Моргоев Владимир Кимович

Ведущая организация: Учреждение Российской академии

наук Санкт-Петербургский институт информатики и автоматизации РАН

Защита состоится « /7 » (Шя^я 2008 г. в //.-00 часов на заседании специализированного совета Д.002.086.02 в Учреждении Российской академии наук Институте системного анализа РАН по адресу: 117312, г. Москва, пр-т 60-летия Октября, 9, ауд. 1206.

С диссертацией можно ознакомиться в библиотеке Учреждения Российской академии наук Институте системного анализа РАН

Автореферат разослан « /5 » 6)кпт/Г/*ч, 2008 г.

Ученый секретарь диссертационного совета Д 002 086.02

д.т.н. А.И. Пропой

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы диссертации. Достаточно часто в задачах многокритериального принятия решений - выделении лучших вариантов, ранжировании и классификации альтернатив - необходимо сравнивать объекты, которые характеризуются разнообразными признаками: техническими, экономическими, политическими, эксплутационными и иными. Примерами таких задач служат оценка результативности научных проектов, выбор вычислительных кластеров, оценка риска при выдаче банковских кредитов и др.

Методы и подходы к решению задач многокритериального выбора и классификации разработаны в трудах отечественных и зарубежных ученых: С.А. Айвазяна, В.А. Глотова, Н.Г. Загоруйко, Л. Заде, Д. Канемана, Э. Квей-да, P.JI. Кини, Г. Крона, О.И. Ларичева, Б.Г. Литвака, A.B. Лотова, В.Д. Ногина, Л.М. Местецкого, Дж.А. Миллера, Б.Г. Миркина, А.И. Орлова, В.В. Павельева, А.Б. Петровского, В.В. Подиновского, Д.А. Поспелова, И. Пфан-цагля, X. Райфы, A.C. Рыкова, Т. Саати, П. Словика, В.Л. Стефанюка, С.С. Стивенса, А. Тверски, В.К. Финна, И.Ф. Шахнова и других. Эти методы различаются способами получения, обработки и представления информации о свойствах объектов и предпочтениях лица, принимающего решение (ЛПР).

Вместе с тем непосредственная классификация или сравнение альтернатив, описываемых большим числом признаков, и в особенности качественных признаков, является трудоемкой процедурой, которая требует значительных временных затрат ЛПР, что нередко существенно затрудняет применение на практике методов принятия решений. Когда же сравниваемых объектов мало (3-5), а их признаки различны по значениям и многочисленны (десятки и сотни), такие объекты, как правило, оказываются формально несравнимыми по своим свойствам.

Исследования в области когнитивной психологии продемонстрировали склонность людей использовать различные способы «группировки информации» применительно к проблемам выбора, в которых объекты описываются большим числом признаков. Так, при решении задач классификации большой размерности ЛПР зачастую применяет различные упрощенные стратегии с использованием только части критериев, что облегчает построение границ классов решений, но может негативно повлиять на выработку решающих правил и дальнейший анализ полученных результатов.

Эти обстоятельства диктуют необходимость разработки специальных методов обработки информации, обеспечивающих решение задач многокритериального выбора и классификации в пространствах большой размерности.

Одним из способов преодоления указанных трудностей при сравнении многокритериальных объектов является сокращение размерности признакового пространства и использование дополнительных, психологически корректных операций получения информации от ЛПР и экспертов. Специальные

исследования показали, что человеку легче сравнивать объекты по небольшому числу показателей, результаты таких сравнений более надежны и их проще анализировать. Человек более надежно и с меньшим числом ошибок оперирует с качественными, вербальными данными, нежели с количественными, числовыми.

Для упрощения процедуры сравнения и/или классификации многопризнаковых объектов по их свойствам при решении задачи выбора ЛПР должен иметь в своем распоряжении соответствующий инструментарий, который позволяет агрегировать большое число характеристик объектов в небольшое число критериев, имеющих небольшие вербальные шкалы оценок, отражающие предпочтения ЛПР. Перечисленное выше обусловливает актуальность проведения исследований, разработку методов и процедур снижения размерности признакового пространства и их программную реализацию.

Цели и задачи исследования. Целью диссертации является разработка методов интерактивного снижения размерности пространства, образованного дискретными качественными (вербальными) признаками, которые позволяют существенно сократить трудоемкость применения на практике различных нормативных методов принятия решений (классификации, ранжирования, выбора наилучшей многокритериальной альтернативы) и предоставляют ЛПР дополнительные возможности для содержательного анализа полученных результатов решения проблемы.

Для достижения поставленной цели в диссертационной работе поставлены и решены следующие задачи:

• проведен критический анализ современных методов многокритериального принятия решений, ориентированных на задачи стратегического и тактического выбора, и особенностей их применения в большом признаковом пространстве;

• рассмотрены существующие методы снижения размерности признакового пространства и возможности их использования в слабо структурируемых задачах принятия решений, для которых характерно сочетание количественных и качественных зависимостей;

• предложен методологический подход к снижению размерности признакового пространства, обеспечивающий решение слабо структурируемых задач многокритериальной классификации и выбора;

• разработаны интерактивные методы и алгоритмы снижения размерности признакового пространства, использующие разные способы конструирования шкал составных критериев более высокого уровня иерархии;

• предложены процедуры анализа полученных результатов для разных способов многокритериального выбора с целью оценки качества выработанных решений;

• созданы программные средства, реализующие предложенные методы и алгоритмы, проведена их апробация при решении практических задач.

Методы исследования. Методы теории принятия решений, теории множеств и мультимножеств, теории графов, теории измерений, системного анализа, искусственного интеллекта и когнитивной психологии.

Результаты, выносимые на защиту:

• Методологический подход к снижению размерности признакового пространства, облегчающий и упрощающий решение слабо структурируемых задач многокритериальной классификации и выбора.

• Модель формирования составного критерия и конструирования его шкалы как средство содержательного выражения предпочтений ЛПР.

• Интерактивный метод ИСКРА (Иерархическая Структуризация Критериев и Атрибутов), обеспечивающий последовательное снижение размерности признакового пространства и сочетающий при построении шкал составных критериев разные способы ранжирования и/или классификации многомерных альтернатив исходя из предпочтений ЛПР.

• Интерактивный метод ПАКС (Последовательное Агрегирование Классифицируемых Состояний) порядковой классификации альтернатив, оцененных по многим качественным критериям с вербальными шкалами, объединяющий разные способы последовательного агрегирования исходных признаков.

• Программная реализация предложенных методов, алгоритмов и процедур и их применение при решении практических задач поддержки принятия решений.

Научная новизна:

• Предложено понятие составного критерия, позволяющее ЛПР конструировать его шкалу с использованием комбинации различных методов принятия решений.

• Предложен математический аппарат для формализации понятия составного критерия, основанный на теории графов и теории мультимножеств.

• Разработан новый интерактивный метод ИСКРА снижения размерности признакового пространства, в котором различные комбинации признаков разного уровня иерархии рассматриваются как многопризнаковые объекты, последовательно агрегируемые на основе предпочтений ЛПР в составные критерии с небольшими вербальными шкалами.

• Разработан новый интерактивный метод ПАКС порядковой классификации многокритериальных альтернатив, использующий последовательное снижение размерности пространства признаков с помощью разных способов построения решающих правил.

• Предложены процедуры сопоставления и анализа решений задач многокритериального выбора, полученных с использованием разных способов формирования составных критериев, которые позволяют ЛПР оценить качество полученного решения проблемы.

Обоснованность и достоверность научных положений обеспечиваются анализом современного состояния исследований в области многокритериального принятия решений, подтверждаются корректностью предложенных моделей, алгоритмов и согласованностью результатов, полученных при практической реализации этих моделей и алгоритмов, а также апробацией основных теоретических положений в печатных трудах и докладах на российских и международных научных конференциях.

Практическая ценность работы. Предложенные методы снижения размерности признакового пространства использованы при решении практических задач: многокритериальная оценка результативности научных проектов, многокритериальный выбор вычислительных кластеров, многокритериальная оценка степени риска при выдаче банковских кредитов.

Разработанный метод ИСКРА может быть использован на практике совместно с другими нормативными методами принятия решений, препятствием к применению которых служит большое число признаков, описывающих объекты. Предложенная концепция может быть применена для анализа данных в системах OLAP (OnLine Analytical Processing), при разработке различных интегральных показателей, например, индикатора благосостояния человека, индекса общественного здоровья и других социальных индикаторов.

Реализация результатов. Результаты диссертации использованы при выполнении проектов РФФИ 98-01-00086 (1998-2000 гг.), 99-01-00476 (19992001 гг.), 00-15-96053 (2000-02 гг.), 01-01-00514 (2001-03 гг.), 01-01-06321 (2001-03 гг.), 02-01-06286 (2002-04 гг.), 02-01-01077 (2002-04 гг.), 03-0106441 (2003 г.), 04-01-00290 (2004-06 гг.), 05-01-00666 (2005-07 гг.), 06-0789352 (2006-08 гг.), 07-07-13546 (с 2007 г.), 08-01-00247 (с 2008 г.); проектов по программам фундаментальных исследований президиума РАН «Математическое моделирование и интеллектуальные системы» (2001-05 гг.), «Фундаментальные проблемы информатики и информационных технологий» (2006-08 гг) и ОНИТ РАН «Фундаментальные основы информационных технологий и систем» (2003-08 гг.); гранта Президента Российской Федерации для поддержки ведущих научных школ НШ1964.2003.1 (2003-05 гг.); проекта № 3 научного сотрудничества между Российской академией наук и Академией Финляндии (2000-02 гг.).

Апробация работы. Результаты, представленные в работе, обсуждались и докладывались на: 3-й Московской международной конференции по исследованию операций (Москва, 4-6 апреля, 2001 г.); международном конгрессе «Искусственный интеллект в XXI веке» (Дивноморское, Краснодарский край, 3-8 сентября 2001 г.); 4-й, 5-й, 6-й и 7-й международных научных конференциях «Интеллектуализация обработки информации» (Алушта, Украина, 17-21 июня 2002 г., 14-19 июня 2004 г., 4-11 июня 2006 г., 9-14 июня 2008 г.); 8-й, 9-й, 10-й и 11-й национальных конференциях по искусственному интеллекту

с международным участием (Коломна, 7-12 октября 2002 г., Тверь, 28 сентября - 2 октября 2004 г., Обнинск, 26-28 сентября 2006 г., Дубна, 29 сентября - 3 октября, 2008 г.); международной конференции «DSS in the Uncertainty of the Internet Age» (Катовице, Польша, 13-16 июля 2003 г); международной конференции «Интеллектуальные системы» (Дивноморское, Краснодарский край, 3-10 сентября 2003 г., 3-10 сентября 2005 г., 3-9 сентября 2007 г.); 58-й международной конференции Европейской рабочей группы «Помощь в многокритериальном принятии решений» (Москва, 9-11 октября 2003 г.); 1-й и 2-й Международных конференциях «Системный анализ и информационные технологии» (Переславль-Залесский, 12-16 сентября 2005 г., Обнинск, 10-14 сентября 2007 г.); 14-й международной конференции «Знания-Диалог-Решения» (Варна, Болгария, 23 июня - 6 июля 2008 г.); 20-й международной конференции по системным исследованиям, информатике и кибернетике (Ба-ден-Баден, Германия, 24-30 июля 2008 г.); научных семинарах ИСА РАН.

Публикации. Основные результаты, полученные по теме диссертационной работы, опубликованы в 17 печатных работах (в том числе 6 публикаций в ведущих рецензируемых научных изданиях, рекомендованных ВАК, 8 в трудах научных конференций).

Личный вклад соискателя. Результаты, выносимые автором на защиту, получены автором самостоятельно. Личный вклад в совместно опубликованных работах составляет 36 печатных листов из общего объема работ 87 печатных листов.

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, списка цитируемой литературы (141 наименование) и одного приложения. Общий объем работы составляет 136 страниц, включая 27 рисунков и 19 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность диссертационной работы, формулируется ее цель, научная новизна, приводятся полученные результаты, решенные практические задачи и структура работы.

Первая глава является обзорной. Описан процесс принятия решений, показаны роли основных участников (ЛПР, экспертов, аналитика) при решении проблемы. Приведены основные типы задач принятия решений. Особо выделены слабо структурируемые задачи, в том числе задачи стратегического выбора, в которых объекты представлены большим числом количественных и качественных признаков при доминировании последних. Рассмотрены группы методов решения задач многокритериального выбора, упорядочения и классификации, представляющие различные направления в теории принятия решений, в том числе использующие числовые показатели. Основное

внимание уделено группе методов вербального анализа решений, разработанных в ИСА РАН, ориентированных на решение слабо структурируемых задач. Проведен критический анализ достоинств и недостатков разных групп методов. Отмечено, что представленные методы неудовлетворительно работают в большом пространстве признаков. Показано, что недостатки методов принятия решений при работе с объектами, характеризуемыми большим числом признаков, могут быть устранены с помощью самих же методов.

Во второй главе изложен методологический подход к снижению размерности признакового пространства. Дана постановка задачи снижения размерности признакового пространства. Представлены различные методы снижения размерности признакового пространства, указаны препятствия к их использованию применительно к слабо структурируемым задачам принятия решений. Предложены модель формирования составного критерия и конструирования его шкалы как средство содержательного выражения предпочтений ЛПР и математический аппарат для формализации понятия составного критерия с использованием теории графов и теории мультимножеств. Подчеркнут многодисциплинарный характер задачи снижения размерности признакового пространства. Прослежена связь с задачами принятия решений, системного анализа, теории измерений, искусственного интеллекта и когнитивной психологии.

Формально задача снижения размерности признакового пространства имеет следующий вид:

Ххх...хХт -» У1х...хУ„, п<т, где - исходный набор признаков, Уь...,У„ - новый набор признаков,

т - размерность исходного признакового пространства, п - размерность нового признакового пространства. Каждый из признаков имеет свою собственную шкалу 1=\,...,т, ]=\,...,п с упорядоченной градацией оценок.

Сведем задачу снижения размерности признакового пространства к построению иерархической системы критериев, в которой различные комбинации исходных признаков (кортежи оценок) последовательно агрегируются в меньшие наборы новых признаков, имеющих для ЛПР вполне определенное содержательное значение.

Введем следующее определение. Составным критерием называется интегральный показатель, который определяет выбранное ЛПР свойство вариантов, агрегирующее исходные характеристики. Каждая градация шкалы составного критерия является комбинацией оценок исходных показателей.

Переходя шаг за шагом на более высокий уровень иерархии, ЛПР может сконструировать приемлемые для него составные критерии вплоть до одного единственного.

Процедура агрегирования показателей является многоуровневой иерархической структурой со «слабыми» связями, в которой элемент нижележаще-

го уровня (оценки исходных показателей) подчинен двум и более вершинам вышестоящего уровня (оценкам составных критериев).

Представим процедуру построения шкал составных критериев в виде однотипных блоков. Блоки содержательно выделяются ЛПР в зависимости от специфики решаемой задачи. Каждый блок классификации ¡-то уровня иерархии состоит из некоторого набора признаков и одного составного критерия. В качестве объектов классификации выступают все градации оценок на шкалах признаков. Классами решений /-го уровня служат градации оценок на шкале составного критерия.

В блоке классификации (/+1)-го уровня иерархии составные критерии /го уровня считаются признаками, множество градаций оценок которых представляет собой новые объекты классификации в сокращенном признаковом пространстве, а классами решений будут теперь градации оценок на шкале составного критерия (г'+1)-го уровня. Процедура повторяется до тех пор, пока не останется единственный составной критерий верхнего уровня, шкала оценок которого образует искомые упорядоченные классы решений £)ь.где q — число классов. Тем самым устанавливается соответствие между классами решений и совокупностью исходных показателей - множеством Хь-.-Ди всех возможных комбинаций градаций оценок на шкалах критериев /=1 критериев Кх,...,Кт и находятся границы классов, что позволяет легко построить классификацию реальных альтернатив У],...,Ур, где р — число альтернатив (вариантов), оцененных по многим критериям. Для формирования шкал оценок по составным критериям ЛПР может воспользоваться несколькими процедурами.

Каждый блок г-го уровня иерархии представляет собой связный двудольный граф 0,=(1/, Е), где и - вершины графа, Е - дуги. Множеством вершин и=ХиУ являются значения исходных признаков Х={Х\>и...,^)Хт} и градации шкал составных критериев У={У1и...иУ„}.

Г 1 ( )

V У,*1 У.1 у*"

Рис 2 1 Структура типового блока построения шкалы составного критерия ;-ого уровня иерархии

Дуги Е графически выражают наборы решающих правил, на основании которых выстраиваются кортежи оценок, формирующих градации шкал составных критериев (фактически это одна из форм смысловой интерпретации предпочтений ЛПР). Между одними и теми же вершинами, относящимся к разным множествам, имеет место кратность дуг, т.е. граф С, является муль-тиграфом (рис. 2.1).

Кратность дуг графа б, позволяет представить градацию }{' (/^=1,...,/?„ у-1,...,«,) шкалы составного критерия У, в виде мультимножества, т.е. множества с повторяющимися элементами:

Л^={кАГ]{х]{)охх\...,кАл(хх^)°х^\..., кАл{хт1)охт\...,кАл{хт^)охт^т}, где кАл(х,е') указывает сколько раз значение исходного признаках/' (г=1,...,/и, е,=1,...,£,) встречается в кортежах, которые формируют градацию шкалы составного критерия^/; знак ° обозначает кратность оценких,е'.

Использование понятий графа и мультимножества позволяет выстроить единую схему формализации понятия составного критерия и по-новому решать как известные задачи, в которых есть определенные сложности (например, задачи распознавания иерархических структур), так и новые виды задач.

Для построения шкапы составного критерия, ЛПР может воспользоваться комбинациями различных методов принятия решений.

Наиболее простым и легко воспринимаемым ЛПР способом конструирования порядковой шкалы составного критерия является метод стратификации кортежей, в котором используются однотипные (например, с одинаковым числом градаций) наборы порядковых вербальных шкал исходных показателей. Идея метода стратификации кортежей основана на сечении многомерного признакового пространства параллельными гиперплоскостями. Каждый слой (страта), состоящий из однотипных комбинаций оценок шкал Х„ а число таких сечений (оценок) определяется ЛПР из содержательных соображений. Максимально возможное число слоев можно рассчитать по формуле

Ь^-т+^^хЕ, , 1=1,...,т. Каждый слой образуется как комбинация кортежей

оценок шкал Х„ сумма которых фиксирована. При этом число классов ц<1 В ситуации, когда необходимо рассматривать множество всех возможных кортежей оценок в признаковом пространстве, образованном декартовым произведением значений оценок на шкапах критериев, число возможных комбинаций оценокр= П™ >'=1,

7=1

Более сложные процедуры построения шкал критериев предполагают применение методов вербального анализа решений, в которых необходимо рассматривать множество всех возможных кортежей оценок в признаковом пространстве, образованном декартовым произведением значений оценок на шкалах критериев.

Рассмотрим небольшой пример Предположим, что ЛПР необходимо построить шкапу составного критерия 0={сР,с1х,с?'}, имеющего шкалу с тремя

вербальными порядковыми оценками, из оценок базовых показателей Л={а°,а1,а2}, В={Ь°,Ь\Ь2} и С={с°,с',с2}, каждый из которых также имеет шкалы с тремя вербальными порядковыми оценками. Например, х° - отлично, х1 - хорошо, х2 - плохо.

ЛПР может применить для построения порядковой шкалы составного критерия, к примеру, метод стратификации кортежей, в котором исходные оценки объединяются в обобщенную оценку по принципу: все лучшие оценки по базовым показателям образуют одну лучшую оценку по составному критерию, все средние оценки - средние оценки, все худшие оценки - одну худшую оценку (рис. 2.2)

а°Ь1с° ... а°Ь1с2 а°Ъ2с1 ахЪгсй ... ахЪ2с2 Страты^ ^о аоьу а,6,с, а2бУ а2Ь2с2

кортежей ^о _ ^ ¿^о

| / | йх \ * \ Составной критерий О

Рис 2 2 Конструирование шкалы составного критерия с помощью метода стратификации кортежей

Воспользовавшись методом ЗАПРОС, ЛПР может сконструировать единую порядковую шкалу составного критерия, формируя ее из оценок по отдельным исходным показателям (рис. 2.3).

а0Ь0с0^>а1Ь0с0=>а0Ь0с1=>а2Ь0са=>а0Ь°с1; «Тс^Л'сЬаТсЬЛ^ЬЛУ;

=>а Ь с Ь с йг

аУс'ЬЛ'с0 ^«'ЛЪаТсЬа'^с0 /

Составной критерий й

Рис 2 3 Конструирование шкалы составного критерия с помощью метода ЗАПРОС

С помощью метода ОРКЛАСС строится полная непротиворечивая порядковая классификация многопризнаковых объектов, в качестве которых в нашем случае выступают наборы оценок по исходным показателям, образующим составной критерий (рис. 2.4).

Предложенный новый методологический подход к снижению размерности пространства качественных признаков обладает определенной универсальностью, т.к. в общем случае, может оперировать как символьной (качественной), так числовой информацией. Он может быть успешно применен в сочетании с другими методами принятия решений и обработки информации.

Составной критерий И

Рис 2 4 Конструирование шкалы составного критерия с помощью метода ОРКЛАСС

В третьей главе описаны новые интерактивные методы: метод ИСКРА снижения размерности признакового пространства, в котором различные комбинации признаков разного уровня иерархии рассматриваются как многопризнаковые объекты, последовательно агрегируемые в составные критерии на основе предпочтений ЛПР; метод ПАКС порядковой классификации многокритериальных альтернатив, основанный на снижении размерности пространства признаков с помощью разных способов построения решающих правил.

Схема решения задачи многокритериального выбора с использованием снижения размерности признакового пространства включает два этапа. На первом этапе проводится снижение размерности признакового пространства путем построения иерархической системы составных критериев. На втором этапе выполняется окончательное решение задачи выбора с использованием построенных составных (агрегированных) критериев.

Агрегирование признаков базируется на предпочтениях ЛПР. Первоначально при участии ЛПР формируется базовый набор характеристик рассматриваемых объектов. В зависимости от специфики задачи эти характеристики могут быть либо заданы заранее, либо сформированы в процессе анализа проблемы. Для каждого базового показателя формируется шкала, которая может иметь числовые (точечные, интервальные) или вербальные оценки. Шкалы оценок базовых показателей могут совпадать с обычно используемыми на практике, либо конструироваться специально.

Далее, основываясь на опыте и интуиции ЛПР, базовые характеристики объединяются в критерии, обладающие вербальными порядковыми шкалами с небольшим числом градаций (3-5). ЛПР, по своему усмотрению, определяет число, состав и содержание критериев каждого уровня иерархии. В качестве критерия можно выбрать один из базовых показателей или несколько харак-

теристик, объединенных в составной критерий. ЛПР устанавливает, какие базовые показатели будут считаться самостоятельными критериями, а какие будут отнесены к тому или иному составному критерию. Смысловое содержание критериев и шкал оценок определяется ЛПР. Критерии должны иметь такие шкалы оценок, которые, с одной стороны, будут отражать агрегированные качества объектов, а с другой стороны, будут понятны ЛПР при окончательном выборе объекта или их классификации.

Процедура агрегирования показателей может иметь последовательный характер, т.е. полученные группы критериев могут быть, в свою очередь, объединены в новые группы (следующий уровень иерархии) и так далее. При конструировании шкал составных критериев на разных этапах могут использоваться различные подходы. Например, один из составных критериев можно сформировать при помощи метода стратификации кортежей, а другой - при помощи многокритериальной порядковой классификации.

В зависимости от специфики задачи выбора иерархическая система критериев может быть известна заранее (например, организационная структура предприятия), известна частично (например, известна только структура технических характеристик многопризнаковых объектов) и неизвестна вообще, т.е. иерархию требуется разработать «с нуля» (такая ситуация характерна для задач планирования научных исследований, где присутствует высокая степень неопределенности и риска, связанная с получением нового знания). При построении системы критериев в первом случае основное внимание должно быть уделено разработке шкал составных критериев. Особенностью разработки системы критериев во втором и в третьем случаях является возможность сформировать разные наборы составных критериев различными способами (например, последовательно объединяя критерии попарно или формируя группы критериев исходя из некоторой смысловой общности). Это позволяет сравнить полученные результаты для разных вариантов классификации и выбора с целью оценки качества решения исходной проблемы.

Блок-схема метода ИСКРА (Иерархическая Структуризация КРитериев и Атрибутов) представлена на рис. 3.1.

Метод включает в себя следующие шаги:

1. Выбор типа задачи Т. Возможны следующие задачи: Т\ - выбрать наилучшую альтернативу; Т2 - упорядочить альтернативы; Г3 - разделить альтернативы на упорядоченные группы.

2. Формирование множества альтернатив Ув зависимости от типа задачи Т. Очевидно, что если необходимо проранжировать или выбрать наилучшую альтернативу, то для Т\ и Т2 \ У\ > 2.

3. Формирование множества базовых показателей (исходных признаков) X: Х1,...уХт |Х\=т > 2. В зависимости от специфики задачи эти характеристики могут быть либо заданы заранее (например, перечень технических характеристик), либо сформированы в процессе исследования проблемы с помощью аналитика-консультанта или эксперта.

Да

^ Выход ^

Рис 3 1 Блок-схема метода ИСКРА

Формирование порядковых шкал /-1 ,...,т, базовых пока-

зателей в зависимости от типа задачи Т. Для задач ранжирования или выбора наилучшей альтернативы необходимо рассматривать только те оценки базовых показателей, которые встречаются в описании альтернатив V, т.е. для Г] и Т2&<\У\. Таким способом можно предварительно сократить размерность исходного признакового пространства. Если изначально не задан набор реальных альтернатив, необходимо рассматривать множество всех возможных кортежей оценок в признаковом пространстве, образованном декартовым произведением значений оценок на шкапах критериев.

5. Формирование множества составных критериев, т.е. интегральных показателей, которые определяют выбранное ЛПР свойство вариантов, агрегирующее базовые (исходные) характеристики: У: УЬ...,У„. (п < т).

6. Формирование порядковых шкал составных критериев. Каждая градация шкалы составного критерия является комбинацией оценок базовых показателей.

7. Выбор способа IV построения шкал составных критериев (агрегирования показателей) Х\Х...хХт -» У1Х...хУ„, п<т. Возможны следующие способы: 1¥\ - стратификация кортежей; 1¥2 - многокритериальная порядковая классификация; 1¥з - ранжирование. В общем случае для построения шкал составных критериев можно использовать практически любой метод ранжирования или классификации многокритериальных альтернатив, позволяющий представить каждую градацию шкалы составного критерия в виде комбинации оценок базовых показателей. Такой подход позволяет при решении конкретной практической задачи выбрать как наиболее предпочтительный набор составных критериев, так и метод (совокупность методов) их построения.

8. Если получен удовлетворительный результат решения задачи Т (по составным критериям построена порядковая классификация альтернатив; получена ранжировка альтернатив; выбрана наилучшая альтернатива), то алгоритм завершает работу, иначе переход к шагу 9.

9. Если на шаге 8 получен неудовлетворительный результат, то предлагается либо изменить способ построения шкалы составного критерия Ж (переход к шагу 7), либо изменить градации шкалы составного критерия (переход к шагу 6), либо сформировать новое множество составных критериев У (переход к шагу 5).

Важной особенностью предложенного подхода к снижению размерности признакового пространства является возможность его использования практически с любым методом ранжирования или классификации многокритериальных альтернатив.

Напомним постановку задачи многокритериальной порядковой классификации. Задано множество альтернатив (вариантов) У\,...,¥р, оцененных по многим качественным критериям Каждый критерий К, имеет упорядоченную дискретную шкапу Х,={х,',...г>с/Г'}, /=1,...,ти. Градации шкалы критерия описываются развернутыми словесными формулировками, которые упорядочены ЛПР, например, от лучшей оценки к худшей, от более характерной для некоторого свойства к менее характерной. Заданы упорядоченные классы (категории) Д,...,£>4, где д — число классов. Требуется разбить исходную совокупность многопризнаковых объектов по классам, то есть построить полную классификацию кортежей оценок.

Для решения подобной задачи разработан метод ПАКС (Последовательное Агрегирование Классифицируемых Состояний), в котором используется последовательное сокращение размерности признакового пространства. В

качестве классифицируемых объектов выступают комбинации оценок исходных показателей, а классами решений являются градации оценок составного критерия. Для построения шкал составных критериев применен метод ИСКРА с однотипной процедурой классификации на каждом иерархическом уровне.

РГСЬ*:

К,

К2 Н

акх

Но

-и

Н2

и —I —

гНИ- К1

ак2

Но

-И

4^

Кл

к. -1

ак3

Но

41

41]

Л

^3

»5

Рис 3 2 Схема построения критериев и формирования шкал оценок

Рассмотрим построение шкал составных критериев на модельном примере оценки результативности научных проектов (рис. 3.2). Исходное множество проектов описывается восемью базовыми показателями имеющими шкалы X, с двумя или тремя вербальными порядковыми оценками 0,1,2, где 0 обозначает лучшую оценку, 1 - среднюю (или худшую), 2 - худшую. Требуется разбить множество проектов на пять упорядоченных классов по их результативности £>1,...,£>5, где £>!>-.. >05.

Критерии К\,...,КЬ имеют следующие шкалы: Х1={0,1,2}; Х2={0,\,2}-, Х3={0,1}; Х4={0,1,2}; Х5={0,1}; Х6={0,1}; Х7={0,1}; *»={<),1,2}. Например, критерий К\ характеризует «Степень выполнения заявленных задач», которая может оцениваться, как 0 - задачи выполнены полностью, 1 - задачи выполнены частично, 2 - задачи не выполнены; критерий К} оценивает «Достижение поставленной цели в установленные сроки» как 0 - реальное, 1 - нере-

альное. Таким образом, размерность исходного признакового пространства равна 1296.

Критерием верхнего уровня является «Результативность», градации оценок по шкале которого (наивысшая, высокая, средняя, низкая, неудовлетворительная) определяют упорядоченные классы решений Непосредственная классификация исходного множества 1296 комбинаций оценок требует существенных трудозатрат ЛПР.

Допустим, что ЛПР решил агрегировать базовые показатели К2, в составной критерий АКь показатели К5, Кь, К-! - соответственно в составной критерий АК2 и показатели А'4, К% - в составной критерий ЛК3. Составные критерии АК\, АК2, АК3 имеют порядковые шкалы с тремя градациями: У1={0,1,2}; >2={0,1,2}; У3={0,1,2}, где значения 0,1,2 являются вербальными оценками (высокая, средняя, низкая), определяемыми содержанием соответствующих составных критериев, и выступают как классы решений первого уровня.

Рис 3 3 Схема формирования шкал оценок для составных критериев AKt, ЛКг и AKt

Для формирования шкал составных критериев ЛПР воспользовался способом стратификации кортежей. С геометрической точки зрения данная процедура состоит в «нарезке» многомерного параллелепипеда (прямоугольника) на группы наборов исходных признаков в зависимости от числа признаков, образующих составной критерий.

Возможные градации оценок для шкалы критерия АК\ представлены на рис. 3.3а. К классу 0 (оценка ji'=0) относится следующая комбинация оценок: (000),(001),(010),(100), к классу 2 (оценка у\=2) - комбинация оценок (121),(211),(221),(220), а к классу 1 (оценка У\2=1) - все остальные комбинации оценок (011),(021),(101),(111),(201),(110),(200),(020),(210),(120).

Возможные градации оценок для шкалы критерия АК2 представлены на рис. 3.36. Класс 0 (оценка ^21=0) образует комбинация всех лучших оценок (000), класс 2 (оценка у2-2) - комбинация всех худших оценок (111) и класс 1 (оценка у22=\) - все остальные комбинации оценок (001),(011),(101),(100), (010),(110).

Возможные градации оценок для шкалы критерия АК3 представлены на рис. З.Зв. Класс 0 (оценка^3'=0) составляют все лучшие оценки (00); класс 1

а)

б)

в)

(оценка _у32=1) - комбинации оценок (01),(Ю),(02),(11),(20); класс 2 (оценка Уз =2) - комбинации оценок (12),(21),(22).

Аналогичным образом, агрегируя показатели АК\, АК2, АКЪ, имеем: класс А (оценка г1) состоит из всех лучших оценок (ООО); класс В2 (оценка г2) - из комбинаций оценок (100),(010),(001),(002),(101),(011),(200),(110),(020); класс £>з (оценка г3) - из комбинаций оценок (102),(012),(201),(111),(021),(210),

(120); класс £>4 (оценка г4) - из комбинаций оценок (202),(112),(022),(211),

(121),(220),(212),(122),(221); класс £>5 (оценка г5) - из всех худших оценок (222).

Для конструирования шкал составных критериев ЛПР может применить и другие методы принятия решений.

В зависимости от типа задачи Г эффективность метода снижения размерности признакового пространства может рассчитываться по-разному. Например, применительно к задачам ранжирования под оценкой эффективности понимается соотношение числа несравнимых альтернатив до и после применения метода снижения размерности. В задачах классификации эффективность оценивается числом обращений к ЛПР, необходимых для построения полной непротиворечивой классификации. Соответственно можно сравнивать число обращений к ЛПР при решении задачи классификации на исходном и новом пространстве признаков. Однако для задач классификации большой размерности такой подход не всегда является приемлемым, т.к. построить полную непротиворечивую классификацию на исходном признаковом пространстве в ряде случаев просто не представляется возможным. Это связано с тем, что с ростом размерности признакового пространства растет как количество предъявляемых ЛПР для классификации проблемных ситуаций, так и их сложность.

Использование метода ИСКРА при решении задач многокритериального выбора и классификации дает ЛПР возможность сравнить полученные решения для разных наборов составных критериев, сформированных с помощью различных подходов. В этом случае можно сравнить между собой число обращений к ЛПР, необходимых для построения полной непротиворечивой классификации для каждого набора составных критериев. Альтернативным способом оценки эффективности является сравнение распределений альтернатив по классам решений для одного и того же набора составных критериев, сформированных с помощью различных подходов. Такая методология позволяет ЛПР выбрать как наиболее предпочтительный набор составных критериев, так и метод (совокупность методов) их построения в рамках решения конкретной практической задачи.

В четвертой главе описаны программные средства, реализующие предложенные методы и алгоритмы. Приведена архитектура компьютерной системы (рис. 4.1) и руководство по консультирующей системе ОКЕХ.

Рис 4 1 Архитектура компьютерной системы

Важной особенностью реализации компьютерной системы является использование концепции встраиваемых модулей. Как было отмечено выше, для построения шкал составных критериев можно использовать практически любой метод ранжирования или классификации многокритериальных альтернатив, позволяющий представить каждую градацию шкалы составного критерия в виде комбинации оценок исходных показателей. Такой подход позволяет подключать к системе программную реализацию какого-либо метода, разработанную по определенным правилам.

Система OREX позволяет получать консультации о принадлежности объектов к классам решений. При этом используется полная классификация, построенная либо методом стратификации кортежей, либо одним из методов многокритериальной порядковой классификации. Классификация хранится в файле базы данных Microsoft Access 97/2000/ХР/2003 (далее MA).

OREX позволяет: загружать файлы формата MA с описанием структуры классификации и границами классов решений, сгенерированных системой, реализующей метод многокритериальной порядковой классификации или системой, реализующей метод стратификации кортежей; загружать описание нескольких объектов из файлов формата MA и сохранять результаты экспертизы этих объектов в файлах формата MA (пакетный режим); при запросе пользователя сообщать объяснение своего вывода в терминах структуры классификации и элементов границ классов решений; протоколировать процесс консультации в файле, печатать отчет по результатам экспертизы объекта. Пример построения классификации для оценки результативности проектов представлен на рис. 4.2.

Коису Легаций Критерий Опции ? Объект- 010 Н«мнм» объект« 05-01-0801? - У- Щ . !

: Критерий • i Оценка

| Оценка полученных результатов проекта Ожидаемые результаты завершающей стадии проекта Высокая оценка научного jpoe Средняя уровень ожидаемых ня полученных результатов Йзменшь |

¡¡чистить |

Очистить псе j

f" Испо/ьзоеать

Всегда использовать

.....■ J jJ ИИнИ ■

Выйраииые критерий.и оценка :: ;

| Критерий % Возможности использования результатов законченных рабсг е программах Федеральных агентств и ведом

| Оценка j Используются е полной мере

^ . ....... •• Ответ

Класс решения "Бысокий показатель результативности"

й Потому что недостаточно хорошие оценки по следующим крк ери ям

■

........................■................."""":..................................""'.......... " """";'............................. ъ

Рис. 4.2. Получение консультации у системы OREX

Для хранения иерархической системы критериев используется XML-документ. Это позволяет организовывать обмен данными как с различными СУБД, так и со специализированными средствами визуального моделирования объектно-ориентированных информационных систем (например, Rational Rose). Во многом это продиктовано идеологической схожестью проблем построения иерархических систем критериев и разработкой иерархической структуры классов в объектно-ориентированном программировании.

Разработанные программные средства подтверждают реализуемость предложенных методов и алгоритмов снижения размерности признакового пространства.

В пятой главе представлены практические задачи, решенные с помощью методов снижения размерности признакового пространства.

Многокритериальная оценка результативности научных проектов

Существует достаточно большое число практических задач, в которых необходима разработка интегральных показателей деятельности. Типичным примером является оценка результативности научных проектов. Значительный опыт в организации и проведении экспертизы целевых фундаментальных исследований и полученных результатов, представляющих интерес с точки зрения возможности их практического применения, накоплен в Российском фонде фундаментальных исследований (РФФИ).

Результативность проектов может рассматриваться как с позиций непосредственного применения полученных результатов на практике, так и для

формирования целевых программ. Для эффективного практического использования научных результатов было формализовано понятие «результативность проекта» применительно к целевым фундаментальным исследованиям, выполняемым в интересах Федеральных агентств и ведомств.

Получение интегрального показателя результативности сведено к решению задачи многокритериальной порядковой классификации по иерархической системе критериев с использованием снижения размерности признакового пространства. В качестве многопризнаковых объектов выступают комбинации экспертных оценок проектов по принятым в РФФИ критериям, интегральные показатели играют роль классов решений. ЛПР имеет возможность различным образом формировать понятие «результативность проекта» и сравнивать различные результаты формирования интегральных показателей. Пример оценки результативности проектов, полученных разными методами (ОРКЛАСС и стратификация кортежей) приведен на рис. 5.1.

■ ММ 11111*

Проект 1 Проект 2 Проект 3 Проект 4 Проект 5 Проект 6 Проект 7 Проекте

шм«м

Проект 1 Проект 2 Проект 3 Проект 4 Проект 5 Проект 6 Проект 7 Проект 0

Рис. 5.1. Пример распределения альтернатив по классам решений. Последовательное разделение всех критериев по отдельным группам дает возможность «распараллелить» решение задачи, что обеспечивает ощутимую экономию трудозатрат. Применение процедуры иерархического агрегирования исходных показателей позволяет значительно снизить размерность исходного признакового пространства, что существенно сокращает время, затраченное ЛПР, для достижения поставленной цели. Предложенный подход к формированию интегральных показателей облегчает анализ выбора окончательного решения и получение его обоснования.

Многокритериальный выбор вычислительных кластеров Решение сложных вычислительных задач невозможно сегодня без суперкомпьютерных технологий, которые основаны на использовании вычислительных кластеров. Вычислительные кластеры представляют собой группу вычислительных машин, которые связаны между собою и функционируют как один узел обработки информации. Многокритериальный выбор предпочтительного кластера представлен как задача стратегического выбора, где сравнение кластеров осуществляется на основе небольшого числа критериев,

которые ЛПР самостоятельно формирует из базовых характеристик вычислительного кластера и требований к его эксплуатации.

Характеристики кластера разделены на несколько групп. К первой отнесены технические характеристики кластера (процессор, базовая аппаратная платформа, технология построения сети, оперативная память, дисковая память). Используемая операционная система и кластерное программное обеспечение составляют вторую группу характеристик. Производными от них является третья группа показателей: производитель технических и программных средств; производительность кластера; стоимость кластера. И, наконец, в последнюю группу входят эксплуатационные характеристики: энергопотребление, тепловыделение, уровень шума и условия окружающей среды. Были выбраны четыре критерия оценки кластера и разработаны шкалы их оценок. В качестве самостоятельных критериев выступали базовые характеристики: стоимость и производительность кластера. Составные критерии — возможность модернизации и сложность эксплуатации кластера — были сконструированы из технических и эксплуатационных характеристик с использованием стратификации кортежей.

Многокритериальная оценка кредитного риска

Управление кредитным риском является повседневной практикой любого банка. Получение достаточно надежных оценок качества кредитов является сложной задачей, так как отсутствует единый индикатор вероятности невозврата средств. Существует множество индикаторов (факторов, критериев), которые необходимо принимать во внимание. Каждый такой фактор вносит определенный вклад в общую оценку. Для классификации банковских кредитов по группам риска была использована процедура агрегирования оценок отдельных параметров кредита, полученных от профильных специалистов банка и/или экспертов.

Критерии оценки банковских кредитов разделены на несколько групп. Группа «Обеспеченность кредита» включала критерии: оценка предполагаемого обеспечения; ликвидность обеспечения; прогноз стоимости обеспечения; достаточность обеспечения. В группу «Оценка кредитного проекта» вошли критерий рентабельность проекта и предварительные условия его рассмотрения, характеризующие качество проработки проекта. Ценность заемщика для банка являлась самостоятельным критерием. Группа «Надежность заемщика» включала критерии: статус заемщика; оценка позиции представителя заемщика на переговорах; наличие кредитной истории. В группу «Оценка финансового положения заемщика» вошли критерии: обороты по расчетным и текущим счетам в банке; тип финансовой устойчивости; наличие задолженности по кредитам другим банкам; доля задолженности 1-4 групп очередности платежей в кредиторской задолженности. В последнюю группу «Стабильность и перспективность фирмы заемщика» вошли критерии: управленческая культура организации-заемщика; наличие долговременных целей и планов их реализации; устойчивость организации-заемщика в зави-

симости от внешних условий на время кредитования; а также предварительные условия, характеризующие культуру управления в организации-заемщике. Перечисленные группы критериев образуют второй уровень иерархии.

Третий уровень иерархии образуют следующие составные критерии: обоснованность кредита; оценка заемщика как организации; финансовое состояние и перспективы заемщика. На основании анализа этих критериев выработаны 4 категории качества кредитов: Б, — высшая и высокая; В2 — средняя и низкая; £>3 — сомнительная; £>4 — убытки, которые выступают в качестве классов решений. Для построения набора критериев и формирования шкал оценок составных критериев применялся метод ОРКЛАСС со снижением размерности признакового пространства.

Решенные практические задачи многокритериального выбора подтверждают обоснованность, достоверность и реализуемость предложенных методов и алгоритмов снижения размерности признакового пространства.

Заключение содержит обзор основных достижений и результатов, представленных в настоящей работе.

В приложении представлены результаты оценки результативности проектов целевых фундаментальных исследований.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Проведен критический анализ современных многокритериальных методов принятия решений, ориентированных на задачи стратегического и тактического выбора. Показано, что методы многокритериального принятия решений неудовлетворительно работают в большом признаковом пространстве.

2. Рассмотрены методы снижения размерности признакового пространства и указаны препятствия их использования применительно к слабо структурируемым задачам принятия решений.

3. Разработана модель формирования составного критерия и конструирования его шкалы с использованием комбинации различных методов принятия решений, предложен математический аппарат для формализации понятия составного критерия, основанный на теории графов и теории мультимножеств.

4. Разработан интерактивный метод ИСКРА последовательного снижения размерности признакового пространства, исходя из предпочтений ЛИР, который применим для решения слабо структурируемых задач многокритериальной классификации и выбора.

5. Разработан интерактивный метод ПАКС порядковой классификации многокритериальных альтернатив, использующий снижение размерности пространства признаков с помощью разных способов построения решающих правил.

6. Предложены процедуры сопоставления и анализа решений, полученных с помощью разных наборов составных критериев, с целью оценки качества выработанных решений.

7. Решены практические задачи поддержки принятия решений: оценка результативности научных проектов, выбор вычислительных кластеров, оценка банковских кредитов в зависимости от степени риска.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ:

1. Разработка и внедрение автоматизированной системы оценки качества кредитов в коммерческом банке / А. А. Асанов, О. И. Ларичев, Г. В. Рой-зензон и др. // Аудит и финансовый анализ. — 2001. — № 1. — С. 196200 (Из перечня ВАК).

2. Метод многокритериальной классификации ЦИКЛ и его применение для анализа кредитного риска / А. А. Асанов, О. И. Ларичев, Г. В. Ройзензон и др. // Экономика и математические методы. — 2001. — Т. 37, № 2. — С. 14-21 (Из перечня ВАК).

3. Ашихмин И В, Ройзензон Г. В Выбор лучшего объекта на основе парных сравнений на подмножествах критериев // Методы поддержки принятия решений: Сборник трудов Института системного анализа Российской академии наук / Под ред. О. И. Ларичева. — М.: Эдиториал УРСС, 2001, —С. 51-71 (Из перечня ВАК).

4. Human behavior in a multi-criteria choice problem with individual tasks of different difficulties / E. M. Furems, О. I. Larichev, G. V. Roizenson et al. // International Journal of Information Technology and Decision Making — 2003. — Vol. 2, no. 1. — Pp. 29-40 (Из перечня ВАК - Web of Science: Science Citation Index Expanded).

5. Ройзензон Г. В Многокритериальный выбор вычислительных кластеров // Методы поддержки принятия решений: Сборник трудов Института системного анализа РАН / Под ред. С. В. Емельянова, А. Б. Петровского. — М.: Едиториап УРСС, 2005. — Т. 12. — С. 68-94 (Из перечня ВАК).

6. Ройзензон Г В Применение методов вербального анализа решений для выбора сложной технической системы // Труды 1-ой международной конференции «Системный анализ и информационные технологии» (SAIT-2005). — Т. 1. — М.: КомКнига, 2005. — С. 298-303.

7. Ройзензон Г В Анализ слабо структуризованных задач с применением иерархических систем критериев // Труды международных научно-технических конференций «Интеллектуальные системы» (AIS'05) и «Интеллектуальные САПР» (CAD-2005). — Т. 1. — М.: Физматлит, 2005. — С. 351-356.

8. Ройзензон Г В Способы снижения размерности признакового пространства для описания сложных систем в задачах принятия решений // Новости искусственного интеллекта. — 2005. — № 1.— С. 18-28.

9. Ройзензон Г В Снижение размерности признакового пространства с использованием метода «ИСКРА» // Искусственный интеллект. — Т. 2.— Донецк, Украина: Наука i oceiTa, 2006. — С. 339-342.

10. Ройзензон Г В Решение проблемы несравнимости многокритериальных альтернатив с использованием метода «ИСКРА» // Труды Десятой национальной конференции по искусственному интеллекту с международным участием (КИИ-2006) — Т. 3. — М.: Физматлит, 2006. — С. 792798.

11. Ройзензон Г В Об одном подходе к оценке качества построения иерархических систем критериев // Вторая международная конференция «Системный анализ и информационные технологии» (САИТ-2007). Труды конференции в 2 т. — Т. 1. — М.: Издательство ЛКИ, 2007. — С. 225227.

12. Ройзензон Г В Разработка критериев оценки качества агрегирования информации // Труды Международных научно-технических конференций «Интеллектуальные системы» (AIS'07) и «Интеллектуальные САПР» (CAD-2007). Научное издание в 4-х томах. — Т. 1. — М.: Физматлит, 2007,—С. 371-372.

13. Петровский А Б, Ройзензон Г В Многокритериальный подход к построению интегральных показателей // Таврический Вестник Информатики и Математики. — 2008. — № 2. — С. 143-150.

14. Петровский А Б, Ройзензон Г. В Снижение размерности признакового пространства в задачах многокритериальной классификации // Decision Making and Business Intelligence Strategies and Techniques / Ed. by K. Markov, K. Ivanova, I. Mitov. — No. 3. — Sofia: FOIITHEA, 2008. — Pp. 81-86.

15. Петровский А Б, Ройзензон Г В Интерактивная процедура снижения размерности признакового пространства в задачах многокритериальной классификации // Поддержка принятия решений: Труды Института системного анализа Российской академии наук / Под ред. А. Б. Петровского. — М.: Едиториал УРСС, 2008. — Т. 34. — С. 48-60 (Из перечня ВАК).

16. Петровский А. Б., Ройзензон Г В Снижение размерности признакового пространства в задачах многокритериальной классификации: стратификация кортежей // Одиннадцатая национальная конференция по искусственному интеллекту с международным участием (КИИ-2008). Труды конференции. — Т. 2 — М.: Ленанд, 2008. — С. 262-270.

17. Petrovsky А В, Royzenson G V. Sorting Multi-Attribute Objects with a Reduction of Space Dimension // Advances in Decision Technology and Intelligent Information Systems / Ed. by K. J. Engemann, G. E. Lasker. — Vol. 9.— Windsor: The International Institute for Advanced Studies in Systems Research and Cybernetics, 2008.—Pp. 46-50.

Отпечатано в типографии ООО «Гипрософт» г. Москва, Ленинский пр-т, Д.37А. Тираж 100 экз.

Введение

Глава 1. Методы многокритериального выбора

1.1. Процесс принятия решений.

1.2. Задачи выбора, упорядочивания и классификации многокритериальных альтернатив

1.3. Методы принятия решений, использующие числовые показатели

1.4. Методы вербального анализа решений

1.5. Сопоставление методов принятия решений.

Глава 2. Снижение размерности пространства качественных признаков

2.1. Проблема снижения размерности признакового пространства и методы ее решения

2.2. Формализация понятия составного критерия.

2.3. Построение шкалы составного критерия

Глава 3. Интерактивные методы снижения размерности признакового-пространства . . . . -гт~~. Т~7~7 . .7/.

3.1. Метод снижения размерности ИСКРА

3.2. Метод порядковой классификации ПАКС

3.3. Способы оценки эффективности методов.ТО

Глава 4. Программные средства

4.1. Архитектура компьютерной системы

4.2. Режимы системы

4.3. Интерфейс системы.

Глава 5. Практическое применение

5.1. Многокритериальная оценка результативности научных проектов

5.2. Многокритериальный выбор вычислительных кластеров

5.3. Многокритериальная оценка кредитного риска в коммерческом банке.

Актуальность темы диссертации. Достаточно часто в задачах многокритериального принятия решений — выделении лучших вариантов, ранжировании и классификации альтернатив — необходимо сравнивать объекты, которые характеризуются разнообразными признаками: техническими, экономическими, политическими, эксплутационными и иными. Примерами таких задач служат оценка результативности научных проектов [71, 72], выбор вычислительных кластеров [83], оценка риска при выдаче банковских кредитов [49] и др.

Методы и подходы к решению задач многокритериального выбора и классификации разработаны в трудах отечественных и зарубежных ученых: С.А. Айвазяна [77], В А. Глотова [14], Н.Г. Загоруйко [19], JI. Заде [20], Д. Канема-на [24], Э. Квейда [25], Р.Л. Кини [27], Г. Крона [31], О.И. Ларичева [37], Б.Г. Литвака [42], А.В. Лотова [30], В.Д. Ногина [59], Л.М. Местецкого [48], Дж.А. Миллера [51], Б.Г. Миркина [52], А.И. Орлова [64], В.В. Павельева [14], А.Б. Петровского [69], В.В. Подиновского [74], Д.А. Поспелова [75], И. Пфанцагля [79], X. Райфы [27], А.С. Рыкова [87], Т. Саати [89], П. Словика [24], В.Л. Стефанюка [97], С.С. Стивенса [46], А. Тверски [24], В.К. Финна [100], И.Ф. -Шахнова-[44] -и-другиХг-Эти-методы-различаются способами получения~об^ работки и представления информации о свойствах объектов и предпочтениях лица, принимающего решение (ЛПР).

Вместе с тем непосредственная классификация или сравнение альтернатив, описываемых болынйм числом признаков, и в особенности качественных признаков, является трудоемкой процедурой, которая требует значительных временных затрат ЛПР, что нередко существенно затрудняет применение на практике методов принятия решений. Когда же сравниваемых объектов мало (3-5), а их признаки различны по значениям и многочисленны (десятки и сотни), такие объекты, как правило, оказываются формально несравнимыми по своим свойствам.

Исследования в области когнитивной психологии продемонстрировали склонность людей использовать различные способы «группировки информации» применительно к проблемам выбора, в которых объекты описываются болыпйм числом признаков. Так, при решении задач классификации большой размерности ЛПР зачастую применяет различные упрощенные стратегии с использованием только части критериев, что облегчает построение границ классов решений, но может негативно повлиять на выработку решающих правил и дальнейший анализ полученных результатов.

Эти обстоятельства диктуют необходимость разработки специальных методов обработки информации, обеспечивающих решение задач многокритериального выбора и классификации в пространствах большой размерности.

Одним из способов преодоления указанных трудностей при сравнении многокритериальных объектов является сокращение размерности признакового пространства и использование дополнительных, психологически корректных операций получения информации от ЛПР и экспертов. Специальные исследования показали, что человеку легче сравнивать объекты по небольшому числу показателей, результаты таких сравнений более надежны и их проще анализировать. Человек более надежно и с меньшим числом ошибок оперирует с качественными, вербальными данными, нежели с количественными, числовыми.

Для упрощения процедуры сравнения и/или классификации многопризнаковых объектов по их свойствам при решении задачи выбора ЛПР должен иметь в своем распоряжении соответствующий инструментарий, который позволяет агрегировать большое число характеристик объектов в небольшое число критериев, имеющих небольшие вербальные шкалы оценок, отражающие предпочтения ЛПР. Перечисленное выше обусловливает актуальность проведения исследований, разработку методов и процедур снижения размерности признакового пространства и их программную реализацию.

Цели и задачи исследования. Целью диссертации является разработка методов интерактивного снижения размерности пространства, образованного дискретными качественными (вербальными) признаками, которые позволяют существенно сократить трудоемкость применения на практике различных нормативных методов принятия решений (классификации, ранжирования, выбора наилучшей многокритериальной альтернативы) и предоставляют ЛПР дополнительные возможности для содержательного анализа полученных результатов решения проблемы.

Для достижения поставленной цели в диссертационной работе поставлены и решены следующие задачи:

• проведен критический анализ современных методов многокритериального принятия решений, ориентированных на задачи стратегического и тактического выбора, и особенностей их применения в большом признаковом пространстве;

• рассмотрены существующие методы снижения размерности признакового пространства и возможности их использования в слабо структурируемых задачах принятия решений, для которых характерно сочетание количественных и качественных зависимостей;

• предложен методологический подход к снижению размерности признакового пространства, обеспечивающий решение слабо структурируемых задач многокритериальной классификации и выбора;

• разработаны интерактивные методы и алгоритмы снижения размерности признакового пространства, использующие разные способы конструирования шкал составных критериев более высокого уровня иерархии;

• предложены процедуры анализа полученных результатов для разных способов многокритериального выбора с целью оценки качества выработанных решений;

• созданы программные средства, реализующие предложенные методы и алгоритмы, проведена их апробация при решении практических задач.

Методы исследования. Методы теории принятия решений, теории множеств и мультимножеств, теории графов, теории измерений, системного анализа, искусственного интеллекта и когнитивной психологии.

Результаты, выносимые на защиту:

• Методологический подход к снижению размерности признакового пространства, облегчающий и упрощающий решение слабо структурируемых задач многокритериальной классификации и выбора.

• Модель формирования составного критерия и конструирования его шкалы как средство содержательного выражения предпочтений ЛПР.

Интерактивный^ методаИСКРА"(Иёрархическая Структуризация КРитериев и Атрибутов), обеспечивающий последовательное снижение размерности признакового пространства и сочетающий при построении шкал составных критериев разные способы ранжирования и/или классификации многомерных альтернатив исходя из предпочтений ЛПР.

• Интерактивный метод ПАКС (Последовательное Агрегирование Классифицируемых Состояний) порядковой классификации альтернатив, оцененных по многим качественным критериям с вербальными шкалами, объединяющий разные способы последовательного агрегирования исходных признаков.

• Программная реализация предложенных методов, алгоритмов и процедур и их применение при решении практических задач поддержки принятия решений.

Научная новизна:

• Предложено понятие составного критерия, позволяющее ЛПР конструировать его шкалу с использованием комбинации различных методов принятия решений.

• Предложен математический аппарат для формализации понятия составного критерия, основанный на теории графов и теории мультимножеств.

• Разработан новый интерактивный метод ИСКРА снижения размерности признакового пространства, в котором различные комбинации признаков разного уровня иерархии рассматриваются как многопризнаковые объекты, последовательно агрегируемые на основе предпочтений ЛПР в составные критерии с небольшими вербальными шкалами.

• Разработан новый интерактивный метод ПАКС порядковой классификации многокритериальных альтернатив, использующий последовательное снижение размерности пространства признаков с помощью разных способов построения решающих правил.

• Предложены процедуры сопоставления и анализа решений задач многокритериального выбора, полученных с использованием разных способов формирования составных критериев, которые позволяют ЛПР оценить качество полученного решения проблемы.

Обоснованность и достоверность научных положений обеспечиваются анализом современного состояния исследований в области многокритериального принятия решений, подтверждаются корректностью предложенных моделей, алгоритмов и согласованностью результатов, полученных при практической реализации этих моделей и алгоритмов, а также апробацией основных теоретических положений в печатных трудах и докладах на российских и международных научных конференциях.

Практическая ценность работы. Предложенные методы снижения размерности признакового пространства использованы при решении практических задач: многокритериальная оценка результативности научных проектов, многокритериальный выбор вычислительных кластеров, многокритериальная оценка степени риска при выдаче банковских кредитов.

Разработанный метод ИСКРА может быть использован на практике совместно с другими нормативными методами принятия решений, препятствием к применению которых служит большое число признаков, описывающих объекты. Предложенная концепция может быть применена для анализа данных в системах OLAP (OnLine Analytical Processing), при разработке различных интегральных показателей, например, индикатора благосостояния человека, индекса общественного здоровья и других социальных индикаторов.

Реализация результатов. Результаты диссертации использованы при выполнении проектов РФФИ 98-01-00086 (1998-2000 гг.), 99-01-00476 (19992001 гг.), 00-15-96053 (2000-02 гг.), 01-01-00514 (2001-03 гг.), 01-01-06321 (200103 гг.), 02-01-06286 (2002-04 гг.), 02-01-01077 (2002-04 гг.), 03-01-06441 (2003 г.), 04-01-00290 (2004-06 гг.), 05-01-00666 (2005-07 гг.), 06-07-89352 (2006-08 гг.), 07-07-13546 (с 2007 г.), 08-01-00247 (с 2008 г.); проектов по программам фундаментальных исследований президиума РАН «Математическое моделирование и интеллектуальные системы» (2001-05 гг.), «Фундаментальные проблемы информатики и информационных технологий» (2006-08 гг.) и ОНИТ РАИ «Фундаментальные основы информационных технологий и систем» (2003-08 гг.); гранта Президента Российской Федерации для поддержки ведущих научных школ НШ1964.2003.1 (2003-05 гг.); проекта № 3 научного сотрудничества между Российской академией наук и Академией Финляндии (2000-02 гг.).

Апробация работы. Результаты, представленные в работе, обсуждались и докладывались на: 3-й Московской международной конференции по исследованию операций (Москва, 4-6 апреля, 2001 г.); международном конгрессе «Искусственный интеллект в XXI веке» (Дивноморское, Краснодарский край, 3-8 сентября 2001 г.); 4-й, 5-й, 6-й и Т-й международных научных конференциях «Интеллектуализация обработки информации» (Алушта, Украина, 17-21 июня 2002 г., 14-19 июня 2004 г., 4-11 июня 2006 г., 9-14 июня 2008 г.); 8-й, 9-й, 10-й и 11-й национальных конференциях по искусственному интеллекту с международным участием (Коломна, 7-12 октября 2002 г., Тверь, 28 сентября - 2 октября 2004 г., Обнинск, 26-28 сентября 2006 г., Дубна, 29 сентября - 3 октября, 2008 г.); международной конференции «DSS in the Uncertainty of the Internet Age» (Катовице, Польша, 13-16 июля 2003 г); международных конференциях «Интеллектуальные системы» (Дивноморское,.Краснодарский—---край, 3-10 сентября 2003 г., 3-10 сентября 2005 г., 3-9 сентября 2007 г.); 58-й международной конференции Европейской рабочей группы «Помощь в многокритериальном принятии решений» (Москва, 9-11 октября 2003 г.); 1-й и 2-й Международных конференциях «Системный анализ и информационные технологии» (Переславль-Залесский, 12-16 сентября 2005 г., Обнинск, 10-14 сентября 2007 г.); 14-й международной конференции «Знания-Диалог-Решения» (Варна, Болгария, 23 июня - 6 июля 2008 г.); 20-й международной конференции по системным исследованиям, информатике и кибернетике (Баден-Баден,

Германия, 24-30 июля 2008 г.); научных семинарах ИСА РАН.

Во введении обосновывается актуальность диссертационной работы, формулируется ее цель, научная новизна, приводятся полученные результаты, решенные практические задачи и структура работы.

Первая глава является обзорной. Описан процесс принятия решений, показаны роли основных участников (ЛПР, экспертов, аналитика) при решении проблемы. Приведены основные типы задач принятия решений. Особо выделены слабо структурируемые задачи, в том числе задачи стратегического выбора, в которых объекты представлены болыпйм числом количественных и качественных признаков при доминировании последних. Рассмотрены группы методов решения задач многокритериального выбора, упорядочения и классификации, представляющие различные направления в теории принятия решений, в том числе использующие числовые показатели. Основное внимание уделено группе методов вербального анализа решений, разработанных в ИСА РАН, ориентированных на решение слабо структурируемых задач. Проведен критический анализ достоинств и недостатков разных групп методов. Отмечено, что представленные методы неудовлетворительно работают в большом пространстве признаков. Показано, что недостатки методов принятия решений при работе с объектами, характеризуемыми большйм числом признаков, могут быть устранены с помощью самих же методов

Во второй главе изложен методологический подход к снижению размерности признакового пространства. Дана постановка задачи снижения размерности признакового пространства. Представлены различные методы снижения размерности признакового пространства, указаны препятствия к их использованию применительно к слабо структурируемым задачам принятия решений. Предложены модель формирования составного критерия и конструирования его шкалы как средство содержательного выражения предпочтений ЛПР и математический аппарат для формализации понятия составного критерия с использованием теории графов и теории мультимножеств. Подчеркнут многодисциплинарный характер задачи снижения размерности признакового пространства. Прослежена связь с задачами принятия решений, системного анализа, теории измерений, искусственного интеллекта и когнитивной психологии. Использование понятий графа и мультимножества позволяет выстроить единую схему формализации понятия составного критерия и по-новому решать как известные задачи, в которых есть определенные сложности (например, задачи распознавания иерархических структур), так и новые виды задач. Предложенный новый методологический подход к снижению размерности пространства качественных признаков обладает определенной универсальностью, т.к. в общем случае может оперировать как символьной (качественной), так числовой информацией. Он может быть успешно применен в сочетании с другими методами принятия решений и обработки информации.

В третьей главе описаны новые интерактивные методы: метод ИСКРА (Иерархическая Структуризация КРитериев и Атрибутов) снижения размерности признакового пространства, в котором различные комбинации признаков разного уровня иерархии рассматриваются как многопризнаковые объекты, последовательно агрегируемые в составные критерии на основе предпочтений ЛПР; метод ПАКС (Последовательное^ Агрегирование Классифицируемых Состояний) порядковой классификации многокритериальных альтернатив, основанный на снижении размерности пространства признаков с помощью разных способов построения решающих правил.

Схема решения задачи многокритериального выбора с использованием снижения размерности признакового пространства включает два этапа. На первом этапе проводится снижение размерности признакового пространства путем построения иерархической системы составных критериев. На втором этапе выполняется окончательное решение задачи выбора с использованием построенных составных (агрегированных) критериев.

Агрегирование признаков базируется на предпочтениях ЛПР. Первоначально при участии ЛПР формируется базовый набор характеристик рассматриваемых объектов. В зависимости от специфики задачи эти характеристики могут быть либо заданы заранее, либо сформированы в процессе анализа проблемы. Для каждого базового показателя формируется шкала, которая может иметь числовые (точечные, интервальные) или вербальные оценки. Шкалы оценок базовых показателей могут совпадать с обычно используемыми на практике, либо конструироваться специально.

Далее, основываясь на опыте и интуиции ЛПР, базовые характеристики объединяются в критерии, обладающие вербальными порядковыми шкалами с небольшим числом градаций (3-5). ЛПР по своему усмотрению определяет число, состав и содержание критериев каждого уровня иерархии. В качестве критерия можно выбрать один из базовых показателей или несколько характеристик, объединенных в составной критерий. ЛПР устанавливает, какие базовые показатели будут считаться самостоятельными критериями, а какие будут отнесены к тому или иному составному критерию. Смысловое содержание критериев и шкал оценок определяется ЛПР. Критерии должны иметь такие шкалы оценок, которые, с одной стороны, будут отражать агре-гироваштые качества объектов, а с другой стороны, будут понятны ЛПР при окончательном выборе объекта или их классификации.

Процедура агрегирования показателей может иметь последовательный характер, т.е. полученные группы критериев могут быть, в свою очередь, объединены в новые группы (следующий уровень иерархии) и так далее. При конструировании шкал составных критериев на разных этапах могут использоваться различные подходы. Например, один из составных критериев можно сформировать при помощи метода стратификации кортежей, а другой — при помощи многокритериальной порядковой классификации.

В зависимости от специфики задачи выбора иерархическая система критериев может быть известна заранее (например, организационная структура предприятия), известна частично (например, известна только структура технических характеристик многопризнаковых объектов) и неизвестна вообще, т.е. иерархию требуется разработать «с нуля» (такая ситуация характерна, например, для задач планирования научных исследований, где присутствует высокая степень неопределенности и риска, связанная с получением нового знания). При построении системы критериев в первом случае основное внимание должно быть уделено разработке шкал составных критериев. Особенностью разработки системы критериев во втором и в третьем случаях является возможность сформировать разные наборы составных критериев различными способами (например, последовательно объединяя критерии попарно или формируя группы критериев исходя из некоторой смысловой общности). Это позволяет сравнить полученные результаты для разных вариантов классификации и выбора с целью оценки качества решения исходной проблемы.

Важной особенностью предложенного подхода к снижению размерности признакового пространства является возможность его использования практически с любым методом ранжирования или классификации многокритериальных альтернатив.

Использование метода ИСКРА при решении задач многокритериально-, го выбора и классификации дает ЛПР возможность сравнить полученные решения для разных наборов составных критериев, сформированных с помощью различных подходов. В этом случае можно сравнить между собой число обращений к ЛПР, необходимых для построения полной непротиворечивой классификации для каждого набора составных критериев. Альтернативным способом оценки эффективности является сравнение распределений альтернатив по классам решений для одного и того же набора составных критериев, сформированных с помощью различных подходов. Такая методология позволяет ЛПР выбрать как наиболее предпочтительный набор составных критериев, так и метод (совокупность методов) их построения в рамках решения конкретной практической задачи.

В четвертой главе описаны программные средства, реализующие предложенные методы и алгоритмы. Приведена архитектура компьютерной системы и руководство по консультирующей системе OREX. Разработанные программные средства подтверждают реализуемость предложенных методов и алгоритмов снижения размерности признакового пространства.

В пятой главе представлены практические задачи, решенные с помощью методов снижения размерности признакового пространства: многокритериальная оценка результативности научных проектов, многокритериальный выбор вычислительных кластеров и многокритериальная оценка кредитного риска. Решенные практические задачи многокритериального выбора подтверждают обоснованность, достоверность и реализуемость предложенных методов и алгоритмов снижения размерности признакового пространства.

Заключение содержит обзор основных достижений и результатов, представленных в настоящей работе.

В приложении представлены результаты оценки результативности проектов целевых^фундаментальньршсследований.------

Автор считает своим долгом выразить благодарность, академику РАН, Олегу Ивановичу Ларичеву, оказавшему существенное влияние на формирование моего мировоззрения, скоропостижная смерть которого явилась невосполнимой утратой для меня лично и для научного сообщества в целом. Особую признательность хочется выразить всем моим коллегам по лабораториям «Методы и системы поддержки принятия решений» и «Компьютерные системы, основанные на знаниях» ИСА РАН за доброжелательную помощь в процессе работы над диссертацией.

Заключение

Основные итоги диссертационной работы:

1. Проведен критический анализ современных многокритериальных методов принятия решений, ориентированных на задачи стратегического и тактического выбора. Показано, что методы многокритериального принятия решений неудовлетворительно работают в большом признаковом пространстве.

2. Рассмотрены методы снижения размерности признакового пространства и указаны препятствия их использования применительно к слабо структурируемым задачам принятия решений.

3. Разработана модель формирования составного критерия и конструирования его шкалы с использованием комбинации различных методов принятия решений, предложен математический аппарат для формализации понятия составного критерия, основанный на теории графов и теории мультимножеств.

4. Разработан интерактивный метод ИСКРА последовательного снижения размерности признакового пространства, исходя из предпочтений ЛПР, который применим для решения слабо структурируемых задач многокритериальной классификации и выбора.

5. Разработан интерактивный метод ПАКС порядковой классификации многокритериальных альтернатив, использующий снижение размерности пространства признаков с помощью разных способов построения решающих правил.

6. Предложены процедуры сопоставления и анализа решений, полученных с помощью разных наборов составных критериев, с целью оценки качества выработанных решений.

7. Решены практические задачи поддержки принятия решений: оценка результативности научных проектов, выбор вычислительных кластеров, оценка банковских кредитов в зависимости от степени риска.

1. Авен О. И. Что же такое АСУ? — М.: Наука, 1981. — 175 с.

2. Авен П. О., Ослон А. А., Мучник И. Б. Функциональное шкалирование. М.: Наука, 1988. - 182 с.

3. Андрейчиков А. В., Андрейчикова О. Н. Анализ, синтез, планирование решений в экономике. — М.: Финансы и статистика, 2000.— 368 с.

4. Асаи К., Ватада Д., Иваи С. Прикладные нечеткие системы / Под ред. Т. Тэрано, К. Асаи, М. Сугэно,- М.: Мир, 1993.- 368 с.

5. Асанов А., Подлипский О. Опыт построения большой базы экспертных знаний // Методы поддержки принятия решений: Сборник трудов Института системного анализа Российской академии наук / Под ред. О. И. Ларичева. М.: Эдиториал УРСС, 2001. - С. 42-50.

6. БорисосГА. П., Крумберг О. А., Федоров И. П. Принятие решений на основе нечетких моделей. Примеры использования. — Рига: Зинатне, 1990. 184 с.

7. Бородкин Ф. М., Айвазян С. А. Социальные индикаторы: учебник для студентов вузов, обучающихся по специальности «Статистика» и другим экономическим специальностям. — М.: ЮНИТИ-ДАНА, 2006. — 607 с.

8. Бэстенс Д.-Э., Ван Ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки. Принятие решений в торговых операциях / Под ред. А. П. Коваленко, Е. С. Пастухова.— М.: Научное издательство ТВП, 1997.- 236 с.

9. Вапник В. Н., Червоненкис А. Л. Теория распознавания образов (статистические проблемы обучения). — М.: Наука, 1974. — 416 с.

10. Глотов В. А., Кузнецова Н. Н., Ларичев О. И. Метод оценки качества журнальных статей // Тезисы докладов VI симпозиума по кибернетике. Тбилиси: Институт кибернетики АН ГССР, 1972. - С. 59-62.

11. Глотов В. А., Павелъев В. В. Векторная стратификация. — М.: Наука, 1984т-—94-е.--------------:

12. Дрейпер Н., Смит Р. Прикладной регрессионный анализ. — М.: Статистика, 1973. — 138 с.

13. Еоюкова И. В., Поспелов Д. А. Принятие решений при нечетких основаниях. 4.1. Универсальная шкала // Известия АН СССР. Техническая кибернетика. — 1977. — № 6. — С. 3-11.

14. Еремеев А. П. Организация параллельных вычислений на основе моделей потока данных // Известия РАН. Техническая кибернетика. — 1993.- № 3,- С. 212-225.

15. Жуковин В. Е. Нечеткие многокритериальные модели принятия решений / Под ред. А. X. Гиоргадзе. — Тбилиси: Мецниереба, 1988. — 71 с.

16. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. — Новосибирск: Издательство института математики, 1999. — 270 с.

17. Заде II. Понятие лингвистической переменной и его применение к принятию приближенных решений / Под ред. А. Н. Колмогорова, С. П. Новикова. Математика. Новое в зарубежной науке № 3. — М.: Мир, 1976. — 168 с.

18. Иванилов Е. И. Некоторые аспекты выбора серверов // Корпоративные системы. 2003. - № 4. - С. 34-36.

19. Ивахненко А. Р. Долгосрочное прогнозирование и управление сложными системами. — К.: Техшка, 1975. — 312 с.

20. Индикаторы устойчивого развития России. Эколого-экономические аспекты / Под ред. С. Н. Бобылева, Р. А. Макеенко. — М.: ЦПРП, 2001. — 220 с.

21. Канеман Д., Словик П., Тверски А. Принятие решений в неопределенности: правила и предубеждения, — Харьков: Гуманитарный центр, 2005. 632 с.

22. Квейд Э. Анализ сложных систем / Под ред. И. И. Ануреева, И. М. Верещагина. — М.: Советское радио, 1969.— 520 с.

23. Кини Р. Л. Размещение энергетических объектов: выбор решений. — М.: Энергоатомиздат, 1983. — 320 с.

24. Кини Р. Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. — М.: Радио и связь, 1981. — 560 с.

25. Климанов В. П., Сутягин М. В., Быстрикова В. А. Задачи катастро-фоустойчивости кластерных вычислительных систем // Новости искусственного интеллекта. — 2002. — Т. 3, № 51. — С. 22-30.

26. Компьютер и поиск компромисса. Метод достижимых целей / А. В. Лотов, В. А. Бушенков, Г. К. Каменев, О. Л. Черных, — М.: Наука, 1997. — 239 с.

27. Крон Г. Исследование сложных систем по частям (диакоптика) / Под ред. А. В. Баранова. — М.: Наука, 1972,— 544 с.

28. Кузьмин В. Б., Овчинников С. В. Об измерениях в порядковых шкалах // Автоматика и телемеханика.— 1974.— Т. 35, № 11.— С. 106— 112.

29. Ларичев О. И. Наука и искусство принятия решений.— М.: Наука, 1979.- 199 с.

30. Ларичев О. И. Объективные модели и субъективные решения.— М.: Наука, 1987.- 143 с.

31. Ларичев О. И. Противоречивые свойства методов индивидуального выбора // Доклады Академии Наук. 2001. - Т. 378, № 2,- С. 168-172.

32. Ларичев О. И. Теория и методы принятия решений, а также хроника событий в волшебных странах. — 2-е изд. — М.: Логос, 2002. — 392 с.

33. Ларичев О. И. Вербальный анализ решений / Под ред. А. Б. Петровского. М.: Наука, 2006. - 181 с.

34. Ларичев О. И., Браун Р. В. Количественный и вербальный анализ решений: сравнительное исследование возможностей и ограничений // Экономика и математические методы. — 1998. — Т. 34, № 4. — С. 97-107.

35. Ларичев О. И., Зуев Ю. А., Гиеденко Л. С. Метод ЗАПРОС (Замкнутые Процедуры у Опорных Ситуаций) решения слабоструктуризован-ных проблем выбора при миогих критериях.— М.: ВНИИСИ, 1979,— 75 с.

36. Ларичев О. И., Мошкович Е. М. Качественные методы принятия решений. — М.: Физматлит, 1996. — 208 с.

37. Ларичев О. И., Петровский А. Б. Системы поддержки принятия решений: современное состояние и перспективы развития // Итоги науки и техники. — ВИНИТИ, 1987.— Т. 21 из Техническая кибернетика,— С. 131-164.

38. Литвак Б. Г. Экспертная информация: методы получения и анализа. — М.: Радио и связь, 1981.— 184 с.

39. Лопухин М. М. ПАТТЕРН метод планирования и прогнозирования научных работ. — М.: Советское радио, 1971. — 160 с.

40. Макеев С. П., Шахнов И. Ф. Упорядочение объектов в иерархических системах // Известия АН СССР. Серия «Техническая кибернетика». — 1991.- № 3.- С. 29-46.

41. Мандель И. Д. Кластерный анализ. — М.: Финансы и статистика, 1988. — 176 с.

42. Математическое измерение и психофизика // Экспериментальная психология. Т. 1 / Под ред. С. С. Стивене. — М.: Иностранная литература, 1960.-С. 5-78.

43. Месарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем. — М.: Мир, 1973. — 344 с.

44. Местпецкий Л. М. Математические методы распознавания образов. Курс лекций. М.: МГУ, 2004. - 85 с.

45. Метод многокритериальной классификации ЦИКЛ и его применение для анализа кредитного риска / А. А. Асанов, О. И. Ларичев, Г. В. Рой-зензон и др. // Экономика и математические методы. — 2001. — Т. 37, № 2,- С. 14-21.

46. Методы и модели согласования иерархических решений / Под ред. А. А. Макарова. — Новосибирск: Наука, 1979.— 240 с.

47. Миллер Дж. А. Магическое число семь плюс или минус два. О некоторых пределах нашей способности перерабатывать информацию // Инженерная психология / Под ред. А. Н. Леонтьева. — М.: Прогресс, 1964.-С. 192-225.

48. Миркин Б. Г. Анализ качественных признаков и структур, — М.: Статистика, 1980. — 319 с.

49. Миркин Б. Г. Группировки в социально-экономических исследованиях. — М.: Финансы и статистика, 1985. — 223 с.

50. Мишин С. П. Оптимальные иерархии управления в экономических системах. М.: ПМСОФТ, 2004. - 190 с.

51. Моисеев Н. Н. Информационная теория иерархических систем // Избранные труды в 2-х томах / Под ред. А. А. Петрова. — М.: Тайдекс Ко, 2003.— Т. 1. Гидродинамика и механика. Оптимизация, исследование операций и теория управления. — С. 214-266.

52. Мясников А. Я. Гипертоническая болезнь. — М.: Медгиз, 1954. — 329 с.

53. Нечеткие множества в моделях управления и искусственного интеллекта / А. Н. Аверкин, И. 3. Батыршин, А. Ф. Блишун и др.; Под ред. Д. А. Поспелова. — М.: Наука, 1986. 312 с.

54. Ногин В. Д. Принятие решений в многокритериальной среде: количественный подход, — М.: Физматлит, 2002.— 144 с.

55. Ногин В. Д. Упрощенный вариант метода анализа иерархий на основе нелинейной свертки критериев // Журнал Вычислительной Математики и Математической Физики. — 2004. — Т. 44, № 7. — С. 1259-1268.

56. Озерной В. М., Гафт М. Г. Методология решения дискретных многокритериальных задач // Многокритериальные задачи принятия решений / Под ред. Д. М. Гвишиани, С. В. Емельянова. — М.: Машиностроение, 1978. С. 14-47.

57. Орлов А. И. Устойчивость в социально-экономических моделях. — М.: Наука, 1979, — 296 с.

58. Орлов А. И. Репрезентативная теория измерений и ее применения // Заводская лаборатория. — 1999. — Т. 65, № 3. — С. 57-62.

59. Орловский С. А. Проблемы принятия решений при нечеткой исходной информации, — М.: Наука, 1981. — 206 с.

60. Патругин Ю. А. Бальное шкалирование признака // Экономика и математические методы. — 1970. — Т. 6, № 6. — С. 887-893.

61. Петровский А. Б. Компьютерная поддержка принятия решений: современное состояние и перспективы развития // Системные исследования. Методологические проблемы. Ежегодник / Под ред. Д. М. Гвишиани,

62. B. Н. Садовского.- № 24. 1995-1996. М.: Едиториал УРСС, 1996.1. C. 146-178.

63. Петровский А. Б. Пространства множеств и мультимножеств.— М.: Едиториал УРСС, 2003. 248 с.

64. Петровский А. Б. Групповой вербальный анализ решений: подход теории мультимножеств // Первая международная конференция «Системный анализ и информационные технологии» (САИТ-2005). Труды конференции в 2 т. Т. 1.-М.: КомКнига, 2005. - С. 283-290.

65. Петровский А. Б., Ройзензон Г. В. Многокритериальный подход к построению интегральных показателей // Таврический Вестник Информатики и Математики. — 2008. — № 2. — С. 143-150.

66. Подииовский В. В. Количественная важность критериев // Автоматика и телемеханика. — 2000. — Т. 61, № 5. — С. 110-123.

67. Поспелов Д. А. Ситуационное управление. Теория и практика.— М.: Наука, 1986. — 288 с.

68. Приобретение и формализация знаний / А. Н. Аверкин, А. Ф. Б лишу н, Т. А. Гаврилова, Г. С. Осипов // Искусственный интеллект. Модели и методы: Справочник / Под ред. Д. А. Поспелова, — М.: Радио и связь, 1990. Т. 2. - С. 65-76.

69. Пфанцагль И. Теория измерений. — М.: Мир, 1976. — 248 с.

70. Разработка и внедрение автоматизированной системы оценки качества кредитов в коммерческом банке / А. А. Асанов, О. И. Ларичев, Г. В. Рой-зензон и др. // Аудит и финансовый анализ. — 2001.— № 1,— С. 196— 200.

71. Раппопорт А. М., Шнейдерман М. В. Анализ экспертных суждений, заданных в виде структур // Прикладной многомерный статистический анализ. — М.: Наука, 1978. С. 150-164.

72. Ройзензон Г. В. Выбор вычислительных кластеров па основе анализа количественной и качественной информации // Искусственный интеллект. — Т. 2. — Донецк, Украина: Наука i оевгга, 2004. — С. 375-379.

73. Ройзензон Г. В. Способы снижения размерности признакового пространства для описания сложных систем в задачах принятия решений // Новости искусственного интеллекта. — 2005. — № 1. — С. 18-28.

74. Российская фундаментальная наука в~третьем" тысячелетии "/'О. И. Ларичев. В. А. Минин, А. Б. Петровский, Г. И. Шепелев // Вестник Российской академии наук. — 2001,— Т. 71, № 1,— С. 13-18.

75. Руа Б. Классификация и выбор при наличии нескольких критериев (метод Электра) // Вопросы анализа и процедуры принятия решений. Сборник переводов / Под ред. И. Ф. Шахнова. — М.: Мир, 1976. — С. 80107.

76. Рыков А. С. Модели и методы системного анализа: Принятие решений и оптимизация: Учебное пособие для вузов. — М.: МИСИС, 2005. — 352 с.

77. Рытиков А. М., Ройтман Е. Я., Шафрин Ю. А. Что мешает эффективному внедрению типовых АСУ? // Цветные металлы. — 1988. — № 1. — С. 98-101.

78. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1993, — 278 с.

79. Саати Т. JI. Принятие решений при зависимостях и обратных связях: Аналитические сети / Под ред. А. В. Андрейчикова, О. Н. Андрейчико-вой. М.: Издательство ЛКИ, 2008. — 360 с.

80. Савяк В. Эффективные кластерные решения Электронный ресурс.— 2002,— Режим доступа: www.ixbt.com/cpu/clustering.shtml.

81. Саймон Г. Науки об искусственном. — 2-е изд. — М.: Едиториал УРСС, 2004. 144 с.

82. Свойства гиперкубовых структур в OLAP-системах / А. А. Ахрем, И. М. Макаров, В. 3. Рахманкулов, И. О. Ровкин // Труды 1-ой международной конференции «Системный анализ и информационные технологии» (SAIT-2005). Т. 1. - М.: КомКнига, 2005. - С. 56-61.

83. Смирнов А. В., Юсупов Р. М. Технология параллельного проектирования: основные принципы и проблемы внедрения // Автоматизация проектирования. — 1997. — № 2. — С. 50-55.

84. Создание и применение системы высокопроизводительных вычислений на базе высокоскоростных сетевых технологий / В. Е. Фортов, Г. И. Савин, В. К. Левин и др. // Информационные технологии и вычислительные системы. — 2002. — № 1. — С. 3-9.

85. Солсо P. JI. Когнитивиая психология. — М.: Тривола, 1996. — 600 с.

86. Стефанюк В. Л. Локальная организация интеллектуальных систем. Модели и приложения. — М.: Физматлит, 2004. — 328 с.

87. Терехина А. Ю. Анализ данных методами многомерного шкалирования,- М.: Наука, 1986,- 168 с.

88. Филиппов В. А., Ларичев О. И. Проблемы выбора при перспективном планировании научных исследований и разработок // Труды III Всесоюзного симпозиума по планированию и управлению НИР / Под ред. К. Л. Горфана, Л. Э. Миндели.- М.: ЦЭМИ, 1976. — С. 36-42.

89. Финн В. К. Интеллектуальные системы и общество: Сборник статей. — М.: КомКнига, 2006. — 352 с.

90. Фишберн П. Теория полезности для принятия решений,— М.: Наука, 1978.- 352 с.

91. Фомин Я. А. Диагностика кризисного состояния предприятия: Учебное пособие для вузов. М.: ЮНИТИ-ДАНА, 2003. - 349 с.

92. Харман Г. Современный факторный анализ. — М.: Статистика, 1972.— 488 с.1Ы1—Чесноков Сг В: Детерминационный а и ал и з ~соц й а л ь н о-э ко н о м и че с к и х данных. — М.: Наука, 1982. — 168 с.

93. Belton V., Gear А. Е. On a short-coming of Saaty's method of analytical hierarchies // Omega. — 1983. Vol. 11, no. 3.- Pp. 228-230.

94. Forman E. H., Selly M. A. Decision by Objectives: How to Convince Others That You Are Right. — Singapore: World Scientific, 2001,— 402 pp.

95. Harrington E. C. The desirability function // Industrial Quality Control. — 1965.- Vol. 21, no. 10,- Pp. 494-498.

96. Huizingh E., Vrolijk H. A comparison of verbal and numerical judgments in the Analytic Hierarchy Process // Organizational Behavior and Human Decision Processes. 1997. — Vol. 70, no. 3. — Pp. 237-247.

97. Larichev O., Brown R. Numerical and Verbal Decision Analysis used for the problems of resources allocation in arctic // Journal of Multi-Criteria Decision Analysis. — 2000. Vol. 9, no. 6. — Pp. 263-274.

98. Larichev О. I. Cognitive validity in design of decision-aiding techniques // Journal of Multi-criteria Decision Analysis. — 1992.— Vol. 1, no. 3.— Pp. 127-138.

99. Lootsma F. A. Scale sensitivity in the multiplicative AHP and SMART // Journal Multi-Criteria Decision Analysis. — 1993. — Vol. 2. — Pp. 87-110.

100. Petrovsky Alexey B. Cluster Analysis in Multiset Spaces // Information Systems Technology and its Applications / Ed. by M. Goldevsky, S. Liddle, H. Mayr. Bonn: Gesellshaft fur Informatik, 2003. — Pp. 109-119.

101. Pirlot M. A common framework for describing some outranking methods // Journal of Multi-criteria Decision Analysis. — 1997. — Vol. 6, no. 2. — Pp. 86-93.

102. Roy В. Multicriteria Methodology for Decision Aiding. — Dordrecht: Kluwer Academic Publisher, 1996. — 320 pp.

103. Roy В., Bouyssou D. Comparison of two decision-aid models applied to a nuclear power plant siting example // European Journal of Operational Research. 1986. - Vol. 25, no. 2. - Pp. 200-215.

104. Simon H. A. The New Science of Management Decision. — New York: N.Y. Harper and Row Publishers, 1960. — 50 pp.

105. Triantaphyllou E. Two new cases of rank reversals when the AHP and some of its additive variants are used that do not occur with the multiplicative AHP // Journal of Multi-criteria Decision Analysis.— 2001,— Vol. 10, no. 1,- Pp. 11-25.

106. Vallee D., Zielniewicz P. ELECTRE 3-4, version 3x. Guide d'Utilisation, Document LAMSADE N 85. — Paris: Universite de Paris Dauphine, 1994.

107. Vanderpooten D. The construction of prescriptions in ontranking methods // Readings in Multiple Criteria Decision Aid / Ed. by С. Bana e Costa.— Heidelberg: Springer Verlag, Heidelberg, 1990. — Pp. 184-216.

108. Winterfeldt D., Edwards W. Decision Analysis and Behavioral Research. — Cambridge: Cambridge University Press, 1986. — 604 pp.

109. Zadeh L. A. Fuzzy sets // Information and Control— 1965.— Vol. 8, no. 3.- Pp. 338-353.

110. Zadeh L. A. Toward a theory of fuzzy information granulation and its cen-trality in human reasoning and fuzzy logic // Fuzzy Sets and Systems.—1997. September. - Vol. 90, no. 2,- Pp. 111-127. /