автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Модели согласования экспертных оценок в процедурах группового выбора

На правах рукописи

Старцев Алексей Викторович

МОДЕЛИ СОГЛАСОВАНИЯ ЭКСПЕРТНЫХ ОЦЕНОК В ПРОЦЕДУРАХ ГРУППОВОГО ВЫБОРА

Специальность 05.13.01 - Системный анализ, управление и обработка

информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Воронеж 2004

Работа выполнена в Воронежском государственном университете

Научный руководитель:

доктор технических наук, профессор Леденева Татьяна Михайловна

Официальные оппоненты:

доктор технических наук, профессор Подвальный Семен Леонидович

кандидат технических наук, доцент Курочка Павел Николаевич

Ведущая организация:

Воронежский институт высоких технологий

Защита диссертации состоится 2 июня 2004 г. в 14.00 часов на заседании диссертационного совета К 212.033.01 при Воронежском государственном архитектурно-строительном университете по адресу: 394006, г. Воронеж, ул. 20-летия Октября, 84, ауд. 20, корп. 3.

С диссертацией можно ознакомиться в библиотеке Воронежского государственного архитектурно-строительного университета.

Автореферат разослан «2» мая 2004 г.

Ученый секретать диссертационного совета

Общая характеристика работы

Актуальность темы. Принятие решений занимает центральное место в процессе управления, поскольку, с одной стороны, является его функцией, а с другой - реализуется во всех других функциях управления. Более того, любую функцию управления технологически можно представить как последовательность решений. Заметим, что в современных моделях организационных, социальных и экономических систем процедура принятия решений предполагает привлечение вычислительной техники для повышения эффективности управления такими системами. Современные системы поддержки принятия решений (СППР), как правило, ориентированы на активное использование экспертной информации. Простейшим способом ее получения является учет мнения одного специалиста. Однако получаемые при этом результаты имеют субъективный характер. Для снижения уровня субъективности привлекается группа экспертов. Под принятием группового решения обычно понимают выработку для всех участников группы соглашения по рассматриваемой проблеме на основе их субъективных интересов, предпочтений и целей. Иными словами, осуществляется переход от индивидуальных точек зрения отдельных экспертов к единому коллективному мнению, на основе которого вырабатывается согласованное групповое решение. Осложняющими факторами при принятии групповых решений являются многокритериальность и неопределенность, одним из проявлений которых является неоднозначность, нечеткость экспертных оценок альтернативных вариантов решений. Это приводит к тому, что модель принятия решений должна быть ориентирована на неоднородность информации, выраженной как в количественном, так и в качественном виде. Для повышения эффективности принятия согласованных групповых решений создаются специальные системы поддержки принятия групповых решений (СПГР). Однако, для того, чтобы процедура проведения переговоров могла быть поддержана компьютерными технологиями, необходимо разработать формализованные процедуры согласования, учитывающие неопределенность и многокритериальность и позволяющие осуществить поиск приемлемого компромисса. Большое значение проблема согласования имеет для многоагентных систем. В таких системах предполагается, что отдельный агент может иметь лишь частичное представление о задаче, поэтому для решения сколько-нибудь сложной проблемы требуется взаимодействие агентов. Организация совместной деятельности, связанная с коллективным решением задач в виртуальных сообществах, влечет за собой задачу согласования решений для формирования единого коллективного решения, являющегося оптимальным по некоторому набору критериев. Для решения проблемы согласования существует значительное число методов, ориентированных на тип информации, получаемой от эксперта (количественные оценки, матрица парных сравнений, ранжирование). Практически не разработаны подходы для случая, когда экспертные оценки являются лингвистическими — это <)Г)ус.1оа::""'■ «и»*-»! выполненного в диссертации исследования.

Работа выполнена в соответствии с одним из основных научных направлений Воронежского государственного университета «Анализ и математическое моделирование сложных систем».

Цель и постановка задач исследования. Целью диссертационной работы является разработка методов и моделей согласования решений в условиях неопределенности на основе использования лингвистических моделей представления экспертной информации. Для достижения указанной цели в диссертационной работе решаются следующие основные задачи:

- анализ систем принятия решений и многоагентных систем с целью выявления особенностей формирования согласованных решений;

- анализ подходов к решению проблемы формирования согласованных групповых решений, ориентированных на тип экспертной информации;

- разработка моделей обобщенной оценки альтернатив, позволяющих учитывать различные уровни неопределенности исходной информации;

- разработка методов определения непротиворечивости отдельных экспертов и экспертной группы;

- разработка алгоритма получения согласованного группового решения относительно лучшей альтернативы на основе лингвистических отношений предпочтения отдельных экспертов;

- разработка программного комплекса для формирования согласованного группового решения в условиях многокритериальности и неопределенности.

Методы исследования. В диссертационной работе использованы методы теории принятия решений, теории графов, исследования операций, дискретной математики, теории нечетких множеств, а также системного анализа.

Научная новизна. В диссертации получены следующие результаты, характеризующиеся научной новизной:

- методика формирования группового решения на основе порядковых операторов осреднения, отличающаяся возможностью согласования индивидуальных экспертных оценок на основе принципа нечеткого большинства и позволяющая учитывать количественную и качественную информацию при формировании обобщенной оценки;

- система аксиом, определяющая требования к операторам агрегирования взвешенной лингвистической информации при формировании групповых оценок альтернатив;

- методы определения количественных и качественных оценок непротиворечивости эксперта и группы экспертов на основе анализа индивидуальных и групповых отношений предпочтения, позволяющие организовать процесс согласования как итерационную процедуру;

- метод анализа экспертной группы на основе знаковых графов, позволяющий выделить экспертов с высоким уровнем согласованности в суждениях;

- алгоритм формирования согласованного группового решения, использующий в качестве исходной информации лингвистические отношения

предпочтений экспертов и позволяющий обеспечить как последовательность экпертных суждений, так и высокий уровень консенсуса в группе.

Достоверность научных результатов. Научные положения, теоретические выводы и практические рекомендации обоснованы корректным использованием математического аппарата, подтверждены вычислительными экспериментами на ЭВМ и внедрением в практику принятия групповых решений.

Практическая значимость и результаты внедрения. В рамках диссертационного исследования разработано математическое,

алгоритмическое и программное обеспечение подсистемы согласования индивидуальных решений системы поддержки принятия групповых решений в условиях неопределенности, особенностью которой является использование лингвистических моделей представления информации на всех этапах получения согласованного решения. Предложенные в диссертации модели и методы согласования индивидуальных решений создают основу для формирования алгоритмов взаимодействия агентов в многоагентных системах. Поскольку процедура принятия согласованных групповых решений лежит в основе управленческой деятельности, то компьютерная поддержка этой процедуры на основе разработанных моделей и методов позволит значительно повысить эффективность экспертизы и обоснованность принятых на ее основе решений.

Результаты диссертационной работы в виде программного комплекса для решения задачи согласованного группового выбора налучшей альтернативы были использованы в работе аналитического отдела компании «АЛЕСТАР» и «Аметист» для ШаЬШШу-исследования, результаты которого служат базисом для разработки концептуальной проектной схемы пользовательского интерфейса веб-сайта. Фирма «Аметист», предоставляющая услуги дополнительного образования, использует программу «АЛЕСТАР ЭКСПЕРТ» для получения согласованной оценки уровня подготовки обучаемых при проведении промежуточных тестов и итоговых дипломных экзаменов.

На защиту выносятся:

— модели агрегирования индивидуальных экспертных (или многокритериальных) оценок, ориентированные на различные уровни неопределенности информационной среды задачи принятия решения;

- методы определения количественных и качественных оценок непротиворечивости экспертных суждений;

- метод анализа согласованности экспертных суждений на основе знаковых графов;

— алгоритм формирования согласованного группового решения в условиях лингвистической неопределенности.

Апробация работы. Материалы диссертации, ее основные положения и результаты доложены и обсуждены на международных и всероссийских конференциях: "Системный анализ в проектировании и управлении" (Санкт Петербург - 2002 г.); "Математика. Образование. Экология. Тендерные проблемы" (Воронеж — 2003 г.); "Современные сложные системы управления"

(Воронеж - 2003 г.); "Моделирование сложных систем. Современные направления теории и практические приложения" (Воронеж - 2004 г.) а также на научных семинарах Воронежского государственного университета.

Публикации. По теме диссертации 8 печатных работ. Личный вклад автора в работах, опубликованных в соавторстве, состоит в следующем: в [1] автором разработана схема согласования экспертных оценок в задаче группового выбора; в [2] автором обоснована необходимость использования лингвистических моделей представления информации на различных этапах согласования экспертных оценок; в [3] автором предложена процедура классификации экспертов по степени близости высказываний на основе статистических критериев; в [4] автором определены особенности проблемы согласования решений в многоагентных системах и предложена процедура группового выбора согласованных решений; в [5] автор предложен алгоритм выбора согласованных решений в условиях, когда экспертная информация задается в виде лингвистических отношений предпочтения, а согласование осуществляется на основе принципа "нечеткого большинства"; в [6] автором определены количественные и качественные меры непротиворечивости отдельного эксперта и группы экспертов; в [7] предложена процедура определения сбалансированности экспертной группы на основе знаковых' графов; в [8] автором разработана модель оценки степени согласования экспертной группы в процедурах группового выбора для случая, когда оценки экспертов являются лингвистическими и задаются в виде матрицы парных сравнений.

Объем и структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, приложений. Работа содержит 128 стр. текста, включает 24 рисунков и 12 таблиц. Список используемой литературы включает 8 наименований.

Содержание работы

Во введении обосновывается актуальность темы диссертационного исследования, формулируются цель и задачи исследования, определяется научная новизна и практическая значимость.

В первой главе рассматривается задача формирования согласованных групповых решений, ее особенности в условиях неопределенности и компьютерная реализация в системах поддержки принятия согласованных решений и многоагентных системах. Экспертная информация используется для решения широкого круга задач. Однако, несмотря на их многообразие, можно выделить общие методические проблемы, которые делятся на две группы: проблемы получения экспертной информации и проблемы ее обработки, которые в свою очередь включают: анализ суждений каждого эксперта, анализ всей совокупности экспертных суждений и агрегирование суждений для получения группового решения. В диссертационной работе в основном рассматриваются именно эти проблемы.

Пусть /к{к = - индивидуальная функция предпочтения к-го члена группового лица, принимающего решение (ЛПР), тогда задача выбора

согласованного группового решения заключается в построении функции группового предпочтения Р(/п/г,—,/т) на основе одного из принципов группового выбора (принцип диктатора, принцип большинства, принцип Парето). Практическая реализация принципов группового выбора зависит от следующих факторов: тип экспертной оценки (непосредственная оценка, ранжирование, парное или последовательное сравнение); решается ли задача в условиях многокритериальности; рассматривается ли единственная проблемная ситуация или вводится несколько проблемных ситуаций, в которых может оказаться ЛПР. В зависимости от учитываемых факторов приведенная выше постановка задачи может быть конкретизирована. Нами рассматривалась следующая наиболее общая постановка задачи формирования согласованного группового решения: пусть множество альтернативных вариантов решений; - множество критериев

(показателей), характеризующих свойства этих решений, причем каждый критерий имеет свой вес , определяющий степень важности оценки по этому критерию. Пусть каждая альтернатива оценивается группой экспертов по каждому из критериев, а затем на основе полученных экспертных оценок формируется групповая оценка, используя которую ЛПР выбирает лучшие альтернативы. Заметим, что процесс согласования во многом зависит от основных характеристики группы экспертов. Различают гомогенную и гетерогенную группы экспертов. В первом случае мнения всех экспертов являются равноважными для получения согласованного решения, во втором случае каждый эксперт Ек характеризуется коэффициентом ск, позволяющим учитывать значимость его мнения при формировании групповой оценки.

Компьютерная реализация данной задачи осуществляется в рамках систем поддержки принятия групповых решений, анализ которых проведен в диссертационной работе. Для многоагентных систем проблема согласования решений решается как между узлами различных уровней, так и между узлами одного уровня, в связи с чем возникают следующие задачи: разработка принципов согласования решений, оценка согласованности группы агентов, оценка согласованности действий отдельных агентов, разработка процедур согласования решений в условиях неопределенности.

В конце главы сформулированы цель диссертационного исследования и задачи, которые необходимо решить для ее достижения.

Во второй главе рассматриваются модели согласования индивидуальных решений в условиях неопределенности. Заметим, что в основе алгоритма выбора лучшей альтернативы лежит формирование обобщенной оценки на основе агрегирования частных критериальных (экспертных) оценок или матриц индивидуальных отношений предпочтений экспертов. В случаях существенной неопределенности значительно возрастает объем экспертной информации, ужесточаются требования к ее согласованности и непротиворечивости. Основный принцип заключается в том, что задачу группового выбора целесообразно описывать на языке, который используют эксперты (ЛПР) или максимально приближенном к нему,

причем содержательные качественные понятия необходимо сохранить на всех этапах обработки информации вплоть до получения группового решения. Лингвистические модели представления информации позволяют в полной мере обеспечить этот принцип.

Лингвистическая шкала S представляет собой конечное вполне упорядоченное множество термов {5^} удовлетворяющих

следующим условиям: 1) если i<j, то S, предшествует Sj^-iS^; 2) отрицание терма — ; 3) объединение термов

St vSj = max^.Sy) = , если 4) пересечение термов

S, =min(5,„5'y) = 5,, если S,<S;

Мощность лингвистической шкалы определяет степень градации неопределенности: она должна быть достаточно малой для избежания ненужной точности, но и достаточно большой, чтобы обеспечить необходимый уровень различения градаций шкалы экспертом. В диссертационной работе рассматриваются лингвистические шкалы с нечетным числом термов, симметричные относительно среднего терма. Например, S = {S{l,Si,S2,S3,Si,Ss,Si>}, где S0-None^N) — несущественная,

St— Very Low (VL)— очень низкая', S2—Low(L) —низкая; S}— Medium (М) —

средняя; St -High(H) - высокая; Ss -VeryHigh(VH) - очень высокая;

S6 -Outstanding^U) - значительная. Учитывая обозначения, шкалу S

можно записать также в виде

В рамках лингвистического подхода можно выделить ординальное лингвистическое оценивание, которое подразумевает использование в модели термов лингвистической шкалы в их естественном выражении, и кардинальное лингвистическое оценивание, когда обработка экспертной информации осуществляется в терминах функций принадлежности соответствующих термов. Лингвистическое оценивание является наиболее адекватным методом получения экспертных оценок, в случае, когда показатели (критерии) имеют качественную природу, либо можно ограничиться лишь приближенными оценками, которые в отличие от числовых требуют меньшего объема ресурсов при организации оценочной процедуры.

Будем предполагать, что все оценки в рамках рассматриваемой задачи формирования согласованного группового решения либо представляют собой количественную оценку из [0,1], либо лингвистическую из некоторой шкалы S. В основе получения обобщенной оценки (многокритериальной или групповой) лежат различные технологии агрегирования, реализующие три основные стратегии агрегирования — дизъюнктивную, конъюнктивную и компромиссную. В диссертационной работе проведен анализ различных операторов, использование которых соответствует той или иной стратегии.

Важнейший класс составляют порядковые взвешенные операторы (OWA) и их расширения на лингвистический случай (LOfFA)

п - местный OWA -оператор, ассоциированный с вектором весов

W = (vc,,...,'w/I)^>i'i е[0,1]/^]и'( =lj есть отображение F:[0,l]"+' —>[0,l], такое,

что F(W,A) = ^wl-br, где Л = (Ь,,...,6л) — это упорядоченный по

невозрастанию вектор

Лингвистический OWA -оператором (LOWA -оператор) Ф^^А)

определяется правилом

Ф„ (А) = С" {wt,Ьк,к = й} = w, ® 6, Ф (1 - w,) ® С""' {Д,bH,h = Zn\,

где вектора и определяются точно также как и в

предыдущем случае, Д, = —[h = 2,л); С" - выпуклая комбинация п

термов. В частности, при п = 2 С1 \yvltbt,i — {1,2}} = w, ®Sj Ф(1 — vc,)® S, =SL,

где , причем , где

round - оператор округления.

Отличительной особенностью данных операторов является то, что, являясь операторами осреднения (реализуя по сути компромиссную стратегию) за счет выбора вектора весовых коэффициентов они могут быть настроены "в определенной степени" на дизъюнктивное или конъюнктивное агрегирование.

Если вся исходная информация является лингвистической, то целесообразно использовать лингвистическую конъюнкцию (LWC), лингвистическую дизъюнкцию (LWD) или лингвистическое осреднение (LWA).

Агрегирование множества взвешенных индивидуальных экспертных

оценок с,,а,),____>)} в соответствии с оператором лингвистической

взвешенной дизъюнкции (LWD - оператором) определяет оценку (с£,й£), такую, что групповая оценка альтернативы определяется

аЕ = тах/пт^.а,},

а степень компетентности группы экспертов

«£'фа(с1.....О-

Агрегирование множества взвешенных индивидуальных экспертных оценок в соответствии с оператором лингвистической

взвешенной - конъюнкции (LWC - оператором) определяет оценку (с£,а£), такую что групповая оценка альтернативы определяется правилом

аЕ = тештиах а,},

а степень компетентности группы экспертов

Агрегирование множества взвешенных индивидуальных экспертных оценок в соответствии с Ш7А — оператором определяет

взвешенную групповую оценку , такую что

{сЕ,аЕ) = 1\УА[{с{,а1).....(св,оя)],

где степень компетентности группы экспертов есть

а групповая оценка альтернативы ав определяется по формуле

где - оператор LOWA или его обратный; g принадлежит

семейству лингвистических конъюнкций, если / = и g принадлежит

семейству лингвистических импликаций, если

В диссертационной работе сформирована система аксиом, определяющих желательные свойства лингвистических операторов, которым они должны удовлетворять при формировании групповой оценки альтернативы. Выбор подходящего оператора в зависимости от типа исходной информации можно осуществить на основе табл. 1.

Все операторы учитывают влияние весовых коэффициентов, поэтому задача определения весов агрегатов (весов критериев или коэффициентов компетентности экспертов) является важной. Более того, выбор весов для порядковых операторов предопределяет ту или иную стратегию агрегирования. Для формирования весовых коэффициентов используются лингвистические кванторы, которые являются математическими моделями нечетких оценок типа несколько, по крайней мере т, большинство и т. п. Эти термы занимают промежуточное положение между кванторами всеобщности и существования, известными из классической логики. В общем случае под лингвистическим квантором будем понимать нечеткое подмножество

отрезка [0,1], которое формализует свойство, заложенное в концепцию лингвистического квантора. Различают абсолютный {больше 5, приблизительно равно 3 и т.п.) и пропорциональный кванторы (большинство, по крайней мере половина, несколько, мало).

Веса определяются следующим образом:

¿4-1.

для , при этом всегда

и

_Таблица 1

№ Оценка Оператор Примечания

1 w,e[0,l] а,е[0,1] i=i В - вектор, полученный из вектора А упорядочением элементов по невозрастанию ( В = А 4-)

2 5 = ЛТ

3 W/0=/г1 fx>,-"(*,)] V <=i у Н(х) - -аддитивный генератор

4 МЛ^ (л) = min S(1 - w„ai) S- треугольная 5 - норма • (моделирует нечеткую дизъюнкцию)

5 MAXW (A) = шах r(w,,a() S- треугольная S - норма (моделирует нечеткую конъюнкцию)

6 W,e[0,l] a,eS С°(«)- выпуклая комбинация п термов

7 Ф0(А)шС-(у,1.Ь„ыТп\ B=At

8 wteS a,eS LMNW(A) = min max(^V(w„a,)) N(S)- отрицание терма в лингвистической шкале

9 LMAXW(Л) = шах min, at))

10 LfM((c|Iei),/ = l,H) = (a£,c£) Групповая оценка где / - лингвистические порядковые операторы. {Фе.Ф$; с£=Фс(С) - степень компетентности группы экспертов, где Q - лингвистический квантор весов; g- лингвистическая конъюнкция, если / = Фе и лингвистическая импликация, если f = Ф'д.

11 Частный случай LWA при аЕ - mpc min (с,, а,)

12 1ЖС((с(,а,),/ = и;) = (а£,с£) Частный случай LWA при аЕ = minmax(W(c,),a,)

При подготовке ответственных решений принято опираться на суждения не отдельного эксперта, а экспертной группы, поэтому важной практической задачей является формирование группы экспертов, состоящей только из квалифицированных специалистов. Качество эксперта оценивается коэффициентом компетентности, представляющим собой относительную характеристику, которая сравнивает уровень компетентности данного эксперта с такими же показателями других членов экспертной группы. Большинство существующих методов определения коэффициентов компетентности ориентированы на получение количественных оценок, в то время как в условиях неопределенности актуальным является использование моделей приближенной оценки. Можно ввести целый набор показателей, характеризующих свойство компетентности, которые его конкретизируют. Рассмотрим один из них — непротиворечивость экспертных суждений. Пусть ' экспертная информация формируется на основе процедуры парного сравнения альтернатив, которая является достаточно эффективной в том смысле, что при сравнении двух альтернативных вариантов проще увидеть преимущества одного и недостатки другого. Предположим, что суждения эксперта заданы в

форме отношения предпочтения , где - количество

сравниваемых между собой альтернатив, определяет степень предпочтения

1-ой альтернативы .Ьой. Р называется лингвистическим отношением

предпочтения, если р^^Б и выполняются следующие условия: 1) ру=8т

определяет максимальную, а - минимальную степень предпочтения

альтернативы над альтернативой ; 2) если , то альтернатива

предпочитается альтернативе со степенью ; 3) если , то

альтернативы и неразличимы по предпочтению.

Чтобы построить лингвистическое отношение предпочтения необходимо ввести лингвистическую переменную Степень Предпочтения со значениями в некоторой лингвистической шкале. Для оценки силы предпочтения целесообразно перейти к отношению строгого предпочтения с элементами

Заметим, что каждому отношению строгого предпочтения соответствует граф предпочтений й = (Х,1/), в котором множество вершин X - это множество рассматриваемых альтернатив, а дуга тогда и только

тогда, когда альтернатива х, предпочтительнее альтернативы хг Если в множестве альтернатив, по мнению эксперта, нет равноценных, то получим полный ориентированный граф, называемый турниром. Турнир называется транзитивным, если из условий и следует, что

Вопрос о транзитивности предпочтений ЛПР сводится к вопросу об

определении, является ли транзитивным соответствующий турнир. Заметим, что множество из трех вершин {х,у,г} турнира G само определяет турнир, который может быть либо транзитивен, либо нетранзитивен. В первом случае тройку {х.у.г} будем называть транзитивной, во втором - нетранзитивной или циклической.

В случае лингвистического отношения строгого предпочтения граф парных сравнений является взвешенным - каждой дуге соответствует р^еБ Качественная мера непротиворечивости к-го эксперта основывается на степени транзитивности отношения строгого предпочтения, которое соответствует данному эксперту и использует веса, полученные на основе анализа отношений между тремя альтернативами, образующими транзитивную тройку (или непротиворечивый цикл). Такую меру обозначим через 1Ск . Пусть С* = |с* } - множество транзитивных троек в графе парных

сравнений эксперта Ек\ |с*| - их количество. Для каждого непротиворечивого цикла Ск с вершинами 1, V и w определим его лингвистический вес 2к по правилу , где - элемент матрицы отношения

строгого предпочтения. Величина определяет

степень ацикличности отношения Рк, тогда

1с1 = если Ск * 0

Если результатом парных сравнений является нетранзитивный турнир (значит предпочтения эксперта "противоречивы"), то может оказаться целесообразным измерить, насколько велико нарушение транзитивности в количественном виде. С этой целью в диссертационной работе рассматриваются меры непротиворечивости экспертных суждений, основанные на соотношении количества транзитивных (нетранзитивных) циклов и общего числа циклов в графе. Для каждого эксперта Ек введем

величину как отношение количества непротиворечивых циклов к

общему количеству циклов. Используя лингвистические кванторы можно сформулировать принципы, согласно которых суждения эксперта на множестве альтернатив будут считаться непротиворечивыми. Например, будем считать, что эксперт последователен в своих суждениях, если он непротиворечив в большинстве случаев. Тогда, используя лингвистический квантор (в приведенном примере большинство), можно ввести меру непротиворечивости эксперта в виде

,1скь=аи\-гк)

где - лингвистический квантор, реализующий принцип нечеткого

большинства. Таким образом, для каждого эксперта вводится две меры ¡Ск и

ICI, причем их значения могут не соответствовать друг другу. Например, эксперт Et может указать только один непротиворечивый цикл с лингвистическим весом , тогда для него принимает максимальное значение, - минимальное.

Предположим, что группа экспертов является гетерогенной, т. е. каждый эксперт имеет весовой коэффициент, отражающий степень важности его мнения при принятии группового решения. Предположим, что веса экспертов оцениваются также в лингвистической шкале, т. е. существует функция , такая что - вес эксперта . На основе индивидуальных

мер непротиворечивости, вычисленных для каждого эксперта, можно определить качественную и количественную групповые меры непротиворечивости. Соответственно их обозначим GCa и GCb. Пусть /С^ и - индивидуальные меры непротиворечивости экспертов, , тогда

групповые меры непротиворечивости определяются с помощью лингвистических операторов по формулам:

где pi^ijc)- весовой коэффициент к -го эксперта; Qt - лингвистический квантор, Ф&0 - лингвистический OWA оператор; Л - операция конъюнкции

(min в частном случае). Обе меры используются в процедуре достижения группового согласия при оценке альтернатив.

Важным этапом информационного обеспечения процесса подготовки и принятия решений является формирование группы экспертов. В диссертации для решения этой проблемы используется подход по изучению сбалансированности малых групп на основе знаковых графов. В качестве малых групп рассмотрим коллективы ЛПР или группы экспертов. Такие группы называются "сбалансированными", если в некотором смысле они демонстрируют отсутствие напряжения и обладают способностью принимать согласованные решения. Пусть Е = {Е1,Е2,...,ЕГ1} — группа экспертов.

Каждому эксперту поставим в соответствие вершину графа; между вершинами , и проводится ребро , которое помечается знаком

" + ", если данные эксперты проявили согласованность при принятии некоторого решения и знак "-" - в противном случае. В результате экспертная группа будет представлена знаковым графом . На основе ряда теоретических результатов теории графов делается вывод, что после удаления отрицательных ребер граф разобьется на две компоненты связности, если он сбалансированный, и на большее количество компонент связности, если он является группируемым, причем вершины, входящие в одну компоненту, соединяются только положительными ребрами, а все ребра, соединяющие вершины разных компонент, будут отрицательны. На основе этого утверждения предложена процедура для определения сбалансированности

знакового графа. Для сравнения двух знаковых графов водятся различные меры баланса, отражающие степень сбалансированности (учитывают такие числовые характеристики графа как количество положительных или отрицательных циклов, длину циклов); определяются взаимосвязи между введенными мерами.

В третьей главе диссертационной работы представлены алгоритмы формирования согласованных групповых решений в условиях неопределенности. Заметим, что процесс нахождения таких решений целесообразно организовать как итеративный, при этом на каждой итерации экспертами оцениваются варианты решений и измеряется степень согласованности полученных экспертных оценок. Если её величина считается допустимой на данной итерации, то применяется процедура выбора группового решения, иначе дается рекомендация о возможности согласования экспертных оценок. Схема принятия оптимального согласованного решения представлена на рис. 1.

Рис. 1. Схема принятия оптимального согласованного решения При формировании согласованного группового решения естественно рассматривать следующие предположения:

- неопределенность, возникающая при оценивании альтернативных вариантов решений, воспринимается экспертами по-разному, т.е. знания могут выражаться с помощью индивидуальных лингвистических шкал, имеющих различную мощность - таким образом, возникает проблема согласования шкал, которая может быть решена за счет унификации информации, под которой подразумевается переход к единой лингвистической шкале с максимальной мощностью (в результате унификации каждая экспертная оценка представляется нечетким подмножеством множества термов единой лингвистической шкалы);

- эксперты "работают" в единой лингвистической шкале - в этом случае согласование индивидуальных экспертных оценок осуществляется на основе

принципа нечеткого большинства, т. е. групповая оценка альтернатив считается согласованной, если ее поддерживает большинство экспертов, которому соответствует некоторое пороговое нечеткое число.

Рассмотрим случай, когда все эксперты используют единую лингвистическую шкалу для построения нечеткого отношения предпочтения.

Групповой выбор лучшей альтернативы предполагает, что экспертные оценки являются согласованными в некотором смысле, т. е. в группе должен быть достигнут консенсус. Традиционно консенсус означает полное согласие и на практике он едва ли достижим. Более естественным является динамический процесс согласования мнений экспертов на основе рациональной аргументации, в результате которой достигается консенсус, максимально приближенный к полному согласию. Для управления этим процессом необходимо измерять как степень согласованности оценок данного эксперта, так и степень согласованности экспертных оценок в группе относительно каждой альтернативы. В качестве принципа согласования экспертных оценок будем использовать принцип нечеткого большинства.

Рассмотрим алгоритм формирования согласованного группового решения. Пусть на основе экспертного опроса получено т матриц парных сравнений . Процесс измерения согласованности группы экспертов

включает следующие шаги.

Шаг 1. На основе матриц отношения предпочтения Рк , полученных от каждого эксперта для каждой пары определим массив

__ - множество идентификационных номеров экспертов, которые со

степенью предпочитают альтернативу альтернативе , т. е.:

Таких массивов будет , каждый массив имеет размерность ,

элементами массивов являются множества. Определяя размерность этих

множеств, перейдем к массивам количество экспертов, которые

считают

предпочтительной по сравнению с альтернативой со степенью

с элементами

альтернативу более

Шаг 2. На основе массивов

определяются массивы

по

правилу:

(*.).Л(*2).....К(7*))'если 1 = > »•е К^

£0, иначе

где Фд - LOWA оператор с вектором весов, порожденных Q, определяющий наилучшую пропорцию для представления нечеткого большинства при вычислении усредненных весовых коэффициентов экспертов, а усредненные весовые коэффициенты группы экспертов, использующих терм для оценки степени предпочтительности альтернативы над

Шаг 3. Пусть Пц = maxtyc'r [S,]) -

. S/eS

максимальное число экспертов,

LCRl =

которые выбрали терм S, для оценки предпочтения в паре (х,,ху) Для каждой пары (х^х^:

представляет собой лингвистический терм, выбранный максимальным числом экспертов для оценки предпочтения альтернатив х1 с ху Шаг 4. На основе {м,} найдем

- массив, содержащий максимальные значения усредненных весовых коэффициентов группы экспертов, выбравших терм ^

Шаг 5. На основе данных массивов определяется матрица с элементами

З^еслиУ^^Х 0 иначе

т.е. для каждой пары указывается лингвистическая оценка, с которой

альтернатива предпочитается большинством экспертов.

Шаг 6. Используя частотную интерпретацию функции принадлежности, получим матрицы:

(I, ]) -ый элемент, представляющий отношение максимального количества экспертов, предпочитающих альтернативу альтернативе со степенью

к общему числу экспертов в группе.

[О, иначе

(I, ]) —ый элемент которой представляет собой усредненное значение весовых коэффициентов группы экспертов из членов, со степенью предпочитающих альтернативу альтернативе

Шаг 7. Для оценки степени консенсуса в группе экспертов введем меру консенсуса с помощью лингвистического ОША — оператора Ф ,, с набором

весовых коэффициентов, порожденных квантором Q^, формализующим понятие нечеткого большинства.

а) Лингвистическая степень консенсуса в группе экспертов относительно пары альтернатив

РС„ = Qf (ICRI) a ICR*,i,j =

где л - оператор лингвистической конъюнкции.

icr;=<

б) Лингвистическая степень консенсуса в группе экспертов относительно данной альтернативы д:,:

позволяет оценить консенсус для альтернативы х,, существующий во всех парах, где данная представлена.

в) Лингвистическая степень консенсуса в группе экспертов относительно множества яттьтепнятии X _

ЯС = Ф& {РС1},; = 1,«, / * /),

определяет текущее значение консенсуса на множестве X.

Шаг 8. Для оценки степени согласованности между консенсусом, установившемся в группе экспертов и текущим значением уровня консенсуса вводится понятие лингвистического расстояния соответственно для пары альтернатив, для альтернативы и для множества альтернатив. а) Лингвистическое расстояние для пары альтернатив

где

/,/ = \,п,к = 1,т; разность лингвистических термов определяется правилом: если /г* = 5(1, и ЬСЯи = , тогда - ЬСЯ1 = , где t = t^-12

нужно для каждого эксперта и определяет расстояние между оценкой предпочтения -го эксперта в паре и соответствующим уровнем

консенсуса в группе экспертов относительно той же пары альтернатив.

б) Лингвистическое расстояние для альтернативы

Л£>* = Фй {РИк., у = й, У), * = / = й

^ измеряет расстояние между оценкой предпочтительности альтернативы лс,, полученной от эксперта, и соответствующим уровнем консенсуса в группе экспертов относительно той же альтернативы.

в) Лингвистическое расстояние для множества альтернатив:

ЯЛк = Фа (М)£, = А: = п^

определяет расстояние между множеством оценок предпочтительности на множестве альтернатив X к-го эксперта и соответствующим уровнем консенсуса в группе экспертов.

В четвертой главе приведено описание программного комплекса «АЛЕСТАР ЭКСПЕРТ», разработанного в ходе выполнения диссертационной работы и успешно внедренного в воронежские компании «АЛЕСТАР» и «Аметист». ООО «АЛЕСТАР», сферой деятельности которой является создание сайтов, использует данный программный комплекс для получения согласованного группового решения относительно выбора лучшей альтернативы при тестировании сайтов в рамках UsabШty-исследования, результаты которого служат базисом для разработки концептуальной

проектной схемы пользовательского интерфейса веб-сайта. Образовательный центр «Аметист», предоставляющая услуги дополнительного образования, использует программу «АЛЕСТАР ЭКСПЕРТ» для получения согласованной оценки уровня подготовки обучаемых при проведении промежуточных тестов и итоговых дипломных экзаменов. Программа позволяет определить качественную и количественную меру непротиворечивости группы экспертов, а также получить согласованную оценку.

Возможности программного комплекса: в экспертизе могут участвовать неограниченное число экспертов, тип экспертных оценок (возможных альтернатив) может быть лингвистическим или числовым, тип коэффициентов компетентности экспертов может принимать лингвистические или числовые значения, количество возможных альтернатив в программе неограниченно. В программе используются лингвистические кванторы большинство, как можно больше, по крайней мере половина

Программа разработана на языке С++ в среде Visual Studio 6.0. Для нормального функционирования программы необходима следующая минимальная конфигурация компьютера: 1) процессор Р1100 МГц; 2) ОЗУ 64 Мб; 3) операционная система Windows 98/Me/NT/2000/XP;

Основные результаты работы

В результате выполнения диссертационной работы получены следующие результаты:

1. Разработана методика формирования группового решения на основе агрегирования индивидуальных экспертных оценок, отличающаяся возможностью учитывать количественную и качественную информацию при разработке оценочных систем.

2. Сформулирована система аксиом, определяющая требования к операторам агрегирования взвешенной лингвистической информации при формировании групповых оценок альтернатив.

3. Созданы методы определения количественных и качественных оценок непротиворечивости эксперта на основе анализа соответствующего отношения предпочтения.

4. Предложен метод анализа согласованности экспертных суждений на основе знаковых графов.

5. Пролучен алгоритм формирования согласованного группового решения, использующий в качестве исходной информации лингвистические отношения предпочтений экспертов и позволяющий обеспечить согласованность индивидуальных решений на основе принципа нечеткого большинства.

6. Разработан комплекс программ, позволяющий формировать согласованное групповое решение относительно выбора лучшей альтернативы.

Основные публикации по теме диссертации

1. Леденева Т. М., Недикова Т. Н., Старцев А. В. О согласовании экспертных оценок в задаче группового выбора // Современные сложные

20

¡3107 90

системы управления СССУ/БТС8 2003: Сб. тр. междунар. науч.-тех. конф.-Воронеж, 2003. - Т. 2. - С. 350-353. (Лично автором выполнено 2 с).

2. Леденева Т. М, Недикова Т. Н., Старцев А. В. Формирование согласованного группового решения в условиях неопределенности // Обозрение прикладной и промышленной математики.- 2002. -Т. 9, вып. 2.- С. 412-413. (Лично автором выполнено 2 с).

3. Леденева Т. М, Старцев А. В. О классификации экспертов по степени близости высказываний в процедурах группового принятия решений. // Тр. Российской ассоциации «Женщины-математики». Экономика, образование, ряды Фурье и их приложения. Т. 10, вып. 1/ Воронеж, гос. ун-т.-Воронеж, 2002.-С. 79-83. (Лично автором выполнено 3 с).

4. Леденева Т. М., Старцев А. В. О некоторых проблемах разработки многоагентных систем // Оптимизация и моделирование в автоматизированных системах: Межвуз. сб. науч. тр. / Воронеж. гос. тех. ун-т.-Воронеж, 2003.- С. 110-117. (Лично автором выполнено 5 с).

5. Леденева Т. М., Старцев А. В. Об одном подходе к согласованию лингвистических экспертных оценок в задаче группового выбора // Системы управления и информационные технологии.-2004.-№ 1(13).- С. 27-31. (Лично автором выполнено 4 с).

6. Леденева Т. М., Старцев А. В. Определение меры непротиворечивости экспертных суждений : Матер, межд. конф. «Математика. Образование. Экология. Тендерные проблемы», Воронеж, 26-30 мая 2003 г. / Под ред. проф. И. Е. Гудович.-М, 2003.- С. 34-37. (Лично автором выполнено 3 с).

7. Леденева Т. М., Старцев А. В. Оценка сбалансированности экспертной группы на основе знаковых графов// Высокие технологии в технике, медицине, экономике и образовании : Межвуз. сб. науч. тр. / Воронеж, гос. тех. ун-т.-Воронеж, 2003- С. 163-170. (Лично автором выполнено 5 с).

8. Старцев А. В. Модель оценки степени согласования группы экспертов в процедурах группового выбора альтернативы // Моделирование сложных систем. Современные направления теории и практические приложения: Матер, межд. шк.-сем. «Современные проблемы механики и прикладной математики» / Под ред. А. Г. Баскакова, И. Б. Руссмана, Т. В. Озорновой, И. Н. Щепиной.-Воронеж: Изд.-во. Воронеж, гос. ун-та, 2004.-С. 122-125. (Лично автором выполнено 4 с).

Заказ № 311 от 29 04 2004 г. Тир. 100 экз. Лаборатория оперативной полиграфии ВГУ

Введение.

Глава 1. Проблема согласования решений и её компьютерная реализация. 1.1 Компьютерные системы поддержки принятия групповых решений.

1.2 Технология многоагентных систем.

1.3 Задача согласования индивидуальных решений в группе экспертов.

1.4 Цели и задачи исследования

Глава 2. Модели согласования индивидуальных решений в условиях неопределенности.

2.1 Агрегирование индивидуальных экспертных оценок как основа для формирования группового решения. v 2.2 Согласование на основе принципа нечеткого большинства.

• 2.3 Унификация лингвистической информации.

2.4 Методы оценки компетентности экспертов.

2.5 Методы формирования группы экспертов на основе знаковых графов.

Выводы.

Глава 3. Алгоритмы построения согласованных групповых решений при выборе лучшей альтернативы в условиях неопределенности.

3.1 Общая схема решения задачи выбора лучшей альтернативы.

3.2 Формализация процесса согласования.

3.3 Выбор лучшей альтернативы на основе нечетких и лингвистических отношений предпочтения.

Л Выводы.

Глава 4. Комплекс программ для решения задачи формирования согласованного группового решения относительно выбора лучшей альтернативы.

4.1 Описание программы "АЛЕСТАР ЭКСПЕРТ".

4.2 Пример расчета меры непротиворечивости экспертных суждений и согласованной оценки.

Выводы.

Актуальность темы. Принятие решений занимает центральное место в процессе управления, поскольку, с одной стороны, является его функцией, а с другой - реализуется во всех других функциях управления. Более того, любую функцию управления технологически можно представить как последовательность решений. Заметим, что в современных моделях организационных, социальных и экономических систем процедура принятия решений предполагает привлечение вычислительной техники для повышения эффективности управления такими системами. Современные системы поддержки принятия решений, как правило, ориентированы на активное использование экспертной информации. Простейшим способом ее получения является учет мнения одного специалиста. Однако получаемые при этом результаты имеют субъективный характер. Для снижения уровня субъективности привлекается группа экспертов. Под принятием группового решения обычно понимают выработку для всех участников группы соглашения по рассматриваемой проблеме на основе их субъективных интересов, предпочтений и целей. Иными словами, осуществляется переход от индивидуальных точек зрения отдельных экспертов к единому коллективному мнению, на основе которого вырабатывается согласованное групповое решение. Существенная часть процесса согласования групповых решений состоит в проведении переговоров, в процессе которых участникам приходится учитывать большое количество факторов. Кроме того, осложняющим фактором при принятии групповых решений является неопределенность, одним из проявлений которой является нечеткая, неточная оценка альтернативных вариантов решений. Это приводит к тому, что модель принятия решений должна быть ориентирована на неоднородность информации, выраженной как в количественном, так и в качественном виде. Для повышения эффективности принятия согласованных групповых решений привлекаются компьютерные технологии и на их основе создаются системы поддержки принятия групповых решений (СПГР). Однако, для того, чтобы процедура проведения переговоров могла быть поддержана компьютерными технологиями, необходимо разработать формализованные процедуры согласования, учитывающие неопределенность и многокритериальность и позволяющие осуществить поиск приемлемого компромисса. Большое значение проблема согласования имеет для многоагентных систем. В таких системах предполагается, что отдельный агент может иметь лишь частичное представление о задаче, поэтому для решения сколько-нибудь сложной проблемы требуется взаимодействие агентов. Организация совместной деятельности, связанная с коллективным решением задач в виртуальных сообществах, влечет за собой задачу согласования решений для формирования единого коллективного решения, являющегося оптимальным по некоторому набору критериев. Для решения проблемы согласования существует значительное число методов, ориентированных на тип информации, получаемой от эксперта (количественные оценки, матрица парных сравнений, ранжирование). Практически не разработаны подходы для случая, когда экспертные оценки являются лингвистическими - это обусловливает актуальность выполненного в диссертации исследования.

Работа выполнена в соответствии с одним из основных научных направлений Воронежского государственного университета «Анализ и математическое моделирование сложных систем».

Цель и постановка задач исследования. Целью диссертационной работы является разработка методов и моделей согласования решений в условиях неопределенности на основе использования лингвистических моделей представления экспертной информации. Для достижения указанной цели в диссертационной работе решаются следующие основные задачи:

- анализ систем принятия решений и многоагентных систем с целью выявления особенностей формирования согласованных решений;

- анализ подходов к решению проблемы формирования согласованных групповых решений, ориентированных на тип экспертной информации;

- разработка моделей обобщенной оценки альтернатив, позволяющих учитывать различные уровни неопределенности исходной информации;

- разработка методов определения непротиворечивости отдельных экспертов и экспертной группы;

- разработка алгоритма получения согласованного группового решения относительно лучшей альтернативы на основе лингвистических отношений предпочтения отдельных экспертов;

- разработка программного комплекса для формирования согласованного группового решения в условиях многокритериальности и неопределенности.

Методы исследования. В диссертационной работе использованы методы теории принятия решений, теории графов, исследования операций, дискретной математики, теории нечетких множеств, а также системного анализа.

Научная новизна. В диссертации получены следующие результаты, характеризующиеся научной новизной:

- методика формирования группового решения на основе порядковых операторов осреднения, отличающаяся: возможностью согласования; индивидуальных экспертных оценок на основе принципа нечеткого большинства и позволяющая учитывать количественную и качественную информацию при формировании обобщенной оценки;

- система аксиом, определяющая требования к операторам агрегирования взвешенной лингвистической информации при формировании групповых оценок альтернатив;

- методы определения количественных и качественных оценок непротиворечивости эксперта и группы экспертов на основе анализа индивидуальных и групповых отношений предпочтения, позволяющие организовать процесс согласования как итерационную процедуру;

- метод анализа экспертной группы на основе знаковых графов, позволяющий выделить экспертов с высоким уровнем согласованности в суждениях;

- алгоритм формирования согласованного группового решения, использующий в качестве исходной информации лингвистические отношения предпочтений экспертов и позволяющий обеспечить как последовательность экпертных суждений, так и высокий уровень консенсуса в группе.

Достоверность научных результатов. Научные положения, теоретические выводы и практические рекомендации обоснованы корректным использованием математического аппарата, подтверждены вычислительными экспериментами на ЭВМ и внедрением в практику принятия групповых решений.

Практическая значимость и результаты внедрения. В рамках диссертационного исследования разработано математическое, алгоритмическое и программное обеспечение подсистемы согласования индивидуальных решений системы поддержки принятия групповых решений в условиях неопределенности, особенностью которой является использование лингвистических моделей представления информации на всех этапах получения согласованного решения. Предложенные в диссертации модели и методы согласования индивидуальных решений создают основу для формирования алгоритмов взаимодействия агентов в многоагентных системах. Поскольку процедура принятия согласованных групповых решений лежит в основе управленческой деятельности, то компьютерная поддержка этой процедуры на основе разработанных моделей и методов позволит значительно повысить эффективность экспертизы и обоснованность принятых на ее основе решений.

Результаты диссертационной работы в виде программного комплекса для решения задачи согласованного группового выбора налучшей альтернативы были использованы в работе аналитического отдела компании «АЛЕСТАР» и «Аметист» для Usability-исследования, результаты которого служат базисом для разработки концептуальной проектной схемы пользовательского интерфейса веб-сайта.- Фирма «Аметист», предоставляющая услуги дополнительного образования, использует программу «АЛЕСТАР ЭКСПЕРТ» для получения согласованной оценки уровня подготовки обучаемых при проведении промежуточных тестов и итоговых дипломных экзаменов.

На защиту выносятся:

- модели агрегирования индивидуальных экспертных (или многокритериальных) оценок, ориентированных на различные уровни неопределенности;

- методы определения количественных и качественных оценок непротиворечивости экспертных суждений;

- метод анализа согласованности экспертных суждений на основе знаковых графов;

- алгоритм формирования согласованного группового решения в условиях неопределенности.

Апробация работы. Материалы диссертации, ее основные положения и результаты доложены и обсуждены на международных и всероссийских конференциях: "Системный анализ в проектировании и управлении" (Санкт Петербург - 2002 г.); "Математика. Образование. Экология. Тендерные проблемы" (Воронеж - 2003 г.); "Современные сложные системы управления" (Воронеж — 2003 г.); "Моделирование сложных систем. Современные направления теории и практические приложения" (Воронеж - 2004 г.) а также на научных семинарах Воронежского государственного университета.

Публикации. По теме диссертации 8 печатных работ. Личный вклад автора в работах, опубликованных в соавторстве, состоит в следующем: в [37] автором разработана схема согласования экспертных оценок в задаче группового выбора; в [38] автором обоснована необходимость использования лингвистических моделей представления информации на различных этапах согласования экспертных оценок; в [39] автором предложена процедура классификации экспертов по степени близости высказываний на основе статистических критериев; в [40] автором определены особенности проблемы согласования решений в многоагентных системах и предложена процедура группового выбора согласованных решений; в [41] автор предложен алгоритм выбора согласованных решений в условиях, когда экспертная информация задается в виде лингвистических отношений предпочтения, а согласование осуществляется на основе принципа "нечеткого большинства"; в [42] автором определены количественные и качественные меры непротиворечивости отдельного эксперта и группы экспертов; в [43] предложена процедура определения сбалансированности экспертной группы на основе знаковых графов; в [62] автором разработана модель оценки степени согласования экспертной группы в процедурах группового выбора для случая, когда оценки экспертов являются лингвистическими и задаются в виде матрицы парных сравнений.

Объем и структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, приложений. Работа содержит 128 стр. текста, включает 24 рисунка и 12 таблиц. Список используемой литературы включает 104 наименования.

Заключение

В результате выполнения диссертационной работы получены следующие результаты:

1. Разработана методика формирования группового решения на основе агрегирования индивидуальных экспертных оценок, отличающаяся возможностью учитывать количественную и качественную информацию при разработке оценочных систем.

2. Сформулирована система аксиом, определяющая требования к операторам агрегирования взвешенной лингвистической информации при формировании групповых оценок альтернатив.

3. Созданы методы определения количественных и качественных оценок непротиворечивости эксперта на основе анализа соответствующего отношения предпочтения.

4. Предложен метод анализа согласованности экспертных суждений на основе знаковых графов.

5. Пролучен алгоритм формирования согласованного группового решения, использующий в качестве исходной информации лингвистические отношения предпочтений экспертов и позволяющий обеспечить согласованность индивидуальных решений на основе принципа нечеткого большинства.

6. Разработан комплекс программ, позволяющий формировать » согласованное групповое решение относительно выбора лучшей альтернативы.

Полученные результаты могут быть использованы при согласовании индивидуальных решений в группе экспертов, также в компьютерных системах поддержки принятия решения и в многоагентных системах.

1. Аверкин А. Н., Батыршин И. 3., Блишун А. Ф., Силов В. Б., Тарасов В. Б. Нечеткие множества в моделях управления и искусственного интеллекта. // Под ред. Поспелова Д. А.-М.: Наука, Гл. ред. Физ.-мат. лит., 1986.-312 с.

2. Айзерман М. А., Малишевский А. В. Некоторые аспекты общей теории выбора лучших вариантов. Автоматика и телемеханика, 1982, № 2, с. 65-83.

3. Анисимов В. Ю., Борисов Э. В. Методы достоверности реализации нечетких отношений в прикладных системах искусственного интеллекта // Изв. АН: серия Техническая кибернетика, № 5, 1991.

4. Асаи К., Ватада Д., Иваи С. и др. Прикладные нечеткие системы // под ред. Т. Тэрано, К. Асаи, М. Сугено. М.: Мир, 1993. - 386 с.

5. Б. Г. Миркин Проблема группового выбора. Москва 1974 г. 248с.

6. Батыршин И. 3. Лексикографические оценки правдоподобности с универсальными границами. II. Операции отрицания. Теория и системы управления. Известия академии наук. РАН. — 1995.-№ 5.-е. 133-151.

7. Батыршин И. 3. Методы представления и обработки нечеткой информации в интеллектуальных системах. Новости искусственного интеллекса, 1996, № 2, с. 9-65.

8. Батыршин И. 3. Принятие решений на базе нечетких отношений предпочтения и функций выбора // Нечеткие системы поддержки принятия решений. Калинин: КГУ, 1989.-е. 29-35.

9. Батыршин И. 3. Принятие решений на основе взвешенных отношений предпочтения // Методы и системы принятия решений. Информационное и алгоритмическое обеспечение моделей принятия решений.-Рига, 1984.-е. 32-38

10. Беленький А. Г., Федосеева И. Н. Прогнозирование состояния динамических сложных систем в условиях неопределенности — М.: ВЦ РАН, 1999. —240 с.

11. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях.-В кн. Вопросы анализа и процедуры принятия решений.-М.: Мир, 1976.-е. 172-215.

12. Блишун А. Ф. Сравнительный анализ методов измерения нечеткости.-Изв. АН СССР. Техн. Кибернетика.-1988,- № 5.-е. 152-175.

13. Борисов А. Н. Принятие решений на основе нечетких моделей: Примеры использования.-Рига: Зинатне, 1990.-184 с.

14. Н.Борисов А. Н. Системы, основанные на знаниях, в автоматизированном проектировании // Методическая разработка.-Рига: РПИ, 1989.-126 с.

15. Борисов А. Н., Алексеев А. В., Меркурьева Г. В. и др. Обработка нечеткой информации в системах принятия решений.-М: Радио и связь. 1989.-304 с.

16. Борисов А. Н., Глушков В. И. Использование нечеткой информации в экспертных системах. Новости искусственного интеллекта, 3, 1991, с. 13-41.

17. Борисов А. Н., Крумберг О. А., Федоров И. П. Принятие решений на основе нечетких моделей. Примеры использования.-Рига: Зинатне, 1990.-184 с.

18. Вольский В. И., Лезина 3. М. Голосование в малых группах — М.: Наука, 1991.

19. Городецкий В.И., Грушинский М.С., Хабалов А.В. Многоагентные системы. // Новости искусственного интеллекта, 1998, № 2.

20. Грудина Г. С., Деменков Н. П., Евлампиев А. А. решение многокритериальных задач оптимизации в условиях качественной неопределенности // Вестник МГТУ.-1998.-№ 1.-е. 45-53.

21. Елтаренко Е. А. Оценка и выбор решений по многим критериям.-М.: МИФИ, 1995.-111 с.

22. Жуковин В. Е. Многокритериальные модели принятия решений с неопределенностью. М: Мецниерба, Тбилиси, 1983.-104 с.

23. Жуковин В. Е. Нечеткие многокритериальные модели принятия решений // Тбилиси, Мецниерба, 1988, 69 с.

24. Заде Л. А. Понятие лингвистической переменной и его применение к принятию приближенных решений.-М.: Мир, 1976.-165 с.

25. Заде Л. А. Размытые множества и их применение в распознавании образов и кластер-анализе. В кн.: Классификация и кластер // Под ред. Дж. Вэн Райзина.-Мир, 1980.-е. 208-247.

26. Каплинский А. И., Руссман И. Б., Умывакин В. М. Моделирование и алгоритмизация слабоформализованных задач выбора наилучших вариантов систем. Воронеж: Изд-во ВГУ, 1990. - 168 с. (см. п. 2.3. Интегральные оценки в иерархических системах и др.)

27. Кофман А. Введение в теорию нечетких множеств / М., 1982. -432 е.

28. Кудинов Ю.И. Нечеткие системы управления // Изв. АН. Техн. кибернетика. 1990. - № 5. - с. 196-206.

29. Кузьмин В. Б. Построение групповых решений в пространствах четких и нечетких бинарных отношений. М.: Наука, 1982. - 168 с.

30. Курош А. Г. Лекции по общей алгебре. М.: Наука, 1973. - 399 с.

31. Ларичев О. И., Мечитов А. И., Мошкович Е. М., Фуремс Е. М. Выявление экспертных знаний. — М.: Наука, 1989. — 128 е.

32. Ларичев О. И., Мошкович Е. М. Качественные методы принятия решений: Вербальный анализ решений. М.: Наука: Физматлит, 1996. -207 с.

33. Ларичев О.И. Наука и искусство принятия решений. — М.: Наука, 1979.-200 с.

34. Леденева Т. М. Интеллектуализация управления научно-образовательными комплексами на основе учета целенаправленностипроцессов и неопределенности информационной среды: Дис. доктора техн. наук. Воронеж, 1999. - 331 с.

35. Леденева Т. М. Интеллектуальные информационные системы // Учебное пособие // Воронежский гос. тех. ун-т. Воронеж, 2001. 136 с.

36. Леденева Т. М. Моделирование процесса агрегирования информации в целенаправленных системах / Воронеж, 1999. - 155 с.

37. Леденева, Т. М., Недикова Т. Н., Старцев А. В. О согласовании экспертных оценок в задаче группового выбора // Современные сложные системы управления CCCy/HTCS 2003: Сб. тр. междунар. науч.-тех. конф.- Воронеж, 2003. Т. 2. - с. 350-353.

38. Леденева Т. М., Недикова Т. Н., Старцев А. В. Формирование согласованного группового решения в условиях неопределенности // Обозрение прикладной и промышленной математики.- 2002. -Т. 9, вып. 2.-с. 412-413.

39. Леденева Т. М., Старцев А. В. О некоторых проблемах разработки многоагентных систем // Оптимизация и моделирование в автоматизированных системах : Межвуз. сб. науч. тр. / Воронеж, гос. тех. ун-т.-Воронеж, 2003.- С. 110-117.

40. Леденева Т. М., Старцев А. В. Об одном подходе к согласованию лингвистических экспертных оценок в задаче группового выбора // Системы управления и информационные технологии.-2004.-№ 1(13).- С. 27-31.

41. Леденева Т. М., Старцев А. В. Определение меры непротиворечивости экспертных суждений: Матер, межд. конф. «Математика. Образование. Экология. Тендерные проблемы», Воронеж, 26-30 мая 2003 г. / Под ред. проф. И. Е. Гудович.-М, 2003.- С. 34-37.

42. Леденева Т. М., Старцев А. В. Оценка сбалансированности экспертной группы на основе знаковых графов// Высокие технологии в технике, медицине, экономике и образовании : Межвуз. сб. науч. тр. / Воронеж, гос. тех. ун-т.-Воронеж, 2003- С. 163-170.

43. Лефевр В. А. Конфликтующие структуры. М.: Сов. Радио, 1973.

44. Марковский А. В. Анализ структуры знаковых ориентированных графов // Известия Академии Наук. Теория и системы управления. № 5, 1997.-С. 144-149.

45. Мелихов А. Н., Бернштейн Л. С., Коровин С. Л. Ситуационные советующие системы с нечеткой логикой. М.: Наука, 1990. - 272 с.

46. Миркин Б. Г. Проблема группового выбора. — М.: Наука, 1974.256 с.

47. Нечеткие множества и теория возможностей. Последние достижения // Под редакцией Р. Ягера М.: Радио и связь, 1986. - 391 с.

48. Г. Гохман Экспертное оценивание. Издательство Воронежского университета 1991 г.

49. Орловский С. А. Проблемы принятия решений при нечеткой исходной информации. М.: Наука, 1981. — 206 с.

50. Подиновский В. В. Коэффициенты важности критериев в задачах принятия решений. Порядковые или ординальные коэффициенты важности. Автоматика и телемеханика, 1978, № 10, с. 130-141.

51. Подиновский В. В. Об относительной важности критериев в многокритериальных задачах принятия решений. В кн.: Многокритериальные задачи принятия решений. - М.: Машиностроение, 1978, с. 48-82.

52. Поспелов Д. А. Ситуационное управление: теория и практика. -М.: Наука, 1986.-228 с.

53. Поспелов Д. А., Пушкин В. Н. Мышление и автоматы. М. Сов. Радио, 1972.

54. Поспелов Д. А., Шустер В. А. Нормативное поведение в мире людей и машин. Кишинев: Штиинца, 1990.-131 с.

55. Прикладные нечеткие системы // Под ред. Т. Тэрано М.: Мир,1993.-512 с.

56. Пэранек Г. В. // Распределенный искусственный интеллект // Искусственный интеллект: применение в интегрированных производственных системах. Под ред. Кьюсиака Э. М.: Машиностроение,1994.-198 с.

57. Роберте Ф. С., Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам М.: Наука, 1986.-496 с.

58. Рыжов А. П. Степень нечеткости лингвистической шкалы и ее свойства // Нечеткие системы поддержки принятия решений. Калинин: Изд-во КГУ, 1989. - С. 82-92.

59. Саати Т. Принятие решений. Метод анализа иерархий // Пер. с англ.-М.: Радио и связь, 1993.-315 с.

60. Саркисян С. А., Голованов JI. В. Прогнозирование развития больших систем — М.: Статистика, 1975. — 192 с.

61. Тарасов В. Б. Агенты, многоагентные системы, виртуальные сообщества: стратегическое направление в информатике и искусственном интеллекте // Новости искусственного интеллекта. 1998. № 2.

62. Тейз А., Грибомон П., Луи Ж. и др. Логический подход к искусственному интеллекту: от классической логики к логическому программированию. Пер с франц. М: Мир, 1990.

63. Трахтенгерц Э. А. Компьютерная поддержка принятия решений — М.: СИНТЕГ, 1998. — 376 с.

64. Трахтенгерц Э; А. Субъективность в компьютерной поддержке управленческих решений. Серия «Системы и проблемы управления» М: СИНТЕГ, 2001.-256 с.

65. Трахтенгерц Э.А. Многоагентные системы поддержки принятия решений // Изв. АН. Теория и системы управления. 1998. - № 5. - С. 106122.

66. Харари Ф. Теория графов М.: Мир, 1976.-300 с.

67. Цетлин М. Л. Исследования по теории автоматов и моделирование биологических систем. М. Наука, 1969. 316 с.

68. Швецов И.Е., Нестеренко Т.В., Старовит С.А. ТАО технология активных объектов для разработки многоагентных систем // Информационные технологии и вычислительные системы. 1998. - № 1. -С. 35-44.

69. Avouris N. М., Gasser L. Distributed Artificial Intelligence: Theory and Practice — Luxemburg: ECSC, 1992

70. Bond A., Gasser L. Reading in Distributed Artificial Intelligence — N. Y.: Morgan Kaufman, 1988.

71. Bordogna G., Fedrizzi M., Pasi G. A linguistic modeling of consensus in group decision making based on OWA operators // IEEE Transactions on Systems, Man and Cybernetics. -1997. № 27. - P.126-132.

72. Bordogna G., Pasi G. Application of the OWA Operators to Soften Information Retrieval Systems // The Ordered Weighted Averaging Operators: Theory and Applications. Kluwer, 1997. P. 275-294.

73. Chaib-Draa В., Moulin M., Mandiau R.et al. Trends in Distributed Artificial Intelligence // Artificial Intellligence Review. 1992 V. 6.

74. DEXA 2000: London, UK http://www.informatik.uni-trier.de/~lev/db/conf/dexa/dexa2000.html

75. Durfee E. H. Coordination in Distributed Problem Solvers— Boston MA: Kulver Academic Publishers, 1988.

76. Ferber J. Les systems multi-agents. Vers une intelligence collective. Paris. InterEditions, 1995.

77. Finin Т., Specification of KQML Agent Communication Language. The DARPA Knowlenge Sharing Initiative External Interfaces Working Group, 1992.

78. Fodor J., Marichal J-L., Roubens M. Characterization of the Ordered weighted averaging operators // IEEE Transactions On Fuzzy Systems. 1995. -№3:2. - P. 236-239.

79. Fodor J., Marichal J-L., Roubens M. Characterization of the Ordered weighted averaging operators // IEEE Transactions On Fuzzy Systems. 1995. -№3:2.-P. 236-239.

80. Gasser L. Social Conceptions of Knowlende and Action // DAI Foundations and Open Systems Semantics // Artificial Intellegence. 1991. V. 47. № 1-3.

81. Herrera E., Martinez L. A fusion method for multi-granularity linguistic information based on the 2-tuple fuzzy linguistic representation model // Technical report. -1999. № 5. - P. 1-16.

82. Herrera F., Herrera-Viedma E. Aggregation operators for linguistic weighted information // IEEE Transactions on Systems, Man, and Cybernetics.-1997. -№27.-P. 646-656.

83. Herrera F., Herrera-Viedma E., Verdegay J. L. A model of consensus in group decision making under linguistic assessments.-Fuzzy Sets and Systems, 78,1996, 73-86.

84. Herrera F., Herrera-Viedma E., Verdegay J. L. Direct approach process in group decision making using linguistic OWA operators. Fuzzy Sets and Systems, 79, 1996,175-190.

85. Hewitt C. Viewing Control Structures as Pattenrs of Message Passing // Artificial Intelligence. 1997. V. 8. № 3.

86. Huhns M. N. Distributed Artificial Intelligenge— London: Pitman,1987.

87. INNS negotiation protocols // http://interneg.catleton.ca.

88. Maes P. Agent That Reduces Work and Information Overload // Communications of the ACM. 1994. V. 37.91.0'Hare G. M., Jennings N. Foundations of Distributed Artificial Intelligence — N. Y.: J. Wiley and Sons, 1996.

89. Shoham Y. Agent Oriented Programming // Artificial Intelligence. 1993. V. 60. № 1.

90. Sycara K., Pannu A., Williamson M. et al. Distributed Intelligent Agents // IEEE Expert: Intelligent Systems and Their Applications. 1996. V. 11. №6.

91. Torra V. Negation Functions Based Semantics for Ordered Linguistic Labels // International Journal of Intelligent Systems. — 1996. №11- P. 975988.

92. Winograd Т., Flores F. Understanding Computers and Cognition: a New Foundation for Design. Norwood, Ablex, 1986.

93. Yager R. R. Quantifier Guided Aggregation Using OWA Operators // International Journal of Intelligent Systems. 1996. - № 11.- P. 49-73.

94. Yager R. Ri Families of OWA operators, Fuzzy Sets and Systems, 1993, 59, p. 125-148.

95. Yager R: R. On Ordered Weighted Averaging Aggregation Operators in Multicriteria Decision making, IEEE Transactions on Systems, Man, and Cybernetics, 1988,18, p. 183-190.

96. Yager R.R. On weighted median aggregation // International Journal Uncertainty, Fuzziness and Knowledge-Based Systems. 1994. - № 2. - P. 101113.

97. Yager R.R. Ordered weighted averaging aggregation operators in multi-criteria decision making // IEEE Transactions Of Systems, Man and Cybernetics. -1988. № 18. - p. 183-190.

98. Yager R.R., Filev D.P. Parametrized And-Like and Or-Like OWA Operators // International Journal General Systems. -1994. № 22. - P. 297-316. •

99. Zadeh L.A. A computational approach to fuzzy quantifiers in natural languages // Computers and Mathematics with Applications. -1983. № 9. - P. 149-184.

100. Zadeh L.A. Fuzzy sets // Information and Control. -1965. -№ 8. P. 338-353.

101. УТВЕРЖДАЮ Проректор ВГУ д.ф.-м.н., проф. С. А. Сидоркин tXL 2004 г.1. АКТо внедрении результатов диссертационного исследования в учебный процесс

102. Предложенный спецкурс получил одобрительные отзывы студентов и преподавателей кафедры ММИО.

103. Декан ф-та прикладной математики и механики д.ф.-м.н., проф. j г Шашкин А.А.

104. Зав. кафедрой ММИО д.ф.-м.н., проф. //'jf Баскаков А.Г.