автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Методы многокритериальной оценки качества информационных систем в условиях неопределенности

На правах рукописи

Пилипенко Виктор Александрович

МЕТОДЫ МНОГОКРИТЕРИАЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ИНФОРМАЦИОННЫХ СИСТЕМ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ

Специальность 05.13.10. «Управление в социальных и экономических системах»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва 2006

Работа выполнена на кафедре автоматизированных систем управления Московского государственного института стали н сплавов (технологического университета).

Научи УЙ руководитель:

доктор технических наук, профессор Рыков Александр Семенович

Официальные оппоненты:

—доктор технических наук, профессор Елнсов Лев Николаевич

- доктор технических наук, профессор Щепкин Александр Васильевич

Ведущее предприятие;

Институт системного анализа РАН

Защита диссертации состоится 3 ноября 2006 г, в 14 часов на заседании диссертационного совета Д.212.132.10 в Исследовательском центре проблем качества подготовки специалистов Московского государственного института стали я сплавов (технологического университета) по адресу: 105318, г. Москва, Измайловское шоссе, д. 4.

С диссертацией можно ознакомиться в библиотеке Исследовательского центра. Автореферат разослан «29» сентября 2006 г.

Ученый секретарь диссертационного совета кандидат технических наук, доцент

И.Б. Моргунов

Общая характеристика работы

Актуальность темы. Создание современных систем управления в производствен-пых, финансовых, военных и других областях невозможно без использования информационных технологий, в частности, информационных систем (ИС), дм обеспечения сбора, обработки, хранения и представления требуемой информации. Внедрение этих технологий и систем порождает проблемы, разрешение которых требует специальных практических расчетов. Сегодня на рынке информационных технологий предлагается богатый выбор технических средств и решений, способных удовлетворить функциональным требованиям заказчиков. Из них можно выбрать приемлемый вариант, руководствуясь логическими рассуждениями.

Данный выбор будет не всегда рациональным с точки зрения достижения всех целей функционирования проектируемой системы. Рациональное обеспечение качества современных систем немыслимо без применения моделей и методов, позволяющих оценивать, исследовать и оптимизировать процессы сбора хранения, обработки и представления информации. Задачу оценки качества и надежности вариантов систем приходится решать как на предпроекгных стадиях создания систем, так и в процессе их создания и эксплуатации, На каждой стадии необходимо оценивать качество систем, соответствие замыслу, заданным или желаемым требованиям. Множественность вариантов реализации систем, разно, образие условий, в которых должны функционировать системы, оценка качества систем по нескольким критериям - все это усложняет решение задачи оценки и выбора наиболее эффективного варианта системы.

Значения критериев могут зависеть также и от внешних условий, в которых находится система, эти значения могут меняться при различных событиях. Совокупность таких событий, влияющих на значения характеристик качества систем, может интерпретироваться как состояния внешней среды. Эти состояния среды порождают неопределенность, так как заранее неизвестно, какие события произойдут и в каком состоянии и условиях б>яет находиться система. Неопределенность, заключающаяся в наличии нескольких различных величин оценки одного и того же критерия а зависимости от состояний среды, приводит к необходимости решения многокритериальной задачи оценки значений критериев качества и выбора наилучшего варианта системы а условиях неопределенности, трактуемой как статистическая.

Особенностью процессов принятия решений является учет наличия лица, принимающего решения (ЛПР), индивидуального или коллективного, которое стремится к достижению некоторых целей на основе своих предпочтений. Практика принятия решений

3

показывает, что наиболее предпочтительным считается решение, согласованное со структурой предпочтений ЛПР, а пкжв с имеющейся у него информацией о задаче принятия решений. Ц этом случае необходимы процедуры, которые помогают Л) 1Р формализовать его предпочтения, а принятие решения сводится к сравнению существенных свойств решений и решению задачи выбора.

Важнейшая проблема при решении задач выбора, принятия решений связана с мно-гокритериальностью, отсутствием одного признака, критерия, по которому можно упорядочить решения или выбрать лучшее. Основными способами преодоления много критериальное!« являются привлечение ЛПР и решение задачи на основе его предпочтений.

Таким образом, существует необходимость в разработке специальных моделей и методов для решения многокритериальных задач выбора при неопределенности, ориентированных на активное участие ЛПР. Эти модели и методы должны быть ориентированы яа нахождение компромиссного решения, удовлетворяющего в той или иной степени ЛПР.

На основе вышеизложенного можно сделать вывоз, что усовершенствование существующих и разработка новых моделей и методов поддержки принятия многокритериальных решений в условиях неопределенности являются важной и актуальной задачей.

Цель па<н!ТЫ:

Исследование существующих подходов к решению проблем выбора и разработка новых моделей, методов к алгоритмов для поддержки процессов формирования и выбора сложных решений в условиях неопределенности.

Для достижения этой цели в диссертации были поставлены и решены следующие задачи:

1) Анализ существующих моделей и методов для поддержки процессов многокритериального выбора решений. Выделение основных видов задач выбора при неопределенности и методов их решения.

2) Разработка формальной модели многокритериального выбора решений при неопределенности.

3) Формирование критериев оценки качества решений и постановка задач выбора.

4) Разработка диалоговых алгоритмов решения многокритериальных задач выбора.

5} Исследование свойств и характеристик разработанных моделей, методов к алгоритмов при построении информационных систем. Оценка свойств получаемых решений.

Методы исследования. Для решения поставленных задач исследования были использованы математические методы теории принятия решений и многокритериальной оптимизации, системного анализа и исследования операций, математической статистики н теории статистических решений, методы экспертных оценок.

На защиту выносятся:

1. Формализация задачи Принятия решений в виде двухэтапиой модели принята решений в условиях статистической неопределенности при различных ситуациях априорной информированности Л ПР.

2. Диалоговый алгоритм снятия статистической неопределенности для разных ситуаций априорной информированности ЛПР, включающий комбинированный критерий и учитывающий степень доверия ЛПР к априорной информации.

3. Иерархическое многокритериальное описание качества ИС в виде дерева критериев.

4. Обобщенный диалоговый алгоритм решения многокритериальной задачи принятия решений при детерминированных и статистических критериях.

Научная новдава. Предложены модели и методы многокритериальной оценки решений в условиях статистической неопределенности, ориентированные на активное использование в диалоговом режиме представлений ЛПР об априорной информации к качестве решений, иерархическое многокритериальное описание качества ИС, диалоговые алгоритмы снятия статистической неопределенности и решения многокритериальной задачи выбора при детерминированных и статистических критериях.

Практическая значимость и результаты внедрении. Практическая значимость работы заключается в создании теоретической основы для построения систем поддержки принятия решений, в использовании ее результатов в деятельности организаций при принятии управленческих решений. Внедрение результатов диссертационного исследования Позволило повысить эффективность и качество управленческих решений при разработке информационных систем.

Разработанные модели и методы реализованы, внедрены и используются в практике ОАО «Элеюромашива», НОУ «Центр Информационных Технологий н Менеджмента» и внедрены в учебный процесс.

Апробация работы. Результаты диссертационной роботы докладывались н обсуждались:

• на IY Международной конференции «Идентификация систем и задачи управления» (SICPRO'2005), Москва, 2005г.;

• на Y Международной конференции «Идентификация систем и задачи управления» (SICPRO'2006), Москва, 2006 г.;

• на Третьей Международной конференции по проблемам управления, Москва, 2006 г.;

• на семинарах на кафедре автоматизированных систем управления Московского государственного института стали и сплавов (технологического университета).

Публикации. Основные результаты диссертационной работы опубликованы в четыре* печатных работах.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и списка использованных источников из 122 наименований. Общий объем работы- 182 страницы, включая 50 таблиц, 2 рисунка.

Содержание работы

В первой главе рассмотрены известные формальные модели принятия решений, постановки многокритериальных задач принятия решений при определенности и неопределенности, характеристики приоритета критериев, способы нормализации критериев. Проведен обзор основных статистических критериев выбора решений при различных ситуациях априорной информированности ЛПР, описаны принципы оптимальности в задачах принятия решений.

Во второй главе рассматриваются многокритериальные модели и методы принятия решений в условиях статистической неопределенности.

Выделим особенности задачи оценки качества и выбора лучших проектов ПС как задачи принятия решений:

• малое число л альтернатив (проектов КС) х^ } —1,__,н {5 — 10 проектов);

- большое число т критериев(/ = !,„, т ), описывающих качество проектов {от 30 до 200 критериев), критерии структурируются в виде дерева критериев (далее будет описано это иерархическое дерево критериев и уточнена терминология - названия критериев разного уровня);

- Шкалы С, (1=1)"ч от), по которым оцениваются значения критериев, в основном дискретные с малым числом градаций (до 5-7);

• для непрерывных шкал легко перейти к дискретным с малым числом градаций, отражающим желательные и нежелательные значения критериев;

- субъект выбора • лицо, принимающее решения (ЛПР), может быть как индивидуальным, так и коллективным. Например, ЛПР - руководитель комиссии по приемке проектов ИС;

- задача принятия решений может состоять в выборе одного или нескольких лучших проектов {альтернатив), окончательный выбор лучшего - за Л ПР.

В диссертации качество ПС описывается четырехуровневым иерархическим множеством критериев. Общая оценка качества вариантов ПС, которую можно называть крите» рием нулевого уровня, описывается множеством критериев Iй уровня - обобщенными критериями У1» ' Ж)««** т, Г = {>',,—Обобщенные критерии у, в свою очередь могут описываться критериями 210 уровня - локальными критериями г = 1,—, т,, Т, "{Др.чЛ,. }■■ Далее часть из этих локальных критериев у,, может описываться критериями Зш уровня - частными критериями, у,,,.,, I , Г1г Завершает это описание критерии 4Ы уровня - показатели 4 — ,,, представляющие качество критериев Зт уровня .

Проблемная ситуация многокритериального принятия решений при неопределенности формально представляется в виде следующей модели:

— существуют альтернативы х^, к = 1,..., л, которые образуют множество решений

X = одно из которых необходимо выбрать ЛПР;

- Качество альтернатив описывается иерархическим множеством критериев

,м»^ * срвдн которых есть как детерминированные так к статистические критерии;

—для каждого го статистических обобщенных критериев, например, у1 г существует

множество состояний среды ) = ЛПР точно неизвестно в каком кон-

кретном состоянии находится или будет находиться среда;

— на множествах решении = и состояний средые , } — 1,—,

статистический критерий у,г описывается либо функцией полезности и1<г = |

XI тХ, , если ЛПР исходит из условия максимизации его значений, либо функцией потерь V,, = [ е X, $у е. если ЛПР исходит из условия его минимизации.

При оценке качества альтернатив возможна одна из следующих трех ситуаций априорной информированности ЛПР о состояниях срещы для статистического критерия у,|Р:

1. ЛПР известно априорное распределение вероятностен р' ' = {pj*', —}, опре-

} = состояний среды.

2. ЛПР известно, что среда активно противодействует его целям: среда стремится к выбору таких состояний е , ДЛЯ которых в случае, если статистический критерий у1г описывается функцией полезности и, ,, то среда принимает состояние, обеспечивающее наименьшее значение функции полезности то множества своих максимально возможных (по решениям) значений. В случае, если статистический критерий у,г описывается функцией потерь У1г, то среда принимает состояние, обеспечивающее наибольшее значение функции потерь из множества своих минимально возможных (по решениям) значений.

3. ЛПР имеет приблизительную априорную информации! о состояниях среды, лелеющуюся промежуточной между первой и второй ситуациями априорной информированности.

Требуется решить задачу выбора — выделить лучшую альтернативу хк « X.

Задача принятия решений состоит в выборе ЛПР наилучшего варианта хк а X с помощью решения следующих задач:

• на первом этапе для каждого статистического критерия, например, у,г, представ*

ленного функцией полезности V,, =|мл,(дг|,1|')| или функцией потерь V, , = Ц*^, (•*■»• € X, к = ) «конструируются критерии

оценки качества статистического критерия у( г (хА );

— на втором этапе решается задача:

F(x'}*= mai F(xk ) ,

где F(xt) » F{y, (JCj ), ут (.к, )) — функция качества, построенная на основе диалога с ЛПР (см. главу 3).

Важнейшей особенностью задачи является то, что при наличии статистических критериев, например, у, Т альтернативе xt шХ соответствует несколько точек в подпространстве критериев У, = 1у,л,~,у,,„—*у1,ш1} = 1у,л>~,и,,г(х„з';'),—,у,,т1), при разных s'j' е , у = 1,-ч А, г. Иными словами, выбор альтернативы не привозит к однозначному

деленное

наити

результату. Дм критерия у,, неизвестно, какова будет полезность альтернативы, ее величина зависит от выбора средой своего состояния.

Отсюда следует необходимость решения проблемы: оценить выбор альтернативы по одному критерию качества у1г, в зависимости от поведения среды, т. е. научиться сравнивать альтернативы по отдельному статистическому критерию, С помощью предлагаемого специально сконструированного критерия преодолевается неопределенность состояний среды и критериальное описание решений (альтернатив) становится детерминированным.

После того как удается оценить каждый критерий, избавившись от случайности или риска выбора, задача становится детерминированной и для ее решения можно применить методы многокритериального принятия решений при определенности. Предлагаемые варианты преодоления многокритериальноетн, построения функции качества /■"(*,) изложены в главе 3.

Формализуем предложенный подход к решению задачи В виде следующего алгоритма.

Обобщенный алгоритм решения задачи принятия решений в условиях неопределенности

1. Сформировать множество решений (вариантов ПС) -Г, С Л', А - I,__,м.

2. Сформировать иерархическое множество критериев ¥, = }■ ¥,.г ={У1.,л>">-У*^.}> - — Л,гл,ТВД" ^ детерминированные, так и статистические критерии.

3. Для каждого из статистических критериев, например, у,Т сформировать множество состояний среды е ¿>1,г> } - 11—,А,,,.

4. Для д*й е А' определить значения статистических критериев ,>',, в виде функций полезности И, г = аКг ,)| или функций потерь \\ Г =| »>, ,(*,,

5.ЛПР для каждого статистического критерия у\Т оценить ситуацию априорной информированности, характеризующую поведение среды выбрать ИЛИ сконструировать комбинированный критерий оценки качества решения, соответствующий ситуации априорной информированности.

6. С помощью комбинированных критериев определить значения статистических критериев у,г при

Предлагаемый комбинированный критерий имеет вид:

для функции полезности

м., (*•*»•■*«> = О-Л« ^иглЛЛ*»)-'*!

дм функции потерь

(р, . ^ 1) = (1 - Л ) Л />. ) + ^ УсХЛ

где

^ м=) *■ 2 р, < ^ I"').

г*,. ^

Ь-1

т'п + (1-Л») ша1 «,,.{*•■ >*УУ)■

Детализация построения комбинированного критерия сформулирована в виде следующего диалогового алгоритма. Данный алгоритм детализирует действия пункта 5 обобщенного алгоритма и можегг быть встроен в него.

Диалоговый алгоритм снятия статистической неопределенности

5. ЛПР для каждого статистического критерия .у, г ЛПР оценить ситуацию априорной информированности, характеризующую поведение среды.

5.1. Бели ЛПР классифицирует ситуацию априорной информированности как первую, то перейти к п, 5.2. Бели ЛПР классифицирует ситуацию априорной информированности как вторую, то перейти к п. 5.4. Если ЛПР классифицирует ситуацию априорной информированности как третью, то перейти к п. 5.5.

5.2. ЛПР известны распределения вероятностей р''' = {р,*'',...,/^'' } состояний с ¡ж 1,__,И)Г среды, взять ¿3тО, использовать комбинированный критерий

ЛЛ** АД, !■*!> = Уяшп,„{ргХ„Л,).

5.3. Выбор ЛПР величины Л,. Для каждого из хк с вычислить значения критерия _»„л,|,гО*»*«'^) при X,, изменяющемся от 0 до 1, например, при Я1 *> {0.0, 0.1, 1.0). Затем ЛПР изучить полученные оценки и выбрать >1}> соответствующее его представлению о качестве решения. Перейти к п. 5.7.

5.4. ЛПР предполагает активное противодействие среды целим принятия решений, пять ß = 1, использовать комбинированный критерий

• для функции полезности

Л.г^иА^пЛ)- ■Kwi.i.ri-Tn 1.1,1),

J'jtaiJ.l.r^til.W)- И«!" «/.Л**.»!')'

- для функции потерь

Л,АЛ • Ai) = i*»«.!, ,(*»»!. M).

) = г,!,, . 1.1> 0) = m« v,,(xt .

Перейти к п. 5.7.

5.5. Использовать комбинированный критерий в полной форме:

JVK'AA^i)-«-РУУмиЛР^Ы+Р »,,<*..*>>•

5.6. Выбрать величины ß, Xlt Aj, Для каждого из xk е дгв} вычислить значения функции ^(^n^i^ii^i) при ß = {0.0, 0.1, 1.0), Л, = {0.0, 0.1,__, 1.0),

Хг = {в.О, 0.1, 1.6]. Затем ЛПР изучить полученные оценки и выбрать ß, Aj, ilj, соответствующие его представлению о качестве решения, склонности к риску и доверию к априорной информации.

5.7. Запомнить построенный комбинированный критерий ). Перейти к п. 5,

В предложенном алгоритме рассмотрено преодоление неопределенности для критериев второго уровня у, г. Если статистическая неопределенность возникает на более низком или более высоком уровне, то использование описанных комбинированных критериев позволит избавиться от неопределенности и перевести критерий из статистических в детерминированные н решать многокритериальную задачу при определенности.

Работа алгоритма проиллюстрирована при решении многокритериальной задачи выбора лучшего варианта корпоративной системы управления предприятием. Для четырех статистических критериев осуществлен переход к детерминированным значениям.

В третьей главе рассмотрен подход к оценке решений в условиях определенности, использующий двух этапную модель многокритериального иерархического принятия решений, рассматриваются алгоритмы многокритериальной оценки качества ИС в условиях определенности.

Сконструировано иерархическое многокритериальное описание качества ИС в виде дерева критериев, предложены шкалы для оценки критериев. Предложен диалоговый алгоритм многокритериального описания качества ИС н выбора лучших.

Диалоговый алгоритм оценки качества вариантов ИС и выбора лучших

1. Сформировать множество решений (вариантов ИС) л, еХ, к =

2. Разработка многокритериального описания свойств вариантов ИС Сформировать

иерархическое множество критериев ¥ = {.у,,—,,)'„}» Г( = (Л.и__

^'¡Лгл-чЛ,^}. = {Л,г./дт~>Л.гЛ,состоящего из детерминированных критериев. Построение

-критериев 1шуровня - обобщенных критериев у„ / - ;

- критериев 2га уровня - локальных критериев г = 1,__

- критериев 3й уровня - частных критериев у,ы, I = 1,;

- критериев4йуровня — показателен 4 = 1 ,_.,»»,

- построение {выбор) шкал дл* критериев;

- построение шкал индексов важности для критериев.

3. ЛПР оценить (при необходимости привлечь экспертов):

- значения критериев нижнего уровня Г = ¥, = {_у(1,__},

ДМ^еХ в исходных содержательных

шкалах;

- индексы важности критериев.

4. Построение агрегированных обобщенных критериальных оценок У = {^и— вариантов ИС е X:

- на основе оценок критериев 4Ы уровня - показателей Л ,„чт, ^ ЛПР построить оценки критериев 3й уровня - частных критериев , I - 1,.„,т1г в шкале достаточности о привести дескриптивное описание альтернатив по критерию ;

- на основе оценок критериев 3й уровня - частных критериев , / = 1,—,|и( „ ЛПР построить оценки критериев 2е уровня - локальных критериев у1:Г, в шкале достаточности и привести дескриптивное описание альтернатив по критерию у, г;

- на основе оценок критериев 2й уровня - локальных критериев ylr, г * 1,__,т,

ЛПР построить оценки критериев 1а уровня - обобщенных критериев у,, i « 1,„., я» в шкале достаточности и привести дескриптивное описание альтернатив по критерию у,, f * l)»^ /п .

5. Анализ, сравнение альтернатив и выбор лучших по значениям обобщенных критериев У = {Л,..чЛ,>:

5.1. Проверка альтернатив на доминируемость поПарето и исключение худших.

5.2. Сравнение оставшихся альтернатив (попарное по обобщенным крнтерииям):

- сведение оценок альтернативе единую таблицу для удобства сравнения;

- попарное по каждому обобщенному критерию сравнение альтернатив;

- группировка оценок альтернатив по недостаткам и достоинствам;

- оценка взаимной компенсации достоинств и недостатков альтернатив и выделение лучших альтернатив;

- выбор ЛПР лучшей альтернативы.

В четвертой главе рассмотрен пример выбора лучшего варианта ИС демонстрирующий специфику и возможности предложенных моделей и алгоритмов для решения задач оценки и выбора лучших решений.

Предложенные ранее алгоритмы сведены в обобщенный диалоговый алгоритм оценки качества вариантов ИС и выбора лучших при детерминированных и статистических критериях. Была разработана диалоговая система выбора лучших вариантов ИС.

В качестве иллюстрации рассмотрен пример решения задачи выбора лучшего варианта информационной системы (ИС), варианта корпоративной системы управления предприятием, представляющим порт, на основе предложенного обобщенного диалогового алгоритма.

Было сформировано множество решений (вариантов ИС) х, е X, хк, к = i 5, где дг, - система Ваал, х1 - система Oracle eBusiness Suite, - система R3, x, - система Галактика, ж, - система Аксапта,

Специалисты-эксперты под руководством ЛПР разработали многоуровневое иерархическое описание качества вариантов ИС = У, = {j'(1,yltMi},

= b'o-,i>"'>W.(„b Г1,',> = Феди которых есть как детерминиро-

ванные, так и статистические критерии. Общее качество ИС описывается 127 критериями

разного уровня. Для каждого критерия экспертами определен индекс важности, оцененный в шкале со значениями: низкая важность, средняя важность, высокая важность.

Множество обобщенных критериев У = .у,} составили 5 критериев; функциональность, технические параметры, стоимость системы, методология внедрения, опыт работы в России, Каждый из этих критериев описывается критериями более низкого уровня.

Критерий - функциональность описывается Ю локальными критериями, которые в свою очередь описываются 14 частными критериями и 32 показателями, среди которых один статистический критерий.

Критерий у, - технические параметры описывается 8 локальными критериями, которые в свою очередь описываются 26 частными критериями, среди которых один статистический критерий.

Критерий У) - стоимость системы описывается 3 локальными критериями, которые в свою очередь описываются 14 частными критериями.

Критерий уА - методология внедрения описывается 3 локальными критериями, которые в свою очередь описываются 2 частными критериями, среди которых два статистических критериев.

Критерий .>>, - опыт работы в России описывается 6 локальными критериями, которые в свою очередь описываются 4 частными критериями.

Для статистических критериев в главе 2 осуществлен переход к детерминированным значениям.

Значения критериев были оценены экспертами и ЛПР, проводя анализ этих оценок, перевел их значения в шкалу достаточности со значениями: недостаточно, достаточно, избыточно.

ЛПР провел агрегацию оценок ИС по обобщенному критерию у1 (функциональность) по правилам обобщенного диалогового алгоритма, перейдя от оценок критериев 4Ш уровня - показателей д, и, 4 — г/ к оценкам критериев Зв уровня- частных кри-

териев , затем от оценок критериев Зы уровня к оценкам критериев 210 уровня - локальных критериев уиг, г = и, наконец, от оценок критериев 2т уровня к оценке критерия 1а уровня - обобщенного критерия у,. В таблице 1 приведены результаты иллюстрирующие переход от оценок четвертого уровня к оценкам третьего и второго уровня для критерия у, ,

Таблица 1. Оценка систем по локальному критерию

Критерий, индекс важности критерия Показатель, ишекс ш< ности показателя Оценка но шкале: 1-е учетом луч шегэ индустриального опыта. 2 - эффективна! реализация, 3 - реализация С(ИЛ1е1и| № процессе выполнения договора, 4 - кг варнаэта реализации 0|к'1гкл достаточности ЭН№ внй оценок по тюле: 1 - яодосгаточно, 2 - достаточно, 3 - избыточно Заключение по оценке систем по критерию у,! с комментариями по оценке

* X * х, -ч *

Локальный критерий Л. I' Г 1,1 =3 3 1 2 I 1 лучшая система Д), - частично избыточна (по , ! н у1м ), система X, - Ш10СТ1ТФЧ11 (по АмЬ система х2 - недостаточна (»л .Км* <Рм.>>< системы ХЛ , х9 • недостаточны (по

Члс/пнын критерий У МЛ' Л, и - 3 1 г 1 4 4 2 2 2 1 1 системы Х1, ^» •достаточны и частично тбыточны, системы хЛ, х3 - недостаточны

Уг.%, |.| > Лам = 2 2 2 г 3 4 3 3 3 1 1

^'1,1.1,1 > Л.1А1 — 2 1 2 2 3 4 1 3 2 1 I

Л. 1,1.1' Л, 1,1.1 ш з 1 I 1 4 4 г 1 г 1 •

Л.1.М * Лам "1 1 1 1 4 4 3 2 3 1 1

ЛАМ' Лам"2 г 1 1 4 4 3 3 3 1 1

У 1,1.1 л1 Лам"3 г г 2 4 4 1 2 2 1 1

Л.1.1.Т» ЛАМ " 3 1 2 г 4 4 2 1 1 1 1

ЛАМ > Лам-9 | 1 1 1 3 3 3 2 3 1 1

Ли» Уыиш я 2 2 1 4 4 I г 2 2 2

ri.ia.ii = ^ 1 г 1 4 4 2 2 I 1 I

/1,1,1,11» /V 2*1.11 1 1 I 4 4 3 3 3 1 1

Частный критерий У 1,1,1 > /1.1.1 * 5 1 3 1 4 4 3 2 2 1 1 Ц1ПШ1 - я Выточи*, систем* -достаточна, сют&мя д:3 . чмттш недосточ-лл, системы хл у х9 - »«достаточны

Ди.- Т'и.и " ^ 1 1 г 4 4 3 1 2 • *

ЛАМ * /1,1,1,1 ■ 3 1 2 1 4 4 3 1 3 1 1

ЛАМ > » 3 1 I 4 4 3 1 2 1

ЛАП* ^1.1,1,4 = 3 1 3 2 4 4 3 1 г 1 1

З'и,!,! 1 * 3 ) 4 4 3 2 2 2 2

Чястмый критерий Гш =3 г 2 4 4 2 1 1 система Л1 - достаточна, системы хгг Хэ> ДГ4, - недоспи точны

Лам > Гм,!,! ■ 3 1 3 3 4 4 1 1 1 1 1

Лам. Лам ** 3 1 3 г 4 4 г 1 1 1

В таблице 2 представлен результат оценки и сравнений ИС по обобщенному критерию в шкале достаточности н приведено дескриптивное описание альтернатив по данному критерию.

По правилам алгоритма ЛПР провел оценку остальных критериев, агрегирование их оценок и выбор лучшего варианта системы.

Приведенные примеры показали эффективность диалоговых алгоритмов решения многокритериальных задач выбора лучшего варианта информационных систем.

В Приложении приведены акты, подтверждающие эффективность внедрения разработанных в диссертации моделей и методов принятия решений, использование результатов » учебном процессе.

Таблица 1- Сводная таблица результатов оценки и сравнений систем по обобщенному критерию ^_

Локальные критерии Системы

част, избыт. дост. част, избыт. недост. недост.

Л.» част, избыт. част, Не- ДОСТ. част. иедост. недост. недост.

Гм дост. нзбыт. дост. дост. дост.

У,.* дост. избыт. избыт. иедост. недост.

дост. ДОСТ. дост. недост. недост.

Л,. нэбыт. избыт. дост. недост. недост.

Уич нэбыг. нэбьгг. дост. иедост. недост.

Л.« дост. избыт. ДОСТ. дост. дост.

>М дост. нэбьгг. дост. дост. дост.

3*1, и нзбьпг. дост. дост. недост. иедост,.

Заключение по обобщенному критерию Относится к лучшим, Ие обладает «достатками. У системы ^ выигрывает 110 Л.и Гил к немного проигрывает по системы ос, выигрывает "О , и немного проигрывает П0 У,.4 Относится н лучшим, облазает недостатком ло у1Л. У системы .г, выигрывает по Л.« У>л< Ум и немного проигрывает по Относится к* лучшим, обладает недостатком ПО .}', , По большинству критериев проигрывает системам По боль* шннсгву критериев проигрывает системам • 1 ^

Основные результаты и выводы

В диссертации предложены модели н алгоритмы многокритериальной оценки решений для статистических и детерминирован»ых критериев, ориентированные на активно«

использование в диалоговом режиме представлений ЛИР о качестве решений. Получены следующие основные научные и практически« результаты.

1. Предложена двухэтапная модель принятия решений в условиях статистической неопределенности при различных ситуациях априорной информированности Л ПР.

2. Для первого этапа принятия решений предложат диалоговый алгоритм снятия статистической неопределенности для разных ситуаций априорной информированности ЛИР, включающий комбинированный критерий и учитывающий степень доверия ЛИР к априорной информации.

3. Разработано иерархическое многокритериальное описание качества ИС в виде дерева критериев.

4. Предложен обобщенный диалоговый алгоритм решения многокритериальной задачи принятая решений при детерминированных и статистических критериях.

5. Разработанные алгоритмы показали свою работоспособность и эффективность при решении многокритериальных задач выбора лучшего варианта информационных систем.

Основные положения диссертации опубликованы в следующих рабо-

1. Рыков A.C., Пилипенко В.А. Диалоговая система оценки значений критериев качества информационных систем. Трдоы 1Y международной конференции "Идентификация систем и задачи управления" SICPRO'2005, Москва, CD, Институт проблем управления, Москва, 200S, с. 1665-1674

2. Рыков A.C., Пилипенко В.А. Многокритериальная оценка качества систем на основа детерминированных и статистических характеристик. Труды Y международной конференция "Идентификация систем в задачи управления" StCPRO'06, Москва, CD, Институт проблем управления, Москва, 2006, с, 511-518

3. Рыков A.C., Пилипенко В.А. Многокритериальная оценка качества систем на основе детерминированных и статистических характеристик. Третья Международная конференция по проблемам управления. Институт проблем управления, Москва, 2006

4. Рыков A.C., Пилипенко В.А. Методы оценки качества информационных систем в условиях неопределенности. Системы управления и информационные технологии, № 2.1, 2006, с. 188-192,

тах:

Соискатель

Пришло к исполнению 23/09/2006 Исполнено 25/09/2006

Заказ № 568 Тираж 100 экз.

ООО «11-Й ФОРМАТ» ИНН 7726330900 Москва, Варшавское ш., 36 (495) 975-78-56 (495) 747-64-70 wwiw.au 1оге£ега( ш

Введение.

Глава 1. МОДЕЛИ И МЕТОДЫ ОЦЕНКИ МНОГОКРИТЕРИАЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ИНФОРМАЦИОННЫХ СИСТЕМ.

1.1. Основные понятия и обобщенная классификация задач принятия решений.

1.2. Формальное описание моделей принятия решений.

1.3. Постановки многокритериальных задач принятия решений.

1.4. Характеристики приоритета критериев. Нормализация критериев.

1.5. Статистическая модель однокритериального принятия решений в условиях неопределенности.

1.6. Построение критериев выбора решений для первой ситуации априорной информированности ЛПР.

1.6.1. Критерий Байеса-Лапласа.

1.6.2. Критерий минимума среднего квадратического отклонения функции полезности или функции потерь.

1.6.3. Критерий максимизации вероятности распределения функции полезности.

1.6.4. Модальный критерий.

1.6.5. Критерий минимума энтропии математического ожидания функции полезности.

1.6.6. Критерий Гермейера.

1.6.7. Комбинированный критерий Рыкова. Объединение критериев Байеса-Лапласа и среднего квадратического отклонения функции полезности (потерь).

1.7. Построение критериев выбора решений для второй ситуации априорной информированности ЛПР.

1.7.1. Максиминный критерий Вальда.

1.7.2. Критерий минимаксного риска Сэвиджа.

1.8. Построение критериев выбора решений для третьей ситуации априорной информированности ЛПР.

1.8.1. Критерий Гурвица.

1.8.2. Критерий Ходжеса-Лемана.

1.9. Принципы оптимальности в задачах принятия решений.

Выводы к главе 1.

Глава 2. МНОГОКРИТЕРИАЛЬНЫЕ МОДЕЛИ И МЕТОДЫ ПРИНЯТИЯ

РЕШЕНИЙ В УСЛОВИЯХ СТАТИСТИЧЕСКОЙ НЕОПРЕДЕЛЕННОСТИ

2.1. Модель, постановка задачи принятия решений в условиях неопределенности и обобщенный алгоритм решения задачи.

2.2.Построение комбинированного критерия выбора решений для различных ситуаций априорной информированности ЛПР.

2.3.Обобщенный алгоритм решения многокритериальной задачи при разной априорной информированности ЛПР.

2.4. Снятие статистической неопределенности при оценке качества ИС.

Выводы к главе 2.

Глава 3. АЛГОРИТМЫ МНОГОКРИТЕРИАЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ИНФОРМАЦИОННЫХ СИСТЕМ В УСЛОВИЯХ ОПРЕДЕЛЕННОСТИ

3.1. Модель многокритериальной оценки качества информационных систем в условиях определенности.

3.2. Обобщенный алгоритм оценки и выбора варианта ИС.

3.3. Построение многокритериального описания качества ИС.

3.4. Шкалы оценки значения критериев качества ИС.

3.5. Методические вопросы получения информации о качестве ИС.

3.6. Алгоритм многокритериальной оценки качества ИС.

Выводы к главе 3.

Глава 4. ПРИМЕР ВЫБОРА ЛУЧШЕГО ВАРИАНТА ИС

4.1. Диалоговый алгоритм решения многокритериальной задачи принятия решений при детерминированных и статистических критериях.

4.2. Пример выбора лучшего варианта ИС - варианта корпоративной системы управления предприятием.

4.2.1. Разработка многокритериального описания свойств вариантов ИС.

4.2.2. Обобщенный критерий - функциональность.

4.2.3. Обобщенный критерий у2 - технические параметры. 1 \ \

4.2.4. Обобщенный критерий у3 - стоимость системы. ^

4.2.5. Обобщенный критерий у4 - методология внедрения.

4.2.6. Обобщенный критерий j>5 - опыт работы в России. ц^

4.3. Построение агрегированных обобщенных критериальных оценок вариантов ИС.

Выводы к главе 4.

Создание современных систем управления в производственных, финансовых, военных и других областях невозможно без использования информационных технологий, в частности информационных систем (ИС), для обеспечения сбора, обработки, хранения и представления требуемой информации. Внедрение этих технологий и систем порождает проблемы, разрешение которых требует специальных практических расчетов. Сегодня на рынке информационных технологий предлагается богатый выбор технических средств и решений, способных удовлетворить функциональным требованиям заказчиков. Из них можно выбрать приемлемый вариант, руководствуясь логическими рассуждениями.

Данный выбор будет не всегда рациональным с точки зрения достижения всех целей функционирования проектируемой системы. Рациональное обеспечение качества современных систем немыслимо без применения моделей и методов, позволяющих оценивать, исследовать и оптимизировать процессы сбора хранения, обработки и представления информации. Задачу оценки качества и надежности вариантов системотехнических решений приходится решать как на предпроектных стадиях создания систем, так и в процессе их создания и эксплуатации. На каждой стадии необходимо оценивать качество систем, соответствие замыслу, заданным или желаемым требованиям. Множественность вариантов реализации систем, разнообразие условий, в которых должны функционировать системы, оценка качества систем по нескольким критериям - все это усложняет решение задачи оценки и выбора наиболее эффективного варианта системы.

Значения критериев могут зависеть также и от внешних условий, в которых находится система, эти значения могут меняться при различных событиях. Совокупность таких событий, влияющих на значения характеристик качества систем, может интерпретироваться как состояния внешней среды. Эти состояния среды порождают неопределенность, так как заранее неизвестно, какие события произойдут и в каком состоянии и условиях будет находиться система. Неопределенность, заключающаяся в наличии нескольких различных величин оценки одного и того же критерия в зависимости от состояний среды, приводит к необходимости решения многокритериальной задачи оценки значений критериев качества и выбора наилучшего варианта системы в условиях неопределенности.

Особенностью процессов принятия решений является учет наличия лица, принимающего решения (ЛПР), индивидуального или коллективного, которое стремится к достижению некоторых целей на основе своих предпочтений. Практика принятия решений показывает, что наиболее предпочтительным считается решение, согласованное со структурой предпочтений ЛПР, а также с имеющейся у него информацией о задаче принятия решений. В этом случае необходимы процедуры, которые помогают ЛПР формализовать его предпочтения, а принятие решения сводится к сравнению существенных свойств решений и решению задачи выбора.

Важнейшая проблема при решении задач выбора, принятия решений связана с многокритериальностью, отсутствием одного признака, критерия, по которому можно упорядочить решения или выбрать лучшее. Основными способами преодоления многокритериальное™ являются привлечение ЛПР и решение задачи на основе его предпочтений.

Таким образом, существует необходимость в разработке специальных моделей и методов для решения многокритериальных задач выбора при неопределенности, ориентированных на активное участие ЛПР. Эти модели и методы ориентированы на нахождение компромиссного решения, удовлетворяющего в той или иной степени ЛПР.

На основе вышеизложенного можно сделать вывод, что усовершенствование существующих и разработка новых моделей и методов поддержки принятия многокритериальных решений в условиях неопределенности являются важной и актуальной задачей.

Цель работы:

Исследование существующих подходов к решению проблем выбора и разработка новых моделей, методов и алгоритмов для поддержки процессов формирования и выбора сложных решений в условиях неопределенности.

Для достижения этой цели в диссертации были поставлены и решены следующие задачи;

1) Анализ существующих моделей и методов для поддержки процессов многокритериального выбора решений. Выделение основных видов задач выбора при неопределенности и методов их решения.

2) Разработка формальной модели многокритериального выбора решений при неопределенности.

3) Формирование критериев оценки качества решений и постановка задач выбора.

4) Разработка диалоговых алгоритмов решения многокритериальных задач выбора.

5) Исследование свойств и характеристик разработанных моделей, методов и алгоритмов при построении информационных систем. Оценка свойств получаемых решений.

Методы исследования. Для решения поставленных задач исследования были использованы математические методы теории принятия решений и многокритериальной оптимизации, системного анализа и исследования операций, математической статистики и теории статистических решений, методы экспертных оценок.

На защиту выносятся:

1. Формализация задачи принятия решений в виде двухэтапной модели принятия решений в условиях статистической неопределенности при различных ситуациях априорной информированности ЛПР.

2. Диалоговый алгоритм снятия статистической неопределенности для разных ситуаций априорной информированности ЛПР, включающий комбинированный критерий и учитывающий степень доверия ЛПР к априорной информации.

3. Иерархическое многокритериальное описание качества ИС в виде дерева критериев.

4. Обобщенный диалоговый алгоритм решения многокритериальной задачи принятия решений при детерминированных и статистических критериях. Научная новизна. Предложены модели и методы многокритериальной оценки решений в условиях статистической неопределенности, ориентированные на активное использование в диалоговом режиме представлений ЛПР об априорной информации и качестве решений, иерархическое многокритериальное описание качества ИС, диалоговые алгоритмы снятия статистической неопределенности и решения многокритериальной задачи выбора при детерминированных и статистических критериях.

Практическая значимость и результаты внедрения. Практическая значимость работы заключается в создании теоретической основы для построения систем поддержки принятия решений, в использовании ее результатов в деятельности организаций при принятии управленческих решений. Внедрение результатов диссертационного исследования позволило повысить эффективность и качество управленческих решений при разработке информационных систем.

Разработанные модели и методы реализованы, внедрены и используются в практике ОАО «Электромашина», НОУ «Центр Информационных Технологий и Менеджмента» и внедрены в учебный процесс.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались:

• на IY Международной конференции «Идентификация систем и задачи управления» (SICPRO'2005), Москва, 2005г.;

• на Y Международной конференции «Идентификация систем и задачи управления» (SICPRO'2006), Москва, 2006 г.;

• на Третьей Международной конференции по проблемам управления, Москва, 2006 г.;

• на семинарах на кафедре автоматизированных систем управления Московского государственного института стали и сплавов (технологического университета).

Публикации. Основные результаты диссертационной работы опубликованы в четырех печатных работах.

По структуре работа имеет следующий вид: введение, глава 1 - обзорная, где рассмотрены известные формальные модели принятия решений, постановки многокритериальных задач принятия решений при определенности и неопределенности, характеристики приоритета критериев, способы нормализации критериев. Проведен обзор основных статистических критериев выбора решений при различных ситуациях априорной информированности ЛИР, описаны принципы оптимальности в задачах принятия решений.

Во второй главе рассматриваются многокритериальные модели и методы принятия решений в условиях статистической неопределенности.

В третьей главе изложен подход к оценке решений в условиях определенности, использующий двухэтапную модель многокритериального иерархического принятия решений, рассматриваются алгоритмы многокритериальной оценки качества ИС в условиях определенности.

В четвертой главе рассмотрен пример выбора лучшего варианта ИС демонстрирующий специфику и возможности предложенных моделей и алгоритмов для решения задач оценки и выбора лучших решений.

В Приложении приведены акты, подтверждающие эффективность внедрения разработанных в диссертации моделей и методов принятия решений, использование результатов в учебном процессе.

Выводы к главе 4

1. Сформирован обобщенный диалоговый алгоритм решения многокритериальной задачи принятия решений при детерминированных и статистических критериях.

2. Показана эффективность обобщенного диалогового алгоритма решения многокритериальной задачи принятия решений на примере выбора лучшего варианта корпоративной системы управления предприятием.

ЗАКЛЮЧЕНИЕ

В диссертации предложены модели и алгоритмы многокритериальной оценки решений для статистических и детерминированных критериев, ориентированные на активное использование в диалоговом режиме представлений ЛПР о качестве решений. Получены следующие основные научные и практические результаты.

1. Предложена двухэтапная модель принятия решений в условиях статистической неопределенности при различных ситуациях априорной информированности ЛПР.

2. Для первого этапа принятия решений предложен диалоговый алгоритм снятия статистической неопределенности для разных ситуаций априорной информированности ЛПР, включающий комбинированный критерий и учитывающий степень доверия ЛПР к априорной информации.

3. Разработано иерархическое многокритериальное описание качества ИС в виде дерева критериев.

4. Предложен обобщенный диалоговый алгоритм решения многокритериальной задачи принятия решений при детерминированных и статистических критериях.

5. Разработанные алгоритмы показали свою работоспособность и эффективность при решении многокритериальных задач выбора лучшего варианта информационных систем.

1. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов: основы теории. М.: Наука,1990. 240 с.

2. Алескеров Ф.Т. Локальные модели голосования. Обзор аксиоматических моделей // А и Т, № 10, 2000. С. 3-36.

3. Артамонов В. С, Рыков А. А., Рыков А. С. Методы многокритериальной оценки качества ведомственной информационной сети. Вестник Санкт-Петербургского института Государственной противопожарной службы, № 5, 2004

4. Баранов И.В., Елисов Л.Н., Артемьев В.Г. Некоторые проблемы количественной оценки качества информационного обеспечения управленческой деятельности. МНТК «Гражданская авиация на рубеже веков». М.: МГТУ ГА, 2001. с.50

5. Баранов И.В., Елисов Л.Н., Артемьев В.Г. Некоторые процедуры получения количественных оценок показателей качества. МНТК «Гражданская авиация на рубеже веков». М.: МГТУ ГА, 2001. с.49-50

6. Баркалов С.А., Буркова И.В., Глаголев А.В., Колпачев В.Н. Задачи распределения ресурсов в управлении проектами. М.: ИПУ, 2002. 64 с.

7. Баркалов С.А., Буркова И.В., Колпачев В.Н., Потапенко A.M. Модели и методы распределения ресурсов в управлении проектами. М.: ИПУ, 2004. 86 с.

8. Безкоровайный М.М., Костогрызов А.И., Львов В.М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем «КОК»: Руководство системного аналитика. М.: Вооружение. Политика. Конверсия. 2001. - 303 е., 2-е издание

9. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

10. Борисов В.И. Проблемы векторной оптимизации. Исследование операций // Методологические аспекты. М.: Наука, 1972. С. 102-113.

11. Будзко В.И., Беленков В.Г., Синицин И.Н., Рыков А.С. Алгоритмы обработки экспертной информации//Информационные технологии. 2003. № 10, с. 56-60

12. Будзко В.И., Ильясов Д.Ф., Синицын И.Н., Рыков А.С. Многокритериальная оценка качества информационных систем в условиях неопределенности. Безопасность информационных технологий, № 1, 2004, с. 44-54

13. Бурков В.Н., Новиков Д.А. Как управлять проектами. М.: СИНТЕГ-ГЕО, 1997.188 с.

14. Бурков В.Н., Новиков Д.А. Теория активных систем: состояние и перспективы. М.: СИНТЕГ, 1999. 128 с.

15. Вентцель Е.С. Исследование операций. Задачи, принципы, методология. М.: Наука, 1988.

16. Вилкас Э.Й., Майминас Е.З. Решения: теория, информация, моделирование. М.: Радио и связь, 1981.

17. Вилкас Э.Й. Оптимальность в играх и решениях. М.: Наука, 1990. 256 с.

18. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа. СПб.: СПбГПУ, 2003. 520 с.

19. Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.

20. Воронков В. А. Системный анализ экономики связи. М.: Радио и связь, 1993.127 с.

21. Геминтер В.И., Штильман М.С. Оптимизация в задачах проектирования. М.: Знание, 1982. 64 с.

22. Гермейер Ю.Б. Введение в теорию исследования операций. М.: Наука, 1971.383 с.

23. Дегтярев Ю.И. Системный анализ и исследование операций. М.: Высшая школа, 1996. 336 с.

24. Дубов Ю.А., Травкин С.И., Якимец В.Н. Многокритериальные модели формирования и выбора вариантов систем. М.: Наука, 1986. 296 с.

25. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика,1978.

26. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. М.: Знание, 1986. 29 с.

27. Калинина Э.В., Лапига А.Г., Поляков В.В. и др. Оптимизация качества. Сложные продукты и процессы. М.: Химия, 1989. 256 с.

28. Кини Р.Л. Размещение энергетических объектов; выбор решений. М.: Энергоатомиздат, 1983.

29. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981.

30. Козлов В.Н. Системный анализ и принятие решений. СПб.: Изд-во СПбГТУ, 2000. 190 с.

31. Коновальчук Е.В., Новиков ДА. Модели и методы оперативного управления проектами. М.: ШУ РАН, 2004. 63 с.

32. Кэндалл М. Ранговые корреляции. М.: Статистика, 1975.

33. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. М.: Наука, 1996. 208 с.

34. Ларичев О.И. Наука и искусство принятия решений. М.: Наука, 1979. 200 с.

35. Ларичев О.И. Теория и методы принятия решений. М.: Логос, 2000,

36. Литвак Б. Г. Разработка управленческого решения. М.: Дело, 2003. 392 с.

37. Литвак Б. Г. Экспертная информация: Методы получения и анализа. М.: Радио и связь, 1982. 184 с.

38. Литвак Б. Г. Экспертные технологии в управлении. М.: Дело, 2004. 400 с.

39. Лотов А.В., Бушенков В.А., Каменев Г.К., Черных О.Л. Компьютер и поиск компромисса. Метод достижимых целей. М.: Наука, 1997. 247 с.

40. Математические основы управления проектами. / под. ред. Буркова В.Н. М.: Высш. шк, 2005. 423 с.

41. Многокритериальные задачи принятия решений / Под ред. Д.М. Гвишиани, СВ. Емельянова. М.: Машиностроение, 1978. 192 с.

42. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука, 1981.488 с.

43. Мушик Э., Мюллер П. Методы принятия технических решений. М.: Мир, 1990. 208 с.

44. Новиков Д.А., Глотова Н.П. Модели и механизмы управления образовательными сетями и комплексами. М.: Институт управления образованием РАО, 2004. 142 с.

45. Новиков Д.А. Институциальное управление организационными системами. М.: ИПУ РАН, 2004. 68 с.

46. Новиков Д.А. Статистические методы в педагогических исследованиях. М.: МЗ-Пресс, 2004. 63 с.

47. Новиков Д.А. Теория управления организационными системами. М.: Московский психолого-социальный институт, 2005. 584 с.

48. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа. Томск: Изд-во НТЛ, 1997. 396 с.

49. Подиновский В.В. Методы многокритериальной оптимизации. М.: Наука,1971.

50. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. М.: Экономика, 1974.

51. Растригин JI.А. Системы экстремального управления. М.: Наука, 1974.

52. Рыков А.А. Модель и методы многокритериальной оценки качества и выбора решений при риске. Автореф. канд. диссертации, Воронеж 2006. 17 с.

53. Рыков А.А., Рыков А.С. Алгоритмы обработки экспертной информации для оценки качества информационных систем: Сб. научн. трудов «Экономика, информационные техно-логии и управление в металлургии». М.: МИСиС, 2003. С. 8689.

54. Рыков А.А., Рыков А.С. Двухуровневая модель многокритериальной оценки качества информационных систем в условиях неопределенности: Сб. «Теория активных систем» // Труды международной научно-практической конференции. Т. 1. М.: ИЛУ РАН, 2003. С. 128-130.

55. Рыков А.А., Рыков А.С. Многокритериальная оценка качества информационных систем при неопределенности. Проблемы управления, № 2, 2004, с. 31-39.

56. Рыков А.А., Рыков А.С. Модель оценки характеристик качества информационных систем в условиях неопределенности: Сб. «Теория активных систем» // Труды международной научно-практической конференции. Т. 1. М.: ИПУ РАН, 2003. С. 131-133.

57. Рыков А.А., Рыков А.С. Экспертные алгоритмы оценки качества информационных систем: Сб. «Теория активных систем» // Труды международной научно-практической конференции. Т. 1. М.: ИПУ РАН, 2003. С. 133-135.

58. Рыков А.С., Исходжанов P.P., Рыков А.А. Многокритериальная модель оптимизации портфеля инвестиций // Труды III международной конференции «Идентификация систем и задачи управления» SICPRO'2004, CD. М.: Институт проблем управления, 2004. С. 984-1011.

59. Рыков А.С., Лановец В.В. Система настройки параметров моделей // Труды международной конференции «Идентификация систем и задачи управления» SICPRO'2000, CD. М.: Институт проблем управления, 2000. С. 2193-2199.

60. Рыков А.С. Методы многокритериальной оптимизации // Информационная математика. 2002. № 2. с.63-73.

61. Рыков А.С. Методы системного анализа: многокритериальная и нечеткая оптимизация, моделирование и экспертные оценки. М.: Экономика, 1999. 192 с.

62. Рыков А.С. Методы системного анализа: оптимизация. М.: Экономика, 1999.256 с.

63. Рыков А.С. Модели и методы системного анализа: принятие решений и оптимизация: Учебное пособие для вузов. М.:МИСИС, Издательский дом «Руда и металлы», 2005. - 352 с.

64. Рыков А.С. О диалоговых методах деформируемых конфигураций // Доклады РАН. Т. 375. 2000, № 2.

65. Рыков А.С., Оразбаев Б.Б. Система поддержки принятия решений для управления технологическими агрегатами // Автоматизация технологических процессов и комплексов. Алма-Ата, 1992.

66. Рыков А.С., Пилипенко В.А. Многокритериальная оценка качества систем на основе детерминированных и статистических характеристик. Третья Международная конференция по проблемам управления, Т. 1, М.: Институт проблем управления, 2006. с. 112.

67. Рыков А.С., Пилипенко В.А. Методы оценки качества информационных систем в условиях неопределенности. Системы управления и информационные технологии, № 2.1, 2006, с. 188-192

68. Рыков А.С. Системный анализ: Учебное пособие для практических занятий. М.: МИСиС, 1988.

69. Рыков А.С., Хорошилов В.О., Шевырева М.П., Щипин К.С. Концепция компьютерной системы эпидемиологического надзора за инфекционными заболеваниями. Международный форум «Информатизация процессов охраны здоровья населения -2001», М., 2001. с.54-57

70. Рыков А.С., Хорошилов В.О., Щипин К.С., Рыков А.А. Система прогнозирования на основе многокритериального анализа временных рядов. // Сб. научн. трудов Экономика, информационные технологии и управление в металлургии, М.: МИСиС, 2003, с. 77-79

71. Рыков А.С. Человеко-машинные процедуры решения задач многокритериальной оптимизации // Некоторые вопросы применения вычислительной техники к металлургии. М.: Металлургия, 1985. С. 4-10.

72. Саати Т., Керне К. Аналитическое планирование и организация систем. М.: Радио и связь, 1991. 224 с.

73. Салуквадзе М.Е. Задачи векторной оптимизации в теории управления. Тбилиси: Мецниереба, 1975.

74. Системный анализ и принятие решений. Словарь-справочник // Под ред. Волковой В.Н., Козлова В.Н. М.: Высшая школа, 2004. 616 с.

75. Соболь И.М., Статников Р.Б. Выбор оптимальных параметров в задачах со многими критериями. М.: Наука, 1981.

76. Субетто А.И. Квалиметрия. СПб.: Астерион, 2002. 288 с.

77. Теория выбора и принятия решений. М.: Наука, 1982. 328 с.

78. Трахтенгерц Э.А. Влияние процедуры голосования на результат согласованных решений // Информационные технологии, № 7, 2002.

79. Трахтенгерц Э.А. Компьютерная поддержка переговоров при согласовании управленческих решений. М.: СИНТЕГ, 2003. 284 с.

80. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998. 376 с.

81. Трахтенгерц Э.А. Компьютерная поддержка согласования управленческих решений //Труды межд. конф. «Идентификация систем и задачи управления». М., 2003. 284 с.

82. Трахтенгерц Э.А. Компьютерная поддержка формирования целей и стратегий. М.: СИНТЕГ, 2005. 224 с.

83. Трахтенгерц Э.А. Субъективность в компьютерной поддержке управленческих решений // Труды межд. конф. «Идентификация систем и задачи управления». М.: СИНТЕГ, 2001. 256 с.

84. Трухаев Р.И. Модели принятия решений в условиях неопределенности. М.: Наука, 1981,258 с.

85. Управление большими системами / Сб. трудов. Вып. 5, М.: ИПУ РАН, 2003.157 с.

86. Управление большими системами / Сб. трудов. Вып. 7, М.: ИПУ РАН, 2004.113 с.

87. Управление большими системами / Сб. трудов. Вып. 9, М.: ИПУ РАН, 2004.231 с.

88. Фишберн П. Теория полезности для принятия решений. М.: Наука, 1978

89. Хоменюк В.В. Элементы теории многоцелевой оптимизации. М.: Наука,1983.

90. Штойер Р. Многокритериальная оптимизация. Теория, вычисления и приложения. М.: Радио и связь, 1992.

91. Arrow K.J., Hurwitz L. An optimality criterion for decision-making under ignorance // Uncertainty and expectations in economics. Oxford: Basil Blackwell and Mott, 1972.

92. Arrow K.J., Hurwitz L. A class of solutions for group decision problems // Manag. Sci. 1973. V19, p. 936-946.

93. Arrow K.J. Social choice and individual values. N.-Y.: Willey, 1951.

94. Goodman L., Markowitz H. Social welfare functions based on individual rankings // Amer. J. Sociology. 1952. V 58. P. 257-262.

95. Multiple criteria decision making / Ed. M. Zeleny, Berlin: Springer Verlag, 1976.

96. Pareto V. Manuale di Economia Politica. Milan (Italy): Societa Editrice Libraria,1906.

97. Regenwetter M., Grofman B. Approval voting, Borda Winners and Condorcet Winners: Evidence from seven Elections // Management Science. 1998. V 44. № 4.

98. Roy B. Multicriteria Methodology for Decision Aiding. Dordrecht: Kluwer Academic Pulisher, 1996.

99. Rykov A.S. Configuration methods for solving problems of multiobjective optimisation // Preprints of the summer school course on Identification and Optimization oriented for use in adaptive control. Prague (Czech Republic), 1995. P. 89-97.

100. Rykov A.S., Vinogradova I.I., Kuznetsov A.G. Algorithms and software for multiobjec-tive controller design // Preprints of the spring school on Adaptive and Predictive Control. Oxford (United Kingdom), Oxford University, 1996. P. 69-78.

101. Rykov A.S., Vinogradova I.I., Kuznetsov A.G. Multiobjective optimisation techniques for computer-aided control systems design. Report, OUEL 2150/97. Oxford (United Kingdom), Department of Engineering Science, University of Oxford, 1997. 53 p.

102. Rykov A.S., Vinogradova I.I., Kuznetsov A.G. PREDCON: A package for multiobjec-tive controller design // New Trends in Design of Control Systems / Eds. Kozak S., Huba M. El-sevier Science. 1999. P. 55-59.

103. Rykov A.S., Vinogradova I.I., Kuznetsov A.G. PREDCON: a package for multiobjective controller design // Preprints of the 2th IF AC Workshop on New trends in design of Control Systems. Smolenice (Slovakia), 1997. P. 54-58.

104. Rykov A.S., Vinogradova I.I. PREDCON package for tuning GPC // Proceedings of 12th International Conference on Systems Engineering, ICSE'97. V. 2. Coventry (United Kingdom), Coventry University, 1997. P. 583-586.

105. Savage L.I. The foundations of statistics. N.-Y.: Wiley, 1954.

106. Sen A.K. Social choice theory // Handbook of mathematical economics. V III. Amsterdam; N.-Y.; Oxford; Tokyo; North-Holland, 1986.

107. Young HP. An axiomatization of Borda's rule //1. Econ. Theory. 1974. V 9. P.43.52