автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Методы и алгоритмы анализа и агрегирования групповых экспертных оценок

На правах рукописи

Бурков Евгений Александрович

МЕТОДЫ И АЛГОРИТМЫ АНАЛИЗА И АГРЕГИРОВАНИЯ ГРУППОВЫХ ЭКСПЕРТНЫХ ОЦЕНОК

Специальность: 05.13.01 - Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

- 3 НОЯ 2011

Санкт-Петербург - 2011

4858598

Работа выполнена в Санкт-Петербургском государственном электротехническом университете «ЛЭТИ» им. В.И. Ульянова (Ленина)

Научный руководитель:

доктор технических наук, профессор Падерно Павел Иосифович Официальные оппоненты:

доктор технических наук, профессор, проректор по научной работе Санкт-Петербургского государственного лесотехнического университета им. С. М. Кирова Уткин Лев Владимирович

кандидат технических наук, начальник сектора ¡ОАО "Информационные телекоммуникационные технологии" Васильев Николай Владимирович

Ведущая организация:

Северо-Западный институт - филиал федерального государственного бюджетного образовательного учреждения высшего профессионального образования "Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации"

Защита диссертации состоится «.{Я » КоДд^дД. 2011 г. в М.ОО часов на заседании совета по защите докторских и кандидатских диссертаций Д 212.238.07 Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) по адресу: 197376, г. Санкт-Петербург, ул. Проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета. Автореферат разослан «//_» оулМА^Ь. 2011 г.

Ученый секретарь совета по защите докторских и кандидатских диссертаций

Цехановский В. В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность работы. Возникновение, развитие и выход на первый план сложных технических систем, таких как АЭС, газопроводы, космодромы, военные объекты, сделали необходимым использование и, следовательно, обучение предельно квалифицированных специалистов, обладающих требуемыми знаниями и навыками по управлению этими системами. Данная необходимость обусловлена тем, что ошибка в управлении подобными системами может вызвать глобальные негативные экономические, экологические и другие последствия, вплоть до катастрофы. Наиболее эффективными и перспективными средствами обучения квалифицированных специалистов являются тренажерные комплексы, являющиеся особым классом автоматизированных обучающих систем. Они позволяют выработать и закрепить необходимые для управления сложными техническими системами навыки. Разработка тренажерных комплексов представляет собой сложный процесс, требующий больших финансовых затрат, поэтому необходим контроль качества на каждом из этапов разработки, включая составление технического задания. Оценка качества таких комплексов и определение требований к ним на стадии разработки осложняется неполнотой и/или неопределенностью имеющейся информации и представляет собой неструктурированную или слабо структурированную задачу, для решения которой целесообразно использовать методы экспертного оценивания, которые в настоящее время широко используются во многих областях человеческой деятельности, требующих принятия сложных решений. Однако изучение практики и теории экспертного оценивания позволило выделить ряд значительных противоречий, существующих в этой области и снижающих эффективность использования и достоверность результатов экспертных методов: 1) задача построения системы критериев оценивания альтернатив является практически неформализованной и ее решение вызывает затруднения у экспертов, особенно при определении относительной важности критериев и связей между ними; 2) недостаточно развит анализ согласованности парных сравнений, в частности отсутствует возможность корректно оценить противоречивость парных сравнений, выполненных с использованием количественных шкал; 3) в существующих подходах' к анализу согласованности экспертных мнений не учитывается различие в уровне компетентности экспертов; 4) большинство методов многокритериального выбора не позволяет произвести проверку согласованности мнений группы экспертов; 5) существующие методы и алгоритмы агрегирования экспертных оценок зависят от вида оценок и способа их свертывания; 6) отсутствуют корректные методы и методики, позволяю-

щие оценить объективность экспертов и устранить влияние их необъективностй на достоверность результатов экспертизы. Важной проблемой практики применения методов экспертного оценивания является их недостаточная автоматизация ввиду отсутствия единого подхода к решению большинства задач, а также недостаточная формализация ряда процедур и этапов экспертизы. Поэтому актуальными являются разработка и внедрение методов, моделей и алгоритмов, обеспечивающих выявление необъективных экспертов и агрегирование экспертных мнений с учетом компетентности экспертов, а также позволяющих формализовать выполнение основных этапов экспертизы.

Диссертационное исследование посвящено решению научно-технической задачи разработки методов, алгоритмов и процедур анализа и обработки экспертной информации для поддержки принятия решений в различных областях человеческой деятельности и непосредственно базируется на результатах исследований следующих ученых: Анохина А.Н., Бешелева С.Д., Гурвича Ф.Г., Ларичева О.И., Литвака Б.Г., Маркина Б.Г., Ногина В.Д., Орлова А.И., Падерно П.И., Саати Т., Сидельникова Ю.В., Уткина Л.В., Шеховцова О.И. и др.

Объектом исследования является поддержка принятия решений на основе принципов и методов экспертного оценивания.

Предметом исследования является анализ и обработка экспертной информации.

Целью диссертационной работы является разработка методов и алгоритмов анализа и обработки экспертной информации, позволяющих повысить достоверность результатов и эффективность процесса проведения групповых экспертиз, направленны;« на решение задач многокритериального выбора.

Методы исследования. В диссертационной работе использованы методы системного анализа и теории принятия решений, теории вероятностей и математической статистики, а также теории нечетких множеств.

Научные положения, выносимые на Защиту:

1. Критерий согласованности парных сравнений.

2. Модификация метода анализа иерархий для решения задач группового выбора.

3. Унифицированный алгоритм агрегирования экспертных оценок.

4. Метод выявления аффилированных экспертов, основанный на предложенной вероятностно-статистической модели экспертных оценок.

5. Способ оценки субъективности экспертов и формирования экспертной группы с использованием показателей субъективности экспертов.

6. Методика обработки экспертных оценок на основе факторного анализа.

Новизна первого научного результата:

В отличие от известных критериев согласованности парных сравнений предложенный критерий позволяет учесть не только факг и кардинальность расхождения экспертных оценок, но и значимость этого расхождения с учетом различия в уровне компетентности экспертов.

Новизна второго научного результата:

В отличие от известных методов многокритериального выбора разработанная модификация метода анализа иерархий: а) дает возможность учесть при агрегировании матриц парных сравнений экспертов не только общую компетентность каждого эксперта, но и дифференцированную компетентность эксперта по различным показателям, используемым для оценивания альтернатив; б) позволяет оценить возможность корректного агрегирования матриц парных сравнений с помощью предложенного критерия согласованности экспертных мнений; в) содержит процедуру разбиения экспертной группы на коалиции в соответствии с согласованностью мнений экспертов; г) позволяет агрегировать частично противоречивые матрицы парных сравнений.

Новизна третьего научного результата:

Унифицированный алгоритм отличается от известных возможностью агрегирования оценок произвольного вида на основе задаваемого способа получения обобщенных оценок, а также итеративным пересчетом коэффициентов компетентности экспертов.

Новизна четвертого научного результата:

Метод выявления аффилированных экспертов основан на вероятностно-статистической модели экспертных оценок, отличающейся возможностью использования произвольных законов распределения погрешности оценивания экспертов и позволяющей выявлять и устранять ее систематическую составляющую. Аналогов данного метода, позволяющих определять необъективных экспертов, на сегодняшний день не обнаружено.

Новизна пятого научного результата:

Способ оценки субъективности экспертов отличается тем, что не зависит от закона распределения погрешностей оценивания экспертов и позволяет формализовать задачу формирования экспертной группы, и представить ее в виде задачи дискретной оптимизации.

Новизна шестого научного результата:

Новизна разработанной методики заключается в использовании для решения задач, связанных с обработкой экспертных оценок, Я-техники факторного анализа, позволяющей выявить корреляционную связь между критериями оце-

нивания альтернатив, а также ^-техники, позволяющей выявить корреляционную связь между экспертами. Отличительной особенностью предложенной методики является получение оценок альтернатив по второму уровню иерархии критериев в виде численных значений факторов, вычисляемых на основе результатов факторного анализа экспертных оценок.

Достоверность полученных результатов. Достоверность результатов, выводов и рекомендаций диссертационной работы базируется на корректном применении математического аппарата, анализе исследований в рассматриваемой области, а также широком внедрении полученных результатов и их апробации на международных и российских научных конференциях.

Практическая ценность. Разработанные алгоритмы и методы представляют собой инструментальные средства для анализа и обработки экспертной информации, которые предоставляют дополнительные возможности при работе с информацией. Их применение позволяет повысить достоверность результатов и эффективность процесса проведения групповых экспертиз, направленных на решение задач многокритериального выбора. Разработанные алгоритмы и методы могут быть использованы при создании автоматизированной системы экспертного оценивания, реализующей автоматизированную поддержку проведения экспертиз и принятия решений. Ряд результатов диссертационной работы положен в основу программного модуля оценки качества тренажеров, который проходит апробацию в ОАО «Центральное конструкторское бюро аппарато-строения», после чего первая версия программного продукта будет представлена для прохождения государственной регистрации в установленном порядке.

Реализация и внедрение результатов. Результаты диссертационной работы внедрены в: 1) ОАО «Центральное конструкторское бюро аппаратострое-ния» при экспертной оценке качества тренажерных систем; 2) НИЦ РЭВ ВМФ РФ при разработке и реализации руководящих документов по обеспечению подготовки и проведения экспертиз создаваемых и проектируемых тренажерных комплексов различного назначения; 3)ОАО «Концерн «НПО «Аврора» при проведении экспертной оценки эргономических показателей производимых сложных систем управления корабельным и судовым оборудованием; 4) ОАО «Корпорация «Аэрокосмическое приборостроение» при экспертной оценке качества сертифицируемой продукции; 5) ООО «ЭргоАйТи» при экспертном анализе качества интерфейса программных продуктов; 6) учебный процесс кафедр АСОИУ и АПУ СПбГЭТУ, что подтверждено соответствующими актами внедрения. Также результаты диссертационной работы использованы в фундаментальной НИР «Разработка моделей и методов анализа и синтеза интеллектуаль-

ных систем поддержки принятия решений для управления сложными распределенными объектами» (АСОИУ-64).

Апробация работы. Основные результаты работы докладывались и обсуждались на: 1)УП Международной конференции «Психология и эргономика: единство теории и практики», Тверь, 2011 г.; 2) П и Ш Международных конференциях «Государство и бизнес. Вопросы теории и практики: моделирование, менеджмент, финансы», Санкт-Петербург, 2010 и 2011 гг.; 3)XXXV и XXXVI Международных молодежных научных конференциях «Гагаринские чтения», Москва, 2009 и 2010 гг.; 4) XV Международной конференции «Современное образование: материалы, технологии, качество», Санкт-Петербург, 2009 г.;

5) VI Международном аэрокосмическом конгрессе «IAC09», Москва, 2009 г.;

6) XTV Международной научно-практической конференции «Качество — стратегия XXI века», Томск, 2009 г.; 7) П и III Общероссийских молодежных научно-технических конференциях «Молодежь. Техника. Космос», Санкт-Петербург, 2010 и 2011 гг.; 8)ХШ Всероссийской научно-технической конференции «Энергетика: экология, надежность, безопасность», Томск, 2007 г.; 9) VTII Межрегиональной научно-технической конференции студентов и аспирантов «Применение кибернетических методов в решении проблем общества XXI века», Обнинск, 2010 г.; 10) I Межрегиональной конференции «Государство и бизнес. Вопросы теории и практики: моделирование, менеджмент, финансы», Санкт-Петербург, 2009 г.; 11) VII научно-технической конференции «Ме-хатроника, автоматизация, управление», Санкт-Петербург, 2010 г; 12) Ежегодных научно-технических конференциях профессорско-преподавательского состава СПбГЭТУ «ЛЭТИ» им. В.И. Ульянова (Ленина), Санкт-Петербург, 2008-2011 гг.

Публикации. Основные результаты диссертационной работы изложены в 16 публикациях, в том числе: в 7 статьях, 4 из которых опубликованы в ведущих рецензируемых научных журналах, входящих в перечень ВАК; в 5 докладах на международных конференциях и 4 докладах на региональных и всероссийских конференциях, опубликованных в трудах и материалах конференций.

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, 5 глав с выводами, заключения, списка использованной литературы, включающего 155 наименований, и 7 приложений. Основная часть диссертации изложена на 152 страницах машинописного текста. Работа содержит 27 рисунков и 16 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность темы диссертации, сформулирована цель и поставлены задачи исследования, сформулированы основные положения и научные результаты, выносимые на защиту, дана краткая характеристика их новизны, достоверности и практической ценности.

В первой главе проведен анализ предметной области, рассмотрены основные этапы проведения экспертизы и решаемые на этих этапах задачи, связанные с обработкой экспертной информации, определены основные существующие в данной области противоречия. Проведенный анализ основных методов многокритериального выбора выявил отсутствие формализованной процедуры агрегирования экспертных мнений с учетом их согласованности и различия в уровне компетентности экспертов, а также низкую степень формализации ряда этапов и процедур экспертного оценивания, в частности, построения системы критериев оценивания альтернатив. Кроме того, выполненный анализ показал, что на сегодняшний день недостаточно развиты способы и критерии оценки взаимной согласованности экспертных мнений, представленных в виде результатов парных сравнений, а также выявил отсутствие корректных методов и методик, позволяющих оценить объективность экспертов. Результаты проведенного анализа предметной области позволили сформулировать цель и основные задачи исследования.

Во второй главе разработаны критерий согласованности парных сравнений, модификация метода анализа иерархий для агрегирования матриц парных сравнений и унифицированный алгоритм агрегирования экспертных оценок.

Критерий согласованности парных сравнений должен: 1) учитывать кардинальность предпочтений экспертов; 2) учитывать информацию о компетентности экспертов; 3) позволять производить оценку согласованности не только отдельных результатов попарных сравнений, но.и матриц парных сравнений. Также критерий согласованности парных сравнений вида:

% = ЯЬу.ь2ц)> ь\у е Л. Ьу 6Л (»= й;} = I»), (1)

где б^-.г^у — результаты сравнения /-го элемента иерархии су-м 1-м и 2-м экспертом соответственно; Л — шкала отношений, используемая для попарного сравнения элементов иерархии по степени их важности, должен для VУ,у е{1,2,...,«} и VЬуу,Ьщ е Я удовлетворять следующим условиям:

О ЛЬщ.ЬщУ-ЯЬх,Ау)\ 2) ЯКрЬгу)-/(кц^-/); 3) /(^Ау)е[0;1];

4) Ьуу = ¿2у =>Перечисленным условиям и требованиям отвечает разработанный коэффициент дезагрегации парных сравнений:

k?j=q>j\loiWVM' = min{9liy/(9li/ +?2iy)»?2ji/(?Iiy+9'2<;--)} (' = l,n;y = l,n), (2) где — наибольшее значение шкалы отношений Л; — коэффициент, задающий значимость имеющегося противоречия между оценками экспертов, которая определяется относительной величиной коэффициентов компетентности экспертов qUj и q2ij • Исходя из свойств шкалы отношений, разработанной Т. Саати, а также сформулированных требований к критерию согласованности парных сравнений, можно вычислить верхнее пороговое значение коэффициента дезагрегации ß, которое достигается при ¿ty = 2, Ьщ = 1/2, qUj = q2y, rmax = 9 :

ß = 9i/j (b\y tbiij) | = 0,315. (3)

Пусть Bs=(^),Qs=(?Sy) (4ii = <ljn<Лу e[0; 1],5e {1,2},/ = 1j = Kn) — матрицы

парных сравнений и матрицы компетентности двух экспертов. Перед агрегированием матриц В] и В2 следует определить их взаимную согласованность, для этого необходимо ввести матрицу коэффициентов дезагрегации парных сравнений: К12 (kfj kjj =l,i = l,n;j = l,n), с помощью которой может быть сформулировано условие агрегируемости двух матриц парных сравнений:

Vje{l2,...,n}-- I kfj/{n-l)<ß. (4)

1=1, i* j

Если при каком-либо значении / условие (4) не выполняется, то это означает, что между экспертами имеется существенное противоречие в оценке у'-го элемента иерархии, поэтому их мнения агрегировать нельзя.

Для получения обобщенного мнения т экспертов в виде обобщенной матрицы парных сравнений В с учетом выполнения условия (4) был разработан следующий алгоритм агрегирования экспертных мнений.

Шаг 1. Для каждой пары экспертов хну вычисляется матрица коэффициентов дезагрегации попарных сравнений п элементов иерархии К^.

Шаг 2. На основе матриц коэффициентов дезагрегации строится граф агрегируемости экспертных мнений G(E, £1), где Е — множество вершин графа, каждая из которых соответствует определенному эксперту; О — множество дуг, связывающих вершины графа. Для каждой матрицы К^, проверяется выполнение условия (4): если оно выполняется, то между вершинами графа G(E, П), соответствующими экспертам х и у, проводится дуга вес который берется

п п

равным: со^ = 1 - £ £ I (" - ")•

/=1у=1, i*j

Если в построенном графе G(E, Q.) отсутствуют дуги (Q = 0), то выполнение алгоритма прекращается.

Шаг 3. В построенном на предыдущем шаге графе агрегируемости экспертных мнений С(Д £2) мнений выделяются подграфы (ь = !ц,Н5), обладающие свойством полноты: = 3£>№ е£1<»*0, к' = (5)

Каждый выделенный подграф удовлетворяющий усло-

вию (5), соответствует й-й коалиции экспертов, т. е. подгруппе экспертов, мнения которых имеют высокую степень агрегируемости.

Шаг 4. Для каждой А-й коалиции экспертов производится агрегирование мнений составляющих ее экспертов:

к=1 ^

где символ «®» после знака произведения обозначает адамарово произведение матриц, а этот же символ в показателе степени обозначает обобщенную адама-рову степень; т^ — число экспертов, входящих в й-ю коалицию.

В дальнейшем каждая коалиция экспертов рассматривается как единый эксперт, а соответствующий ей подграф заменяется единственной вершиной.

Шаг 5. Осуществляется переход к шагу 1.

На третьем шаге алгоритма агрегирования экспертных мнений производится выделение в графе С{Е, О) подграфов (Л = А,,), удовлетворяющих условию (5) и соответствующих коалициям экспертов. Для решения этой задачи был разработан следующий алгоритм выделения коалиций.

Шаг 3.1. Построение матрицы смежности XV для графа П):

(щху = = (7)

Шаг 3.2. На основе матрицы (7) определяется ттах — максимально возможный размер коалиции экспертов, которая может быть выделена в графе £?(£, £2). Если полученное значение ттах равно единице, то выполнение алгоритма прекращается, т. к. нельзя выделить ни одной коалиции экспертов.

Шаг 3.3. Генерируются все варианты коалиций из ттах экспертов.

Шаг 3.4. Каждая из возможных коалиций экспертов проверяется на существование — И-я коалиция экспертов считается существующей, если выполняется следующее равенство:

(1, > 0,

2 X Ь(<о ) = ттах(ттах-1), 5(ш ) = •! (3)

г.Ех1ЕМу,Еу^\у*Х [0,0^, =0. У)

Если условие (8) не выполняется ни для одного из сгенерированных вариантов коалиций, то осуществляется возврат к шагу 3.3 с предварительным уменьше-

нием тпах на единицу. Если значение ттах становится меньше двух, то работа алгоритма завершена. Если условие (8) выполняется для нескольких коалиций, и при этом множества их вершин пересекаются, то, при предположении, что каждый эксперт может входить только в одну коалицию, окончательному выделению подлежит коалиция, для которой достигается следующий максимум:

Шаг 3.5. Информация о найденных коалициях сохраняется, а из матрицы \У удаляются строки и столбцы, соответствующие экспертам, входящим в одну из коалиций. Аналогично, из графа Сг(£, £2) удаляются вершины, соответствующие таким экспертам. Далее выполняется переход к шагу 3.2.

Разработанный унифицированный алгоритм агрегирования экспертных оценок, представленный на рисунке 1, может использоваться для свертывания оценок произвольного вида задаваемым способом агрегирования.

Каждому эксперту ставится в соответствие вектор его оценок всего множества альтернатив. На нулевой итерации алгоритма задаются начальные коэффициенты компетентности всех экспертов. Если о компетентности экспертов ничего не известно, то предполагается, что все эксперты обладают равной компетентностью. Производится вычисление обобщенных оценок альтернатив с помощью заданного способа агрегирования экспертных оценок, позволяющего учесть показатели компетентности экспертов. В результате формируется вектор обобщенных оценок альтернатив.

На каждой итерации алгоритма для каждого эксперта вычисляется относительное отклонение выставленных им оценок от обобщенных оценок, как отношение действительно имеющегося отклонения к максимально возможному отклонению с использованием выбранной для оценки близости метрики. Осуществляется пересчет коэффициентов компетентности экспертов: чем сильнее эксперт в своих оценках отклонился от обобщенных оценок, тем ниже становится его коэффициент компетентности. С учетом изменившихся коэффициентов компетентности пересчитываются обобщенные оценки альтернатив.

В конце каждой итерации проверяется условие окончания выполнения алгоритма: если расстояние между обобщенными оценками альтернатив, вычисленными на данной и предыдущей итерации, не превышает наперед заданной точности 4, то данная итерация является завершающей.

шах • И

I £ ®

(9)

х:

^__Начало ^^

Вычисление обобщенных оценок

Вычисление отклонения оценок каждого эксперта от обобщенных оценок

Вычисление максимального отклонения оценок каждого эксперта от обобщенных о^иок

отклонения оценок каждого эксперта от обобщенных оценок

Рисунок 1 - Унифицированный алгоритм агрегирования экспертных оценок

Рисунок 2 - Обобщенный алгоритм выявления аффилированных экспертов

В третьей главе разработан метод выявления аффилированных экспертов, а также способ оценки субъективности экспертов и ее учета при формировании экспертной группы. Обобщенный алгоритм выявления аффилированных экспертов приведен на рисунке 2.

Пусть имеется ряд экспертных оценок некоторой величины X,

прямое измерение значений которой невозможно, где V,— оценка величины X, сделанная /-м экспертом. Тогда V х, где V =/(у|,у2,...,ут)— обобщенная

оценка, полученная путем агрегирования оценок т экспертов; * — истинное значение X. Пусть 1-й эксперт может достаточно точно оценить значение X с поправкой на погрешность: 8,- = V,- - х. Будем считать, что данная погрешность подчиняется нормальному закону распределения 5,- ~ и имеет две со-

ставляющие: 5; = в,- + где 8,- — систематическая ошибка оценивания, которая вызвана субъективными особенностями эксперта; ^ — случайная ошибка, которая вызвана воздействием ряда случайных факторов.

По результатам оценивания г-м экспертом п альтернатив можно найти 8П£,6,-2*,-.-,8гп£, которые представляют собой конкретные значения случайной величины А/к, т. е. погрешности 1-го эксперта при оценивании альтернатив по к-му (к = 1,1) критерию. Полагая; что Лл имеет нормальное распределение, можно вычислить систематическую составляющую погрешности экспертных оценок, а также ее среднее квадратическое отклонение (СКО):

Рассмотрим анализ объективности оценок, выставленных конкретным экспертом некоторой альтернативе по всем критериям. Пусть —

оценки, которые г-й эксперт выставил _/-й альтернативе по всем / критериям, а VJl,Vj2,■.■, V// — обобщенные оценкиу'-й альтернативы по всем I критериям.

Условие (11) является индикатором возможного необъективного оценивания /-м экспертом у'-й альтернативы:

Если подмодульная сумма в (11) положительна, то необъективность эксперта выражается в завышении оценок у-й альтернативе, а если подмодульная сумма отрицательна, то необъективность выражается в занижении оценок. Предположим было выявлено завышение оценок. По каждому из критериев,

(10)

I (V -5,*) > х

(И)

для которых выполняется неравенство 81к > , необходимо определить вероятность непреднамеренного завышения оценки: рук = Р{&ц >Ьук} = 1-^(5,щ), где Г(8д/с) = Р{Ац — функция распределения случайной величины Д,*. Если случайная величина Д,* распределена по нормальному закону, имеем:

(12)

где Ф(г) — функция стандартного нормального распределения. Тогда вероятность того, что завьппение оценоку'-й альтернативе г'-м экспертом по критериям, таким что > %, произошло непреднамеренно, будет равна:

П/, = П_ Рук /131

Если было выявлено занижение оценок, то вычисления производятся аналогичным образом, но вероятность непреднамеренного занижения оценки по каждому из критериев, для которых выполняется неравенство < 5,к, вычисляется следующим образом: = Р{АЙ < = Р(Ьук).

Если вероятность случайного занижения/завышения оценок меньше у, то есть основания считать г-го эксперта аффилированным. Величину у можно найти, считая предельно допустимым случаем такое завышение/занижение /-м экспертом оценок у-й альтернативе, когда по каждому к-му критерию эксперт отклонился от 5,к ровно на %.

Следует отметить, что метод выявления аффилированных экспертов может быть достаточно легко модифицирован для применения законов распределения погрешностей экспертных оценок, отличных от нормального.

Разработан способ оценки субъективности экспертов, использующий интервальные оценки 6(А и : Ъ*к 8]|; и е [ ЗД^Д], а также теорию нечетких множеств, и позволяющий произвести количественную оценку следующих характеристик эксперта: субъективности, определяющей величину и знак систематической составляющей погрешности оценок эксперта и подверженности эксперта влиянию внешних случайных факторов, определяющей величину случайной составляющей погрешности.

Введем непрерывные нечеткие множества реалистичных, оптимистичных и пессимистичных оценок Я, ОиР соответственно:

ОДк<а,

ъ"к

5? 8Й ¡к

(6д-а)/(6-а),а<5й <1 (с-8л)/(С-Ь),Ь58й<С 0,8,4

(14.1)

&1к

0= '¡М^й^, М8й) = Т(8йЛс) =

5* «*

1К

0,8,Ч<А,

• (5;*-6)/(с-Ь),6<5,*<с, (14.2)

1,5,* <а,

(А-5,*)/(6-а),а25,*<А, (14.3)

0,8Л>6.

где а, Ь и с — параметры, задающие форму функций принадлежности.

Используя функцию принадлежности нечеткого множества Л можно рассчитать коэффициент реалистичности оценок /-го эксперта по А>му критерию:

(15)

5

V*

Аналогичным образом с помощью функций принадлежности нечетких множеств О и Р можно рассчитать коэффициенты оптимистичности и пессимистичности оценок ¡-го эксперта по &-му критерию соответственно.

Если известны коэффициенты относительной значимости критериев оценивания ь то для каждого иго эксперта можно рассчитать обобщенные коэффициенты реалистичности, оптимистичности и пессимистичности:

Гм = I ^опт = I *мГ. Гсс = Е ^Г0 (¿^=1). (16)

*=1 4=1 Ш Ы1

Введем непрерывное нечеткое множество стабильных оценок Т:

ОД* <0,

сН

(17)

2«% - с') / с')2,6' £ < с',

С помощью функции принадлежности нечеткого множества Т можно рассчитать коэффициент стабильности оценок /-го эксперта по к-му критерию:

„ст Я ¡к =

1

1

(18)

Используя коэффициенты относительной значимости критериев оценивания альтернатив лу*, для каждого /-го эксперта можно найти обобщенный коэффициент стабильности его оценок и проверить выполнение условия:

9?т=1"Ий>аст-(5>4= 0. (19)

где аст— пороговое значение коэффициента стабильности, которое выбирается исходя из требований к надежности экспертных оценок в данной экспертизе.

Коэффициенты (16) и (19) ммуг использоваться для сведения задачи формирования экспертной группы к задаче дискретной оптимизации:

т* , ,

V /тгреал —опт —песс к „

г, — (2°)

" 1, если »-и эксперт включается в группу,

/ Г'Л- 5 Z X' — л

/=1 11 ' [О, если 1-й эксперт не включается в группу,

где г,-— стоимость участия /-го эксперта в экспертизе; г — сумма планируемых затрат на оплату работы всех экспертов; т — число потенциальных экспертов после исключения нестабильных экспертов, не удовлетворяющих условию (19).

В четвертой главе разработана методика обработки экспертных оценок, основанная на применении факторного анализа, позволяющая формализовать задачу построения иерархии критериев оценивания. На первом этапе построения иерархии т экспертов должны составить перечень всех возможных субкритериев, по которым могут быть оценены п альтернатив. На втором этапе эксперты должны выполнить количественную оценку каждой из альтернатив по всем I субкритериям. Экспертные оценки можно представить в виде набора матриц Хк (к = 1,1). На третьем этапе вводится матрица корреляций

между субкритериями К, элементы которой рассчитываются как коэффициенты парной корреляции между подвергнутыми стандартизации матрицами X*. На четвертом этапе на основе матрицы И проводится факторный анализ, в результате чего выявляются л значимых факторов и рассчитывается матрица факторных нагрузок А = На пятом этапе с помощью процедуры вращения

выделенных факторов решается задача получения такой факторной структуры, которая упростит экспертам дальнейшую семантическую интерпретацию факторов. На шестом этапе выявляются связи между субкритериями и факторами на основе значений факторных нагрузок, полученных после вращения факторов. Связь между к-м субкритерием и й-м фактором устанавливается в том случае, если значение ау, больше некоторого установленного порогового значения у. На седьмом этапе определяется относительная значимость факторов и субкритериев в виде коэффициентов их относительной значимости, при условии, что сумма этих коэффициентов на каждом уровне иерархии должна быть равна единице. Коэффициент относительной значимости каждого й-го фактора рассчитывается как отношение собственного числа й-го фактора X./, к сумме собственных чисел всех факторов. Коэффициент относительной значимости к-го субкритерия рассчитывается как сумма коэффициентов относительной значи-

мости факторов, с которыми данный субкритерий связан, умноженных на вес соответствующей связи. На восьмом этапе экспертами производится семантическая интерпретация факторов.

Предложенная методика обработки экспертных оценок может быть использована не только для построения иерархии критериев, но и для разбиения экспертов на коалиции, а также вычисления интегральных оценок альтернатив.

Пятая глава посвящена практическому применению рада результатов диссертационной работы. Рассмотрено проведение экспертизы, целями которой являлись построение иерархии показателей качества тренажерных комплексов и определение относительной значимости элементов этой иерархии. Приведено решение следующих задач: оценка компетентности экспертов, построение иерархии, опрос экспертов, получение согласованного обобщенного мнения группы экспертов. Построенная иерархия используется в ОАО «Центральное конструкторское бюро аппаратостроения» при экспертном оценивании качества разрабатываемых тренажерных комплексов.

В заключении сформулированы основные результаты исследования, представленные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В ходе проведенного исследования были решены поставленные в работе задачи и получены следующие результаты:

1. Разработан и обоснован критерий согласованности экспертных мнений, представленных в виде матриц парных сравнений.

2. Разработана модификация метода Т. Саати для формализованного получения обобщенного мнения группы экспертов с учетом взаимной согласованности экспертных мнений, а также дифференцированной компетентности экспертов в различных предметных областях.

3. Разработан унифицированный алгоритм агрегирования экспертных оценок, позволяющий выполнять свертку оценок произвольного вида на основе задаваемого способа получения обобщенных оценок.

4. Разработан метод выявления аффилированных экспертов, основывающийся на предложенной вероятностно-статистической модели экспертных оценок.

5. Разработан способ оценки субъективности экспертов и формирования экспертной группы с использованием показателей субъективности экспертов.

6. Разработана методика обработки экспертных оценок, основанная на применении факторного анализа.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ РАБОТЫ

Публикация в изданиях, рекомендованных ВАК:

1. Бурков Е. А., Евграфов В. Г., Падерно П. И. Критерий согласованности парных сравнений // Информационно-управляющие системы. 2011. № 3. с. 57-60.

2. Бурков Е. А. Определение субъективности и надежности экспертных оценок на основе анализа статистических данных И Известия государственного электротехнического университета. 2010. № 9. с. 33-38.

3. Бурков Е. А., Падерно П. И. Подход к формированию экспертной группы как к задаче дискретной оптимизации // Биомедицинская радиоэлектроника. 2010. № 5. с. 48-51.

4. Бурков Е. А., Падерно П. И., Пахарьков Г. Н. Экспертиза: системные проблемы и пути их решения при выборе медицинской аппаратуры // Биотехносфера. 2010. № 2. с. 6-14.

Прочие публикации:

5. Бурков Е. А. Обобщенный алгоритм экспертного оценивания с параллельным вычислением компетентности экспертов // Известия государственного электротехнического университета. Серия «Информатика, управление и компьютерные технологию). 2007. № 3. с. 67-70.

6. Бурков Е. А. Определение компетентности экспертов на основе поставленных ими оценок // Известия государственного электротехнического университета. Серия «Информатика, управление и компьютерные технологии». 2009. № 4. с. 20-24.

7. Бурков Е. А., Падерно П.И. Экспертиза. Что не сделано и что надо делать // Человеческий фактор. Проблемы психологии и эргономики. 2011. № 3. с. 52-67.

8. Бурков Е. А. Выявление противоречивости экспертных мнений, представленных в виде результатов парных сравнений по шкале отношений Саати // XXXVI Гагаринские чтения. Научные труды Международной молодежной науч. конф. в 8 томах. М.: МАТИ, 2010. Т.З. с. 126-127.

9. Бурков Е. А. Метод обработки экспертных оценок с учетом распределения компетентности между экспертами // Государство и бизнес. Вопросы теории и практики: Материалы I Межрегиональной конф. СПб.: Изд-во СЗАГС, 2009. с. 63-68.

10. Бурков Е. А. Оптимизационный подход к определению состава экспертной группы // 63-я науч.-техн. конф. профессорско-преподавательского состава университета. Сборник докладов студентов, аспирантов и молодых ученых. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2010. с. 117-120.

11.Бурков Е.А., Назаренко H.A., Падерно П.И. Оценка компетентности экспертов — основа правильного результата экспертизы//Материалы докладов ХШ Всероссийской науч.-техн. конф. «Энергетика: экология, надежность, безопасность». Томск: Изд-во ТПУ, 2007. с. 274-277.

12. Бурков Е. А., Падерно П. И. Подход к выявлению предвзятых экспертов на основе анализа погрешностей оценивания // Молодежь. Техника. Космос: труды П Общероссийской молодежной науч.-техн. конф. / БГТУ. 2010. с. 204-206.

13. Бурков Е. А. Построение иерархии критериев оценивания на основе факторного анализа экспертных оценок // Молодежь. Техника. Космос: труды 1П Общероссийской молодежной науч.-техв. конф. / БГТУ. 2011. с. 147-149.

14. Бурков Е. А. Применение факторного анализа для выявления связей в иерархии критериев экспертного оценивания // XXXV Гагаринские чтения. Научные труды Международной молодежной науч. конф. в 8 томах. М.: МАТИ, 2009. Т. 3. с. 120-122.

15. Бурков Е. А. Применение экспертного оценивания для управления качеством образовательного процесса // Качество — стратегия XXI века: материалы XIV Международной науч.-практ. конф. Томск: Изд-во ТПУ, 2009. с. 103-105.

16. Бурков Е. А. Устранение систематической составляющей погрешности оценивания эксперта // XXXVI Гагаринские чтения. Научные труды Международной молодежной науч. конф. в 8 томах. М.: МАТИ, 2010. Т.З. с. 124-126.

Подписано в печать 11.10.11. Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Тираж 100 экз. Заказ 91.

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ "ЛЭТИ"

Издательство СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

Условные обозначения и сокращения.

Введение.

Глава 1. Анализ проблематики группового экспертного оценивания и постановка задач исследования.

1.1. Этапы и задачи экспертизы.

1.2. Оценка компетентности и объективности экспертов.

1.2.1. Компетентность экспертов.

1.2.2. Объективность экспертов.

1.3. Построение системы критериев оценивания.

1.3.1. Формирование перечня критериев оценивания.

1.3.2. Определение значимости критериев оценивания.

1.3.3. Разработка шкалы оценивания.

1.4. Анализ согласованности экспертных мнений.

1.4.1. Критерии согласованности ранжирований.

1.4.2. Критерии согласованности непосредственных численных оценок.

1.4.3. Критерии согласованности парных сравнений.

1.5. Агрегирование экспертных мнений.

1.5.1. Агрегирование ранжирований.

1.5.2. Агрегирование непосредственных численных оценок.

1.5.3. Агрегирование парных сравнений.

1.6. Сравнительный анализ методов многокритериального выбора.

1.6.1. Метод SMART и его модификации.

1.6.2. Метод ELECTRE и его модификации.

1.6.3. Метод анализа иерархий и его модификации.

1.6.4. Сравнение методов многокритериального выбора.

1.7. Тренажерные комплексы и их экспертное оценивание.

1.8. Выводы по первой главе.

Глава 2. Алгоритмы агрегирования экспертных мнений.

2.1. Модификация метода анализа иерархий для решения задач группового выбора.

2.1.1. Критерий согласованности матриц парных сравнений.

2.1.2. Алгоритм агрегирования экспертных мнений.

2.1.3. Алгоритм выделения коалиций экспертов.

2.1.4. Основные варианты разбиения экспертной группы на коалиции.

2.1.5. Агрегирование частично противоречивых экспертных мнений.

2.2. Унифицированный алгоритм агрегирования экспертных оценок.

2.3. Результаты и выводы по второй главе.

Глава 3. Метод выявления аффилированных экспертов.

3.1. Действия аффилированного эксперта и меры противодействия.

3.2. Анализ объективности экспертных оценок на основе вероятностно-статистической модели.

3.2.1. Определение характеристик эксперта по результатам предыдущих экспертиз.

3.2.2. Выявление аффилированных экспертов.

3.3. Алгоритм выявления аффилированных экспертов.

3.4. Подбор экспертов с учетом их субъективных качеств.

3.5. Результаты и выводы по третьей главе.

Глава 4. Методика обработки экспертных оценок на основе факторного анализа

4.1. Построение иерархии критериев оценивания альтернатив.

4.1.1. Получение данных для проведения факторного анализа.

4.1.2. Проведение факторного анализа.

4.1.3. Выявление связей и определение локальных и глобальных приоритетов.

4.1.4. Содержательная интерпретация факторов.

4.2. Разбиение экспертной группы на коалиции на основе результатов факторного анализа.

4.2.1. Проведение факторного анализа экспертных оценок.

4.2.2. Разбиение экспертной группы на коалиции.

4.2.3. Определение относительной значимости экспертов.

4.3. Получение обобщенных и интегральных оценок альтернатив.

4.4. Результаты и выводы по четвертой главе.

Глава 5. Оценка качества тренажерных комплексов.

5.1. Основополагающие требования к тренажерным комплексам.

5.2. Оценка компетентности экспертов.

5.3. Иерархия показателей качества тренажерных комплексов.

5.4. Способ опроса экспертов.

5.5. Анализ и обработка экспертных оценок.

5.6. Результаты по пятой главе.

Актуальность работы. Возникновение, развитие и выход на первый план сложных технических систем, таких как АЭС, газопроводы, космодромы, военные объекты, сделали необходимым использование и, следовательно, обучение предельно квалифицированных специалистов, обладающих требуемыми знаниями и навыками по управлению этими системами. Данная необходимость обусловлена тем, что ошибка в управлении подобными системами может вызвать глобальные негативные экономические, экологические и другие последствия, вплоть до катастрофы. Наиболее эффективными и перспективными средствами обучения квалифицированных специалистов являются тренажерные комплексы, являющиеся особым классом автоматизированных обучающих систем. Они позволяют выработать и закрепить необходимые для управления сложными техническими системами навыки. Разработка тренажерных комплексов представляет собой сложный процесс, требующий больших финансовых затрат, поэтому необходим контроль качества на каждом из этапов разработки, включая составление технического задания. Оценка качества таких комплексов и определение требований к ним на стадии разработки осложняется неполнотой и/или неопределенностью имеющейся информации и представляет собой неструктурированную или слабо структурированную задачу, для решения которой целесообразно использовать методы экспертного оценивания, которые в настоящее время широко используются во многих областях человеческой деятельности, требующих принятия сложных решений. Однако изучение практики и теории экспертного оценивания позволило выделить ряд значительных противоречий, существующих в этой области и снижающих эффективность использования и достоверность результатов экспертных методов: 1) задача построения системы критериев оценивания альтернатив является практически неформализованной и ее решение вызывает затруднения у экспертов, особенно при определении относительной важности критериев и связей между ними; 2) недостаточно развит анализ согласованности парных сравнений, в частности отсутствует возможность корректно оценить противоречивость парных сравнений, выполненных с использованием количественных шкал; 3) в существующих подходах к анализу согласованности экспертных мнений не учитывается различие в уровне компетентности экспертов; 4) большинство методов многокритериального выбора не позволяет произвести проверку согласованности мнений группы экспертов; 5) существующие методы и алгоритмы агрегирования экспертных оценок зависят от вида оценок и способа их свертывания; 6) отсутствуют корректные методы и методики, позволяющие оценить объективность экспертов и устранить влияние их необъективности на достоверность результатов экспертизы. Важной проблемой практики применения методов экспертного оценивания является их недостаточная автоматизация ввиду отсутствия единого подхода к решению большинства задач, а также недостаточная формализация ряда процедур и этапов экспертизы. Поэтому актуальными являются разработка и внедрение методов, моделей и алгоритмов, обеспечивающих выявление необъективных экспертов и агрегирование экспертных мнений с учетом компетентности экспертов, а также позволяющих формализовать выполнение основных этапов экспертизы.

Диссертационное исследование посвящено решению научно-технической задачи разработки методов, алгоритмов и процедур анализа и обработки экспертной информации для поддержки принятия решений в различных областях человеческой деятельности и непосредственно базируется на результатах исследований следующих ученых: Анохина А. Н., Бешелева С. Д., Гурвича Ф. Г., Ларичева О. И., Литвака Б. Г., Миркина Б. Г., Ногина В. Д., Орлова А. И., Падерно П. И., Саати Т., Сидельникова Ю. В., Уткина Л. В., Шеховцова О. И. и др.

Объектом исследования является поддержка принятия решений на основе принципов и методов экспертного оценивания. Предметом исследования является анализ и обработка экспертной информации.

Целью диссертационной работы является разработка методов и алгоритмов анализа и обработки экспертной информации, позволяющих повысить достоверность результатов и эффективность процесса проведения групповых экспертиз, направленных на решение задач многокритериального выбора.

Методы исследования. В диссертационной работе использованы методы системного анализа и теории принятия решений, теории вероятностей и математической статистики, а также теории нечетких множеств. Научные положения, выносимые на защиту:

1. Критерий согласованности парных сравнений.

2. Модификация метода анализа иерархий для решения задач группового выбора.

3. Унифицированный алгоритм агрегирования экспертных оценок.

4. Метод выявления аффилированных экспертов, основанный на предложенной вероятностно-статистической модели экспертных оценок.

5. Способ оценки субъективности экспертов и формирования экспертной группы с использованием показателей субъективности экспертов.

6. Методика обработки экспертных оценок на основе факторного анализа.

Новизна первого научного результата:

В отличие от известных критериев согласованности парных сравнений предложенный критерий позволяет учесть не только факт и кардинальность расхождения экспертных оценок, но и значимость этого расхождения с учетом различия в уровне компетентности экспертов.

Новизна второго научного результата:

В отличие от известных методов многокритериального выбора разработанная модификация метода анализа иерархий: а) дает возможность учесть при агрегировании матриц парных сравнений экспертов не только общую компетентность каждого эксперта, но и дифференцированную компетентность эксперта по различным показателям, используемым для оценивания альтернатив; б) позволяет оценить возможность корректного агрегирования матриц парных сравнений с помощью предложенного критерия согласованности экспертных мнений; в) содержит процедуру разбиения экспертной группы на коалиции в соответствии с согласованностью мнений экспертов; г) позволяет агрегировать частично противоречивые матрицы парных сравнений.

Новизна третьего научного результата:

Унифицированный алгоритм отличается от известных возможностью агрегирования оценок произвольного вида на основе задаваемого способа получения обобщенных оценок, а также итеративным пересчетом коэффициентов компетентности экспертов.

Новизна четвертого научного результата:

Метод выявления аффилированных экспертов основан на вероятностно-статистической модели экспертных оценок, отличающейся возможностью использования произвольных законов распределения погрешности оценивания экспертов и позволяющей выявлять и устранять ее систематическую составляющую. Аналогов данного метода, позволяющих определять необъективных экспертов, на сегодняшний день не обнаружено.

Новизна пятого научного результата:

Способ оценки субъективности экспертов отличается тем, что не зависит от закона распределения погрешностей оценивания экспертов и позволяет формализовать задачу формирования экспертной группы, и представить ее в виде задачи дискретной оптимизации.

Новизна шестого научного результата:

Новизна разработанной методики заключается в использовании для решения задач, связанных с обработкой экспертных оценок, Л-техники факторного анализа, позволяющей выявить корреляционную связь между критериями оценивания альтернатив, а также ^-техники, позволяющей выявить корреляционную связь между экспертами. Отличительной особенностью предложенной методики является получение оценок альтернатив по второму уровню иерархии критериев в виде численных значений факторов, вычисляемых на основе результатов факторного анализа экспертных оценок.

Достоверность полученных результатов. Достоверность результатов, выводов и рекомендаций диссертационной работы базируется на корректном применении математического аппарата, анализе исследований в рассматриваемой области, а также широком внедрении полученных результатов и их апробации на международных и российских научных конференциях.

Практическая ценность. Разработанные алгоритмы и методы представляют собой инструментальные средства для анализа и обработки экспертной информации, которые предоставляют дополнительные возможности при работе с информацией. Их применение позволяет повысить достоверность результатов и эффективность процесса проведения групповых экспертиз, направленных на решение задач многокритериального выбора. Разработанные алгоритмы и методы могут быть использованы при создании автоматизированной системы экспертного оценивания, реализующей автоматизированную поддержку проведения экспертиз и принятия решений. Ряд результатов диссертационной работы положен в основу программного модуля оценки качества тренажеров, который проходит апробацию в ОАО «Центральное конструкторское бюро аппаратостроения», после чего первая версия программного продукта будет представлена для прохождения государственной регистрации в установленном порядке.

Реализация и внедрение результатов. Результаты диссертационной работы внедрены в: 1)ОАО «Центральное конструкторское бюро аппаратостроения» при экспертной оценке качества тренажерных систем; 2) НИЦ РЭВ ВМФ РФ при разработке и реализации руководящих документов по обеспечению подготовки и проведения экспертиз создаваемых и проектируемых тренажерных комплексов различного назначения; 3) ОАО «Концерн «НПО «Аврора» при экспертной оценке эргономических показателей производимых сложных систем управления корабельным и судовым оборудованием; 4) ОАО «Корпорация «Аэрокосмическое оборудование» при экспертной оценке качества сертифицируемой продукции; 5) ООО «Эр-гоАйТи» при экспертном анализе качества интерфейса программных продуктов; 6) учебный процесс кафедр АСОИУ и АПУ СПбГЭТУ, что подтверждено соответствующими актами внедрения. Также результаты диссертационной работы использованы в фундаментальной НИР «Разработка моделей и методов анализа и синтеза интеллектуальных систем поддержки принятия решений для управления сложными распределенными объектами» (АСОИУ-64).

Апробация работы. Основные результаты работы докладывались и обсуждались на: 1) VII Международной конференции «Психология и эргономика: единство теории и практики», Тверь, 2011 г.; 2) III и II Международных и I Межрегиональной конференциях «Государство и бизнес. Вопросы теории и практики: моделирование, менеджмент, финансы», Санкт-Петербург, 2011, 2010 и 2009 гг.; 3) XXXV и XXXVI Международных молодежных научных конференциях «Гага-ринские чтения», Москва, 2009 и 2010 гг.; 4) XV Международной конференции «Современное образование: материалы, технологии, качество», Санкт-Петербург, 2009 г.; 5) VI Международном аэрокосмическом конгрессе «IAC'09», Москва, 2009 г.; 6) XTV Международной научно-практической конференции «Качество — стратегия XXI века», Томск, 2009 г.; 7) II и III Общероссийских молодежных научно-технических конференциях «Молодежь. Техника. Космос», Санкт-Петербург, 2010 и 2011 гг.; 8) XIII Всероссийской научно-технической конференции «Энергетика: экология, надежность, безопасность», Томск, 2007 г.; 9) VIII Межрегиональной научно-технической конференции студентов и аспирантов «Применение кибернетических методов в решении проблем общества XXI века», Обнинск, 2010 г.; 10) VII научно-технической конференции «Мехатроника, автоматизация, управление», Санкт-Петербург, 2010 г; 11) Ежегодных научно-технических конференциях профессорско-преподавательского состава СПбГЭТУ, Санкт-Петербург, 2008-2011 гг.

Публикации. Основные результаты диссертационной работы изложены в 16 публикациях, в том числе: в 7 статьях, 4 из которых опубликованы в ведущих рецензируемых научных журналах, входящих в перечень ВАК; в 5 докладах на международных конференциях и 4 докладах на региональных и всероссийских конференциях, опубликованных в трудах и материалах конференций.

Структура и объем диссертационной работы. Диссертационная работа состоит из введения, 5 глав с выводами, заключения, 7 приложений и списка литературы из 155 наименований. Основная часть диссертации изложена на 152 страницах машинописного текста и содержит 27 рисунков и 16 таблиц.

ЗАКЛЮЧЕНИЕ

Целью диссертационной работы являлась разработка методов и алгоритмов анализа и обработки экспертной информации, позволяющих повысить достоверность результатов и эффективность процесса проведения групповых экспертиз, направленных на решение задач многокритериального выбора.

В ходе проведенного исследования были решены поставленные в работе задачи и получены следующие основные научные результаты:

1. Разработан и обоснован критерий согласованности экспертных мнений, представленных в виде матриц парных сравнений.

2. Разработана модификация метода Т. Саати для формализованного получения обобщенного мнения группы экспертов с учетом взаимной согласованности экспертных мнений, а также дифференцированной компетентности экспертов в различных предметных областях.

3. Разработан унифицированный алгоритм агрегирования экспертных оценок, позволяющий выполнять свертку оценок произвольного вида на основе задаваемого способа получения обобщенных оценок.

4. Разработан метод выявления аффилированных экспертов, основывающийся на предложенной вероятностно-статистической модели экспертных оценок.

5. Разработан способ оценки субъективности экспертов и формирования экспертной группы с использованием показателей субъективности экспертов.

6. Разработана методика обработки экспертных оценок, основанная на применении факторного анализа.

Разработанные алгоритмы и методы анализа и обработки экспертной информации позволяют повысить достоверность результатов и эффективность процесса проведения экспертиз, направленных на решение задач многокритериального выбора, и могут являться базой для научно-методического аппарата проектирования АСЭО, реализующих автоматизированную поддержку проведения экспертиз и принятия решений.

153

1. АзгальдовГ. Г. Теория и практика оценки качества товаров (основы квали-метрии). М.: Экономика, 1982. 256 с.

2. Айвазян С. А. и др. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989. 607 с.

3. АнничИ., Ларичев О. И. Метод ЭЛЕКТРА и проблема ацикличности отношений альтернатив // Автоматика и телемеханика. 1996. № 8. с.108-118.

4. Анохин А. М. и др. Методы определения коэффициентов важности критериев // Автоматика и телемеханика. 1997. № 8. с. 3-35.

5. Анохин А. Н. Методы экспертных оценок. Обнинск: ИАТЭ, 1996. 148 с.

6. БазараМ., ШетгиК. Нелинейное программирование: Теория и алгоритмы. М.: Мир, 1982. 583 с.

7. Бакулов Ю. А., Григоренко В. Н., Шукшунов В. Е. Тренажерные системы. М.: Машиностроение, 1981. 256 с.

8. Батищев Д. И., Шапошников Д. Е. Многокритериальный выбор с учетом индивидуальных предпочтений. Нижний Новгород: ИПФ РАН, 1994. 92 с.

9. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.

10. Бешелев С. Д., Гурвич Ф. Г. Экспертные оценки. М.: Наука, 1973. 161 с.

11. Бешелев С. Д., Гурвич Ф. Г. Экспертные оценки в принятии плановых решений. М.: Экономика, 1976. 287 с.

12. Блюмберг В. А., Глушенко В. Ф. Какое решение лучше? Метод постановки приоритетов. Л.: Лениздат, 1982. 160 с.

13. Бодров В. И., Лазарева Т. Я., Мартемьянов Ю. Ф. Математические методы принятия решений. Тамбов: Изд-во Тамб. гос. тех. ун-та, 2004. 124 с.

14. Большее Л. Н., Смирнов Н. В. Таблицы математической статистики. М.: Наука, 1983.416 с.

15. Борисов А. Н. Анализ решений и теория нечетких множеств // Методы и системы принятия решений. Методы и модели анализа решений. Рига, 1981. с. 5-10.

16. Борисов А. Н. и др. Модели принятия решений на основе лингвистической переменной. Рига: Зинатне, 1982. 256 с.

17. Борисов А. Н., Попов В. А. Один класс задач многокритериальной оптимизации при лингвистическом задании критериев // Методы и модели управления и контроля. Рига, 1979. с. 56-61.

18. БударагинВ. Е. и др. Сравнительный анализ табличного и рекурсивного алгоритмов точного решения задачи одномерной упаковки // Exponenta Pro. Математика в приложениях. 2004. № 2. с. 64-70.

19. Бурков Е. А., Евграфов В. Г., Падерно П. И. Критерий согласованности парных сравнений // Информационно-управляющие системы. 2011. №3. с. 57-60.

20. Бурков Е. А. Метод обработки экспертных оценок с учетом распределения компетентности между экспертами // Государство и бизнес. Вопросы теории и практики: Материалы I Межрегиональной конференции. СПб.: Изд-во СЗАГС, 2009. с. 63-68.

21. Бурков Е. А. Обобщенный алгоритм экспертного оценивания с параллельным вычислением компетентности экспертов // Известия государственного электротехнического университета. Серия «Информатика, управление и компьютерные технологии». 2007. № 3. с. 67-70.

22. Бурков Е. А. Определение компетентности экспертов на основе поставленных ими оценок // Известия государственного электротехнического университета. Серия «Информатика, управление и компьютерные технологии». 2009. № 4. с. 20-24.

23. Бурков Е. А. Определение субъективности и надежности экспертных оценок на основе анализа статистических данных // Известия государственного электротехнического университета. 2010. № 9. с. 33-38.

24. Бурков Е. А. Оптимизационный подход к определению состава экспертной группы // 63-я науч.-тех. конференция проф.-преп. состава ун-та. Сборник докладов студентов, аспирантов и молодых ученых. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2010. с. 117-120.

25. Бурков Е. А., Падерно П. И. Подход к выявлению предвзятых экспертов на основе анализа погрешностей оценивания // Молодежь. Техника. Космос: труды II Общероссийской молодежной научно-технической конференции / Балт. гос. техн. ун-т. 2010. с. 204-206.

26. Бурков Е. А., Падерно П. И. Подход к формированию экспертной группы как к задаче дискретной оптимизации // Биомедицинская радиоэлектроника. 2010. №5. с. 48-51.

27. Бурков Е. А. Построение иерархии критериев оценивания на основе факторного анализа экспертных оценок // Молодежь. Техника. Космос: труды III Общероссийской молодежной научно-технической конференции / Балт. гос. техн. ун-т. 2011. с. 147-149.

28. Бурков Е. А. Применение факторного анализа для выявления связей в иерархии критериев экспертного оценивания // XXXV Гагаринские чтения. Научные труды Международной молодежной науч. конференции в 8 томах. М.: МАТИ, 2009. Т. 3. с. 120-122.

29. Бурков Е. А. Применение экспертного оценивания для управления качеством образовательного процесса // Качество — стратегия XXI века: материалы XIV Международной науч.-практ. конференции. Томск: Изд-во ТПУ, 2009. с. 103-105.

30. Бурков Е. А. Устранение систематической составляющей погрешности оценивания эксперта // XXXVI Гагаринские чтения. Научные труды Международной молодежной науч. конференции в 8 томах. М.: МАТИ, 2010. Т.З. с. 124-126.

31. Бурков Е. А., Падерно П. И., Пахарьков Г. Н. Экспертиза: системные проблемы и пути их решения при выборе медицинской аппаратуры // Биотехносфера. 2010. № 2. с. 6-14.

32. Бурков Е. А., Падерно П.И. Экспертиза. Что не сделано и что надо делать // Человеческий фактор. Проблемы психологии и эргономики. 2011. № 3. с. 52-67.

33. Варжапетян А. Г. Квалиметрия. СПб.: Изд-во СПбГУАП, 2005. 176 с.

34. Васильев Н. В., Трубников С. В., Яшин А.И. Модель и алгоритм реструктуризации системы поддержки принятия решений для управления распределен39.