автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Механизм многокритериального отбора методов экспертного прогнозирования

УЧРЕЖДЕНИЕ РОССИЙСКОЙ АКАДЕМИИ НАУК Институт проблем управления им. В.А. Трапезникова РАН

си 16

005006573

САЛТЫКОВ Сергей Анатольевич

МЕХАНИЗМ МНОГОКРИТЕРИАЛЬНОГО ОТБОРА МЕТОДОВ ЭКСПЕРТНОГО

ПРОГНОЗИРОВАНИЯ

Специальность 05.13.10 - Управление в социальных и экономических системах

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

-8 ДЕК 2011

Москва 2011

005006573

Работа выполнена в Учреждении Российской академии наук Институте проблем управления им. В.А. Трапезникова РАН.

Научный руководитель: доктор технических наук, профессор

Сидельников Юрий Валентинович

Официальные оппоненты: доктор технических наук, профессор

Бурков Владимир Николаевич

доктор технических наук, профессор Подиновский Владислав Владимирович

Ведущая организация:

Учреждение Российской академии наук Институт системного анализа РАН

Защита состоится «22» декабря 2011 г. в_часов на заседании диссертационного совета

Д 002.226.02 Учреждения Российской академии наук Института проблем управления им. В.А. Трапезникова РАН по адресу: 117997 г. Москва, ул. Профсоюзная, 65. Тел./факс. Совета (495) 334-93-29.

С диссертацией можно ознакомиться в библиотеке Учреждения Российской академии нау Института проблем управления им. В.А. Трапезникова РАН.

Ваш отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять п указанному выше адресу.

Автореферат разослан « »_2011 г.

Ученый секретарь диссертационного совета, к.т.н.

В.Н. Лебеде

ОБЩИЕ ПОЛОЖЕНИЯ

Актуальность работы. Увеличившаяся скорость социально-экономических преобразований в обществе приводит к необходимости более точного прогноза изменений социально-экономической среды. Это обуславливает необходимость наиболее полного и эффективного использования инструментария прогнозирования, главным образом методов экспертного прогнозирования, как наиболее подходящих для весьма изменчивой социально-экономической сферы. В этой связи становится все более актуальным отбор метода экспертного прогнозирования, наиболее приемлемого для конкретной ситуации.

Вообще говоря, работы по механизмам многокритериального отбора экспертных прогнозных методов актуальны в настоящее время по двум причинам. Во-первых, методов экспертного прогнозирования достаточно много, и часто не понятно и не очевидно, какой из них стоит предпочесть. А во-вторых, отбор экспертных методов - на основании каких бы критериев он ни производился - ведется при помощи какого-либо подхода1 к многокритериальному отбору. Таких подходов довольно много, и какой из них взять - тоже не ясно. Поэтому актуальной является также разработка алгоритма выбора наиболее предпочтительного метода2 многокритериального отбора.

Отдельно необходимо отметить, что наиболее назревшим является вопрос о том, какое преимущество дала идея максимизации (или минимизации) ценности (полезности) исследуемой величины по сравнению с максимизацией (или минимизацией) самой этой величины. Достаточно ли оно велико для практической значимости? Достаточно ли часто неиспользование концепта ценности приводит к ошибочному отбору из множества вариантов? И какова «цена» этой ошибки?

Таким образом, в данном исследовании затрагиваются актуальные вопросы отбора экспертных прогнозных методов, а также отбора среди различных многокритериальных подходов, что обуславливает актуальность разработки механизма отбора экспертных прогнозных методов как средства повышения качества прогноза.

Цель работы - повышение эффективности прогнозирования и управления в социально-экономических системах при помощи механизма многокритериального отбора экспертных прогнозных методов.

Задачи работы:

1. Сформировать перечень критериев, на основании которых целесообразно отбирать экспертные методы.

1 Здесь и далее «многокритериальный подход», «многокритериальный метод» и «метод многокритериального отбора» используются как синонимы.

" Здесь и далее говорится о двух совершенно различных типах методов: о методах экспертного прогнозирования (например, «мозговая атака», морфологический анализ, дельфи, совещание и т.д.) и о методах многокритериального отбора, к которым относятся, например, метод анализа иерархий, метод взвешенной суммы, ELECTRE и т.д.) _ fw\

(усЛ

2. Разработать алгоритм выбора наиболее подходящего метода многокритериального отбора.

3. Разработать механизм многокритериального отбора экспертных методов.

4. Разработать эффективную разновидность экспертного метода, наиболее применимую социально-экономической сфере для решения прогнозных задач III уровня сложности i II уровня обширности.

5. Разработать программный продукт, обеспечивающий поддержку использоваш« предлагаемой разновидности экспертного прогнозного метода.

Научными результатами днссертацнонного исследования, выносимыми автором и; защиту, являются:

1. Сформулирован перечень критериев, на основании которых целесообразно отбирав экспертные прогнозные методы, и найдены способы определения значений эти критериев. Определять значения критериев быстроты и возможности решения данно! прогнозной задачи данным экспертным методом целесообразно на основе применени введенных понятий сложности и обширности прогнозной задачи.

2. Разработана разновидность экспертного метода фокальных объектов, наиболе применимая для решения прогнозных задач III уровня сложности и II уровн обширности.

3. Доказаны теоремы, определяющие долю случаев F(w), когда использование метод взвешенной суммы приводит к ошибочному отбору варианта для зада двухкритериапьного отбора из большого числа альтернатив в условиях отсутстви явного лидера на множестве вариантов. Показано, что F(w) с приемлемой для практик точностью (при w > 1) можно оценить сверху неравенством:

P(w )<i--!_

тах / 2

W

тах

где wmax - максимальное отношение разностей ценностей шкальных градаций.

4. Доказана теорема, утверждающая следующее. Пусть / - максимальное число различны значений важности критериев, п - число вариантов, т - число критериев, а Q{n, т, /) доля случаев, когда можно определить наилучшую из альтернатив без построен! функции ценности. Тогда:

128/

5. Доказана теорема, утверждающая, что снижение затрат Z(n, т, Г) на построение функщ ценности при использовании решающих правил теории важности критериев [1] i сравнению с традиционным подходом теории полезности составляет

6. Определены для разных классов ситуаций доли случаев, когда использование метода взвешенной суммы приводит к ошибочному отбору варианта из множества альтернатив. Применение имитационного моделирования показало, что доля таких ситуаций ошибочного отбора почти всегда больше 1,5%, иногда доходит до 35-40%.

7. Определены для разных классов ситуаций доли случаев, когда можно не тратить время и силы экспертов на построение функции ценности за счет использования решающих правил теории важности критериев, в то время как неочевидно, её можно не строить. Применение имитационного моделирования показало, что доля таких ситуаций - 3966%.

8. Применение имитационного моделирования показало, что использование решающих правил теории важности критериев позволяет снизить затраты на трудоемкое построение функции ценности (в предположении верности закона убывающей предельной полезности для балльных градации) примерно в 2-5 раз.

9. Разработан атгоритм выбора методов многокритериального отбора. Было показано, что предлагаемый алгоритм эффективнее существующих аналогов: позволяет избежать существенной доли случаев ошибочного отбора вариантов по сравнению с методом взвешенной суммы; существенно снижает затраты на построение функции ценности по сравнению с подходом теории полезности; несколько снижает затраты на построение функции ценности по сравнению с традиционным подходом теории важности критериев за счет разумного, с точки зрения ЛПР, использования приближенного метода взвешенной суммы.

10. Разработан механизм многокритериального отбора экспертных методов. Он эффективнее существующих аналогов, во-первых, за счет того, что входящий в его состав алгоритм выбора методов многокритериального отбора эффективнее аналогов. А во-вторых, за счет содержательной проработки способов определения значений критериев, на основе которых отбираются экспертные прогнозные методы. Последнее стало возможно за счет введения понятий сложности и обширности прогнозной задачи.

Практическая значимость работы заключается в том, что разработанный механизм многокритериального отбора экспертных методов позволяет повысить эффективность функционирования высокотехнологичного предприятия. Кроме того, повышению эффективности его функционирования способствует использование разработанной разновидности метода фокальных объектов, а также программного продукта,

обеспечивающего поддержку использования этой новой разновидности метода. Всё

вышеперечисленное подтверждается соответствующими актами внедрения.

Апробация результатов диссертационного исследования.

1. Грант РФФИ, 2008, № 08-07-00361-а «Алгоритм выбора метода экспертной прогнозирования».

Работа обсуждалась на конференциях и семинарах:

1. XXX Международная конференция «Информационные технологии в науке, социологии экономике и бизнесе», Ялта, Гурзуф, октябрь 2003.

2. Общемосковский семинар «Экспертные оценки и анализ данных», Москва, ИПУ РАН 2003.

3. Международная научно-практическая конференция «Теория активных систем», Москва 2005.

4. Общемосковский научно-практический семинар «Анализ и прогноз финансовы. рынков», ИМЭМО РАН, 2006.

5. XXXIV Международная конференция «Информационные технологии в наук социологии, экономике и бизнесе», Ялта, Гурзуф, май 2007.

6. Общемосковский семинар «Экспертные оценки и анализ данных», Москва, ИПУ РА] 2008.

7. XXXV Общественно-научные чтения, посвященные памяти Ю.А. Гагарина, Гагарш 2008.

8. XXXV Международная конференция «Информационные технологии в наук социологии, экономике и бизнесе», Ялта, Гурзуф, май 2008.

9. II международная конференция «Управление развитием крупномасштабных систем (МЦШ'2008), Москва, 2008.

10. Семинары ИПУ РАН, 2008.

11. XXXVI Общественно-научные чтения, посвященные памяти Ю.А. Гагарина, Гагари 2009.

12. XXXVI Международная конференция «Информационные технологии в наук социологии, экономике и бизнесе», Ялта, Гурзуф, май 2009.

13. Международная научно-практическая конференция «Теория активных систем», Москв ИПУ РАН, 17 - 19 ноября 2009.

14. Семинар Международной академии исследований будущего, Москва, 25 января 2010.

15. Семинар Международной академии исследований будущего, Москва, март 2011.

16. Семинар «Измерение в социальных науках», Москва, Высшая школа экономики, ; апреля 2011.

Внедрение результатов диссертационного исследования. Материалы диссертации были внедрены в производственный процесс ОАО «Авиаприбор-холдинг». Использование материалов диссертации представлено в отзыве заместителя директора ОАО «Авиаприбор-холдинг» (исх. №134 от 09.09.2009 г.).

Материалы диссертации используются в учебном процессе Инженерно-экономического института МАИ (ИНЖЭКИИ МАИ), что представлено в отзывах директора ИНЖЭКИН МАИ (исх. №500-26-83 от 01.09.2009 г., исх. №500-26-101 от 28.06.2011 г.).

Публикации по результатам диссертационного исследовании. Содержание и результаты диссертационного исследования отражены в 21 публикации общим объемом 3,4 п.л., включая 5 статьи в изданиях, рекомендованных ВАК, объемом 1,5 п.л.

Объем и структура диссертационной работы.

Материал диссертации сегментирован с выделением введения, трех глав, заключения с общими выводами по работе, списка использованных источников из 41 наименований и I приложения. Содержание работы изложено на 101 страницах и включает 30 таблиц и 10 рисунков.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность выбранной темы диссертационной работы, сформулированы цель и задачи. Отражена степень научной разработанности темы диссертации, теоретическая и методологическая основа исследования, определена научная новизна, теоретическая и практическая значимость полученных результатов, их апробация и реализация.

В первой главе диссертации «Анализ существующей практики отбора прогнозных методов на основе многих критериев» приводится аналитический обзор механизмов отбора экспертных методов, существующей практики отбора экспертных прогнозных методов и существующих процедур отбора прогнозных методов. В рамках этого обзора, прежде всего, выявляется, какие многокритериальные подходы было ранее предложено использовать, и какие критерии были в них использованы (и что под ними подразумевалось). А также приводится аналитический обзор методов многокритериального отбора и алгоритмов выбора среди методов многокритериального отбора.

В первом параграфе первой главы приведен аналитический обзор существующих процедур отбора прогнозных методов. Анализируются работы следующих авторов: Гущин И.Г., Минаев Э.С., Песелева Р.И., Селиванов С.Н., Сиделышков Ю.В., Wolfgang Lutz, Pertti Saariluoma, Warren С. Sanderson и др. И делается вывод, что все имеющиеся процедуры отбора прогнозных методов объединяет то, что они построены по следующей схеме:

1. Определение значений критериев, которые необходимо использовать в данной процедуре отбора прогнозного метода.

2. Многокритериальный отбор прогнозного метода на основе имеющихся значений критериев, либо, в частном случае, сведение многокритериального отбора к однокритериальному.

По результатам проведенного анализа, решаем, что мы также будем придерживаться этой схемы, но будем использовать свой перечень критериев, свои способы определения значений этих критериев, а также свою «композицию» из многокритериальных подходов.

Во втором параграфе первой главы приведен аналитический обзор методо1 многокритериального отбора и алгоритмов выбора среди методов многокритериального отбора Существуют различные способы классифицирован, методы многокритериального отбора, работе «Multiple criteria decision analysis: state of the art surveys» [4] предложен один из таки. возможных подходов.

В ней выделяются группы методов ранжирования, теории полезности и ценности «неклассические» подходы в многокритериальном анализе решений, а также многоцелево математическое программирование. К первой группе авторы относят методы ELECTRE PROMETHEE и некоторые другие. Ко второй группе - многокритериальную теорш полезности, метод UTA, метод анализа иерархий (а также его расширение - метод анализ сетей) и метод MACBETH. Среди неклассических подходов выделяют подходы использованием нечетких логик, решающих правил и некоторые другие.

Кроме перечисленных также следует упомянуть широко распространенный мето взвешенной суммы, а также малоизвестные методы теории важности критериев [1], которые приведенной выше классификации могли бы занять место среди неклассических подходо использующих решающие правила. Более конкретно, из теории важности критерие анализируются решающие правила Подиновского B.B. [1, 2, 3]. По результатам проведенного параграфе анализа делается вывод о том, что в дальнейшем в работе будут анализироваться тр метода многокритериального отбора: метод взвешенной суммы, методы теории полезности теории важности критериев.

В третьем параграфе первой главы приводится аналитический обзор различны интерпретаций понятия «сложности» ввиду его исключительной важности как критерия д. отбора экспертных методов.

Во второй главе «Разработка механизма многокритериального отбора экспертнь методов» описывается разработанный механизм многокритериального отбора экспертнь методов. На рис. 1 приведена блок-схема предлагаемого механизма.

Определение значений критериев -быстроты решения и возможности (качества) решекия

Определение уровня сложности задача

Рекомендация прогноэи:том группь экспертных методов

—Значит, уровень сложности зада чи IV иуи У [-

Определение всвможности решения задачи данными экспертными методами

0| ределение Сыыршы решении ¿ада-< данными экспертными методами

Решение задачи отбора экспертного метода на основе двух критериев

Испиль'лОБание решающи* лраьил твирн»' важности критериев д;я отбора экспертного метода

>11-1

доСМ J-X^ (I,)) + И,5) +1 » - J - К (£,)) + 0,3) * 1 -2-4 -^-^

Определение доли ошибочна отборов :реди экспертных методов, совершаемы! методом взвешенной сумиы

«--А-

Рекомендация прогнозистом экспертного метода

I

Рекомендация лрпгнгтггты рачнпридни-ти экспертного меида

Конец

Рис. 1. Блок-схема разработанного механизма отбора экспертных методов, я,,..., - варианты отбора (т.е. альтернативы, среди которых производится отбор) ЛГ, (.V),..., Кт (5) - значения критерия3 вариантакоторые представлены конечным числом шкальных градаций.

<7 - число различных шкальных градаций у любого критерия, а,,..., «,„ - важности критериев.

у - ценность данного значения критерия (шкальной градации).

№ , ц> - соответственно минимальное и максимальное отношение разности ценности шкальных градаций. Содержательно они показывают степень затухания роста предпочтений ЛПР и определяются следующим образом:

3 Предполагается, что критерии однородны

, ^ v(k + l)-v(fc) , , . ,

d. <-<ut ,k = \,...,q-2.

k v(k + 2)-v(k + \) *

wmin =min (dk) ^max =ma\(uk)

l-'(w) - доля случаев ошибочного отбора варианта методом взвешенной суммы.

Предлагаемый механизм отбора экспертного метода предпочтительнее существующих аналогов, потому что:

1. Использует «опосредованные» способы определения значений критериев быстроты и возможности решения данной задачи данным методом, основанные на понятиях сложности и обширности прогнозной задачи. Такие способы определения значений критериев естественней для экспертов и лучше соотносятся со спецификой предметной области, связанной с экспертными методами.

2. Разработан алгоритм выбора методов многокритериального отбора, являюпшйо составной частью механизма отбора экспертного метода.

3. Разработанный алгоритм выбора методов многокритериального отбора позволяв' избежать существенной доли ошибочных отборов по сравнению с методом взвешенно1 суммы (до 35-40%).

4. Разработанный алгоритм выбора методов многокритериального отбора существенн снижает затраты на построение функции ценности по сравнению с теорией полезном! (в 2 - 5 раз).

5. Разработанный алгоритм выбора методов многокритериального отбора нескольк снижает затраты на построение функции ценности по сравнению с теорией важносп критериев за счет разумного применения приближенного метода взвешенной суммы.

В первом параграфе второй главы приводится разработка части предлагаемог механизма, представленной на рис. 1 вверху и невыделенной цветом. Определяются критерш на основании которых можно отбирать экспертные методы (быстрота и возможность решени данной задачи данным методом), а также приводятся способы определения значений эти критериев, основанные на использовании введенных понятий сложности и обширност прогнозной задачи.

Во втором параграфе второй главы приводится сопоставление «точных» «приближенных» методов многокритериального отбора. Это помогает обоснованию част предлагаемого механизма, на рис. 1 выделенной цветом и называемой еще также алгоритме выбора методов многокритериального отбора. Итак, были исследованы три мето; многокритериального отбора - метод взвешенной суммы, метод теории полезности (бол( точно, метод обобщенного критерия с построением функции ценности) и метод теори важности критериев (более точно, решающие правила теории важности критерш Подиновского). Их свойства приведены в табл. 1.

Таблица 1

Методы многокритериального отбора

Методы многокритериального отбора Достоинства и недостатки методов многокритериального отбора

Всегда ли безошибочный отбор? Быстрота использования Всегда ли метод позволяет отобрать вариант?

Метод взвешенной суммы Нет Высокая Да

Построение функции ценности Да Низкая Да

Решающие правила теории важности критериев Да Высокая Нет

Известно, что использование метода взвешенной суммы может приводить к ошибочному отбору из множества вариантов. Это происходит из-за того, что в этот метод «зашито» неявное предположение, что предпочтения ЛПР равномерно растут вдоль балльной шкалы, что в действительности не всегда верно. Поэтому может сложиться ситуация, когда у этого варианта средневзвешенное больше других, однако он не является наилучшим, так как его интегральная ценность (определенная с помощью функции ценности, отражающей неравномерный рост предпочтений) окажется меньше интегральной ценности другого варианта. В этом случае отбор варианта с наибольшим средневзвешенным, но не с самой большой интегральной ценностью будет ошибочным отбором варианта. Такой случай проиллюстрирован в табл. 2.

Таблица 2

Значения важности критериев

Варианты 5 2 Среднее взвешенное

Значения критериев

Вариант г 5 2 29

Вариант / 4 4 28

Таблица 3

Балльные градации Ценность градации Разность ценностей градации Отношение разностей ценностей градаций

5 352 69 1,20

4 283 83 1,21

3 200 100

2 100

И

У(Г2)

= 5x352 + 2x100 = = 5x283 + 2x283 = у(г2) > у(г')

1960, 1981,

В данной главе доказаны нижеприведенные теоремы и описаны результаты вычислительного эксперимента, которые позволили определить долю случаев ошибочного отбора вариантов, совершаемых методом взвешенной суммы для различных классов ситуаций. Мы рассматриваем класс ситуаций двухкритериалыюго отбора из достаточно большого числа вариантов в условиях отсутствия явного лидера (фаворита) на множестве этих вариантов.

Рассмотрим следующие ограничения на этом множестве, отражающие отсутствие явного лидера (фаворита), перебрав все возможные симметричные варианты. На рис. 2 серым цветом изображены оценки вариантов, которые могут присутствовать на множестве вариантов.

(1)

Р)

(3)

(4)

(5)

2 3 4 5

2 3 4 5

2 3 4 5

2345 2345 Рис. 2. Виды ограничений на множестве вариантов.

В дальнейшем в работе исследуются ограничения (2) - (5), так как показано, что I ограничении (1) лидер определяется в некотором смысле «явно» и не определяется «явно» дл ограничений (2)-(5).

Обозначим через долю ошибочных отборов, производимых при использованш

метода взвешенной суммы в исследуемом классе ситуаций при / различных значений важност) критериев, ограничении I на множестве вариантов и отношении разностей ценносте! шкальных градаций и\ Также пусть /гтах(и',/) максимальная доля ошибочны отборов, производимых при использовании метода взвешенной суммы в исследуемом класс ситуаций при / различных значений важности критериев и отношении разностей ценносте шкальных градаций и\ Тогда имеет место следующая теорема. Теорема 1.

где

^ (И0 = 4 • X X - 1) - 1) + 1) X ^П^ПО - _ 1) + 1) +1X (1 -

' о=I № Р Р 4

^ О, I) = ^ ■ X ¿((8ёп(82п(^ - 2) - 1) + 1) X (8§п(вёп(уу2 + Ш ~) -1) + 1) + ^Х (1

' а=I Н=\ 13 р I

5ЕП(|-1)))

в^-г»)

^ М = 4 • £ ¿((88п(8§п(^ -1) -1) +1) х (sgn(sgn(w2 - £) - I) + I) + 1х(1 -

Я, (*,/) =

£ X С(8ёп(88п(^ - 1) - 1) + 1)(88п(8§п(т^ - £) - 1) + I) +1 (1 -^¿ы /> 1 + ю Р 2

58П(--1))(58П^П(---1)-1) + 1))

1 + IV

Обозначим через ^(н") долю ошибочных отборов, производимых при использовании метода взвешенной суммы в исследуемом классе ситуаций при /—и отношении

разностей ценностей шкальных градаций н>. Также пусть ^ (и;) максимальная доля ошибочных отборов, производимых при использовании метода взвешенной суммы в исследуемом классе ситуаций при / —> оо и отношении разностей ценностей шкальных градаций IV. Тогда имеет место следующая теорема. Теорема 2.

Рты М = тах(/г2(и'), F,(^v), /^(и1), Г, (н>)),

где

К,(и>) = 1— и>

1

2 + IV

1

Г4М = 1-

»>■

, 1 + IV 1 + л/б

1---

и-2 2

О, IV <

1 + л/5

Предложим следующую приближенную формулу, хорошо подходящую для практики, для оценки доли ошибочных отборов, совершаемых при использовании метода взвешенной суммы в зависимости от максимального отношения разностей ценностей шкальных градаций:

' уу2

Сравним точную формулу с приближенной и представим результаты сравнения графически па рис. 3.

♦ Точно

Приближенно

ш

о а о

I-

о к л

X

т

о

*£>

Э

О к с; о п

0,8 л

0,7

0,6

0,5

0,4

0,2

0,1

IIII I II11 I IIII М| IIII I I I М 11II111III IIII I I II111 II11II I I I III

I М II I 11 П 11II 11

г- со а> о>

отношение разности ценности шкальных градаций

Рис. 3. Доля ошибочных отборов - точная оценка /""„тСил 10) и приближенная /"^(и»)

Вычислительный эксперимент дополняет результаты, которые можно получить с

использованием теорем 1 и 2 для случаев, когда аналитический вывод сделать не удается. Он 1

I

позволяет сделать следующие выводы о доле ошибок, совершаемых при использовании метода ( взвешенной суммы (рис. 4).

г

I

Рис. 4. Минимальная доля ошибочных отборов, совершаемых при использовании метода

взвешенной суммы.

Также вычислительный эксперимент позволяет сделать следующие выводы о максимальной доле ошибок, которые могут быть совершены при использовании метода взвешенной суммы.

Таблица 4

Максимальная доля случаев ошибочного отбора, совершаемых при помощи метода взвешенной

суммы

Число вариантов Число критериев

2 3 4 5 6 7 В 9

2 0,150 0,262 0,331 0,373 0,398 0,415 0,426 0,434

3 0,222 0,376 0,464 0,516 0,546 0,565 0,578 0,585

4 0,246 0,426 0,528 0,587 0,620 0,641 0,655 0,664

5 0,247 0,446 0,561 0,626 0,664 0,687 0,702 0,713

6 0,237 0,451 0,578 0,650 0,693 0,719 0,735 0,745

7 0,222 0,450 0,588 0,667 0,712 0,741 0,757 0,769

8 0,204 0,446 0,594 0,677 0,727 0,757 0,776 0,788

9 0,187 0,440 0,596 0.685 0,737 0,770 0,790 0,803

Таким образом, видим, что для задач с числом критериев от 2 до 9 и число вариантов отбора от 2 до 9 доля случаев, когда методом взвешенной суммы может быть совершена ^

ошибка, заключена в пределах 1,28% - 80,3%- Или, например, для задач с пятью критериями и пятью вариантами 3,1% - 62,6%.

Таким образом, в данном параграфе по результатам вычислительного эксперимента и применения доказанных теорем мы делаем следующий вывод. Доля ситуаций, когда использование метода взвешенной суммы приводит к ошибочному отбору из множества вариантов не очень велика, но все же значима, то есть нельзя отказаться ни от метода взвешенной суммы, пи от методов, корректно работающих с функцией ценности (методов теории полезности и теории важности критериев). Этим обосновывается использование в разработанном алгоритме выбора и «точных», и «приближенных» многокритериальных методов.

В третьем параграфе второй главы приводится сопоставление двух «точных» методов многокритериального отбора - метода теории полезности (сводящегося к построению функции полезности/ценности) и метода теории важности критериев (конкретно, применение решающих правил теории важности критериев). Анализируется, во сколько раз при использовании решающих правил теории важности критериев снижается доля случаев, когда придется тратить время на построение функции ценности.

Считается, что построение функции ценности является весьма трудоемкой операцией, так как требует от ЛИР и/или экспертов ответов на вопросы о том, что непосредственно чувственно не воспринимается и о чем человек с трудом и неохотно делает суждения. Поэтому организация работы людей по построению функции ценности (определяющей, как изменяются предпочтения ЛПР при движении от меньших шкальных градаций к большим) занимает обычно много времени и сил. Следовательно, если решающее правило позволяет определить наилучший вариант без построения функции ценности, это приводит к уменьшению временных затрат.

Нижеприведенная теорема 3 определяет долю случаев, когда функцию ценности можно не строить при некоторых условиях. А теорема 4 определяет, во сколько раз снижаются затраты на построение функции ценности при использовании решающих правил Подиновского [2, 3] по сравнению с традиционным подходом. В табл. 5 даны примеры, иллюстрирующие снижение затрат на построение функции ценности при использовании решающих правил Подиновского4 и разработанного алгоритма выбора методов многокритериального отбора.

4 Предполагается, что для специфики задачи отбора экспертных методов верен закон убывающей предельной полезности для данных шкальных градаций, то есть, что к > 1.

Таблица 5

Пример Отношение предпочтения Очевидность Надо ли строить функцию ценности в теории полезности? Доля случаев, когда нужно строить функцию ценности в теории полезности Надо ли строить функцию ценности в теории важности? критериев Доля случаев, когда нужно строить функцию ценности в теории важности критериев Надо ли строить функцию ценности в разработанном алгоритме Доля случаев, когда нужно строить функцию ценности в предлагаемом алгоритме

я,=(5,5,5,5) я,=(3,3,3,3) Парего Да Нет X Нет V Нет д

<х=(3,2,2,1) 8,=(3,5,5,4) я,=(5,4,3,3) Колич. важности Нет Да Около 85% Нет Нет

а=(3,2,2,1) «,=(4,4,4,5) 8,=(3,5,5,4) Колич. важности, »V >1 Нет Да Нет Нет

а=(5,2) »,=(4,4) ¡ь=(5,2) Определение V Нет Да Да Около 20% Иногда Около 16%

Теорема 3. Пусть I - максимальное число различных значений важности критериев, п -число вариантов, т - число критериев, а (2(и, т, I) - доля случаев, когда функцию ценности можно не строить (без наложения ограничений на скорость роста предпочтения для ЛПР). Тогда:

«ад

128/

Теорема 4. Для данного класса ситуаций снижение затрат 2(2,2,/) на построение функции ценности при использовании решающих правил Подиновского (без наложения ограничений на скорость роста предпочтения ЛПР) по сравнению с традиционным подходом теории полезности составляет

12/

г(2,2,1) = ——— 71-3 _

Вычислительный эксперимент дает следующие данные о выгодах решающих правил теории важности критериев над теорией полезности из-за того, что функцию ценности иногда можно не строить.

Таблица 6

Во сколько раз снижаются затраты на построение функции ценности при использовании отношения Рт по сравнению с отношением Парето

Число вариантов Число критериев

2 3 4 5 6 7 8 9

2 4,548 4,705 5,102 4,821 4,711 5,027 4,912 5,031

3 4,237 4,154 3,949 3,626 3,599 3,518 3,424 3,474

4 4,578 3,874 3,479 3,192 2,900 2,832 2,749 2,722

5 4,445 3,788 3,153 2,862 2,718 2,550 2,461 2,410

6 4,825 3,604 3,092 2,702 2,504 2,382 2,225 2,262

7 5,312 3,712 3,058 2,645 2,421 2,289 2,151 2,128

8 5,389 3,878 3,098 2,579 2,344 2,167 2,070 2,033

9 5,888 3,763 2,994 2,494 2,213 2,139 2,004 1,927

Видно, что использование решающих правил теории важности критериев позволяет снизить затраты на трудоемкое построение функции ценности (в предположении верности закона убывающей предельной полезности для балльных градаций) примерно в 2-5 раз.

В третьей главе «Анализ опыта внедрения материалов диссертации на современных предприятиях и в организациях России» приводится краткое изложение результатов выполненных работ и оценивается эффективность внедрения.

Кроме того, для еще большего повышения эффективности от внедрения механизма отбора экспертных прогнозных методов была разработана новая разновидность метода фокальных объектов.

В этой новой разновидности из частотного словаря отбираются редкие слова, использование которых позволит быстрее эксперту найти нетривиальное решение (или нетривиальный вариант развития событий, в случае прогнозной задачи).

Таблица 7

Повышение вероятности встретить редкое слово при использовании разработанной разновидности метода фокальных объектов

Диапазон слов в частотном словаре (в скобках -порядковый номер слова в частотном словаре) Вероятность встретить слово из частотного словаря в существующих разновидностях метода фокальных объектов Вероятность встретить слово из частотного словаря в предлагаемой разновидности метода фокальных объектов

«Распространенное» слово (1 - 5000) 82% 15,6%

«Редкое» слово (от 5000 до 32000) 15% 84,4%

Видно, что использование новой разновидности метода фокальных объектов позволяет повысить вероятность встретить редкое слово в более чем 5 раз.

В заключении диссертации рассмотрены основные научные результаты диссертации:

1. Сформулирован перечень критериев, на основании которых целесообразно отбирать экспертные прогнозные методы, и найдены способы определения значений этих критериев. Определять значения критериев быстроты и возможности решения данной прогнозной задачи данным экспертным методом целесообразно на основе применения введенных понятий сложности и обширности прогнозной задачи.

2. Доказаны теоремы, определяющие долю случаев F(w), когда использование метода взвешенной суммы приводит к ошибочному отбору варианта для задач двухкритериалыюго отбора из большого числа альтернатив в условиях отсутствия явного лидера на множестве вариантов. Показано, что F(w) с приемлемой для практики точностью (при w > 1) можно оценить сверху неравенством:

F(wm)< 1--

w

1ЩХ

где »'„их - максимальное отношение разностей ценностей шкальных градаций.

3. Доказана следующая теорема. Пусть I - максимальное число различных значений важности критериев, п - число вариантов, m - число критериев, a Q(n, m, I) - доля случаев, когда можно определить наилучшую из альтернатив без построения функции ценности. Тогда:

2(2,2,0 =М±» 128/

4. Также доказана теорема, утверждающая, что снижение затрат Z(n, т, /) на построение функции ценности при использовании решающих правил теории важности критериев по сравнению с традиционным подходом теории полезности составляет

12/

Z(2,2,/) = —i— 7/-3.

5. Определены для разных классов ситуаций доли случаев, когда использование метода взвешенной суммы приводит к ошибочному отбору варианта из множества альтернатив. Применение имитационного моделирования показало, что доля таких ситуаций ошибочного отбора почти всегда больше 1,5%, иногда доходит до 35-40%.

6. Определены для разных классов ситуаций доли случаев, когда можно не тратить время и силы экспертов на построение функции ценности за счет использования решающих правил теории важности критериев. Применение имитационного моделирования показало, что доля таких ситуаций - 39-66%.

7. Применение имитационного моделирования показало, что использование решающих правил теории важности критериев позволяет снизить затраты на построение функции ценности (в предположении верности закона убывающей предельной полезности для балльных градаций) примерно в 2-5 раз.

8. Был разработан алгоритм выбора методов многокритериального отбора. Было показано, что предлагаемый алгоритм эффективнее существующих аналогов: позволяет избежать существенной доли случаев ошибочного отбора вариантов по сравнению с методом взвешенной суммы; существенно снижает затраты на построение функции ценности по сравнению с подходом теории полезности; несколько снижает затраты на построение

функции ценности по сравнению с традиционным подходом теории важности критериев за счет разумного, с точки зрения ЛПР, использования приближенного метода взвешенной суммы.

9. Разработан механизм многокритериального отбора экспертных методов. Он эффективнее существующих аналогов, во-первых, за счет того, что входящий в его состав алгоритм выбора методов многокритериального отбора эффективнее аналогов. А во-вторых, за счет содержательной проработки способов определения значений критериев, на основе которых отбираются экспертные прогнозные методы. Последнее стало возможно за счет введения понятий сложности и обширности прогнозной задачи.

10. Разработана разновидность экспертного метода фокальных объектов, наиболее применимая для решения прогнозных задач III уровня сложности и II уровня обширности.

В списке использованных источников перечислены информационные источники и указаны наименования и выходные данные публикаций, использованных при выполнении диссертационного исследования.

В приложении № 1 помещены копии документов, подтверждающих внедрение.

Основные результаты диссертации опубликованы в следующих работах. Публикации в изданиях, рекомендованных ВАК РФ:

1. Сидельников Ю.В., Салтыков С.А. Процедура установления соответствия между задачей и методом. // Экономические стратегии, № 7, 2008. - с. 102-109.

2. Салтыков С.А. Экспериментальное сопоставление методов взвешенной суммы, теории полезности и теории важности критериев для решения многокритериальных задач с балльными критериями. // Журнал «Управление большими системами», № 29 (14), 2010. -с. 16-41.

3. Сидельников Ю.В., Салтыков С.А. Процедура отбора наиболее приемлемых разновидностей экспертных методов. // Журнал «Управление большими системами», № 30(15), 2010.-с. 35-66.

4. Салтыков С. А. Снижение затрат на построение функции ценности при использовании решающих правил теории важности критериев по сравнению с традиционным подходом теории полезности. // Журнал «Управление большими системами». № 34 (19). М.: ИПУ РАН, 2011. С.5-29.

5. Салтыков С.А. К вопросу повышения функциональной надежности проектируемых систем за счет использования корректных методов обработки экспертных суждений. // Надежность, № 4, 2011.

Статьи и материалы конференции:

6. Салтыков С.Л. Сложность объекта как основной критерии выбора метода прогнозирования развития объекта // Приложение к журналу «Открытое образование», Материалы XXX Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе». - Ялта, Гурзуф, октябрь 2003. - с. 120-122.

7. Салтыков С.Л. Сложность объекта прогнозирования как основной критерий выбора метода экспертного прогнозирования // Сб. трудов Международной научно-практической конференции «Теория активных систем». - М., 2005. - с. 68-70.

8. Салтыков С.А. Об использовании в экспертном прогнозировании идей И. Пригожина о понятии сложности У Приложение к журналу «Открытое образование», Материалы XXXIV Международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе 1Т+5&Е'07» Украина, Гурзуф, май 2007. С. 385-386.

9. Сиделышков Ю.В., Салтыков С.А. Об экспериментальном исследовании по проверке гипотезы о связи сложности объекта прогнозирования и выбора наиболее точного вида экспертной оценки/ Сб. трудов «Второй научной школы-семинара по проблемам управления большими системами». Воронеж, 2007. С. 128-130.

10. Салтыков С.А. Об алгоритме выдачи рекомендаций по использованию методов прогнозирования на основе признаков задачи / Приложение к журналу «Открытое образование», Материалы XXXIV Международной конференции «Информационные технологии в науке, образовании, телекоммуникации и бизнесе 1Т+8&Е'07» Украина, Гурзуф, октябрь 2007. С. 101-103.

П.Салтыков С.А. Обширность задачи как один из ключевых факторов выбора наиболее эффективного экспертного метода. // Приложение к журналу «Открытое образование», Материалы XXXV Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе». - Ялта, Гурзуф, май 2008. - с. 360-361.

12. Сидельников Ю.В., Салтыков С.А. Модель социально-экономической ситуации принятия решений при выборе экспертного метода. // Приложение к журналу «Открытое образование», Материалы XXXV Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе». - Ялта, Гурзуф, май 2008. - с. 364-365.

О.Салтыков С.А. К вопросу о выборе метода прогнозирования показателей функциональной надежности продукции авиаприборостроительного предприятия. // Приложение к журналу «Открытое образование», Материалы XXXV Международной

конференции «Информационные технологии в науке, социологии, экономике и бизнесе». - Ялта, Гурзуф, октябрь 2008. - с. 111-113.

14. Сиделышков Ю.В., Салтыков С.А. Модель многокритериального выбора экспертных методов. // Сб. трудов Второй международной конференции «Управление развитием крупномасштабных систем» (MLSD'2008). - М., 2008. - с. 176-178.

15. Салтыков С.А. Подход к апостериорному определению уровня сложности прогнозного оценочного вопроса. // Сб. трудов V Всероссийской школы-семинара молодых ученых «Управление большими системами». - Липецк, ЛГТУ, 2008. - с. 100-104.

16. Салтыков С.А. К вопросу выбора метода прогнозирования правовой среды. // Сб. трудов

XXXV Международных общественно-научных чтений, посвященных памяти Ю.А. Гагарина. - Гагарин, 2008. - с. 1-11.

17. Сидельников Ю.В., Салтыков С.А. Отбор наиболее эффективного экспертного метода: процедура и модели. // Приложение к журналу «Открытое образование», Материалы

XXXVI Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе». - Ялта, Гурзуф, май 2009. - с. 18-21.

18. Салтыков С.А. Экспериментальное сопоставление различных многокритериальных подходов. // Приложение к журналу «Открытое образование», Материалы XXXVI Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе». - Ялта, Гурзуф, май 2009. - с. 315-317.

19. Сиделышков Ю.В., Салтыков С.А. Отбор эффективного экспертного метода для задачи III уровня сложности и II уровня обширности. // Приложение к журналу «Открытое образование», Материалы XXXVI Международной конференции «Информационные технологии в науке, социологии, экономике и бизнесе». - Ялта, Гурзуф, октябрь 2009. -с. 11-13.

20. Сиделышков Ю.В., Салтыков С.А. Отбор наиболее эффективного экспертного метода для задачи III уровня сложности и II уровня обширности. // Материалы третьей международной конференции «Управление развитием крупномасштабных систем», MLSD'2009, Том №1, Стр. 212-215., 5-7 октября 2009 г., Москва.

21. Сидельников Ю.В., Салтыков С.А. Обоснование применимости базового экспертного метода для решения задачи заданных уровней сложности и обширности. // Труды международной научно-практической конференции «Теория активных систем», 17-19 ноября 2009 г., -М.-.ИПУ РАН,-Том №1, Стр. 291-299.

Личный вклад автора (по работам в соавторстве). В работе № 1 предложены элементы алгоритма определения уровня сложности прогнозной задачи. В работе № 3 предложены элементы процедуры отбора экспертных методов. В работе № 9 проведено экспериментальное

исследование, на основании которого делаются выводы работы. В работах №№ 12, 14, 17 предложены элементы модели ситуации принятия решений по отбору экспертного метода. В работах №№ 19, 20 разработана идея использования частотного словаря русского языка для модификации метода фокальных объектов. В работе № 21 произведен многокритериальный отбор наиболее подходящих экспертных прогнозных методов для ситуации с заданными параметрами.

Литература

1. Подиновский В.В. Введение в теорию важности критериев в многокритериальных задачах принятия решений. - М.: Физматлит, 2007. - 64 с.

2. Подиновский В.В. Количественная важность критериев // Автоматика и телемеханика. -2000.-X25.-C. 110-123.

3. Подиновский В.В. Количественная важность критериев с дискретной шкалой первой порядковой метрики // Автоматика и телемеханика. - 2004. - №8. - С. 196-203.

4. Multiple criteria decision analysis: state of the art surveys. Springer Science + Business Media, Inc. 2005.