автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Механизм многокритериального отбора методов экспертного прогнозирования

Введение.

Глава 1. Анализ существующей практики отбора прогнозных методов на основе многих критериев.

§1.1. Анализ существующей теории и практики отбора экспертных прогнозных методов.

§1.2. Анализ существующей ситуации в области многокритериального отбора.

§1.3. Анализ различных интерпретаций понятия «сложность».

Глава 2. Разработка механизма многокритериального отбора экспертных методов.

§2.1. Способы определения значений критериев, на основании которых ведётся отбор экспертных методов.

§2.2 Сопоставление точных методов многокритериального отбора и приближенного метода взвешенной суммы.

§2.3. Сопоставление точных методов многокритериального отбора методов теории полезности и теории важности критериев.

Глава 3. Анализ опыта внедрения материалов диссертации на современных предприятиях и в организациях России.

§3.1. Использование материалов диссертации в Инженерноэкономическом институте Московского авиационного института государственного технического университета).

§3.2. Использование материалов диссертации на ОАО «Авиаприборхолдинг». Постановка задачи и новая разновидность экспертного метода.

§3.3 Использование материалов диссертации на ОАО «Авиаприборхолдинг». Разработанный программный продукт и социальный эффект материалов диссертации.

Актуальность работы. Увеличившаяся скорость социально-экономических преобразований в обществе приводит к необходимости более точного прогноза изменений социально-экономической среды. Это обуславливает необходимость наиболее полного и эффективного использования инструментария прогнозирования, главным образом методов экспертного прогнозирования, как наиболее подходящих для весьма изменчивой социально-экономической сферы. В этой связи становится все более актуальным отбор метода экспертного прогнозирования, наиболее приемлемого для конкретной ситуации.

Вообще говоря, работы по механизмам многокритериального отбора экспертных прогнозных методов актуальны в настоящее время по двум причинам. Во-первых, методов экспертного прогнозирования достаточно много, и часто не понятно и не очевидно, какой из них стоит предпочесть. А во-вторых, отбор экспертных методов - на основании каких бы критериев он ни производился - ведется при помощи какого-либо подхода1 к многокритериальному отбору. Таких подходов довольно много, и какой из них взять - тоже не ясно. Поэтому актуальной является также разработка алгоритма выбора наиболее предпочтительного метода2 многокритериального отбора.

Отдельно необходимо отметить, что наиболее назревшим является вопрос о том, какое преимущество дала идея максимизации (или минимизации) ценности (полезности) исследуемой величины по сравнению с максимизацией (или минимизацией) самой этой величины. Достаточно ли оно велико для практической значимости? Достаточно ли часто

1 Здесь и далее «многокритериальный подход», «многокритериальный метод» и «метод многокритериального отбора» используются как синонимы.

2 Здесь и далее говорится о двух совершенно различных типах методов: о методах экспертного прогнозирования (например, «мозговая атака», морфологический анализ, дельфи, совещание и т.д.) и о методах многокритериального отбора, к которым относятся, например, метод анализа иерархий, метод взвешенной суммы, ELECTRE и т.д.) неиспользование концепта ценности приводит к ошибочному отбору из множества вариантов? И какова «цена» этой ошибки?

Таким образом, в данном исследовании затрагиваются актуальные вопросы отбора экспертных прогнозных методов, а также отбора среди различных многокритериальных подходов, что обуславливает актуальность разработки механизма отбора экспертных прогнозных методов как средства повышения качества прогноза.

Цель работы - повышение эффективности прогнозирования и управления в социально-экономических системах при помощи механизма многокритериального отбора экспертных прогнозных методов.

Задачи работы:

1. Сформировать перечень критериев, на основании которых целесообразно отбирать экспертные методы.

2. Разработать алгоритм выбора наиболее подходящего метода многокритериального отбора.

3. Разработать механизм многокритериального отбора экспертных методов.

4. Разработать эффективную разновидность экспертного метода, наиболее применимую в социально-экономической сфере для решения прогнозных задач III уровня сложности и II уровня обширности.

5. Разработать программный продукт, обеспечивающий поддержку использования предлагаемой разновидности экспертного прогнозного метода.

Научными результатами диссертационного исследования, выносимыми автором на защиту, являются:

1. Сформулирован перечень критериев, на основании которых целесообразно отбирать экспертные прогнозные методы, и найдены способы определения значений этих критериев. Определять значения критериев быстроты и возможности решения данной прогнозной задачи данным экспертным методом целесообразно на основе применения введенных понятий сложности и обширности прогнозной задачи.

2. Разработана разновидность экспертного метода фокальных объектов, наиболее применимая для решения прогнозных задач III уровня сложности и II уровня обширности.

3. Доказаны теоремы, определяющие долю случаев F(w), когда использование метода взвешенной суммы приводит к ошибочному отбору варианта для задач двухкритериального отбора из большого числа альтернатив в условиях отсутствия явного лидера на множестве вариантов. Показано, что с приемлемой для практики точностью (при > 1) можно оценить сверху неравенством: 1

F(wmJ<\2 где -и>тах - максимальное отношение разностей ценностей шкальных градаций.

4. Доказана теорема, утверждающая следующее. Пусть / - максимальное число различных значений важности критериев, п - число вариантов, т - число критериев, а т, Г) - доля случаев, когда можно определить наилучшую из альтернатив без построения функции ценности. Тогда:

2>2,/) = М±9 ^ 7 128/

5. Доказана теорема, утверждающая, что снижение затрат 2{п, т, I) на построение функции ценности при использовании решающих правил теории важности критериев по сравнению с традиционным подходом теории полезности составляет

2(2,2,7) = ■ 127

7/-3.

6. Определены для разных классов ситуаций доли случаев, когда использование метода взвешенной суммы приводит к ошибочному отбору варианта из множества альтернатив. Применение имитационного моделирования показало, что доля таких ситуаций ошибочного отбора почти всегда больше 1,5%, иногда доходит до 3540%.

7. Определены для разных классов ситуаций доли случаев, когда можно не тратить время и силы экспертов на построение функции ценности за счет использования решающих правил теории важности критериев, в то время как неочевидно, что её можно не строить. Применение имитационного моделирования показало, что доля таких ситуаций -39-66%.

8. Применение имитационного моделирования показало, что использование решающих правил теории важности критериев позволяет снизить затраты на трудоемкое построение функции ценности (в предположении верности закона убывающей предельной полезности для балльных градаций) примерно в 2-5 раз.

9. Разработан алгоритм выбора методов многокритериального отбора. Было показано, что предлагаемый алгоритм эффективнее существующих аналогов: позволяет избежать существенной доли случаев ошибочного отбора вариантов по сравнению с методом взвешенной суммы; существенно снижает затраты на построение функции ценности по сравнению с подходом теории полезности; несколько снижает затраты на построение функции ценности по сравнению с традиционным подходом теории важности критериев за счет разумного, с точки зрения ЛПР, использования приближенного метода взвешенной суммы.

Ю.Разработан механизм многокритериального отбора экспертных методов. Он эффективнее существующих аналогов, во-первых, за счет того, что входящий в его состав алгоритм выбора методов многокритериального отбора эффективнее аналогов. А во-вторых, за счет содержательной проработки способов определения значений критериев, на основе которых отбираются экспертные прогнозные 6 методы. Последнее стало возможно за счет введения понятий сложности и обширности прогнозной задачи. Практическая значимость работы заключается в том, что разработанный механизм многокритериального отбора экспертных методов позволяет повысить эффективность функционирования высокотехнологичного предприятия. Кроме того, повышению эффективности его функционирования способствует использование разработанной разновидности метода фокальных объектов, а также программного продукта, обеспечивающего поддержку использования этой новой разновидности метода. Всё вышеперечисленное подтверждается соответствующими актами внедрения.

Апробация результатов диссертационного исследования.

1. Грант РФФИ, 2008, № 08-07-00361-а «Алгоритм выбора метода экспертного прогнозирования». Работа обсуждалась на конференциях и семинарах:

1. XXX Международная конференция «Информационные технологии в науке, социологии, экономике и бизнесе», Ялта, Гурзуф, октябрь 2003.

2. Общемосковский семинар «Экспертные оценки и анализ данных», Москва, ИПУ РАН, 2003.

3. Международная научно-практическая конференция «Теория активных систем», Москва, 2005.

4. Общемосковский научно-практический семинар «Анализ и прогноз финансовых рынков», ИМЭМО РАН, 2006.

5. XXXIV Международная конференция «Информационные технологии в науке, социологии, экономике и бизнесе», Ялта, Гурзуф, май 2007.

6. Общемосковский семинар «Экспертные оценки и анализ данных», Москва, ИПУ РАН, 2008.

7. XXXV Общественно-научные чтения, посвященные памяти Ю.А. Гагарина, Гагарин, 2008.

8. XXXV Международная конференция «Информационные технологии в науке, социологии, экономике и бизнесе», Ялта, Гурзуф, май 2008.

9. II Международная конференция «Управление развитием крупномасштабных систем» (МЬ80'2008), Москва, 2008.

Ю.Семинары ИПУ РАН, 2008.

11.XXXVI Общественно-научные чтения, посвященные памяти Ю.А. Гагарина, Гагарин, 2009.

12.XXXVI Международная конференция «Информационные технологии в науке, социологии, экономике и бизнесе», Ялта, Гурзуф, май 2009.

13.Международная научно-практическая конференция «Теория активных систем», Москва, ИПУ РАН, 17-19 ноября 2009.

14.Семинар Международной академии исследований будущего, Москва, 25 января 2010.

15.Семинар Международной академии исследований будущего, Москва, март 2011.

16.Семинар «Измерение в социальных науках», Москва, Высшая школа экономики, 20 апреля 2011.

Внедрение результатов диссертационного исследования. Материалы диссертации были внедрены в производственный процесс ОАО «Авиаприбор-холдинг». Использование материалов диссертации представлено в отзыве заместителя директора ОАО «Авиаприбор-холдинг» (исх. №134 от 09.09.2009 г.).

Материалы диссертации используются в учебном процессе Инженерно-экономического института МАИ (ИНЖЭКИН МАИ), что представлено в отзывах директора ИНЖЭКИН МАИ (исх. №500-26-83 от 01.09.2009 г., исх. №500-26-101 от 28.06.2011 г.).

ЗАКЛЮЧЕНИЕ

Основные научные результаты диссертации:

1. Сформулирован перечень критериев, на основании которых целесообразно отбирать экспертные прогнозные методы, и найдены способы определения значений этих критериев. Определять значения критериев быстроты и возможности решения данной прогнозной задачи данным экспертным методом целесообразно на основе применения введенных понятий сложности и обширности прогнозной задачи.

2. Разработана разновидность экспертного метода фокальных объектов, наиболее применимая для решения прогнозных задач III уровня сложности и II уровня обширности.

3. Доказаны теоремы, определяющие долю случаев Т7^), когда использование метода взвешенной суммы приводит к ошибочному отбору варианта для задач двухкритериального отбора из большого числа альтернатив в условиях отсутствия явного лидера на множестве вариантов. Показано, что с приемлемой для практики точностью (при и> > 1) можно оценить сверху неравенством: 1

IV2 тах где ц>тах - максимальное отношение разностей ценностей шкальных градаций.

4. Доказана теорема, утверждающая следующее. Пусть / - максимальное число различных значений важности критериев, п - число вариантов, т - число критериев, а Q{n, т, 1)~ доля случаев, когда можно определить наилучшую из альтернатив без построения функции ценности. Тогда: ,/)=М±£ ^ 128/

5. Доказана теорема, утверждающая, что снижение затрат 2{п, т, Г) на построение функции ценности при использовании решающих правил теории важности критериев по сравнению с традиционным подходом теории полезности составляет

6. Определены для разных классов ситуаций доли случаев, когда использование метода взвешенной суммы приводит к ошибочному отбору варианта из множества альтернатив. Применение имитационного моделирования показало, что доля таких ситуаций ошибочного отбора почти всегда больше 1,5%, иногда доходит до 3540%.

7. Определены для разных классов ситуаций доли случаев, когда можно не тратить время и силы экспертов на построение функции ценности за счет использования решающих правил теории важности критериев, в то время как неочевидно, её можно не строить. Применение имитационного моделирования показало, что доля таких ситуаций -39-66%.

8. Применение имитационного моделирования показало, что использование решающих правил теории важности критериев позволяет снизить затраты на трудоемкое построение функции ценности (в предположении верности закона убывающей предельной полезности для балльных градаций) примерно в 2-5 раз.

9. Разработан алгоритм выбора методов многокритериального отбора. Было показано, что предлагаемый алгоритм эффективнее существующих аналогов: позволяет избежать существенной доли случаев ошибочного отбора вариантов по сравнению с методом взвешенной суммы; существенно снижает затраты на построение функции ценности по сравнению с подходом теории полезности; несколько снижает затраты на построение функции ценности по сравнению с традиционным подходом теории важности критериев за счет разумного, с точки зрения ЛПР, использования приближенного метода взвешенной суммы.

10.Разработан механизм многокритериального отбора экспертных методов. Он эффективнее существующих аналогов, во-первых, за счет того, что входящий в его состав алгоритм выбора методов многокритериального отбора эффективнее аналогов. А во-вторых, за счет содержательной проработки способов определения значений критериев, на основе которых отбираются экспертные прогнозные методы. Последнее стало возможно за счет введения понятий сложности и обширности прогнозной задачи.

1. Альтшуллер Г.С. Найти идею. - Новосибирск: Наука, 1986. - 209 с.

2. Барышников Ю.М. О среднем числе вариантов, недоминируемых по сравнению В. В. Подиновского. // Автоматика и телемеханика. 1990. - №6. - С. 161-167.

3. Бурков В.Н., Коргин Н.А., Новиков Д.А. Введение в теорию управления организационными системами: Учебник / Под ред. Д.А. Новикова. М.: Книжный дом «ЛИБРОКОМ», 2009. - 264 с.

4. Вентцель Е.С. Исследование операций. Задачи, принципы, методология: учеб. пособие для вузов / Е.С. Вентцель. 4-е изд., стереотип. -М.: Дрофа, 2006. -206, 2. е.: ил.

5. Горский В.Г., Гриценко А.А., Орлов А.И. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. 2000. -№.3. -С.179-187.

6. Квейд Э. Анализ сложных систем. М.: 1969.

7. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения / Пер. с англ. -М.: Радио и связь, 1981.

8. Козырева Н.А. Кратко о методе фокальных объектов (МФО). -http://www.trizland.rn/trizba.php7icK321.

9. Ю.Кун Т. Структура научных революций. М.: ООО «Издательство ACT», 2003.-е. 13-269.

10. П.Липаев В.В. Функциональная безопасность программных средств. -М.: СИНТЕГ, 2004. 348 с.

11. Малая Российская энциклопедия Прогностики. М., Изд-во ИНЭС, 2006.

12. Минаев Э.С., Песелева Р.И. Рекомендации по выбору и комплексированию методов прогнозирования. Минск, 1989. - 42 с.

13. М.Николис Г., Пригожин И. Познание сложного. Введение. М.: Эдиториал УРРС, 2003. - 344 с.

14. Новиков Д.А., Чхартишвили А.Г. Рефлексивные игры. М.: СИНТЕГ,2003.- 149 с.16.0рловА.И. Устойчивость в социально-экономических моделях. М.: Наука, 1979.

15. Орлов А.И. Эконометрика: учебник для вузов / А.И. Орлов. Изд. 4-е, дополн. и перераб. - Ростов н/Д: Феникс, 2009. - 572, 1. с.

16. Подиновский В.В. Аксиоматическое решение проблемы оценки важности критериев в многокритериальных задачах принятия решений// Современное состояние теории исследования операций. -М.: Наука, 1979. С.И7-145.

17. Подиновский В.В. Об оценке эффективности решающих правил в многокритериальных задачах// Изв. АН СССР. Техн. кибернетика. -1987.-№1.-С. 3-9.

18. Подиновский В.В. Оценка эффективности решающих правил в дискретных многокритериальных задачах// Методы оптимизации в экономико-математическом моделировании. М.: Наука, 1991. - С. 308-324.

19. Подиновский В.В. Количественная важность критериев // Автоматика и телемеханика. 2000. - № 5. - С. 110-123.

20. Подиновский В.В. Количественная важность критериев с дискретной шкалой первой порядковой метрики // Автоматика и телемеханика.2004.-№8.-С. 196-203.

21. Подиновский В.В. Введение в теорию важности критериев в многокритериальных задачах принятия решений. М.: Физматлит, 2007.-64 с.

22. Подиновский В.В. Анализ задач многокритериального выбора методами теории важности критериев при помощи компьютерных систем поддержки принятия решений// Изв. АН. Теория и системы управления. 2008. - № 2. - С. 64-68.

23. Саати Т. Принятие решений. Метод анализа иерархий. — М.: Радио и связь, 1993. —278 с.

24. Салтыков С.А. Экспериментальное сопоставление методов взвешенной суммы, теории полезности и теории важности критериев для решения многокритериальных задач с балльными критериями / Управление большими системами. Выпуск 29. М.: ИПУ РАН, 2010. С.16-41.

25. Салтыков С.А. К вопросу повышения функциональной надежности проектируемых систем за счет использования корректных методов обработки экспертных суждений. // Надежность, № 4. 2011.

26. Сидельников Ю.В. Системный анализ технологии экспертного прогнозирования. — М.: Из-во МАИ-ПРИНТ «МАИ», 2007. — 348 с.

27. Сидельников Ю.В., Салтыков С.А. Процедура установления соответствия между задачей и методом // Экономические стратегии. -2008.-№7.-С. 102-109.

28. Сидельников Ю.В., Салтыков С.А. Процедура отбора наиболее приемлемых разновидностей экспертных методов. // Журнал «Управление большими системами», № 30 (15). М.: ИПУ РАН, 2010. -с. 35-66.

29. Словарь русского языка в четырех томах. Том 2. М.: Государственное издательство иностранных и национальных словарей, 1958. -1013 с.

30. Щедровицкий Г.П. Принципы и общая схема методологической организации системно-структурных исследований и разработок. // Системные исследования. М., 1981.-е. 193-227.

31. Эйлоарт Т. Приемы настройки творческого инженерного коллектива. // Изобретатель и рационализатор. 1970. -№ 5.

32. Belton V., Stewart Т. Problem Structuring and Multiple Criteria Decision Analysis. P. 209-240. / Trends in Multiple Criteria Decision Analysis. Springer Science + Business Media, LLC. 2010.

33. Brown В., Cochran S. and Dalkey N. The Delphi Method II: structure of experiments. Memorandum RM - 5957 - PR, The Rand Corporation, Santa Monica, California, 1969, June.

34. Dyer J.S. MAUT Multiattribute Utility Theory / Mutiple Criteria Decision Analysis: State of the Art Surveys. Springer Science + Business Media, Inc., 2005. P. 265-295.

35. Ford D.A. Shang Inquiry as an alternative to Delphi: some experimental findings. -Technol. Forecast, and Soc. Change, 1975, 7 (2), p. 139 164.45.http://www.artint.ru/proiects/frqlist.asp.

36. Trends in Multiple Criteria Decision Analysis. Springer Science + Business Media, LLC. 2010.

37. Whiting Ch. S. Creative thinking. N.Y. 1958.