автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.10, диссертация на тему:Разработка алгоритмов интеллектуальной поддержки решений в системах социального управления

ВВЕДЕНИЕ.

ГЛАВА 1. Анализ алгоритмов интеллектуальной поддержки управленческих решений.

1.1 История возникновения, основные понятия, направления оказания ИПР, алгоритмы, проблема моделирования решений.

1.2 Анализ моделей описания и оценивания решений.

1.2.1 Общая постановка проблемы моделирования решений для ИПР, методы искусственного интеллекта и задачи управления.

1.2.2 Обзор моделей описания и логического оценивания сложных знаний-решений

1.2.3 Обзор моделей численного оценивания сложных знаний-решений

1.3 Выводы по главе 1.

ГЛАВА 2 Разработка алгоритмов интеллектуальной поддержки управленческих решений.

2.1 Разработка феноменологических и семантических моделей описания знаний-решений на уровне интеллектуальных процессов ЛПР.

2.1.1 Постановка проблемы, основные понятия и определения.

2.1.2 Знания-решения логической структуры. Логические задачи управления

2.1.2.1 Знание-решение формы ПУ- перечень условий. 52'

2.1.2.2 Знание формы ПА - перечень альтернатив.

2.1.2.3 Знание-решение формы А-ПУ - альтернативные перечни условий

2.1.3 Знания-решения комбинаторной структуры. Комбинаторные задачи

2.1.3.1 Знание-решение формы ПД - последовательность действий.

2.1.3.2 Знание-решение формы А-ПВ - альтернативы, указанные в порядке, определяющимся предпочтительностью выбора.

2.1.4 Знания-решения комбинированной структуры. Формы А-ПД, А-ПД-ПВ, А-ПУ-ПВ.

2.1.5 Классификация решаемых задач по структуре и уровню сложности знания.

2.1.6 Итоги феноменологического и семантического моделирования знаний-решений

2.2 Разработка моделей логического оценивания решений.

2.2.1 Общие подходы. Качественное и количественное оценивание.

2.2.2 Структура моделирования ценности сложных знаний-решений

2.2.3 Логические модели базовых форм сложных знаний-решений.

2.3 Численное моделирование ценности сложных знаний-решений.

2.3.1 Философия выбора универсального численного критерия ценности сложных знаний.

2.3.2 Вероятностный подход к определению ценности знаний-решений

2.3.2.1 Основания вероятностного подхода. Основные определения. Общая вероятностная модель ценности сложных знаний.

2.3.2.2 Частные модели ценности сложного знания-решения формы ПУ. Результаты. Функция ценности знания.

2.3.2.3 Частная модель ценности сложного знания-решения формы ПД

2.3.2.3.1 Моделирование ценности решения формы ПД без учёта достижения цели-понятия и без действий произвольной последовательности.

2.3.2.3.2 Моделирование ценности решения формы ПД с учётом достижения цели-понятия и без действий произвольной последовательности.

2.3.2.3.3 Моделирование ценности решения формы ПД с учётом достижения цели-понятия и с учётом действий произвольной последовательности

2.3.3 Моделирование с учётом различной вероятности выборки ЧР.

Весьма проблемным в системах социального управления, в том числе, в Государственной противопожарной службе (ГПС), представляется повышение качества решений слабоструктурированных и неструктурированных задач лицами принимающими решения (ЛПР). Эти задачи характеризуются тем, что большинство параметров или все параметры задач, влияющие на решение, могут быть описаны и оценены ЛПР только качественно, на логическом уровне. Примером таких задач могут быть задачи, стоящие перед руководителями тушения пожара (РТП), решаемые в условиях ограниченного времени, недостаточности и недостоверности информации, нечёткости, а, часто, и противоречивости, целей и критериев их достижения. Решения, принимаемые РТП непосредственно на пожаре, носят единоличный характер, из-за резкой нехватки времени часто принимаются неосознанно. Объективной основой этих решений являются имеющиеся знания, навыки и опыт РТП. Все эти объективно существующие сложности и постоянное нахождение РТП в стрессовом состоянии делают весьма вероятным принятие не оптимальных и ошибочных решений.

Одним из средств повышения качества решений управленческих задач является оказание ЛПР интеллектуальной поддержки решений (ИПР), выражающейся в различных формах интеллектуально технических мероприятий, например, экспертном анализе, совещаниях, моделировании деятельности. Термин поддержки решений (support decision) появился недавно, в 70 - ых годах прошлого века. Единственного общепризнанного определения термина поддержки решений не существует. За истекшее время дано множество определений ИПР, от самых широких и не привязанных к классу решаемых задач, до более узких. Объединяющим моментом всех этих определений является предоставлению ЛПР права окончательного принятия решения, т.е. применение ИПР предполагает активное участие в выработке и принятии решения человека - ЛПР. Наиболее широко ИПР может пониматься как комплекс любых организационно-технических интеллектуальных мероприятий по оказанию помощи ЛПР в принятии им решений с целью повышения их обоснованности и/или уменьшения времени на их выработку. В последнее время сформировалось мнение по целесообразности применения ИПР для решения слабоструктурированных и неструктурированных задач. Применение ИПР в этом качестве особо актуально в связи со значительным присутствием в решении этого класса задач элементов субъективизма. С появлением и увеличением возможностей ЭВМ значительно усилилась мотивация их использования в ИПР. В качестве ИПР могут применяться автоматизированные системы поддержки принятия решений, в которых гибко сочетаются возможности ЭВМ по скоростной обработке формализованной информации и лучшие качества человеческого интеллекта. Проблемам оказания ИПР в разнообразных формах посвящена многочисленная литература. Известны, например, работы Д. Абдрахимова и А. Иоффина, Трахтенгерца Э.А., Брушлинского Н.Н., Пранова Б.М., Мешалкина Е.А., Денисова А.Н. и др. авторов. Наличие существенного человеческого фактора в применении ИПР ставит задачу адаптации ИПР к уровню восприятия ЛПР, вплоть до создания интерфейса ИПР, использующего естественные языки человеческого общения. Ограничение времени на выработку и принятие решений в ряде задач диктует необходимость разработки ИПР, применяющихся на фазе подготовки к принятию решения, когда нет таких жёстких ограничений по времени. В последнее время начинает появляться понимание, что в случаях, когда не возможна непосредственная интеллектуальная поддержка в момент принятия решения, и качество решения зависит исключительно от интеллектуальных возможностей ЛПР, единственной возможностью поднять этот уровень является обучение ЛПР принятию решений, под которым можно понимать, как непосредственное обучение, так и анализ уже принятых решений вместе с планированием новых решений.

Частью общей задачи по разработке алгоритмов ИПР, которая также имеет самостоятельное значение, является разработка моделей описания и оценивания решений. Наиболее традиционным является рассмотрение процесса принятия решения на уровне описания и оценивания свойств управляемого материального объекта: физического, экономического, социального и т.п. Вторым подходом, естественным в автоматизированных системах ИПР, использующих лучшие качества человеческого интеллекта, является рассмотрение решения на уровне интеллектуальных процессов ЛПР. Такой подход не является альтернативой первому подходу, он расширяет процесс описания и оценивания решений на ЛПР, как на необходимый элемент в цепочке принятия решений. Такой подход к разработке моделей описания и оценивания решений предполагает применение методов искусственного интеллекта.

В силу сложности задач по разработке ИПР, многие аспекты их решения остаются ещё рассмотренными не полностью. Известные алгоритмы ИПР по ряду причин не всегда применимы и не всегда удовлетворяют требованиям объективности описания и оценивания эффективности решений. Существует также проблема создания достаточно универсальных и адаптированных к восприятию ЛПР алгоритмов ИПР. Поэтому задача разработки более эффективных алгоритмов ИПР является актуальной.

Объектом исследования в работе является ЛПР как элемент принятия решений в системах социального управления, применительно же к ГПС — РТП как ЛПР в службе пожаротушения ГПС.

Предметом исследования являются информационные интеллектуальные процессы ЛПР в конечной фазе принятия им решений.

Целью работы является разработка более эффективных алгоритмов интеллектуальной поддержки решений в системах социального управления (на примерах ГПС).

Методы исследования включают методы теории управления и принятия решений, искусственного интеллекта, теории множеств, теории вероятности, методы экспертного анализа, информатики.

Научная новизна работы состоит в разработке моделей описания и оценивания решений, а также алгоритмов интеллектуальной поддержки решений в системах социального управления (на примерах ГПС) с новыми совокупностями признаков.

Практическая значимость работы заключается в возможности использования её результатов в планировании и анализе решений в системах социального управления, в обучении принятию решений управленческого персонала. В ГПС внедрение этих разработок представляется наиболее актуальным для повышения качества решений при анализе боевых действий подразделений на крупных пожарах, планировании боевых действий (оперативные планы пожаротушения) и обучении принятию решений РТП.

Практическая реализация результатов работы заключается в их использовании при разработке оперативных планов пожаротушения, в деловых играх на занятиях в УЦ УГПС МЧС России Московской области (г. Подольск), в Академии ГПС МЧС России, на занятиях в УЦ УГПС МЧС России г. Москвы.

Внедрение результатов работы подтверждено актами.

Публикации. По теме работы автором опубликовано 10 печатных работ.

Апробация работы осуществлялась в рамках трёх докладов на ХУ научно-практической конференции «Проблемы горения и тушения пожаров на рубеже веков» ВНИИПО МВД РФ 1999 г. и XVI научно-практической конференции «Крупные пожары: предупреждение и тушение» ФГУ ВНИИПО МВД РФ 2001 г.

На защиту выносятся: разработанные модели описания и оценивания решений, алгоритмы интеллектуальной поддержки решений.

Структура и объем работы. 9

Диссертационная работа состоит из введения, трёх глав, заключения, списка литературы и приложений. Работа содержит 222 страницы текста с рисунками и таблицами, библиография включает 98 источников.

Основные результаты и выводы

1) Проведён анализ известных алгоритмов ИПР, представляющих собой человеко-машинные процедуры по решению слабоструктурированных и неструктурированных задач. Алгоритмы ИПР гибко сочетают возможности ЭВМ по скоростной обработке формализованной информации и лучшие качества человеческого интеллекта. Так как ИПР характеризуются наличием существенного человеческого фактора, то для наиболее полного его учёта анализ проводился на уровне изучения интеллектуальных процессов ЛПР с применением подходов искусственного интеллекта. Составной частью алгоритмов при этом являются модели описания и оценивания принимаемых решений. Анализ показал, что известные модели не достаточно объективно учитывают элементный состав реальных решений и возможные связи между элементарными частями решения, а известные алгоритмы ИПР не достаточно универсальны и эффективны относительно достигаемого качества принимаемых решений, мало адаптированы к уровню восприятия их ЛПР. По результатам анализа сформулирована цель работы: разработка более эффективных алгоритмов ИПР в системах социального управления.

2) Разработаны модели описания и оценивания восьми интеллектуальных форм мышления (решения). В качестве элементарных информационных частей модели используют семантические понятия ситуаций, явлений, предметов, действий. В информационном плане решение представляет собой многоэлементную информационную структуру с логическими и/или комбинаторными связями между отдельными его частями решения (ЧР). Часть моделей отображает интуитивность мышления ЛПР в распознавании и оценивании альтернатив. Предложена классификация правильных и неправильных

ЧР, отражающих нечёткость и противоречивость решений (мышления). Моделирование проведено на феноменологическом, семантическом и логическом уровне. Совокупность моделей представляет собой новый инструмент для описания решений, адаптированный к уровню восприятия ЛПР.

3) Разработана общая вероятностная модель количественного оценивания знаний-решений. В качестве критерия оценки используется сложность решения (задачи), определяемая как вероятностная характеристика, зависящая только от количества всевозможных вариантов решения (правильных и неправильных). Ценность решения по предлагаемой модели зависит также от вероятностей указания в нём правильной и неправильной частей решения. Сделан вывод, что ценность сложного знания растёт тем больше, чем полнее это знание или ценность каждого нового правильного элемента знания существенно больше ценности предыдущего правильного элемента. В традиционных методиках оценивания эта зависимость имеет линейный вид, в нашем случае зависимость имеет общий вид, сходный с экспоненциальной зависимостью. На основе общей модели оценивания разработаны частные модели оценивания решений разработанных интеллектуальных форм.

4) Разработаны алгоритмы интеллектуальной поддержки решений по направлениям синтеза новых решений ИПР-С, анализа принятых ранее решений ИПР-А и обучения принятию решений ИПР-О. Алгоритмы основываются на разработанных моделях описания и оценки решений, сочетают в себе универсальность с комплексным учётом элементов, присущих реальному решению: правильных, неправильных, противоречивых и нечётких. Алгоритмы адаптированы к уровню их восприятия ЛПР.

212

5) Разработанные алгоритмы ИПР могут быть применены для планирования, анализа решений и обучения принятию решений, в частности, в автоматизированных комплексах поддержки решений.

6) В ГПС предложенные разработки применены для создания оперативных планов пожаротушения, разработки и проведения деловых игр по тактике пожаротушения и юридической (дознавательской) деятельности ГПС. Также целесообразным для ГПС представляется применение данных разработок для анализа боевых действий подразделений на крупных пожарах и обучения принятию решений личного состава ГПС. Применение предложенных разработок приводит к повышению качества решений через повышение профессиональной квалификации личного состава ГПС, что обеспечивает в конечном итоге повышение уровня пожарной безопасности на территории РФ - конечной цели деятельности ГПС.

1. Eom S.B. decision support systems research: reference disciplines and a cumulative tradition. - The 1.ternational Journal of Management Science, 23, 5, October 1995, p. 511-523.

2. Ларичев О.И., Мошкович E.M. Качественные методы принятия решений. М., Наука. Физматлит. 1996.

3. Simonovic A., Slobodan P. Decision support for sustainable water resources development in water resources planning in a changing world. -Proceeding of International UNESCO symposium, Karlsruhe, Germany, p. III. 3-13, 1994.

4. Ginzberg M.J., Stohr E. A. A decision support: Issues and Perspectives. -Processes and Tools for Decision Support. Amsterdam, North holland Publ. Co, 1983.

5. Шаршанов А.Я. Использование программного обеспечения при обучении пожарной тактике. // Крупные пожары: предупреждение и тушение. Материалы XVI научно-практической конференции. ФГУ ВНИИПО МВД РФ. Часть 2, стр. 485-487.- М., 2001.

6. Моделирование пожаров и взрывов. Под ред. Н.Н. Брушлинского, А.Д. Корольченко, Ассоциация «Пожнаука», 1998.

7. Стоянов А.Ф., Елизаров А.В. Численное моделирование распространения дыма при пожаре в помещении. // Материалы XV научно-практической конференции «Проблемы горения и тушения пожаров на рубеже веков» ВНИИПО МВД РФ. Часть 1, стр. 19-20. М.,1999 г.

8. Логачёв Е. Н., Исхаков Х.И. Модель пожара автотранспортного средства для перевозки топлива. // Крупные пожары: предупреждение и тушение. Материалы XVI научно-практической конференции. ФГУ ВНИИПО МВД РФ. Часть 1, стр. 80-81.- М., 2001.

9. Брушлинский Н.Н. Системный анализ деятельности государственной противопожарной службы. МИНЬ МВД России. 1998 г.

10. Брушлинский Н.Н. Моделирование оперативной деятельности пожарной службы. М. Стройиздат, 1981 г. 96 с.

11. Брушлинский Н.Н., Козлачков В.И., Семиков В.Л. и др. Игровое моделирование и пожарная безопасность: Учебное пособие/ Под ред. Н.Н. Брушлинского. -М.: Стройиздат, 1993. 272 е.: ил.

12. Трахтенгерц Э.А. Повышение надежности последовательно-параллельного проектирования сложных технических объектов. АиТ, № 5, 1994, с. 128157.

13. Трахтенгерц Э.А. Особенности построения системного программного обеспечения в распределенных системах автоматизации проектирования сложных технических объектов. АиТ № 11, 1994.

14. Дамир Абдрахимов, Артур Иоффин. Универсальная информационно-аналитическая система (ИАС) поддержки принятия решений "ОЦЕНКА и ВЫБОР".// Softel: 100 компьютерных программ для бизнеса, стр. 156-165, издательство "ХАМТЕК ПАБЛИШЕР".

15. Simon Н.А. The new science of management decision. Englewood Cliffs, N.J., Prentice Hall Inc., 1975.

16. Моисеев Н.Н. Предисловие к книге Орловского С.А. Проблемы принятия решений при нечеткой исходной информации. М., Наука. 1981.

17. Ларичев О.И. Объективные модели и субъективные решения. М., Наука. 1987.

18. Брушлинский Н.Н. Системный анализ деятельности государственной противопожарной службы. МИЛЬ МВД России. 1998 г.

19. Брушлинский Н.Н. Моделирование оперативной деятельности пожарной службы. М. Стройиздат, 1981 г. 96 с.

20. Брушлинский Н.Н., Козлачков В.И., Семиков В.Л. и др. Игровое моделирование и пожарная безопасность: Учебное пособие/ Под ред. Н.Н. Брушлинского. М.: Стройиздат, 1993. 272 е.: ил.

21. Денисов А.Н. Моделирование сосредоточения и введения сил и средств для планирования боевых действий пожарных подразделений при пожарах в резервуарных парках. Диссертация на соискание учёной степени к.т.н., Академия ГПС МВД России, 2001 г.

22. Богуславский Л.Б., Дрожжинов В.И. Концепция применения ЛВС MAP/TOP для комплексной автоматизации предприятий и учреждений. -Научно-технический прогресс в машиностроении. Вып. 11. М. 1989. с. 4-66.

23. Cryal S., Worrest R. Expert system applications to netwirk management. Expert Systems Applications to Telecommunications. New York, v.l, p. 3-44. 1988.

24. Wagner С. Facilitating space-time differencies, group heterogenety and multysensory task work through a multimedia supported group decision system. -Decision Support Systems v. 15, p.197-210, 1995.

25. Попов Э.В., Фоминых И.Б., Кисель Е.Б., Шапот М.Д. Статистические и динамические экспертные системы. М., Финансы и статистика. 1996.

26. Макроум Б. Макетирование моделированием. PC Magazine. Russian edition. №9, 1996, с. 120.

27. Трахтенгерц Э.А. Компьютерный анализ в динамике принятия решений. -Приборы и системы управления. № 1, 1997, с. 49-56.

28. Трахтенгерц Э.А. Построение распределенных систем группового проектирования. АиТ, № 9, 1993, с. 154-174.

29. Franclin J.E., Carmody C.L., Keller К., Levit T.S., Butean B.L. Expert system technology for molitary selected samples. Proc. IEEE, oct. v. 76, № 10, 1988.

30. Трахтенгерц Э.А. Методы генерации, оценки и согласования решений в распределенных системах поддержки принятия решений. АиТ, № 4, 1995, с. 3-52.

31. Гридин В.Н., Михайлов В.Б. Пакет программ схемотехнического проектирования аналоговых СВЧ-схем. Автоматизация проектирования. № 2, 1997, с. 9-15.

32. Суржик С. В. Использование ЭВМ при обучении теории вероятностей. // Деловые игры и методы активного обучения. Межвузовский сборник научных трудов. Челябинский государственный технический университет. Челябинск. 4.2. 1992.

33. Деловые игры и методы активного обучения. Межвузовский сборник научных трудов. Челябинский государственный технический университет. Челябинск. 4.1, 4.2. 1993.

34. Деловые игры и методы активного обучения. Межвузовский сборник научных трудов. Челябинский государственный технический университет. Челябинск. 4.1,4.2. 1995.

35. Лазарева Г. В., Турковская М. Б. Повышение эффективности компьютерных обучающих программ. // Деловые игры и методы активного обучения. Межвузовский сборник научных трудов. Челябинский государственный технический университет. Челябинск. 4.1. 1993.

36. Кручинин В. В. Разработка компьютерных учебных программ. Томск. Издательство Томского государственного университета. 1998.

37. Лущеев В. И. Конструктор обучающих программ КОП. Инструкция по эксплуатации. Омский юридический институт. 1996.

38. Диалоговая информационно-обучающая адаптивная система АДОНИС. Руководство по эксплуатации. НПК «Файл». 1989.

39. Ахметьев М. А., Соппа М. С. Автоматизированная система АДОНИС и её применение. Новосибирск, 1998.

40. Адаптивная диалоговая информационная система АДОНИС. Руководство пользователя. Версия 1.3. М. Научно-техническая фирма «Росфайл». 1992.

41. Деловые игры и методы активного обучения. Межвузовский сборник научных трудов. Челябинский государственный технический университет. Челябинск. 4.1,4.2. 1992.

42. Геронимус Ю.В. Игра, модель, экономика. М.: Знание, 1989. - 208 с.

43. Грэм Р., Грэй Р. Руководство по операционным играм. М.: Советское радио, 1977. - 376 с.

44. Гидрович С.Р., Сыроежкин И.М. Игровое моделирование экономических процессов (деловые игры). М.: Экономика, 1976. - 117 с.

45. Платов В.Я., Подиновский В.В., Вельский А.А. Деловые игры по охране труда в строительстве. М.: Стройиздат, 1987. - 203 с.

46. Екатеринославский Ю.Ю. Управленческие ситуации: анализ и решения. -М.: Экономика, 1988. 191 с.

47. Поль де Брюйи. Подготовка кадров для управления предприятиями. М.: Прогресс, 1968 г. 130 с.

48. Анализ конкретных ситуаций в управлении производством. М.: Прогресс, 1978.-300 с.

49. Конкретные ситуации изучающим курс «Труд руководителя». М.: Экономика, 1976. - 182 с.

50. Брянский Г.А., Разу M.JL, Овсянников О.А. Хозяйственные ситуации. М.: Экономика, 1983. - 128 с.

51. Платов В.Я., Подиновский В.В. Деловая игра как метод активного обучения профсоюзных кадров. Учебное пособие. -М.: ВЦСПС, 1987. 121 с.

52. Комаров В.Ф. Управленческие иммитационные игры. Новосибирск: Наука. Сиб. отделение, 1989. 272 с.

53. Альтшуллер Г.С. Алгоритм изобретения. М.: Московский рабочий, 1977. -296 с.

54. Буш Г. Рождение изобретательских идей. Рига: Лиесма, 1976. — 176 с.

55. Джонс Д.К. Инженерное и художественное конструирование.// Современные методы проектного анализа: Пер. с. англ. М.: Мир, 1976, -374 с.

56. Половинкин А.И. Основы инженерного творчества. М.: Машиностроение, 1988.-367 с.

57. Лифшиц А.Л. Деловые игры в управлении. Л.: Лениздат, 1989. - 172 с.

58. Бешелев С. Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. -М.: Экономика, 1976. 130 с.

59. Борисова Н.В., Соловьёва А. А. Игра в обучении лекторов. М.: Знание, 1984.-64 с.

60. Юрченко В. В. Методы искусственного интеллекта и экспертные системы. М. 1992.

61. Калошина И. П. Последняя теорема Ферма в моделях искусственного интеллекта. М. 1995.

62. Рейтман У. Р. Познание и мышление. Моделирование на уровне информационных процессов. М. МИР. 1968.

63. Интеллектуальные процессы и их моделирование. Организация движения. Сборник научных трудов. АН СССР. Отделение информатики, вычислительной техники и автоматизации. Институт проблем передачи информации. Отв. редактор А. В. Чернавской. М. Наука. 1991.

64. Непрерывно-логические системы, модели и алгоритмы. Труды международной научно-практической конференции: «Непрерывно-логические и нейронные сети и модели». Ульяновск. 1995.

65. Гаврилова Т. А., Зудилова Е. В., Ильясов М. 3. Интеллектуальные и обучающие системы. Санкт-Питерсбургский Государственный технический университет. СПб. 1996.

66. Минский М. Фреймы для представления знаний. М. МИР. 1979.77.3аде J1. А. Понятие лингвинистической переменной и его применение к принятию приближённых решений. М. МИР. 1976.

67. Кондрашина Е. Ю., Литвинцева Л. В., Поспелов Д. А. Представление знаний о времени и пространстве в интеллектуальных системах. М. Наука. 1989.

68. Панфилов С. А. Контроль знаний на ЭВМ. Саранск. Мордовский университет. 1989.

69. Богданов Ю. В. О сущности понятий и количественной оценке содержательности и ценности информации. Научно-техническая информация. Серия 2. Издательство ВИНИТИ. 1974. № 3. с. 1-6.

70. Свиридов А. П. Основы статистической теории обучения и контроля знаний. М. Высшая школа. 1981.

71. Евграфов П. М. Анализ объективности методов оценивания сложных знаний. О вероятностной методике оценивания знаний психологически понятийной структуры. // Информационные технологии. №5. 2002 г.,стр. 3438.

72. Евграфов П. М. Философия выбора универсального критерия ценности сложных знаний. // Научно-техническая информация. Серия 1. Издательство ВИНИТИ. 2002 г. № 2. с. 16-18.

73. Евграфов П. М. Основания вероятностного подхода к процессу приобретения и оцениванию сложных знаний. // Научно-техническая информация. Серия 2. Издательство ВИНИТИ. 2002 г. № 5. с. 1-5.

74. Евграфов П. М., Способ оценки знаний и интеллектуальных возможностей. Решение о выдаче патента на изобретение от 14.01.03 по заявке на изобретение России № 2001115884 от 15.06.01.

75. Пранов Б.М. О моделях оптимального распределения ресурсов пожарной охраны.// Опасные факторы пожара и противопожарная защита: Сб. науч. трудов. М, ВИПТШ МВД СССР, 1989, с. 197-200.

76. Кун Т. Структура научных революций. М., Прогресс. 1977.

77. Slovic P., Fichhoff В., Lichtenstein S. Behaviorial decision theory. Annu. Phychol. Rev. vol. 28, 1997.

78. Поспелов Д.А., Пушкин B.M. Мышление и автоматы. М., Советское радио. 1972.

79. Саати Т. Принятие решений. Метод анализа анархий. М., Радио и связь. 1993.

80. Бурков В.Н., Еналеев А.К., Новиков Д.А. Механизмы функционирования социально-экономических систем с сообщением информации АиТ, № 3, 1996, с.3-25.

81. Евграфов П. М. Новое в идеологии построения контрольно-обучающих компьютерных систем. // Научно-техническая информация. Серия 2. Издательство ВИНИТИ. 2002 г. № 1. с. 1-3.

82. Евграфов П. М. О применении метода психологического моделирования в контрольно-обучающих программах и в психометрических тестированиях интеллекта. // Научно-техническая информация. Серия 1. Издательство ВИНИТИ. 2002 г. № 4. с. 15-18.

83. Евграфов П. М. Вероятностный подход к приобретению и оцениванию сложных знаний. Применение в компьютерном обучении и тестировании. // Научно-техническая информация. Серия 2. Издательство ВИНИТИ. 2002 г. № 7. с. 1-4.

84. Вентцель Е. С. Исследование операций. М. 1972.