автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Методы и модели принятия решений в информационных системах управления при оценке качества программных средств

На правах рукописи

Долгирев Дмитрий Валерьевич

МЕТОДЫ И МОДЕЛИ ПРИНЯТИЯ РЕШЕНИЙ В ИНФОРМАЦИОННЫХ СИСТЕМАХ УПРАВЛЕНИЯ ПРИ ОЦЕНКЕ КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ

Специальность 05 13 06 - «Автоматизация и управление технологическими процессами и производствами (технические системы)»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт - Петербург 2005

Работа выполнена на кафедре «Вычислительные системы и информатика» в Санкт Петербургском государственном университете водных коммуникаций

Научный руководитель

Официальные оппоненты

доктор технических наук, и.о. профессора В.Д. Гаскаров

доктор технических наук,

профессор

E.H. Климов

кандидат технических наук, доцент

Татарникова Т.М.

Ведущая организация Холдинговая компания

«Ленинец»

Защита состоится 30 июня 2005 г В 11— часов в ауд. 455 на заседании диссертационного совета Д223 009 03 при Санкт Петербургском государственном университете водных коммуникаций по адресу 198035 Санкт - Петербург, ул Двинская д. 5/7.

С диссертацией можно ознакомиться в библиотеке университета.

f

Автореферат разослан « » мая 2005 i

Ученый секретарь диссертационного совета д т н , профессор

Ю М Кулибанов

'ИЬЧЪёб-

Общая характеристика работы

Актуальность темы. Среди различных областей применения матема-шческих методов и средств вычислительной техники имеется одна, которая с точки зрения человеческой деятельности является крайне важной. Эта область принятий решений в ситуациях, когда последствие результатов выбора определенного курса действий могут быть очень серьезными Назовем принятием решений особый вид человеческой деятельности, состоящий в выборе одного из нескольких вариантов решений Каждый, кто палкивался с таким выбором при принятии деловых или личных решений, зпает, сколь он сложен и сколько умственных усилий он требует. Любые методы, которые помогают человеку лучше понять, что он хочет и что у него есть, которые помогаю ! оценить с единых позиций желаемые цели и имеющиеся ресурсы, являются не только полезными, но иногда и просто неоценимыми.

Методы, помогающие в принятии решений, длительное время были предметом внимания как практиков, так и теоретиков Над такими методами работали многие экономисты, специалисты по государственному (административному) управлению, юристы, военные.

Однако только в последние десятилетия возникло научное направление, для которого центральными являются вопросы о гом, как человек принимает решения и как ему можно и нужно помогать в сложных задачах выбора Проблемы принятия решений ставится и рассматривается с единых позиций, в независимости от областей конкретного приложения Такая постановка вопроса вполне оправдана, так как уже накопилось не мало доказательств того, что существуют общие черты и характеристики поведения людей при принятии экономических, политических, социальных, технических решений Общность поведения людей и общность фебования к их поведению обусловливают единые методологические задачи, которыми и занимаются теория принятия решений

Всякое новое научное направление возникает на базе чего-то уже известного и, как правило, связанно

: Несомненна

БИБЛИОТЕКА } 3 СИ

о»

—ттт^тШЖ»

связь принятия решений с исследованием операций, кибернетикой, искусственным интеллектом В тоже время принятие решений имеет свои, отличные от прочих направлений задачи и свою логику развитая В связи с этим тема диссертации следует признать безусловно актуальной.

Целью диссертационного исследования является обобщение и разработка теоретических аспектов и математико-алгоритмических основ с созданием формализованной среды для решения задач принятия решений о качестве программных средств в рамках автоматизированных информационных систем.

Для достижения сформулированной цели решаются следующие задачи

1 Классификация задач принятия решений с разбиением их на многокритериальные задачи с объекжвными и субъективными моделями

2 Обобщение иерархических моделей для прогнозирования принимаемых решений с оценками элементов иерархии, с различным числом и составом альтернатив, с методом попарного сравнения динамических предпочтений

3 Адаптация алгоритмов расчета динамики приоритетов и прогнозирования динамики приоритетов на основе метода анализа иерархии к решению задач принятия решений

4 Использование интеллектуальной поддержки систем принятия решений для потенциально алгоритмизированных систем.

5 Разработка объектно-ориентированной сис:емы поддержки принятия решений и проектирования информационных систем с использованием поддержки в виде ецедентов

6 Аш оритмизация принятия решений по результатам испытаний защищенных программных средств в условиях неопределенности (по нечисловой информации) с использованием функций полезности Объектом исследования является информациошше сис!емы поддержки принятия решений и оценки контроля качес гва программных средств с их математическим, алгоритмическим и информационным обеспечением

Предметом исследования являются методы, и методики и алгоритмы принятия решений в разнообразных случаях, в частности, в оценке качества программных средств

Методы исследования. Методической основой и общетеоретической базой исследования являются теория исследования операций, математическое программирование, системный анализ, структуризация иерархических систем, дискретная математика, теория нечетких множеств, теория выбора в условиях приоритетов и др

Научная новизна полученных результатов заключается прежде всего в следующем:

— - сформированы рекомендации по разделению задач принятия решений

на многокритериальные задачи с объективными и субъективными моделями;

— предложено для динамических ситуаций для принятия решений использовать иерархические модели с целью прогнозирования в том числе с оцениванием элементов иерархии, с неопределенным составом альтернатив, с технологией попарного сравнения динамических предпочтений;

— разработано алгоритмическое обеспечение определения и прогнозирований динамики приоритетов на основе метода анализа иерархии,

— использована интеллектуальная поддержка систем объектно-ориентированного принятия решений и для потенциально алгоритмизируемых систем;

— разработано информационная поддержка проектирования систем принятия решений на основе прецедентов (прообразов),

— алгоритмизирован процесс принятия решений по результатам испытаний защищенных программных средств нечеткой информации Практическая ценность. Результаты диссертационного исследования

позволяет решать задачи принятия решения о качестве создаваемого информационного продукта (программных средств) для разнообразных условий,

различного рода ограничений и слабоструктуризированных образований Для чего разработаны методы, методики, алгоритмы и программные средства применительно к практическому использованию

11редложенные методические рекомендации апробированы и внедрены на ряде предприятий ГУЛ СЦПС «Спектр» и др

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на следующих Международных и Всероссийских научно-технических конференциях и семинарах 1-я Межвузовская науч -техн конф «Новые информационные технологии в деятельности правоохранительных органов» СПб 1995; Республиканская научно-техническая конференция «Методы и технические средства обеспечения безопасности информации» СПб 1995, Республиканская научно-техническая конференция «Методы и технические средства обеспечения безопасности информации» СПБ 1995, Науч -техн конф «Методы и технические средства обеспечения безопасности информации» СПб 1997, С -Петербургский межведомственный семинар «Проблемы безопасности программного обеспечения зарубежного производства» СПБ 1997, 9-я Межвузовская научно-техническая конференция «Военная радиоэлектроника опыт использования и проблемы, подготовка специалистов» Петродворец 1998, IV Санкт-Петербургская международная конференция «Региональная информатика-98» Саню - Петербург, 2-4 июня 1998г, Научно-техническая конференция «Методы и технические средства обеспечения безопасности информации» С -Петербург 1998, Международная конференция «Региональная информатика» Санкт-Петербург 2001; Международная конференция «Peí иональная информатика» Санкт-Петербург 2002, Научно-техническая конференция ФГУП «НИИ «Вектор» С - Петербург, 2005; Научно-практическая конференция «Информационная безопасность регионов России» СПб, 2005

Публикации. По теме диссертации опубликованы, учебное пособие, статьи и тезисы докладов в количестве 17 печатных работ

Структура работы. Диссертация состоит из введения, пяти глав, заключения и списка литературы

Основное содержание работы Во введение дано обоснование актуальности темы диссертационной работы, сформулированы цель и задачи исследования, описана научная новизна и практическая ценность работы Содержится информация об апробации работы

В первой главе рассмотрена проблемная область принятия решений в случае многокритериальных задач.

Научное направления принятия решений сопоставимо с хорошо известной научной дисциплиной - исследованием операций Основным объектом исследования в данной области являются нормативные методы принятия решений Именно наличие 1аких методов оправдывает право этой области на самос гоятельное существование

При классификации проблем принятая решений выделяются некоторые характеристики Первой 1акой характеристикой является наличие (или отсутствие) объективной количественной модели, причем качество полученного решения оценивается но многим критериям Второй характеристикой являются требования, предъявляемые к виду окончательного решения Третья важная характеристика связана с тем, насколько нова рассматриваемая проблема для лица, принимающего решения (ЛИР) Проблема может быть новой для ЛПР или повторяющейся

По информированности лица, принимающего решения, проблемы принятия решений разделяются на два существенно различающихся класса -проблемы, где ЛПР может сам быть экспертом (сам может оценить варианты решений как в целом, так и по отдельным критериям), и проблемы, где роли ЛПР и экспер юв существенно оишчаются

Для проблем первого класса характерно наличие у ЛПР целостного представления об альтернативном варианте целостного образа «кластера» Если проблема знакома ЛПР, го он уверенно использует набор кластеров в ходе ее

решения Для таких проблем полезность применения методов принятия решений состоит прежде всего в систематизации работы ЛПР, организации процесса сбора и подготовки информации В то же время роль методов принятия решений в самой оценке альтернатив ограничена, так как человек, основываясь на своем целостном восприятии альтернатив, может вмешиваться в формальный процесс оценки, предугадывать его результат, учитывать дополнительные нюансы при более детальном анализе Многие проблемы такого типа встречаются, например, при выборе пользователем метода защиты информации Назовем этот класс проблем проблемами целостного выбора

Проблемы второго класса характерны для тех случаев, когда ЛПР сам по себе не обладает информацией, достаточной, чтобы иметь представление об альтернативах Для получения такой информации необходима помощь экспертов, обладающих специальными знаниями ЛПР определяет состав параметров (критериев), характеризующих его отношение к рассмаприваемой проблеме, строит решаюшее правило Но ЛПР не имеет целостного пред-аавления об альтерпативе до начала процесса выбора оно возникает у него лишь как совокупность опенок альтернативы по многим критериям Примером таких проблем является выбор проектов сложных социально-технических систем Назовем проблемы этого класса проблемами критериально-экспертного выбора Все эти ситуации приведены в табл 1

Таблица 1

Тип модели Тип решения Критериально-экспертный выбор Целостный выбор

Объективная Уникальные А Б

модель при мно- решения

гих критериях Повторяющиеся решения В Г

Субъективная Уникальные Д Е

модель решения

Повторяющиеся к М

решения

Существует класс многокритериальных задач с объективными моделями это многокритериальные задачи математического программирования При-

чиной такого внимания является широкая распространенность этих задач они встречаются при обосновании экономических, организационных и технических решений

Для решения многокритериальных задач математического (чаще - линейного) программирования применяется подход, основанный на идее выявления предпочтений одновременно с исследованием допустимого множества действий для отыскания эффективных решений Средством реализации такого подхода являются человеко-машинные (4M) процедуры, которые называют также интерактивными, диалоговыми

Объектом применения большинства рассматриваемых ЧМ-нроцедур является следующая задача многокритериального линейного программирования

Найти вектор х = (хь , х„)т принадлежащий области £>= {Ах=Ь х, >0, i=l, ,п} (где А -/>хп-матрица, b -р-вектор) и максимизирующий или минимизирующий совокупность целевых функций

п

¡=1

при наиболее предпочтительном соотношении между их значениями в точке решения Это требование означает в множестве Xэффективных (парето-оптимальных) решений следует отыскать решение х*, соответствующее экстремуму априорно неизвестной функции полезности ЛПР.

х* = arg шах V(z)

где г = (Ci(x:*), ,cN(x*))

Как уже говорилось, т1М-процедура состоит из чередующихся фаз анализа и оптимизации Фаза может включать в себя несколько шагов

Фаза оптимизации ЭВМ. А) используя полученную от ЛПР на предыдущем шаге информацию I "'лир, формирует новую область допустимых решений D', Б) вычисляет соответствующее новым данным решение х' (вместе

с характеризующим его вектором г1); В) вырабатывает вспомогательную информацию / ЭВМ

Фаза анализа ЛПР' Г) Оценивает предъявленное решение (или несколько решений) и определяет, является ли оно приемлемым Если да, то процедура окончена; в противном случае анализирует вспомогательную информацию I эвм, Д) сообщает дополнительно информацию / 'лпр, с помощью которой можно вычислить новое решение х1*1.

Эффективность ЧМ-процедуры зависит и наибольшей степени от характера взаимодействия ЛПР и ЭВМ, выражаемого в количестве и качестве информации /дпр И /')ВМ

Далее в главе рассматриваются прямые ЧМ-процедуры и входящие в них - процедуры оценки векторов (альтернативных принятий решений), процедуры поиска удовлетворительных значений критериев Подробно рассматривается 3 многокритериальная задача о назначениях с определенной долей формализации решений

Последний параграф целиком посвящен решению многокритериальных задач с субъективными моделями (аксиоматические методы, прямые методы, методы порогов сравнимости, метод непосредственной классификации, метод ЗАПРОС - методы даны в виде вербального описания)

Во второй главе исследуются иерархические модели для прогнозирования принимаемых решений.

Для оценки альтернатив по критериям используются три метода сравнения, которые применимы для задач со статическими оценками'

1 Метод парного сравнения;

2 Метод сравнения альтернатив относительно стандартов;

3 Процедура линейного нормирования количественных величин

При исследовании систем, предпочтения по критериям в которых изменяются с течением времени, применяются еще два метода 1 Метод попарного сравнения динамических предпочтений экспертов,

2 Метод попарного сравнения динамических предпочтений с улучшепием согласованности вводимой экспертами информации Применение метода анализа иерархий начинается с построения иерархической структуры задачи принятия решений, которая включает цель, расположенную в ее вершине (фокусе иерархии), промежуточные уровни (например, критерии) и альтернативы, формирующие самый нижний иерархический уровень

Рассмотрим в общем виде пример формирования матрицы парных сравнений

Пусть А - множество из п элементов (альтернатив) и и, VI,.. у„

- соответственно их веса или интенсивности Сравним попарно вес или интенсивность каждого элемента с весом или интенсивностью любого другого элемента множества по отношению к общему для них свойству или цели (по отношению к элементу - «родителю») В этом случае матрица парных сравнений [А] имеет следующий вид

Л 4

4 V А У А У А

л V А V /ь V /V*

А V7 V /У2 V

Матрица парных сравнений обладает свойством обратной симметрии, то есть ац= 1 /ал, где ач-ц/ц

При проведении парных сравнений и при заполнении матриц следует отвечать на следующие вопросы

- какой из двух сравниваемых элементов (программ) важнее или имеет больше воздействие (более защищена)1?

- какой из двух сравниваемых элементов (программ) более вероятен'?

- какой из двух сравниваемых элементов (программ) предпочтительнее?

- какова эта предпочтительность? Ранжирование элементов, анализируемых с использованием матрицы парных сравнений [А], осуществляется на основании правых собственных векторов, получаемых в результате обработки матриц

Правый собственный вектор ]У положительной квадратной матрицы \А] можно найти в результате решения уравнения-

АЛУ= •кпаЦР

где максимальное собственно значение матрицы [А]

Для положительной квадратной матрицы [А] правый собственный вектор IV, соответствующий максимальному собственному значению с точностью до постоянного множителя С можно вычислить по формуле

иш =с-у,

к~™еТ\А[-е

где е {1,1,1, ,1}Т- единичный вектор, к~ 1,2,3 - показатель степени, С-константа, Т- знак транспонирования

Вычисления собственного вектора IV по выражению (2 5) производятся шерационным методом до достижения заданной точности.

где I - номер итерации , такой, что 1=1 соответствует к-1, 1^2, к-2, 1~3, к 4 и т д , допустимая погрешность

С достаточной для практики точностью можно принять £=0 01 независимо от порядка матрицы

Максимальное собственное значение для оценки однородности суждений вычисляется по формуле

Векторы приоритетов вычисляются для всех элементов иерархии, где применен метод парных сравнений, взвешивая «потомков» по отношению к «родителям»

Рассмотрим методику определения вектора приоритета альтернатив для случая, когда иерархия имеет один уровень критериев, объединенных фокусом и разное количество альтернатив, связанных с каждым критерием Методика предполагает выполнение ряда процедур по структурированию информации и проведению вычислительных операций

Процедура 1 Исходная проблема структурируется в виде иерархии, устанавливающей взаимосвязь между множеством альтернатив {А\у42, /I,} и множеством критериев {К1Д2, ,КР}, где г - множество альтернатив, а р количество критериев

Процедура 2 На основе иерархической структуры определяется бинарная матрица [В], устанавливающая шаг соответствия между альтернативами и критериями Матрица [В] содержит элементы Ьч = {0,1} При этом, если альтернатива А, оценивается по критерию К], то Ьц = 1, в противном случае

Ь9 = 0.

Процедура 3 Осуществляется экспертная оценка альтернатив по соответствующих критериям Для этой цели используется метод попарного сравнения, метод сравнения относительно стандартов или метод копирования На основе экспертных оценок с учетом матрицы [В] строится матрица [А] следующего вида

К2 К?

А ап «12 • %

А2 а2\ а22 •

А ап аг2 . ■ %

В матрице [А] экспертные оценки {яу} представляют собой приоритета альтернатив относительно критериев К] 11ри этом, если альтернатива А, не оценивается по критерию К„ то в матрице [А] соответствующее значение ац - 0 Столбцы в указанной матрице имеют различное число ненулевых значений йГу и могут быть нормированными или ненормированными в зависимости от используемого метода сравнения альтернатив

Процедура 4 В результате обработки матрицы парных сравнений критериев К, определяется нормированный вектор приоритетов критериев х Процедура 5 Формируются матрицы [Б] и [Ь]. Рассмотрим физический смысл упомянутых матриц Матрица [Б] имеет вид

(|л>г

к.

к

о

<&а»г

;=1

где ац - значения приоритетов альтернатив из матрицы [А]

С помощью матрицы [Б] обеспечивается нормирование векторов приоритетов альтернатив, образующих матрицу [А], если последняя заполнена методом сравнения относительно стандартов или копирования без предварительного нормирования

Матрица [Ь] имеет вид

м-

Кг К.

щ/и о

о

2 о

о

Кр

о о

Г1

где К, - число альтернатив Ач, находящихся под критерием Кч, N = ^ Я

1=1

общее число альтернатив, находящихся под всеми критериями.

Использование структурного критерия Ь позволяет эксперту или ЛПР изменять при необходимости веса альтернатив, связанных с соответствующими критериями пропорционально отношению /^/К1 Этим обеспечивается повышение приоритета альтернатив, образующих большие группы и снижение приоритета альтернатив в группах с их относительно небольшим числом

Далее в главе рассматривается метод сравнения динамических предпочтений, когда ряд факторов, влияющих на принятие решений меняются со временем, алгоритм расчета динамики приоритетов, а также метод согласованности экспертных суждений

В третьей главе исследуются вопросы интеллектуализации систем поддержки принятия решений Прежде всего излагаются основы формализации процесса принятия решений

Процесс принятия решений в организационной системе управления содержательно представляет собой выбор определенного варианта из числа альтернативных вариантов В качестве области возникновения альтернатив ограничиваемся рассмотрением так называемых потенциально алгоритмизируемых защищенных систем (ПАС)

Математической моделью ПАС можно считать совокупность

71:-(К,Я,Ф,а,0) (1)

где К - коллектив алгоритмов, Я - перечень ресурсов, расходуемых при выполнении операторов (шагов) алгоритмов коллектива, Ф - набор функций, описывающих расход каждого из ресурсов, указанных в И, при выполнении каждого шага алгоритмического процесса, О - совокупность ограничений, налагаемых на расход системой к каждого из ресурсов и на систему п в целом, П - средства (меюды) защиты ПАС

Функциональная структура СППР схематически изображена на рис 1 Эта структура предусматривает наличие блоков ведущий блок (ВБ); блок диалога (БД), блок протоколирования диалога (БПД), блок управления фондом сценариев диалога (УФС), блок управления библиотекой служебных программ (УБСП), блок управления фондом объектных моделей (УФОМ), блок управления фондом нормативов (УФН), блок «рабочее поле» (РП), блок исполнения работ (ВИР), блок выдачи таблиц и графиков (БВТГ); блок поддержки системы, т с «хаускиппинга» (БХ)

Как легко видеть, программные средства СППР не сводятся к функциональным блокам Служебные нро]раммы, такие как трансляторы, редакти-

рующие программы и т п хранятся в БСП Кроме того, некоторые програм мы, являющиеся объектными (описывающими функционирование ПАС), мо гут содержаться в ФОМ Чисто информационными являются ФС, ФН и БП

I_

1 Ведущий блок (ВБ) ^__

И

2 Ьлокдишю1а (БД)

I

3 Блок протоколирования диалога (БПД)

3' Банк протоко-тов (БП)

и

4 Блок управления фондом сценариев диалога (УФС)

4' Фонд элементарных сценариев диалог (ФС)

5 Блок управления библиотекой служебных программ

(УБСП)

I

5'. Библиотека служебных программ (БСП)

6. Блок управления фондом объектных моделей (УФОМ)

6'. Фонд объектных моделей (ФОМ)

11 Блок хаускиппинга (БХ)

7. Блок управления фондом нормативов (УФН)

7' Фонд нормативов (ФН)

8 Рабочее поле (РП)

9 Блок исполнения работы (БИР)

] 0 Блок выдачи таблиц и графиков (БВ'1 Г)

Рис 1 Функциональная структура интеллектуализированной СППР Разрабатываемые в рамках искусственною инлеллекта концепции оказываются плодотворными для СППР, позволяя системе демонстрировав ин-¡едлек!уальные черты при выполнении на рабочем месте функций интеллектуального ассистента, тем самым, обеспечивая ей широкое внедрение во многих областях человеческой деятельности Введение в СППР базы знаний позволяет использовать различные типы знаний для решения слабоформали-зуемых задач.

Форма представления знаний оказывает сушес!венное влияние на характеристики и свойства интеллектуальной системы и зависит от специфики решаемой задачи В системе представления знаний выделяют собственно знания о предметной области и знания о том, как использовать знания о предметной области (ПО) в процессе функционирования системы

Поэтому разработка базы знаний ИООСППР требует решения ряда новых задач, к числу которых, кроме задачи объектного представления знаний, относится разработка методики решения слабоформализуемых задач с использованием и шелл актуальных агентов В результате для представления предметных знаний ИООСППР используется объектно-реляционная модель, а для представления метазнаний объектно-продукционная модель, реализованные в соответствии с идеей агентно-ориентированного подхода, при котором знания связываются и представляются в виде когнитивного и реактивных агентов

Модель когнитивного агента формально определяется пятеркой

Аг= (2,

где 2 - множество входных сообщений, IV - множество выходных сообщений; - множество состояний когнитивного агента, соответствующее множеству ситуаций, которые зависят от состояний других агентов и их взаимосвязей, А-0 - начальное состояние, £Р система продукций, определяющая переходы агента из одного состояния в другое и формируемые при этом выходные управляющие сообщения

Решением проблемы организации базы предметных знаний ИООСППР является их объектно-реляционная модель, которая позволяет адекватно представить предметные знания, ассоциировав их с реактивными агентами, каждый из которых может быть задан следующим образом

где 2 - множество входных сообщений; IV - множество выходных сообщений, N - множество методов, определяющих реакцию на входные сообщения, 5д -множество состояний источника знаний обьекгно-реляционной базы

знаний, каждое из которых определяется набором атрибутов реактивного агента и их значениями

где /? - множество отношений, а С - множество значений множества атрибутов А

Таким образом, модель многоагентного решателя, функционирующего на основе целенаправленных проблемно-ориентированных рассуждений, структура которого приведена на рисунке 2, определяется пятеркой

МА$ = (АЗ, ЗА, РЗ, РЗ, Р), где АЗ - множество агентов; 5/1 - множество состояний решателя (ситуации), РЗ - множество базовых отношений между агентами, включающее горизонтальные отношения и межуровневые отношения, РЗ - множество действий агентов, Р - протоколы коммуникации (обязанности агентов) На рис 3 приведена структура ИСППР

В настоящее время для различных предметных областей разрабатывается большое количество информационных и автоматизированных систем управления Каждая такая система требует, как правило, больших затрат времени и ресурсов на создание программных объектов, из которых она состоит Поэтому организации и предприятия стараются привлечь к работе над проектами программных систем разработчиков с высокой квалификацией и большим опытом работы

Неоднократно показана необходимость соединения интеллектуальных средств поддержки принятия решений с С А ЯП-средствами, что позволит значительно повысить производительность труда разработчика автоматизированных систем управления Такие системы позволят использовать формализованный опыт разработок в предметных областях на основе корпоративных хранилищ знаний

Здесь необходимо помнить о понятии корпоративной памяти и способах формализации знаний, о преимуществах и недостатках каждого из способов, и о выборе наилучшего из них для представления знаний в СПГТР Метод

рассуждения на основе прецедентов (СВЛ-метод) выбирается за основу, и далее отрывается его теоретические и практические аспекты

Рис 2 Структура интеллектуального объектно-ориентированной системы поддержки принятия решений Прежде чем начать работу с автоматизированной системой, проектировщик должен уточнить приблизительный набор требований к информационной (концептуальной) модели предметной области, выражающийся в виде списка условий (ограничений) Каждому условию проектировщик должен приписать весовой фактор, т е числовое выражение значимости данного условия для принятия решения И чем больше оказывается весовой фактор, тем более значимым будет результат реализации данного условия в конкретной модели на возможность ее вхождения в список выбора адекватных моделей

Пуоъ у нас имеется два списка список моделей М и список условий Р, записанные в следующем виде

М-{МхМг, Мп} Р= {(р1,,(рк,м?к)} где~и>},ц>2, ,щ весовые факторы условий, ар\,рг,. предикаты, характеризующие условия Предикат это логическая функция, возвращающая 1 или 0 в зависимости от истинности условия Для расчета критерия подобия используем формулу

5 =

1=1

к

¡=1

Рассчитав по формуле значение Б для каждой модели, получим следующее множество

БМ= {йА-Л}

Рис 3 Архитектура СППР

Отсортировав в порядке убывания множество БМ, можно выбрать из начала множества, несколько наибольших значений Б, которые и будут представлять те модели предметной области (ПрО), которые наибольшей степени удовлетворяют условиям, заданным проектировщиком перед началом автоматизированного поиска Дня реализации в компьютере отсортированною списка ЯМ можно использовать очередь приоритетов

На рис 3 представлена архитектура СППР проектировщика информационных систем, состоящая из набора взаимодействующих между собой как показано на рис 3 функциональных модулей, решающих задачи функционирования программной системы

Далее в главе предлагается использовать нейронную сеть, реализующая алгоритм обучения без учителя и выполняющая кластеризация образцов, называющаяся самоорганизующейся картой признаков при решении задач проектирования и принятия решений Решается задача формирования элементов вектора обучения для некоторого набора информационных моделей Предложена информационная модель нейронной сети

В четвертой главе излагаются процедуры принятия решения по результатам испытания и оценки качества защищенных программных средств При разработке программных средств (ПС) специального назначения, ла во многих случаях и общего назначения, стоит проблема повышения эффективности приемочных испытаний и оценки качества защищенности ПС (ЗПС) Существуют методы планирования приемочных испытаний, оценки состоятельности и контрольных и демонстрационных примеров, методы и системы генерации тестов для контроля защищенности программ

Задача принятия решений по результатам испытаний ЗПС предназначена для построения системы поддержки принятия решений (СППР) в - человеко-машинной системе, помогающей ЛПР принимать решения по результатам испытаний и оценки качества ЗПС

и я

и р о о

•е-к я ы я

Ьр

и)

ё 3

О

я о 43

в

к к

•3

о с

п Й

-а

я гз

Ж а

■а

а>

Б

а> И

Классификация задач и операций процедуры принятия решений

ОПЕРАЦИИ ПРОЦЕДУРЫ ПРИНЯТИЯ РЕШ~ЕНИИ

Числовая

(объективная) модель

ЗПРо

защищенности

ПС

Нечисловая . (субъективная) модель

ОЦЕНКА ФОРМИРОВАНИЕ МНОЖЕСТВА ФОРМИРОВАНИЕ ПРАВИЛ ВЫБОРА

Числовая Нечисловая Критериев Ограничений Альтернатив

Ресурсов Критериев Альтернатив Ресурсов Крите- Альтер-риев |наггив

I

+ ! + +

+ + + + +

+ + +

+ + + + + +

+ + +

+ + + + + +

+ +

I

+ + + + + +

1 Анапитические расчеты 2 Имитационное моделирование 1 Экспертное оценивание 2 Оценивание с помощью лингвистических переменных 1 Морфологический анализ 2 "Мозговой штурм 3 Экспертное перечисление 1 Однокритериато»-ный вьбсре условиях определенности 2 Миогокрктериагь- ный выбор в условиях неопределенности 3 Выборе условиях рисе

Принципы инженерных методов реализации операций процедуры пртпия решен»

На рис. 4 приведены в общем виде классификация задач и операции процедуры принятия решений при различных вариантах условий и ограничений

Далее в работе рассматривается процессы выбора оптимальной стратегии с использованием четырех критериев' Вальда, Гурвица, Лапласа, Сэвид-жа

В задачах выбора решений в условиях неопределенности и риска частот используется понятие функции полезности Разработка методов оценки полезности основаны на следующих аксиомах предпочтительности, транзитивности, линейности и аддшивности

Опыт, накопленные при рассмотрении задач выбора решений в условиях определенности, неопределенности и риска, позволяет отметить, что среди важнейших проблем, связанных с этими задачами, следует выделить представление знаний о характеристиках защищаемых ПС и среды пользователей Сложность описания этих характеристик на естественном языке требует применения новых формальных методов и концепций принятия решений, в частности, теории нечетких множеств

Рассмотрим один из таких результатов на решения задачи примере оценки показателей качества защищенности ПС в нечеткой обстановке, кшда отсутствует общепринятая шкала измерений свойств, определяющих качество ПС

Для последовательности принятия решения о защищенности ПС и выделении подмножества реальных пользователей, у которых сопровождение данного ПС целесообразно, предлагается процедура, использующая метод построения размытой классификации

Шаг 1 Вычисляются значения априорных функций непринадлежности //(/) и не принадлежности //"(г) /-го пользователя (группы пользователей) к множеству Ар реальных пользователей защищаемого ПС-

) = М(а, бАр!2,{В))=\-с1,{В)1^с1ХВ\ МО) = М{а, * Ар = 1 -/,(*)/£/, (5),

I

где с/, (В) =

- мера сходства априорных оценок средних затрат на сопровождение ПС у го пользователя (группы пользователей), соответственно, с минимальными и

максимальными затратами, 2,(В) - вероятности средних ожидаемых затрат на сопровождение ПС у г-го пользователя, В - множество возможных исходов испытаний

Шаг 2 Пользователи а, (группы пользователей) упорядочиваются по убыванию значений I,(В) и определяется такой номер 1=к, для которого справедливы неравенства // (к-1)>/г(к-}). ¿и (к + ])<//+(к +1); к = 2,п-\

Тогда в множество АР(В) включаются пользователи (группы пользователей), упорядоченные по убыванию значений (В), номера которых не меньше номера к, те

Шаг 3 Аналогичным образом определяется множество Ар(В/х) С этой целью используется соотношения

4

Ар(В) = {а,{Е)), / = п,к

I

М-(1) = М(а1$Ар/71(В/Х)) = \~11(В/Х)/^11(В/ХХ

2^{В1Х)-2х(В1Х) г^ЛВ/х)

и неравенства

В этом случае А (В/х)-{а,(В/Х)}, \-к,п Шаг 4 Анализируются множества АР(В) и Ар(В/х)

Результаты анализа используется для определения возможности прекращения приемочных испытаний ПС Если Ан-Ар(В/х)\Ар(В)=0, то принимается решение о прекращении испытаний ПС и поставке его пользователям а,(В/х)е Ар(В/х) В противном случае проводится очередной этап приемочных испытаний и снова выполняется перечисленные шаги 1 4 При этом, если на г -м этапе испытаний Ан{г) больше, чем на (г-1) -м этапе, т е

Аи{г)

>1,

то исследуемое ПС не рекомендуйся делать более защищенным

Далее рассмотрены алгоритм принятия решений, меюд комплексиро-вания лингвистических оценок , лингвистических и экспертных оценок, агрегирования числовой и нечисловой информации

Таким образом предложена методика принятия решений при оценивании защищенности ] 1С как по количественной, так и по нечеткой информации

Заключение

1 Предложено исследование многокритериальных задач с объективными моделями (задачи линейного программирования) с чередующимися фазами анализа и оптимизации с процедурой поиска удовлетворительных значениев критериев, а также решение многокритериальной задачи о назначениях со следующими отличительными чертами наличием ЛПР, каждый исполнитель и каждая работа характеризуется вектором оценок по совокупности критериев, независимость оценок от членов коллектива

2 Сформированы условия решения многокритериальных задач с субъективными моделями вербально или вербально аналитически аксиоматические методы порогов сравнимости, методы непосредственной классификации

При этом исследован метод ЗАПРОС построения квазипорядка на множестве многокритериальных объектов с участием ЛПР и применением принципа аддитивной функции ценности для множества критериев

3 Для оценки альтернатив вариантов при выборе решений рекомендуется технология анализа иерархия и используется три метода сравнения, которые применимы для задач со статистическими оценками- метод парного сравнения, метод сравнения альтернатив относительно стандартов, процедура линейного нормирования количественных величин

При исследовании систем, предпочтения по критериям в которых изменяются с течением времени, применяются два метода' метод попарного сравнения динамических предпочтений экспертов, метод попарного сравнения динамических предпочтений с улучшением согласованности вводимой экспертами информации.

4 Предложен алгоритм иерархического синтеза приоритетов альтернатив, когда на первом шаге определяются векторы приоритетов альтернатив, на втором шаге образуются матрицы парных сравнений, на третьем шаге осуществляется собственно иерархический синтез, заключающийся в последовательном определении векторов приоритетов альтернатив

Рекомендована методика определения вектора приоритета альтернатив для, когда иерархия имеет один уровень критериев и разное количество альтернатив, связанных с каждым критерием Методика многопрецедурная и состоит из шести этапов

5 Предложена объектно-ориентированная система поддержки принятия решения, использующая структуру и модель многоагентного решателя, использующего в своей стратегии систему продукций когнитивного агента, определяющая схему перехода из одной ситуации в другую

6 Разработан подход к решению задачи принятия решений на стадии проектирования информационных систем, основанного на прецедентах, не-пользуюпшх базу данных, полученной на экспертной основе, а для формализации проектной документации набор концешуальных моделей Основу архитектуры системы поддержки принятия решений составляют шесть функциональных модулей (интерфейс, библиотека прецедентов, гипертекстовая

база данных, база данных информационных моделей, база данных образцов проектирования, онтология)

7 Сформулированы основные принципы принятия решения при оценивании -защищенности ПС в условиях неопределенности (по нечеткой информации) с использованием для выбора оптимальной стратегии критерия Вальда, Гурвица, Лапласа и Сэвиджа При этом разработана матрица «сожалений» и оценивания матриц доходов для всех критериев

Кроме того предложен метод оценки полезности и построения функции желательности при оценивании защищенности ПС по результатам испытаний с изложением его алгоритма

8 Дана процедура принятия решения о защищенности ПС по нечисловой информации путем введения лингвистических переменных и показателей качества на основе функций принадлежности При этом рассматривается конкретная пошаговая процедура принятия решений о сопровождении ПС с описанием его алгоритма

Предложены пути предегавления нечисловой информации в задачах принятия решений о пригодности ПС на основе двух схем комплексирования лингвистической информации путем определения лингвистической средней функции принадлежности для показателей качества ПС

Основные публикации по теме диссертации

1 Долгирев Д.В Молдовян А А Новые средства обеспечения компьютерных технологий / 1-я Межвузовская науч -техн конф «Новые информационные технологии в деятельности правоохранительных органов» Сб докл Ч 1 СПб СПбЮИ МВД России 1995 С 17-19

2 Долгирев Д В , Васильев Д В Перспективы применения сертифицированных средств защиты информации / Республиканская научно-техническая конференция «Методы и технические средства обеспечения безопасности информации» Сборник докладов СПБ СПБ ГТУ 1995 С 118

3 Долгирев В А., Долгирев Д.В, Датий А.В Сертифицированные пршраммные средства защиты компьютерной информации./ Республиканская научно-техническая конференция «Методы и технические средства обеспечения безопасности информации» Сборник докла-дов.СПБ СПБ ГТУ 1995 С.128

4 Долгирев ДВ Предложения по использованию магнитной фискальной памяти в кассовых терминалах / науч -техн конф «Методы и технические средства обеспечения безопасности информации» Тезисы конференции СПб СПГТУ 1997 С 37

5 Дол1 ирев Д В Защита фискальной памяти в кассовых терминалах зарубежного производства / С -Петербургский межведомственный семинар «Проблемы безопасности программного обеспечения зарубежного производства» Тезисы докладов С1ГБ С11ГУ 1997 С 19-20

в Долгирев Д В Использование гибких механизмов преобразования в системах передачи информации / 9-я Межвузовская научно-техническая конференция «Военная радиоэлектроника опыт использования и проблемы, подготовка специалистов» Тезисы докладов Пет-родворец ВВМУРЭ им А С Попова 1998 С 156

7 Долгирев Д В Молдовян Н А Скоростные М-битовые блочные программные шифры / 9-я Межвузовская научно-техническая конфе-

ренция «Военная радиоэлектроника' опыт использования и проблемы, подготовка специалистов» Тезисы докладов Петродворец ВВМУРЭ им А С Попова 1998 С 84

8 Борисенко С Г, Лукьянов В С , Долгирев Д В Моделирование и оптимизация местоположения коммутационной системы городской распределенной сети IV Санкт-Петербургская международная конференция Региональная информатика-98 (Санкт-Петербург, 2-4 июня 1998г) Тезисы докладов стр 59

9 Долгирев Д В Крымов В Н, Лукьянов B.C. Методы синтеза топологической структуры городской распределенной сети IV Санкт-Петербургская международная конференция Региональная информатика-98 (Санкт-Петербург, 2-4 июня 1998г) Тезисы докладов стр 64

10 В М Зима, Д В Долгирев Защита от нападений на ключевую информацию /Научно-техническая конференция «Методы и технические средства обеспечения безопасности информации» Тезисы конференции С -Петербург. СПб СПГТУ 27-29 октября 1998

11 Долгирев Д В , Молдовян А А Обучение по специальностям 075500 Вопросы лицензирования и патентования Санкт-Петербургская международная конференция Региональная информатика-2001 (Санкт-Петербург) Тезисы докладов Россия, Санкт-Пстербур!, ГУП СЦПС «Спектр»

12 Долгирев ДВ Формализация лицензирования Санкт-Петербургская международная конференция Региональная информатика-2001 (Санкт-Петербург) Тезисы докладов Россия, С -Петербург, ГУП СЦПС«Спектр»

13 Долгирев ДВ Защита конфиденциальной информации Новые перспективы Санкт-Петербургская международная конференция Региональная информатика-2002 (Санкт-Петербург) Тезисы докладов Россия, Санкт-Петербург, ГУП СЦПС «Спектр»

14 Д В Долгирев, О В Долина, А А. Зайцев «Динамическая классификация в задаче управления постановками» Сборник научных трудов под редакцией профессора А С Бутова «Информационные технологии в транспортных системах» С - Петербург 2004 г

15 МА Вус, ВС. Гусев, ДВ Долгирев, А А Молдовян «Информатика введение в информационную безопасность» Учебное пособие С -Петербург 2004 г

16 ДВ Долгирев «Модель экспертной системы принятия решений для контроля деятельности по защите информации ограниченного рас-прос гранения» Научно-техническая конференция ФГУП «НИИ «Вектор» Тезисы докладов Санкт-Петербург, 2005 г

17 Д В Долгирев Вопросы создания экспертной системы автоматизации лицензирования деятельности по защите информации Научно-практическая конференция «Информационная безопасность регионов России» Тезисы докладов Санкт - Петербург, 2005

Печатается в авторской редакции

Подписано в печать 27.05.05. Сдано в производство 27.05.05.

Лицензия № 000283 от 19.10.98. Формат 60x84 1/16 Усл.-печ. л. 1,74. Уч.-изд.л. 1,5. Тираж 55 экз. Заказ №200

Отпечатано в ИПЦ Ф ГОУ ВПО СПГУВК 198035, Санкт-Петербург, Межевой канал, 2

Ii 13 3 2 ©

РНБ Русский фонд

2006-4 10746

Введение.

Глава 1. Проблемная область принятия решений в случае многокритериальных задач.

1.1 Классификация проблем принятия решений.

1.2 Многокритериальные задачи с объективными моделями.

1.3 Многокритериальные задачи с субъективными моделями.

Основные результаты.

Глава 2. Иерархические модели для прогнозирования принимаемых решений.

2.1. Методы оценки элементов иерархии.

2.2. Иерархический синтез приоритетов.

2.3. Иерархия с различным числом и составом альтернатив под критериями.

2.4. Метод попарного сравнения динамических предпочтений.

2.5. Алгоритм расчета динамики приоритетов.

2.6. Метод улучшения согласованности экспертных суждений.

2.7. Алгоритм ранжирования альтернатив и прогнозирования динамики приоритетов на основе МАИ.

Основные результаты.

Глава 3. Интеллектуализация систем поддержки принятия решений.

3.1. Потенциально алгоритмически защищенные системы.

3.2. Объектно-ориентированная система поддержки принятия решения.

3.3. Проектирование информационных систем с использованием метода, основанного на прецедентах.

Основные результаты.

Глава 4. Принятие решений по результатам испытаний и оценка качества защищенности программных средств.

4.1. Задача принятия решения решений по результатам испытаний защищенности программных средств.

4.2. Принципы принятия решений в условиях неопределенности (по числовой информации).

4.3. Функция полезности.

4.4. Принятие решений по нечисловой информации.

4.5. Представление нечисловой информации в задачах принятия решений.

4.6. Комплексирование лингвистических оценок.

• Основные результаты.

Среди различных областей применения математических методов и средств вычислительной техники имеется одна, которая с точки зрения человеческой деятельности является крайне важной. Эта область принятий решений в ситуациях, когда последствие результатов выбора определенного курса действий могут быть очень серьезными. Назовем принятием решений особый вид человеческой деятельности, состоящий в выборе одного из нескольких вариантов решений. Каждый, кто сталкивался с таким выбором при принятии деловых или личных решений, знает, сколь он сложен и сколько умственных усилий он требует. Любые методы, которые помогают человеку лучше понять, что он хочет и что у него есть, которые помогают оценить с единых позиций желаемые цели и имеющиеся ресурсы, являются не только полезными, но иногда и просто неоценимыми.

Методы, помогающие в принятии решений, длительное время были предметом внимания как практиков, так и теоретиков. Над такими методами работали многие экономисты, специалисты по государственному (административному) управлению, юристы, военные.

Однако только в последние десятилетия возникло научное направление, для которого центральными являются вопросы о том, как человек принимает решения и как ему можно и нужно помогать в сложных задачах выбора. Проблемы принятия решений ставится и рассматривается с единых позиций, в независимости от областей конкретного приложения. Такая постановка вопроса вполне оправдана, так как уже накопилось не мало доказательств того, что существуют общие черты и характеристики поведения людей при принятии экономических, политических, социальных, технических решений. Общность поведения людей и общность требования к их поведению обусловливают единые методологические задачи, которыми и занимаются теория принятия решений.

Всякое новое научное направление возникает на базе чего-то уже известного и, как правило, связанно с другими направлениями. Несомненна связь принятия решений с исследованием операций, кибернетикой, искусственным интеллектом. В тоже время принятие решений имеет свои, отличные от прочих направлений задачи и свою логику развития.

Основные результаты:

1. Определены основные операции процедуры принятия решений, как основа человеко-машинной сетевой системы поддержки принятия решений при однокритериальном и многокритериальном выборе в условиях определенности и риска и нечетких условий;

2. Сформулированы основные принципы принятия решений при оценивании защищенности ПС в условиях неопределенности (по нечисловой информации) с использованием для выбора оптимальной стратегии критерия Вальда, Гурвица, Лапласа и Сэвиджа. При этом разработана схема построения матрицы "сожалений" и оценивания матриц доходов для всех критериев;

3. Предложен метод оценки полезности и построения функции желательности при оценивании защищенности ПС по результатам испытаний с изложением его алгоритма;

4. Дана процедура принятия решения о защищенности ПС по нечисловой информации путем введения лингвистических переменных и показателей качества на основе функций принадлежности. При этом рассматривается конкретная пошаговая процедура принятия решений о сопровождении ПС с изложением алгоритма;

5. Предложены пути представления нечисловой информации в задачах принятия решений о пригодности ПС на основе двух схем комплексирования лингвистической информации путем определения лингвистической средней функции принадлежности для показателей качества ПС.

Заключение

Предложено исследование многокритериальных задач с объективными моделями (задачи линейного программирования) с чередующимися фазами анализа и оптимизации с процедурой поиска удовлетворительных значениев критериев, а также решение многокритериальной задачи о назначениях со следующими отличительными чертами: наличием ЛПР; каждый исполнитель и каждая работа характеризуется вектором оценок по совокупности критериев; независимость оценок от членов коллектива.

Сформированы условия решения многокритериальных задач с субъективными моделями вербально или вербально аналитически: аксиоматические методы порогов сравнимости, методы непосредственной классификации.

При этом исследован метод ЗАПРОС построения квазипорядка на множестве многокритериальных объектов с участием ЛПР и применением принципа аддитивной функции ценности для множества критериев. Для оценки альтернатив вариантов при выборе решений рекомендуется технология анализа иерархия и используется три метода сравнения, которые применимы для задач со статистическими оценками: метод парного сравнения, метод сравнения альтернатив относительно стандартов, процедура линейного нормирования количественных величин.

При исследовании систем, предпочтения по критериям в которых изменяются с течением времени, применяются два метода: метод попарного сравнения динамических предпочтений экспертов, метод попарного сравнения динамических предпочтений с улучшением согласованности вводимой экспертами информации.

Предложен алгоритм иерархического синтеза приоритетов альтернатив, когда на первом шаге определяются векторы приоритетов альтернатив, на втором шаге образуются матрицы парных сравнений, на третьем шаге осуществляется собственно иерархический синтез, заключающийся в последовательном определении векторов приоритетов альтернатив.

Рекомендована методика определения вектора приоритета альтернатив для, когда иерархия имеет один уровень критериев и разное количество альтернатив, связанных с каждым критерием. Методика многопре-цедурная и состоит из шести этапов.

5. Предложена объектно-ориентированная система поддержки принятия решения, использующая структуру и модель многоагентного решателя, использующего в своей стратегии систему продукций когнитивного агента, определяющая схему перехода из одной ситуации в другую.

6. Разработан подход к решению задачи принятия решений на стадии проектирования информационных систем, основанного на прецедентах, не-пользующих базу данных, полученной на экспертной основе, а для формализации проектной документации набор концептуальных моделей. Основу архитектуры системы поддержки принятия решений составляют шесть функциональных модулей (интерфейс, библиотека прецедентов, гипертекстовая база данных, база данных информационных моделей, база данных образцов проектирования, онтология).

7. Сформулированы основные принципы принятия решения при оценивании защищенности ПС в условиях неопределенности (по нечеткой информации) с использованием для выбора оптимальной стратегии критерия Вальда, Гурвица, Лапласа и Сэвиджа. При этом разработана матрица «сожалений» и оценивания матриц доходов для всех критериев.

Кроме того предложен метод оценки полезности и построения функции желательности при оценивании защищенности ПС по результатам испытаний с изложением его алгоритма.

8. Дана процедура принятия решения о защищенности ПС по нечисловой информации путем введения лингвистических переменных и показателей качества на основе функций принадлежности. При этом рассматривается конкретная пошаговая процедура принятия решений о сопровождении ПС с описанием его алгоритма.

Предложены пути представления нечисловой информации в задачах принятия решений о пригодности ПС на основе двух схем комплексиро-вания лингвистической информации путем определения лингвистической средней функции принадлежности для показателей качества ПС.

1. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений - М.: Знание, 1985. —32 с. (Новое в жизни, науке и технике. Сер. «Математика, кибернетика» №10).

2. Ларичев О.И. Принятие решений как научное направление: методологические проблемы. Системные исследования (Ежегодник). М., Наука, 1982.

3. Моисеев Н.Н. Математические задачи системного анализа. М., Наука, 1981.

4. Вагнер Г. Основы исследования операций. М., Мир, 1972.

5. Вентцель Е.С. Исследование операций. М., Советское радио, 1972.

6. Айзерман М.А., Малишевский А.В. Некоторые аспекты общей теории выбора наилучших вариантов. М., Препринт Института проблем управления. 1980.

7. Фишберн П. Теория полезности для принятия решений. М., Наука, 1978.

8. Шоломов Л.А. Обзор оценочных результатов в задачах выбора Техническая кибернетика, 1983, № 1.

9. Миркин В.Г. Проблема группового выбора. М., Наука, 1974.

10. Фрумкина P.M. О некоторых особенностях экспертного понимания (на материалах экспертных оценок психических состояний).- В кн.: Экспертные оценки (вопросы кибернетики). М., ВИНИТИ, 1979.

11. Ларичев О.И., Поляков О.А. Человеко-машинные процедуры решения многокритериальных задач математического программирования. (Обзор).- Экономика и математические методы т. 16,1980, № 1.

12. Соболь И.М., Статников Р.Б. Выбор оптимальных параметров в задачах с многими критериями. М., Наука. 1981.

13. Raijia Н. Decision Analysis. Addison Willey, London, 1968.

14. Кини P.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М., Радио и связь, 1981.

15. Cordier M.O. Les syslemes experts. La Recherche, v. 15. num. 151, 1984.

16. Dawes R.M. The robust beauty of improper linear models in decision making- In: D. Kahneman, P. Slovic, A. Tversky (Eds), "Judgment under uncertainty: Heuristics and biases", Cambridge Univ., Press, 1982.

17. Pya Б. Проблемы и методы принятия решений в задачах со многими целевыми функциями В сб.: Вопросы анализа и процедуры принятия решений. М., Мир, 1976.

18. Geoffrion A.M., Dyer J.S., at al. An interactive approach for multi-criterion optimization with an application to the operation of an academic department. Management Science, vol. 19, num. 4, pp. 357-368, 1972.

19. Бенайюн P., Ларичев О.И. и др. Линейное программирование при многих критериях: метод ограничений.— Автоматика и телемеханика, 1971, №8.

20. Benayoun R., TergnyJ., Montgolfie J., Larichev О. Linear programming with multiple objective functions: STEP Method (STEM). Mathematical Programming, vol. 1, num. 3, pp. 366-375, 1971.

21. Кожухаров A.H., Ларичев О.И. Многокритериальная задача о назначениях Автоматика и телемеханика, 1977, № 7.

22. Ларичев О.И., Зуев Ю.А., Гнеденко Л.С. Метод построения классификации проектов проведения прикладных научных исследований и разработок.- В сб.: Планирование научных исследований и разработок. М., Наука, 1974.

23. Ларичев О.И. Наука и искусство принятия решений, М., Наука, 1979.

24. Фуремс Ю.М., Васюнин Г.Н., Ларичев О.И., Чернов ЮЛ. Проблема упаковки объектов в контейнеры при наличии многих критериев. — Труды 1 Всесоюзной конференции «Проблемы и методы принятия решений в организационных системах управления». М., ПИК ВИНИТИ, 1982.

25. Белкин А.Р., Левин М.Ш. Комбинаторно-графовые модели обработки информации при принятии решений. М., Препринт Научного совета «Кибернетика». 1985.

26. Красношеков П.С., Морозов В.В., Федоров В.В. Декомпозиция в задачах проектирования Известия АН СССР. Тех. кибернетика 1979, №2.

27. Мс Grimmon К. P. An overview of multiple objective decision making In: Multiple criteria decision making; Cohrane I. Zeieny M. (Eds). Columbia Univ., South Carolina Press, 1973.

28. Toersky A. Intransitivity of preferences. Psychol. Rev. 1963, v. 76, № 1.

29. Roy B. Classement et choix en presence de points de vue multiples (la meth-ode ELECTRE).- Rev. Franc. Inform, et Rech. Operat., 1968, v. 2, № 8.

30. Жуковин B.E. Многокритериальные модели принятия решении с неопределенностью. Тбилиси. Мецниереба, 1983.

31. Ларичев О.И., Мошкович Е.М. Задачи классификации в принятии решений. Доклады Академии наук (в печати).

32. Холл М. Комбинаторика. М., Мир, 1970.

33. Фуремс Е.М., Мошкович Е.М. Упорядочение векторных оценок для задачи формирования «портфеля заказов»,- В сб.: Процедуры оценивания многокритераильных объектов. Вып. 9. М, ВНИИСИ, 1984, с. 41-53.

34. Slovic P., Lichtenstein S. Comparison of Bayesian and regression approaches to the study of information processing in judgment, Organizational Behavior and Human Performance, 1971, v. 6, pp. 649-744.

35. Автоматизация поискового конструирования: (искусственный интеллект в машинном проектировании) / Под ред. А. И. Половинкина. -М.: Радио и связь, 1981.-344 с.

36. Айзерман М.А., Вольский В.И., Литваков Б.М. Элементы теории выбора. Псевдокритерии и псевдокритериальный выбор. -М.: Нефтяник, 1994. -216 с.

37. Альтшуллер Г.С. Алгоритм изобретения. -М.: Московский рабочий, 1973.-296 с.

38. Альтшуллер Г.С. Творчество как точная наука. -М.: Советское радио, 1979.-216 с.

39. Альтшуллер Г.С. Найти идею: Введение в теорию решения изобретательских задач. -Новосибирск: Наука, 1985. —196 с.

40. Андрейчиков А.В. Автоматизированные информационные системы для синтеза новых механизмов. Автореф. дис.докт. техн. наук./СПИИРАН. -С. Петербург, 1994. -310 с.

41. Андрейчиков А.В. Компьютерное моделирование творческих процедур синтеза принципиально новых механизмов// Проблемы машиностроения и автоматизации, 1995, № 1-2, с. 12-24.

42. Андрейчиков А.В. Новые информационные технологии для синтеза конкурентоспособной техники (подходы, методы, модели, алгоритмы и компьютерные средства): Учеб. пособие/ВолгГТУ, Волгоград, 1996. — 172 с.

43. Андрейчиков А.В., Андрейчикова О.Н., Компьютерная поддержка изобретательства (методы, системы, примеры применения). -М.: Машиностроение, 1998. —476с.: ил.

44. Андрейчиков А.В., Гришин В.А., Камаев В.А. Автоматизированное конструирование пневматических виброзащитных систем// Машиноведение, 1987, №2, с. 3-9.

45. Андрейчиков А.В., Декатов Д.Е. Математические модели синтеза оригинальных и типовых механизмов. //Известия вузов, Машиностроение -№ 7, 1995, с. 3-5.

46. Андрейчиков А.В., Камаев В.А., Андрейчикова О.Н. Морфологические методы исследования новых технических решений: Учеб. пособие/ Вол-гГТУ, Волгоград, 1994.-160с.

47. Андрейчикова О.Н. Интеллектуальные системы для поддержки процессов принятия решений: Учеб. пособие/ВолгГТУ, Волгоград, 1996. -93 с.

48. Андрейчикова О.Н., Кащеев А.П., Терелянский П.В. Система автоматизированного прогнозирования динамики приоритетов (в приложении к трубной промышленности) //Известия ВУЗов. Машиностроение, № 4, 1999. -с. 62-68.

49. Артоболевский И.И. Механизмы в современной технике. Справочное пособие. В 7 томах. -2-е изд., переработанное. -М.: Наука, 1979, -560 с.

50. Бахмудов Р. М.-Р. Разработка автоматизированной системы оценки и систематизации класса виброзащитных систем: Дисс. . канд. техн. наук./ ВолгГТУ, Волгоград, 1998. -175 с.

51. Белкин А.Р., Левин М.Ш. Принятие решений: комбинаторные модели аппроксимации информации. -М.: Наука. Гл. ред. физ.-мат. лит., 1990. -160с.

52. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях// Вопросы анализа и процедуры принятия решений: Пер. с англ. —М.: Мир, 1976.-е. 172-175.

53. Березовский Б.А., Барышников Ю.М., Борзенко В.И., Кемпнер JI.M. Многокритериальная оптимизация: математические аспекты. -М.: Наука, 1989.-230 с.

54. Богласов Ю.П. Вычислительная математика и программирование: Учеб. пособие для студентов втузов. -М.: Высш. шк., 1990. —544 е.: ил.

55. Борзенко В.И., Трахтенгерц Э.И., Шершаков В.М. Аппроксимационная многокритериальная оптимизация// АиТ, №9, 1986, с. 152-162.

56. Борисов А.Н. Методическое обеспечение технологии принятия решений. Системы обработки знаний в автоматизированном проектировании. Рига: Риж. техн. ун-т. 1992.-е, 12-15.

57. Борисов А.Н., Виллюмс Э.Р., Сукур Л.Я. Диалоговые системы принятия решений на базе мини-ЭВМ. -Рига: Зинатне, 1986. -195 с.

58. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решений на основе нечетких моделей. -Рига: Зинатне, 1990. -184 с,

59. Бурков В.Н., Новиков В.А. Введение в теорию активных систем. -М.: Институт проблем управления. 1996.

60. Бурков В.Н., Еналеев А.К., Новиков В.А. Механизмы функционирования социально-экономических систем с сообщением информации//АиТ№3, 1996, с. 3-25.

61. Бусленко Н.П., Калашников В.В. Коваленко И.Н. Лекции по теории сложных систем.-М.:Сов. радио, 1973. —440с.

62. Венцель Е.С. Исследование операций. Задачи, принципы, методология. -М.: Наука, 1988.-226 с.

63. Вильюмс Э.Р., Слядзь Н.Н., Борисов А.Н. Программная система поддержки принятия решений. //Программные продукты и системы, 1989. № 4, с. 70-77.

64. Волкович В.Л., Горчинский А.П. Построение переговорного множества и принятие сложного решения на заданном множестве вариантов. — Киев: Институт кибернетики АН УССР, 1971. -(Препринт 71-30.).

65. Глазунов В.Н. Параметрический метод разрешения противоречий в технике (методы анализа проблем и поиска решений в технике). -М.: Речной транспорт, 1990. -112 с.

66. Глинский В.В., Ионин В.Г. Статистический анализ: Учеб. пособие. Издание 2-е, переработанное и дополненное. -М: Информационно-издательский дом "Филинъ", 1998. -264 с.

67. Дворянкин A.M., Половинкин А.И., Соболев А.Н. Об автоматизации поиска принципов действия технических систем на основе банка данных физических явлений. -Кибернетика, 1978, № 1, с. 80-86.

68. Декатов Д.Е. Разработка комплекса моделей и средств концептуального проектирования виброзащитных систем: Дисс. канд. техн. наук./ Вол-гГТУ, Волгоград, 1997. -144 с.

69. Дьяконов В.П. Справочник по алгоритмам и программам на языке бейсик для персональных ЭВМ. -М.: Наука. Гл. ред. физ.-мат. лит., 1987.-240 с.

70. Заде JI, Понятие лингвистической переменной и его применение к принятию приближённых решений: Пер. с англ. -М.: Мир, 1976. —165 с.

71. Исследование операций в экономике: Учеб. пособие для ВУЗов/ Н.Ш. Кремер, Б.А. Путко, М.Н. Фридман; Под ред. проф. Н.Ш. Кремера. —М.: Банки и биржи, ЮНИТИ, 1997. -407 с.

72. Капустян В.М., Махотенко Ю.А. Конструктору о конструировании атомной техники. Системно-морфологический подход в конструировании.-М.: Атомиздат, 1981,190 с.

73. Капустян В.М., Махотенко Ю.А. Пояса альтернатив как иерархические уровни выбора в задачах конструирования. -Кибернетика, 1977, № 4, с.7-13.

74. Кини P.JL, Райфа X. Принятие решений при многих критериях: предпочтения и замещения: Пер. с англ./ Под ред. Шахова И.Р. -М.: Радио и связь, 1981.-560 с.

75. Колмероэ А., Канун А., ван Канегем М. Пролог-теоретические основы и современное развитие. -В-сб.: Логическое программирование. -М.: Мир, 1988, с. 27-133.

76. Кофман А. Введение в теорию нечетких множеств: Пер. с англ. —М.: Радио и связь, 1982. -432 с.

77. Кузьмин В.Б., Травкин С.И. Теория нечётких множеств в задачах управления и принципах устройства нечётких процессоров //АиТ -1992. -№11.-с. 7-36.

78. Игнатьев М.М. Проблема 1420 //Волжский трубник. -2000. -№10. -с. 8.

79. Информационно-аналитическая система "ОЦЕНКА И ВЫБОР" // СОФ-ТЕЛЬ: Сто компьютерных программ для бизнеса (каталог 1997-98) . М.: Хамтек Паблишер, 1997.-е. 156-165.

80. Информационно-аналитические технологии и выбор решений// Банковские технологии. -1997. -№ 4. -с. 24-27.

81. Ларичев О.И. Объективные модели и субъективные решения. — М.:Наука, 1987.-144с.

82. Лисичкин В. А., Голынкер Е.И. Принятие решений на основе прогнозирования в условиях АСУ. -М.: Финансы и статистика, 1981. — 50 с.

83. Логический подход к искусственному интеллекту: от классической логики к логическому программированию: Пер. с франц./Тейз А., Грибмон П., Луи Ж. И др. -М.: Мир, 1990. -432с.

84. Львовский Е.Н. Статистические методы построения эмпирических формул: Учеб. пособие для втузов. -2-е изд., перераб. и доп. —М.: Высш. шк., 1988.-239 с.

85. Макеев С.П., Шахнов И.Ф. Упорядочение объектов в иерархических системах //Известия АН СССР, Техническая кибернетика, 1991, №3. с. 29-46.

86. Масалович А.И. От нейрона к нейрокомпьютеру //Журнал доктора Добба -1992-№ 1 -с. 20-23.

87. Математическое моделирование технических объектов и технологий в нечетких ситуациях: Учеб. пособие /Б.Х. Санжапов, В.А.Камаев; Волгоград, политехи, ин-т Волгоград; 1989. -72 с.

88. Методы поиска новых технических решений /Под ред. А.И. Половинкина, -Йошкар-Ола: Маркнигоиздат, 1976. —192 с.

89. Минский М., Пейперт С. Персептроны. -М.: МИР, 1971. -261 с.

90. Морфологические методы исследования новых технических реше-ний:Учеб. пособие/А.В.Андрейчиков, В.А. Камаев, О.Н. Андрейчикова; Волгоград, гос. техн. ун-т, Волгоград, 1994. —160 с,

91. Мудров А.Е. Численные методы для ПВЭМ на языках Бейсик, Фортран и Паскаль. -Томск: МП «Раско», 1991.-272 с.

92. Нечеткие множества в моделях управления и искусственного интеллекта /Под ред. Д.А. Поспелова. -М.: Наука. Гл. ред физ.-мат. Лит., 1986.-312 с.

93. Нечеткие множества и теория возможностей. Последние достижения: Пер. с анг. /Под ред. Ягера P.P. -М.: Радио и связь, 1986. -408 с.

94. Одрин В.М. Морфологический синтез систем: постановка, классификация методов, морфологические методы «конструирования» /Препринт АН УССР. Ин-т кибернетики, 86-3. Киев, 1986. -37 с.

95. Одрин В.М. Метод морфологического анализа технических систем. — М.: ВНИИПИ, 1989.-312 с.

96. Одрин В.М., Картавов С.С. Морфологический анализ систем. -Киев: Наукова думка, 1977.-83 с.

97. Одрин В.М., Картавов С.С. Некоторые итоги и перспективы развития морфологического анализа систем. -Киев: институт кибернетики АН УССР, 1973. -83 с.-(Препринт 73-62).

98. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. -М.: Наука, 1982. -256 с.

99. Орловский C.JI. Проблемы принятия решений при нечетной исходной информации. -М.: Наука., 1981.-206 е., ил.

100. Острейковский В.А. Теоретико-множественое и динамическое описание систем: Конспект лекций по курсу «Основы теории систем». -Обнинск: Обнинский институт атомной энергетики, 1987. -102 с.

101. Пашков Н.Г. Как реализовать потенциал завода? //Повышение надежности труб большого диаметра магистральных газопроводов: Материалы конференции. Волжский, 1998. -с. 32-34.

102. Половинкин А.И. Законы строения и развития техники / Учеб. пособие. Волгоград: ВолгПИ, 1985. -202 с.

103. Половинкин А.И. Метод оптимального проектирования с автоматическим поиском схем и структур. Научи труда / ЦНИИС, 1970, вып. 34, с. 162.

104. Половинкин А.И. Методические рекомендации по составлению алгоритмов решения на вычислительных машинах конструкторско-изобретательских задач. -Автоматика, 1969, № 3, с. 66-81.

105. Половинкин А.И. Основы инженерного творчества: Учеб. пособие для студентов втузов. -М.: Машиностроение, 1988, -368 с.

106. Половинкин А.И. Теория проектирования новой техники: закономерности техники и их применение. М.: Информэлектро. 1991. -104 е.: ил.

107. Половинкин А.И., Соболев А.Н. Автоматизация синтеза принципов действия технических систем на основе банка данных по физическим эффектам. -ДАН СССР, 1979, т. 246, №3, с. 557-560.

108. Поспелов Д.А. Моделирование рассуждений. Опыт анализа мыслительных актов. -М.: Радио и связь, 1989. -184 с.

109. Поспелов Д.А. Фантазия или наука: на пути к искусственному интеллекту. -М.: Наука, Гл. ред. физ.-мат, лит., 1982. —224 с.

110. Пиявский С.А. Численные методы принятия проектных решений в системах автоматизированного проектирования. -Куйбышев: Куйбышевск. гос. ун-т, 1986. -92 с.

111. Райфа Г. Анализ решений (введение в проблему выбора в условиях неопределенности): Пер. с англ. -М.: Гл. ред. физ.-мат. лит., 1977. —408 с.

112. Ракитин В.И., Первушин В.Е. Практическое руководство по методам вычислений с приложением программ для персональных компьютеров: Учеб. пособие. -М.: Высшая школа, 1998. -383 е.: ил.

113. Розенблат Ф. Принципы нейродинамики.-М.: МИР, 1965.

114. Саати Т. Принятие решений. Метод анализа иерархий /Пер. с англ.-М.:Радио и связь. 1993. -316 с.

115. Саати Т., Керне К. Аналитическое планирование. Организация систем /Пер. с англ.-М.:Радиои связь. 1991.

116. Садыков В.В. Взаимопонимание с потребителем -ключ к успеху //Повышение надежности труб большого диаметра магистральных газопроводов: Материалы конференции. -Волжский, 1998. -с. 6-7.

117. Санжапов Б.Х. Математическое моделирование изделий и технологий: Учеб. пособие/Волгоград, политехи, ин-т. Волгоград, 1990, -100 с.

118. Силов В.Б. Принятие стратегических решений в нечёткой обстановке. М.: ИНПРО-РЕС. 1995.

119. Статистические модели и многокритериальные задачи принятия решений: Сб. статей/Сост. и научн, ред. И.Ф.Шахнов. -М.: Статистика, 1979.-184с.

120. Статические и динамические экспертные системы: Учеб. пособие/ Э.В. Попов, И.Б. Фоминых, Е.Б. Кисель, М.Д. Шапот -М.: Финансы и статистика, 1996. -320 с.

121. Стерлинг JL, Шапиро Э. Искусство программирования на языке Пролог. -М.: Мир, 1989.

122. Стецюра Г.Г. Генетический алгоритм для обратной задачи метода анализа иерархий/ Международная конференция по проблемам управления (29 июня-2 июля 1999 года).: Тез. докл. В трёх томах. Т.2. — М.:Фонд "Проблемы управления", 1999. -с. 340-341.

123. Стратегическое планирование/ Под ред. Уткина Э.А. -М.: Ассоциация авторов и издателей «ТАНДЕМ». Издательство ЭКМОС, 1998. -440 с.

124. Танака К. Итоги рассмотрения факторов неопределённости и неясности в инженерном искусстве.//В сб.: Нечёткие множества и теория возможностей. Под ред. Ягера Р.Я. -М.: Радио и связь, 1986, с. 37-50.

125. Теория прогнозирования и принятия решений/ Под ред. С.А. Саркисяна.-М.: Высшая школа, 1977.-351с,

126. Трахтенгерц Э.А. Компьютерный анализ в динамике принятия решений// Приборы и системы управления. №1, 1997. -с.49-56.

127. Трахтенгерц Э.А. Компьютерная поддержка принятия решений: Научно-практическое издание. Серия «Информатизация России на пороге XXI века». -М.: СИНТЕГ, 1998. -376 с.

128. Трахтенгерц Э.А. Принятие решений на основе компьютерного анализа. -М.: Институт проблем управления, 1996. -372 с.

129. Турчак Л.И. Основы численных методов: Учеб. пособие. -М.: Наука. Гл. ред. из.-мат. лит., 1987. -320 с.

130. Функциональный и социально-экономический анализ систем: Учеб. пособие /А.В.Андрейчиков, О.Н. Андрейчикова; Волгоград, гос.техн. ун-т, Волгоград, 1995.-128 с.

131. Ханзен Ф. Основы общей методики конструирования: Пер. с нем. -Д.: Машиностроение, 1969. -166 с.

132. Хомский Н. О некоторых формальных свойствах грамматик. -В сб.: Кибернетический сборник, вып. 5, -М: Иностранная литература, 1962. — с. 279-311.

133. Холян А., Элюкин С. Формализация составления вариантов в задачах конструирования. -Техническая эстетика, 1970, №7, с. 3-5.

134. Экономико-математические методы и прикладные модели. Учеб. пособие для ВТУЗов/ В.В.Федосеев, А.Н.Гармаш, Д.М.Дайитбегов и др.; Под ред. В.В.Федосеева. -М.: ЮНИТИ, 1999. -391 с.

135. Hansen F. Konstruktionswissenschaft-Grundlagen und Kethoden.-Berlin: VEB Verlag Technik, 1976.-165 p

136. Koller R. Eine algorithmisch -physikalisch orientierte Konstruktionsmeth-odik. T.l, Aufgabenanalyse. -VDI-Z., 1973, N2.

137. Koller R. Eine algorithmisch-physikalisch orientierte Konstruktionsmeth-odik. T.2. Qualitatives Konstruieren.-VDI-Z, 1973, N4, s.309-317.

138. Koller R. Konstruktionsmethode fiir den Maschinen-, Gerate-und Apparate-bau. Berlin: Springer-Verlag, 1979.-191 s.

139. Roth E., Franke H., Simolek R., Algorithmisches Auswahlverfahren zur Konstruktion mit Katalogen. -Feinwerktechnik, 1971, N 75, S. 337 -345.

140. Roth K. Aufbau und Handhabung von Konstruktion als Wissen-schaft, For-schung hilft Praxis. -VDI-Berichte, 1974, N219, S.35-40.

141. Saaty T.L. Exploring the interface between hierarchical structures// Fuzzy Sets and Systems, vol. 1,№1,1978, pp.57-68.

142. Saaty T. L. The Analytic Hierarchy Process. -Mc.Graw-Hill.l 980,267 p.

143. Zadeh L.A. Fuzzu sets// Information and Control, №8, 1965, pp. 338-353.

144. Zwicky F, The morphological approach to discovery , invention research and construction. -In: Zwicky F„ Welson A.Y., New methods of thought and procedure. Berlin, Springer, 1997, p.78.