автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Разработка моделей и средств групповой экспертной оценки качества организационно-технических решений в сложных предметных областях

РГБ ОД

и ?-5г

РАХМАНОВА Ирина Олеговна

РАЗРАБОТКА МОДЕЛЕЙ И СРЕДСТВ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ КАЧЕСТВА ОРГАНИЗАЦИОННО - ТЕХНИЧЕСКИХ РЕШЕНИЙ В СЛОЖНЫХ ПРЕДМЕТНЫХ ОБЛАСТЯХ

Специальность 05.13.16 - применение вычислительной техники, математического моделирования и математических методов в научных

исследованиях

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

РАХМАНОВА • Ирина Олеговна

РАЗРАБОТКА МОДЕЛЕЙ И СРЕДСТВ ГРУППОВОЙ ЭКСПЕРТНОЙ ОЦЕНКИ КАЧЕСТВА ОРГАНИЗАЦИОННО - ТЕХНИЧЕСКИХ РЕШЕНИЙ В СЛОЖНЫХ ПРЕДМЕТНЫХ ОБЛАСТЯХ

Специальность 05.13.16 - применение вычислительной техники, математического моделирования и математических методов в научных

исследованиях

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Работа выполнена в Санкт-Петербургском институте информатики и *

автоматизации РАН.

Научный руководитель:

д-р техн. наук; проф. Смирнов А.В.

Официальные оппоненты:

Ведущая организация:

д-р физ.-мат. наук; проф. Хованов Н.В. д-р техн. наук; проф. Микони C.B. Санкт-Петербургский государственный электротехнический университет

Защита состоится _2000 г. в /Л — часов на

заседании диссертационного совета Д.003.62.01 при Санкт-Петербургском институте информатики и автоматизации РАН по адресу: 199178, Санкт-Петербург, 14-я линия, д. 39.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского института информатики и автоматизации РАН.

Автореферат разослан " «¿¿¿м_2000 г.

? S15. à, 0

1. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. Последнее десятилетие ознаменовалось признанием факта возрастания роли группового принятия решений в сложных предметных областях. Основная проблема принятия сложных решений, требующих многокритериальной экспертной оценки, заключается в превышении объема информации об анализируемых объектах над физическими возможностями субъектов процесса принятия решений по ее обработке. При принятии ответственных решений, когда цена ошибки достаточно высока, исключение из учета даже части существенных показателей качества является недопустимым. Возникает необходимость в средствах, позволяющих перевести процесс принятия решений из интуитивной плоскости в логическую и дающих возможность сбора и обработки как больших объемов информации различных видов, так и личных предпочтений участников процесса принятия решений.

В настоящее время научное направление, связанное с разработкой методов и средств поддержки принятия решений, является одним из наиболее динамично развивающихся в рамках проблем искусственного интеллекта в его разделах, ориентированных на решение задач кооперативного принятия решений в распределенных компьютерных средах.

В качестве традиционной методологии решения указанной проблемы широкое распространение получил декомпозиционно-агрегативный подход к решению многокритериальных задач, когда декомпозиция сложных задач осуществляется путем формирования иерархии показателей на этапе постановки задачи, а агрегирование - путем вычисления оценок показателей, полученных на различных уровнях иерархии с учетом их относительной приоритетности.

Таким образом, с информационно-аналитической точки зрения основной задачей компьютерных средств групповой экспертной оценки качества альтернативных организационно-технических решений (ОТР) является предоставление возможности описания иерархий показателей и агрегирование оценок, полученных на разных уровнях указанной иерархии. К числу требований, предъявляемых к компьютерным системам оценки качества ОТР, можно отнести: совместное использование формальных и интуитивных методов и технологий принятия решений; взаимодействие с пользователями на естественном языке; использование интерфейса с различными типами визуализации информации.

К областям применения групповых экспертных оценок можно отнести экспертизу научно-технических, экономических, инвестиционных конкурсных проектов; оценку качества продукции на каждом этапе жизненного цикла; оценку технологий и бизнес-процессов. При этом под объектом экспертизы понимается ;овокупность альтернативных ОТР, описываемых множеством количественных и <ачественных показателей. Развитие и модификация существующих методов и азработка компьютерных средств поддержки принятия решений при групповой

экспертной оценке качества OTP в процессе научных исследований, проводимых в различных предметных областях, является важной и актуальной задачей данного научного направления.

Цель работы. Целью диссертационной работы является разработка информационных, алгоритмических и программных моделей распределенной компьютерной среды групповой экспертной оценки качества альтернативных организационно-технических решений, характеризующихся множеством количественных и качественных показателей, с целью повышения эффективности процесса экспертизы за счет всестороннего учета информации о показателях альтернатив и личных предпочтениях участников процесса принятия решений, обеспечения "контроля согласованности экспертных оценок и сокращения сроков формирования промежуточных и окончательных решений.

В соответствии с поставленной целью в диссертационной работе формулируются и решаются следующие задачи:

1. Классификация методов и автоматизированных средств проблемной области с целью обоснования требований и разработки функциональной структуры распределенной компьютерной среды групповой экспертизы OTP.

2. Разработка и исследование комплекса информационных и алгоритмических моделей проблемной области, ориентированных на создание сценариев групповой экспертизы OTP.

3. Разработка архитектуры распределенной компьютерной среды групповой экспертизы OTP, основанной на технологии многоагентных систем.

4. Разработка интерфейса компьютерной среды, обеспечивающего открытость к интеграции с другими приложениями.

5. Разработка методического обеспечения решения задачи групповой экспертизы OTP на основе полученных теоретических и практических результатов.

Научная новизна результатов диссертации состоит в следующем:

1. Разработана информационная модель проблемной области "Групповая экспертная оценка качества OTP", включающая понятия "задание", "экспертная группа", "альтернативные OTP", "сценарий" и их отношения.

2. Предложен типовой сценарий групповой экспертной оценки OTP, включающий этапы формирования частных предпочтений экспертов и этапы их агрегирования в групповые решения с оценкой согласованности частных предпочтений, что позволяет контролировать согласованность итогового решения на всех этапах сценария для обеспечения его достоверности.

3. Разработаны алгоритмические модели проблемной области, базирующиеся на принципах измерения частных предпочтений экспертов, контроля их согласованности и агрегирования частных предпочтений в групповое решение.

4. Для иерархической структуризации показателей качества предложена формальная процедура, основанная на функции вычисления коэффициента связности единичного показателя данного уровня иерархии с обобщенным

показателем вышестоящего уровня, и функции вычисления потери коэффициента связности при переносе единичного показателя от одного обобщенного показателя к другому в пределах уровня.

5. Разработана архитектура распределенной многоагентной компьютерной среды, поддерживаемая средствами стандартного сетевого аппаратно-программного обеспечения, что позволяет реализовать согласованную и одновременную работу территориально удаленных друг от друга экспертов в режимах on-line / off-line и обеспечивающая открытость к интеграции со стандартными приложениями Microsoft Windows (MS Graph, MS Excel) посредством механизма DDE и возможность доступа к данным различных форматов посредством интерфейса ODBC.

Практическая ценность диссертации состоит в следующем:

1. На основе предложенных в работе моделей разработано программное обеспечение распределенной компьютерной среды групповой экспертизы ОТР, позволяющее получать согласованные экспертные оценки и итоговое ранжирование ОТР в различных предметных областях.

2. Разработан редактор сценариев экспертизы ОТР, позволяющий настраиваться на решение прикладных задач из различных предметных областей.

3. Использование разработанной компьютерной среды обеспечивает сокращение сроков и трудоемкости экспертизы ОТР благодаря эффективному взаимодействию членов экспертной группы, чьи усилия объединены общими информационными и методическими ресурсами в рамках выбранного сценария.

4. Разработанные текстовые и графические средства визуализации как частных предпочтений экспертов, так и итоговых результатов делают открытым для анализа весь процесс экспертизы, что повышает степень доверия к нему.

5. Использование разработанной компьютерной среды в учебном процессе позволяет обеспечить подготовку и переподготовку специалистов на базе интенсивных форм обучения.

Внедрение результатов работы. Результаты проведенных исследований

нашли практическое применение в следующих разработках:

1. В проекте Федеральной целевой программы "Информатизация России" (проект "Разработка технологии и многоагентной среды для интеллектуального управления конфигурацией информационных систем при . сценарном реинжиниринге организаций", № госрегистрации 037.02.236.132/1 -96, 01.01.96 г. - 30.06.98 г.)

2. В проекте Федеральной целевой программы "Перспективные информационные технологии" (проект "Разработка многоагентной- среды интеллектуального управления конфигурацией сложных объектов с динамически изменяемой структурой" № госрегистрации 01.960.0 07979, 01.01.96 г. - 31.12.97 г.).

3. Адаптированная к потребностям заказчика система "ЭКСПЕРТ" передана в эксплуатацию по хозяйственному договору №21-80/25-97 от 28.04.97 г. Комитету экономики и промышленной политики Администрации Санкт-Петербурга.

4. В СПИИРАН при проведении НИР "Разработка принципов построения и структуры автоматизированной системы оценки качества научно-технической продукции, изделий и технологий двойного назначения" (Шифр "Безопасность"). № госрегистрации 01.9.30 009102.

5. В Институте системных исследований Польской Академии наук в рамках договора о научном сотрудничестве от 30.06.97 г.

Апробация. Основные положения диссертации доложены и обсуждены на 4, 5 и 6 Международной конференции "Региональная информатика" (Санкт-Петербург, 1995, 1996, 1998 г.г.); на шестой Международной конференции "Information Processing and Management of Uncertainty in Knowledge-Based Systems" ("IPMU'96") (Гранада, Испания, 1996); на Международном семинаре "Special Day on Pan-European Co-operation and Technology Transfer" (Закопане, Польша, 1996); на Международном семинаре "Benefit Day on Pan-European Co-operation and Technology Transfer" (Будапешт, Венгрия, 1997); на Международной конференции "Информатика и управление" (Санкт-Петербург, 1997); на Международном семинаре "Distributed Artificial Intelligence and Multi-Agent Systems" ("DIAMAS' 97") (Санкт-Петербург, 1997); на 2 -ом Международном семинаре "Network of Excellence in Advanced Methodologies and Tools of Manufacturing Systems"(AMETMAS-NOE'99) (Санкт-Петербург, 1999).

Связь диссертации с планом научных работ. Проведенные автором научные исследования выполнены в СПИИРАН в рамках плановых НИР, проводимых по заданиям Федеральных целевых программ "Информатизация России" и "Перспективные информационный технологии", а также в рамках протокола о научном сотрудничестве между Российской и Польской академиями наук на 1996-1998 гг. п. 3 тематического плана и на 1999-2001 гг. п. 57 тематического плана.

Публикации. По теме диссертации опубликовано 19 печатных работ.

Структура работы. Диссертация состоит из введения, 5-ти глав, заключения, списка литературы и 3-х приложений.

2. СОДЕРЖАНИЕ РАБОТЫ

Во введении к диссертационной работе обосновывается актуальность проблемы, формулируется цель и задачи исследования, дается аннотация глав.

В первой главе определяется понятие организационно-технического решения, приводятся его основные характеристики как объекта оценки качества. Процесс оценки качества ОТР характеризуется высокой степенью неопределенности, вызываемой сложностью предметной области, связанной с ее слабоструктурированностью, неполнотой, нечеткостью и большими объемами

исходной информации. В таких областях сложна формализация процесса оценки и велика роль интуиции экспертов. Под результатом экспертизы понимается ранжирование альтернативных OTP, т.е. расположение их на шкале рейтингов в порядке убывания их значимости. Подобные задачи относятся к классу задач принятия многокритериальных решений, однако, наличие показателей различных типов в описании альтернатив затрудняет их ранжирование методами многокритериального выбора.

По результатам анализа теоретических основ, методов и средств принятия решений в сложных предметных областях обосновывается необходимость комплексного применения трех основных групп методов (интуитивных, комбинированных и математических) на различных этапах процесса оценки качества альтернативных OTP.

По данным сравнительного анализа отечественных и зарубежных аналогов компьютерных систем оценки качества и выбора альтернативных решений определено место, назначение, области применения, круг пользователей, задачи и принципы реализации компьютерной среды групповой экспертизы OTP.

Определены следующие основные требования. Компьютерная среда предназначена для поддержки групповой работы экспертов во главе с руководителем при оценке качества и ранжировании альтернативных OTP. Ее использование целесообразно на финальных этапах принятия решений, когда определены альтернативные варианты и их показатели. Основные задачи компьютерной среды: перевести процесс принятия решений из интуитивной плоскости в формализованную, предоставить возможности обработки больших объемов информации различных видов, предоставить средства сбора и обработки личных предпочтений субъектов принятия решений.

К числу основных требований к компьютерным средствам оценки и выбора альтернатив можно отнести: использование интуитивно понятных методов и технологий принятия решений; взаимодействие с пользователем на естественном языке; использование интерфейса с различными типами визуализации информации.

На основе анализа современных аппаратно-программных коммуникационных средств обоснована архитектура распределенной многоагентной компьютерной среды, поддерживающая кооперативную работу удаленных пользователей. Формулируется необходимость ориентации базовых принципов реализации среды на создание Internet - приложения, что позволит существенно расширить возможности коммуникации удаленных пользователей, компьютерное оснащение которых базируется на разных операционных платформах.

Таким образом, обоснованы задачи и последовательность их решений при разработке компьютерной среды групповой экспертной оценки качества OTP.

Во второй главе разработаны модели формирования групповых решений и контроля согласованности частных мнений экспертов. В предложенную совокупность моделей входят: информационная модель проблемной области,

алгоритмические модели нормирования частных предпочтений экспертов и их агрегирования в групповые решения с оценкой согласованности предпочтений.

Информационная модель проблемной области, представляющей собой процесс групповой экспертной оценки качества OTP, имеет вид: Т=< P,E,S>, где Т- задание, стоящее перед экспертной группой по оценке качества альтернативных OTP, Р- множество OTP, Е- состав экспертной группы, S- сценарий работы.

Внешнее описание OTP представлено в модели в виде Р =< F,V >, где F = (/¡|i = 1 ,mf) - справочник показателей, состоящий из mf вербальных элементов, определяющих различные аспекты качества OTP, V = [vlt | i = \,mfJc = l,mp) -значения mf показателей качества для mp альтернативных OTP. vlk принимает количественные и качественные значения. Состав экспертной группы Е =< Ex,Re > определяете^ экспертами Ех- {е, =1,«,} в количестве mq специалистов, характеризующихся рейтингами Re = {r, |/ = 1,т }, /¡еЛ (R - множество рациональных чисел).

Сценарий представляет собой пару S =< Me,Da>, где Me = {mejg = \,mg} -совокупность этапов сценария, Da - календарные даты представления результатов. Под этапом в предлагаемой модели в самом общем случае понимается четверка: met -<Sc,Fn,Fc,Fa>, где Sc =< а,ы > - множество вербально - числовых шкал (наименований, порядка, отношений), предназначенных для измерения предпочтений экспертов; а = (<ту|у = 1,гпа) - вербальное определение элемента;

со = [u>j\j = l,ma 1, шей - числовой эквивалент вербального элемента; Fn -

множество функций нормирования экспертных оценок; Fc- множество функций определения степени согласованности экспертных оценок; Fa - множество функций агрегирования частных предпочтений экспертов в групповую оценку. Каждый из этапов сценария met формируется путем выбора из имеющихся множеств Sc, Fn, Fc, Fa ив зависимости от назначения этапа может включать атрибуты как из всех данных множеств, так и выборочно. Структура атрибутов сценариев групповой экспертной оценки качества OTP и основные этапы типового сценария представлены на рис. 1. Следует заметить, что в типовом сценарии только второй и третий этапы содержат атрибуты из всех множеств.

Алгоритмические модели, поддерживающие типовой сценарий, основаны на методе лексикографического упорядочивания, методе взвешивания путем парного сравнения по шкале отношений, методах многокритериального выбора.

Этап формирования иерархии показателей mel = {Sc,,/•"£,, Fa,) поддерживается методом лексикографического упорядочивания. Sc,- шкала важности включения показателя в искомую структуру; Fc, - функция согласования

Рис. 1 Структура атрибутов сценариев групповой оценки качества ОТР

частных мнений, /•а, (//') = со' - функция вычисления коэффициента связности показателя /¡1 к - ого уровня иерархии с обобщенным показателем / V (к - 1 )-ого уровня. 5с, =<а,ы >- вербально - числовая шкала, определяющая бинарную операцию преобразования в рациональные числа О. на элементах а и т. Процесс измерений по данной шкале есть преобразования вида: П:{//,//"',с} —» ю,', со е Я. Функция вычисления коэффициента связности имеет вид:

1 т = I ^ 1Р

"м 1 Уя

где У)' - 1-ый показатель, относящийся к к-ому уровню иерархии; - у'-ый показатель, относящийся к ( & -1 )-ому уровню иерархии; т1 - количество обобщенных показателей (к - У) уровня иерархии; т? - численность рабочей группы экспертов; г - рейтинг -ого эксперта; тт- число экспертов, отнесших показатель // к обобщенному показателю /V; <у *7 - оценка по шкале важности отнесения показателя // к обобщенному показателю данная д-ым экспертом; ю'-' - вес ./-ого обобщенного показателя, определенный как = Га,(//"',/¡~2)-

Процедура переноса показателя в пределах уровня производится на основе учета величины потери коэффициента связности:

К = Л, (со) = м'т «¡¡- ф, (2)

. . J-U-J+1

где - величина потери коэффициента связности при переносе показателя // от обобщенного показателя /;44 к обобщенному показателю /г*~'; (о^ - величина коэффициента принадлежности- /.' к обобщенному показателю со* - величина . коэффициента принадлежности •// к обобщенному показателю //"'.

Процесс согласования структуры .на данном этапе предполагает итерационную процедуру пересмотра мнений экспертов с предоставлением полной информации о коэффициентах связности показателей со' и величинах потерь fifjz.

Этап ранжирования показателей по степени важности относительно, заданной цели те, = {Scj^ity^c^Fa,} поддерживается методом анализа иерархий (МАИ). Атрибуты Sc3, Fc} и Fa3 соответствуют МАИ, поэтому здесь не приводятся. Для устранения зависимости весов показателей от их количества предложены следующие функции нормировки: Fny = {fn\,fh\}.

>]М=ХГ (3)

где X™™ - нормированный вектор приоритетов обобщенных показателей //"' (Jt-l)-oro уровня, связанных с показателем ff~2 (к -2)-ого уровня; Х1С -расчетный вектор приоритетов обобщенных показателей //"' (к - 1)-ого уровня, связанных с показателем ff~2 (к -2)-ого уровня; пг - количество показателей /,* к - ого уровня, связанных с обобщенным показателем //"' (к - 1)-ого уровня.

М(х)=Х™" = Х,/мАХХ„ , (4)

где XJ"" - нормированный вектор приоритетов показателей // it- ого уровня, связанных с обобщенным показателем /,'"' (ifc-l)-oro уровня; Ха. - расчетный вектор приоритетов обобщенных показателей /,*"' (*-1)-ого уровня, связанных с показателем fj~2 (fc-2)-oro уровня; и, - количество показателей /,' к- ого уровня, связанных с обобщенным показателем (к- 1)-ого уровня.

Этап ранжирования OTP met = [Fa], Fa], Fa]} поддерживается методами многокритериального выбора, исходными данными для которых являются нормированная матрица значений показателей |v||, глобальный вектор приоритетов показателей jjwfl, определенный по МАИ. Для получения искомого ранжирования предлагается использовать: Fa] - минимаксную функцию для грубой оценки OTP, Fa] - функцию критерия Гурвица, Fa] - функцию аддитивной свертки для более точного ранжирования.

• В третьей главе рассмотрена архитектура распределенной многопользовательской компьютерной среды групповой экспертизы OTP, в основу

которой положены базовые принципы технологии многоагентных систем: автономность агента (способность функционировать без вмешательства человека и осуществлять самоконтроль); социальное поведение (способность функционировать с другими агентами); реактивность (способность воспринимать состояние среды и своевременно реагировать на ее изменения); про - активность (способность брать на себя инициативу). Это позволяет более гибко реализовать взаимодействие удаленных пользователей, работающих над общими заданиями и объединенных общими информационными и методологическими ресурсами.

Архитектура программной среды групповой экспертизы ОТР представлена на рис. 2 и включает три типа агентов: агент руководителя (АР), агент эксперта (АЭ), агент-координатор (АК).

Формальная модель агента программной среды представлена в виде: ° =< м,пр • , Л/, Л/01Л,50Ш >, где МЫр и Мш - множества входных и выходных сообщений, обеспечивающих коммуникацию агента в процессе сценарной реализации задания; Fu - множество функций агента, реализующих алгоритмические модели сценариев; : М 1пр —»Ри - отображение, ставящее в

соответствие каждому входному сообщению функцию, реализующую этап сценария; St- множество состояний агента, ассоциированных с заданием, как результат выполнения функций; 8М: 5/ —»Мш - отображение, ставящее в соответствие каждому состоянию выходное сообщение.

АЭ выполняет задачи накопления локальных экспертных оценок на текущем этапе сценария, визуализации локальных и групповых результатов, поддержания целостности локальных информационных ресурсов и оперативного отображения изменений состояния задания данного эксперта. В момент готовности экспертного заключения на данном этапе сценария АЭ формирует сообщение для АК.

АР формирует групповые решения на основе локальных экспертных оценок, контролирует их согласованность, предоставляет средства визуализации локальных и групповых результатов, поддерживает функции руководителя при формировании задания и анализе результатов, обеспечивает взаимодействие с АК.

АК обеспечивает продвижение задания по этапам по мере его готовности, поддерживает целостность групповых информационных ресурсов и оперативность отображения изменений состояния задания на групповом уровне.

В основу действий АК положен принцип ситуационного управления заданием, заключающийся в оперативном анализе состояний агентов, действующих в среде при реализации сценария, и выборе на множествах М^.Л/.Л/^. Состояния агентов оперативно фиксируются в соответствующих информационных ресурсах :реды, реализованных в виде распределенных реляционных баз данных.

Основным принципом генерации локальных информационных ресурсов :реды является принцип наследования с помощью системы шаблонов. При эегистрации нового пользователя (Назначенного эксперта) в среде активизируется

Руководитель

соответствующий АЭ, получающий в качестве локальных информационных ресурсов данные, наследованные с группового уровня преобразованиями вида: Ф,:Г—>7/, Ф 2: V —> 7у, где Т/ - копия справочника показателей, Ту - копия значений показателей ОТР. Такая организация локальных информационных ресурсов позволяет обеспечить конфиденциальность работы пользователей в среде, т.к. все экспертные оценки, накапливающиеся в них, становятся доступными на групповом уровне только по инициативе их владельца. Соответственно информационные ресурсы на групповом уровне содержат агрегированные оценки (групповые решения), формирующиеся в рамках сценария. Они доступны для просмотра всем пользователям благодаря взаимодействию агентов.

На рис. 2 показано взаимодействие агентов в процессе выполнения заданш двумя экспертами и руководителем. Поэтапное выполнение заданш идентифицируется последовательным изменением его состояния & = 0,1,2..., гд

St = 0 соответствует этапу формирования иерархии показателей каждым экспертом, St = l- групповому согласованию общей структуры показателей, St = 2- этапу оценки качественных показателей и т.д. в соответствии с типовым сценарием. Каждый из агентов имеет в своем распоряжении собственный образ задания в качестве целевой функции. Так АЭ должен (в соответствии с типовым сценарием) обеспечить в начальный момент продвижение задания из состояния St = О в состояние St = 1. Для^того он предоставляет эксперту соответствующие этому этапу оконный интерфейс, информационные и алгоритмические ресурсы (т.е. из множества функций агента Fu выбирается me, = (Sq.Fc^Fa,}).

После готовности эксперта представить результаты этапа на групповой уровень АЭ изменяет состояние локального задания St = 1 и сообщает об этом АК посредством сообщения Mеш = 1. Получив подобные сообщения от всех АЭ, активизированных в среде, АК инициирует функцию агрегирования локальных результатов в групповое решение, соответствующую текущему этапу mei = {Sc^Fc^Fa,), переводит состояние своего задания в St = 1 и генерирует сообщение АР о выполненном первом этапе задания.

Следующий этап предназначен для согласования полученных результатов. Его благоприятный результат - переход задания в состояние St = 2, в противном случае руководитель возвращает задание в исходную точку Sf = О для доработки. АР реагирует на действия руководителя, посылая сообщения АК, который в свою очередь оповещает АЭ о принятых на групповом уровне решениях. Если на групповом уровне задание перешло в состояние St = 2, АЭ подготавливает соответствующие этому этапу оконный интерфейс, информационные и алгоритмические ресурсы (из множества функций агента Fu выбирается те2 = {Sc1,Fn1,Fc1,Fa1} ). Данный процесс повторяется до тех пор, пока задание не перейдет в конечное состояние, определенное сценарием.

В четвертой главе описана реализация программной среды групповой экспертизы ОТР. Предложены общие принципы организации пользовательского оконного интерфейса, приведен алгоритм типового сценария работы пользователя в программной среде, определено назначение редактора сценариев, предложены средства интеграции с другими приложениями.

Оконный интерфейс предназначен для взаимодействия пользователя и соответствующего агента на языке предметной области при сценарном выполнении задания. Все элементы пользовательского интерфейса являются стандартом, принятым разработчиками Microsoft Windows. На рис. 3 представлен обобщенный алгоритм типового сценария работы пользователей в программной среде. В зависимости от задач предметной области и исходных данных типовой сценарий может быть модифицирован с помощью редактора сценариев путем выбора необходимых этапов и альтернативных средств обработки результатов (шкалы,

^функции руководителя | | Функции эксперта [ | функции группы | ^^функци^рёдТ

Рис. 3 Обобщенный алгоритм типового сценария групповой оценки ОТР

функции нормировки экспертных оценок, многокритериальные методы ранжирования ОТР).

Например, для грубой оценки альтернатив целесообразно использовать минимаксный метод многокритериального выбора, который не требует информации о весах показателей. Сценарий такой оценки будет включать два этапа: оценку качественных показателей и многокритериальное ранжирование альтернатив. При оценке и выборе технических решений, часто описываемых лишь количественными показателями, этап оценки качественных показателей может быть исключен из сценария. Данные возможности, предоставляемые пользователю-руководителю с помощью редактора сценариев, позволяют гибко настраиваться на специфику предметной области, повышая эффективность процесса оценки ОТР.

Реализованные версии среды ориентированы на разное техническое и программное обеспечение: от компьютера АТ-486 с операционной системой DOS до Pentium с Microsoft Windows NT. Первая версия среды, имеющая DOS -ориентированный интерфейс, разработана на базе компилятора СУБД FoxPro 2.0 Windows-ориентированные версии на базе FoxPro 2.6 и FoxPro 5.0 являютс

>ткрытыми для интеграции с другими офисными приложениями, в частности, с Microsoft Excel посредством механизма Dynamic Data Exchange, что позволяет гользователю работать в привычной среде при расчете значений сложных соличественных показателей. Графическая визуализация осуществляется с юмощью OLE-объектов Microsoft Graph.

Одним из важных преимуществ программной среды является возможность 1Мпортировать внешние данные других форматов, созданные в различных Vindows-приложениях (например, в Microsoft Access), используя ODBC - драйверы Open Database Connectivity). Этот механизм позволяет производить оценку OTP, 13ятых из других приложений, и возвращать в них результаты работы.

В пятой главе приведены результаты экспериментов, проведенных в рамках естирования программных средств. На контрольных примерах оцениваются арактеристики программных средств,. алгоритмических моделей; достоверность юлучаемых в процессе эксперимента решений. Приводится сравнительный анализ езультатов, полученных с использованием разработанных средств и оответствующих аналогов. Исследуется работоспособность программной среды в словиях повышенной нагрузки (количество экспертов - 20, количество цениваемых проектов - 44, количество показателей 35).

Внедрения разработки в различные предметные области и их интеграция с ругими приложениями позволили доказать ее работоспособность, достоверность езультатов, надежность и удобство в эксплуатации.

В рамках договора о выполнении НИР с отделом научно-технической олитики Комитета экономики и промышленной политики Администрации Санкт-!етербурга разработанная компьютерная среда была сопряжена с системой эпровождения заявок на стадии формирования сводного плана НИОКР "Planproj", аботающей с данными формата Microsoft Access. В результате была разработана нтегрированная информационная технология сопровождения заявок, включающая эупповые экспертные оценки.

В рамках договора о научном сотрудничестве с институтом системных следований Польской академии наук (ИСИ ПАН) разработанная компьютерная )еда была использована совместно с системой "DIANA-10" (ИСИ ПАН) для :шения задачи экспертного ранжирования показателей целесообразности «дрения электронного документооборота в рассматриваемой системе управления >упным польским предприятием. В эксперименте приняли участие 20 экспертов, олученные результаты были сравнены с данными системы многокритериального лбора "Медиатор" (ИСИ ПАН). Эксперимент доказал достоверность и более .юокую точность итоговых результатов, полученных с помощью разработанной в iMKax настоящей работы среды.

Использование компьютерной среды в качестве учебного тренажера в рамках рса "Компьютерные технологии в экономике и менеджменте" кафедры ономики и менеджмента Санкт-Петербургского Технического Университета

позволило смоделировать одновременную работу экспертов в режиме on-line 1 рамках локальной сети. В результате были определены требования к технически характеристикам компьютерных средств, входящих в распределенную сред; групповой экспертной оценки качества ОТР.

В результате проведенных исследований в нескольких предметных областя; (оценка заявок на стадии формирования сводного плана НИОКР, оценка и выбо] электромеханических модулей двойного назначения, оценка показателе! целесообразности внедрения электронного документооборота в рассматриваемо! системе управления предприятием) были разработаны соответствующие типовые структуры показателей качества, шкалы значений качественных показателей введены функции поиска, сортировки и фильтрации по классификационный показателям, характерным для аналогов технических систем, накоплен! фактические данные по экспертным оценкам.

В заключении приведены основные результаты работы. В приложения вынесены: инструкция пользователя программной средь групповой экспертной оценки качества ОТР, структуры баз данных, примерь решения задач по экспертной оценке качества различных типов ОТР.

3. ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ В диссертационной работе разработан и внедрен комплекс проблемно ориентированных моделей групповой экспертной оценки качества ОТР в сложны: предметных областях. При этом в диссертации получены следующие результаты:

1. Обоснованы требования и предложена функциональная структур распределенной компьютерной среды групповой экспертной оценки качеств ОТР, характеризующаяся всесторонним учетом информации о показателях ОТР i личных предпочтениях участников процесса принятия решений, обеспечением контроля согласованности экспертных оценок и сокращением сроко формирования промежуточных и окончательных решений.

2. Разработана архитектура распределенной многоагентной компьютерной средь поддерживающая процесс реализации сценариев групповой экспертизы ОТР обеспечивающая развиваемость функциональных возможностей средь интеграцию со стандартными приложениями Microsoft Windows и доступ данным различных форматов.

3. Разработан и реализован в виде программной среды комплекс информационны и алгоритмических моделей проблемной области, предназначенных для создани сценариев групповой экспертизы ОТР в различных предметных областях.

4. Разработана методика применения моделей, рассчитанная на использование распределенной многопользовательской сетевой среде и обеспечивающа решение задачи групповой экспертизы ОТР в режимах on-line / off-line.

5. Разработанная компьютерная среда была использована при решении задач и различных предметных областей: оценка качества продукции и технологи

двойного назначения, оценка качества заявок на проведение НИОКР, подготовка специалистов в рамках учебного курса "Компьютерные технологии в экономике и менеджменте", что подтверждено актами о внедрении.

4. ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИОННОЙ РАБОТЫ . Рахманова И.О. Менеджер заданий как механизм поддержки групповой работы <спертов при оценке научно-технических проектов в распределенной программной эеде - Труды 4-й Санкт-Петербургской международной конференции Региональная информатика", Санкт-Петербург, 1995. - Т. 1. - С. 147 - 148. Рахманова И.О. Методы и модели интеллектуальной поддержки группового эинятия решений в сложных организационно-технических системах // нформационные технологии и интеллектуальные методы. - Санкт-Петербург.: ПИИРАН, 1996.-С. 6-21.

Пашкин М.П., Рахманова И.О. Двухуровневый механизм координации >вместной работы группы экспертов в процессе оценки организационно-:хнических решений в распределенной программной среде. - Труды 5-й Санкт-етербургской международной конференции "Региональная информатика", Санкт-етербург, 1996. - Т. 2. - С. 220 - 221.

Smirnov A., Pashkin М., Rakhmanova I. Agent-Based Decision Support System for nail and Medium Business \\ Proc: of the International Workshop "Distributed Artificial telligence and Multi-Agent Systems" DIAMAS' 97, St.Petersburg, Russia, 1997. - P. 5 - 365.

Рахманова И.О. Редактор сценариев групповой экспертной оценки качества ганизационно-технический решений.// Труды 6-й Санкт-Петербургской :ждународной конференции "Региональная информатика", Санкт-Петербург,

Смирнов А.В., Рахманова И.О., Пашкин М.П. Многоагентная среда групповой дцержки принятия решений в распределенных экспертных командах \\ Проблемы форматизации, 1998. №1.

Barski A., Michalewski Е., Pashkin М„ Rakhmanova I., Smirnov A. Concepts, :thods and tools of business process reeingineering: case study. V International inference on Advanced Computer Systems (ACS'98), Szczecin, 19-20 November 1998. Barski A., Michalewski E„ Pashkin M., Rakhmanova I., Smimov A.: Zintegrowane odowisko wspomaganej komputerowo reiniynierii du'iych

:edsiKbiorstw.(Интегрированные средства компьютерной поддержки шжиниринга предприятий) V Konf. Badan Operacyjnych i Systemowych (BOS'98), tno, 08-10 June 1998.

Barski A., Michalewski E., Niediwiedzicska H., Pashkin M., Rakhmanova I., Smirnov Wska'iniki przydatnoibci EDI w organizacji - ocena ekspertyw (Экспертные оценки юсообразности внедрения EDI в организации) International Conference EDI-EC'98. ц-Arturywek, 04-08 June 1998.

98.

Введение.

1. Модели и средства выбора и оценки качества организационно-технических решений в сложных предметных областях (состояние и перспективы).

1.1. Отличительные черты сложных предметных областей и связанные с ними особенности процесса принятия решений.

1.2. Общие требования к методам принятия решений в сложных предметных областях.

1.3. Роль и место экспертных оценок в процессе принятия решений в сложных предметных областях.

1.4. Нормативные методики оценки качества продукции, технологий, бизнес-процессов и других организационно-технических решений.

1.5. Основные характеристики автоматизированных средств поддержки принятия решений как составной части комплексных информационных систем.

1.6. Выводы по главе.

2. Разработка моделей формирования групповых решений на основе частных экспертных оценок и контроля их согласованности.

2.1. Основные методологические принципы групповой технологии экспертизы OTP

2.2. Формальная структура принятия решений.

2.3. Информационная модель проблемной области «Групповая экспертная оценка качества организационно-технических решений»: основные понятия и их отношения.

2.4. Алгоритмические модели типового сценария групповой экспертной оценки качества организационно-технических решений.

2.4.1. Этап формирования иерархической структуры показателей.

2.4.2. Этап оценки качественных значений показателей.

2.4.3. Этап ранжирования показателей по степени важности.

2.4.4. Этап ранжирования организационно-технических решений.

2.5. Выводы по главе.

3. Разработка программной модели распределенной многопользовательской компьютерной среды групповой экспертной оценки качества OTP.

3.1. Основные факторы, влияющие на выбор архитектуры распределенной многопользовательской компьютерной среды групповой экспертизы OTP.

3.2. Обобщенная структурная схема программной среды групповой экспертной оценки качества OTP.

3.3. Формальная модель агента среды и структура взаимодействия агентов в процессе реализации типового сценария групповой экспертизы OTP.

3.4. Выводы по главе.

4.Реализация распределенной многопользовательской компьютерной среды групповой экспертизы OTP.

4.1. Обобщенный алгоритм типового сценария групповой экспертизы организационно-технических решений и редактор сценариев.

4.2. Общие принципы пользовательского оконного интерфейса.

4.3. Средства интеграции среды групповой экспертизы OTP с другими приложениями.

4.4. Реализация прикладных версий компьютерной среды групповой экспертизы OTP.

4.5. Выводы по главе.

5. Результаты прикладных исследований в различных предметных областях на основе разработанных компьютерных средств групповой экспертизы OTP.

5.1. Разработка интегрированной информационной технологии сопровождения заявок на стадии формирования сводного плана НИОКР.

5.2. Ранжирование показателей целесообразности внедрения электронного документооборота в системе организационного управления предприятием.

5.3. Оценка и выбор электромеханических модулей в условиях производства продукции военного и гражданского назначения.

5.4. Выводы по главе.

Усложнение социально - экономической среды жизнедеятельности человека все более затрудняет и делает практически невозможным процесс принятия решений одним человеком при рассмотрении всех аспектов сложных проблем. Последнее десятилетие ознаменовалось признанием факта возрастания роли группового принятия решений в сложных предметных областях, характеризующихся высокой степенью неопределенности, связанной с их слабоструктурированностью, неполнотой, нечеткостью и большими объемами исходной информации. В таких областях сложна формализация задач и велика роль интуиции экспертов.

Основная проблема принятия сложных организационно-технических решений (OTP), требующих многокритериальной экспертной оценки, заключается в превышении объема информации об анализируемых объектах над физическими возможностями субъектов процесса принятия решений по ее обработке. При принятии ответственных решений, когда цена ошибки достаточно высока, исключение из учета даже части существенных показателей качества является недопустимым. Возникает необходимость в средствах, позволяющих перевести процесс принятия решений из интуитивной плоскости в логическую и дающих возможность сбора и обработки как больших объемов информации различных видов, так и личных предпочтений участников процесса принятия решений.

В настоящее время научное направление, связанное с разработкой методов и средств групповой технологии экспертизы OTP, является одним из наиболее динамично развивающихся в рамках проблем искусственного интеллекта в его разделах, ориентированных на решение задач кооперативного принятия решений в распределенных компьютерных средах.

К числу требований, предъявляемым к компьютерным системам оценки качества OTP, можно отнести: совместное использование формальных и интуитивных методов принятия решений; взаимодействие с пользователями на естественном языке; использование интерфейса с различными типами визуализации информации.

К областям применения групповых экспертных оценок можно отнести экспертизу научно-технических, экономических, инвестиционных конкурсных проектов; оценку качества продукции на каждом этапе жизненного цикла; оценку технологий и бизнес-процессов. Под объектом экспертизы понимается совокупность альтернативных OTP, описываемых множеством количественных и качественных показателей.

Развитие и модификация существующих методов и разработка компьютерных средств поддержки принятия решений при групповой экспертной оценке качества OTP в процессе научных исследований, проводимых в различных сложных предметных областях, является важной и актуальной задачей данного научного направления.

Цель работы. Целью настоящей диссертационной работы является разработка информационных, алгоритмических и программных моделей распределенной компьютерной среды групповой экспертной оценки качества альтернативных OTP, характеризующихся множеством количественных и качественных показателей, с целью повышения эффективности процесса экспертизы за счет снижения доли субъективности в общей экспертной оценке, всестороннего учета информации о показателях альтернатив и личных предпочтениях участников процесса принятия решений, обеспечения контроля согласованности экспертных оценок и сокращения сроков формирования промежуточных и окончательных решений.

В соответствии с поставленной целью в диссертационной работе формулируются и решаются следующие задачи:

1. Классификация методов и автоматизированных средств проблемной области с целью обоснования требований и разработки функциональной структуры распределенной компьютерной среды групповой экспертизы OTP.

2. Разработка и исследование комплекса информационных и алгоритмических моделей проблемной области, ориентированных на создание сценариев групповой экспертизы OTP.

3. Разработка архитектуры распределенной компьютерной среды групповой экспертизы OTP, основанной на технологии многоагентных систем.

4. Разработка интерфейса компьютерной среды, обеспечивающего открытость к интеграции с другими приложениями.

5. Разработка методического обеспечения решения задачи групповой экспертизы OTP на основе полученных теоретических и практических результатов.

Научная новизна результатов диссертации состоит в следующем:

1. Разработана информационная модель проблемной области "Групповая экспертная оценка качества OTP", включающая понятия "задание", "экспертная группа", "альтернативные OTP", "сценарий" и их отношения.

2. Предложен типовой сценарий групповой экспертной оценки OTP, включающий этапы формирования частных предпочтений экспертов и этапы их агрегирования в групповые решения с оценкой согласованности частных предпочтений, что позволяет контролировать согласованность итогового решения на всех этапах сценария для обеспечения его достоверности.

3. Разработаны алгоритмические модели проблемной области, базирующиеся на принципах измерения частных предпочтений экспертов, контроля их согласованности и агрегирования частных предпочтений в групповое решение.

4. Для иерархической структуризации показателей качества предложена формальная процедура, основанная на функции вычисления коэффициента связности единичного показателя данного уровня иерархии с обобщенным показателем вышестоящего уровня, и функции вычисления потери коэффициента связности при переносе единичного показателя от одного обобщенного показателя к другому в пределах уровня.

5. Разработана архитектура распределенной многоагентной компьютерной среды, поддерживаемая средствами стандартного сетевого аппаратно-программного обеспечения, что позволяет реализовать согласованную и одновременную работу территориально удаленных друг от друга экспертов в режимах on-line / off-line и обеспечивающая открытость к интеграции со стандартными приложениями Microsoft Windows (MS Graph, MS Excel) посредством механизма DDE и возможность доступа к данным различных форматов посредством интерфейса ODBC.

Практическая ценность диссертации состоит в следующем:

1. На основе предложенных в работе моделей разработано программное обеспечение распределенной компьютерной среды групповой экспертизы ОТР, позволяющее получать согласованные экспертные оценки и итоговое ранжирование ОТР в различных предметных областях.

2. Разработан редактор сценариев экспертизы ОТР, позволяющий настраиваться на решение прикладных задач из различных предметных областей.

3. Использование разработанной компьютерной среды обеспечивает сокращение сроков и трудоемкости экспертизы ОТР благодаря эффективному взаимодействию членов экспертной группы, чьи усилия объединены общими информационными и методическими ресурсами в рамках выбранного сценария.

4. Разработанные текстовые и графические средства визуализации как частных предпочтений экспертов, так и итоговых результатов делают открытым для анализа весь процесс экспертизы, что повышает степень доверия к нему.

5. Использование разработанной компьютерной среды в учебном процессе позволяет обеспечить подготовку и переподготовку специалистов на базе интенсивных форм обучения.

В первой главе определяется понятие организационно-технического решения сложной предметной области, приводятся его основные характеристики как объекта оценки качества. По результатам анализа теоретических основ, методов и средств принятия решений в сложных предметных областях обосновывается необходимость комплексного применения трех основных групп методов (интуитивных, комбинированных и математических) на различных этапах процесса оценки качества альтернативных ОТР.

По данным сравнительного анализа отечественных и зарубежных аналогов компьютерных систем оценки качества и выбора альтернативных решений определено место, назначение, области применения, круг пользователей, задачи и принципы реализации компьютерной среды групповой экспертизы ОТР.

Определены следующие основные требования. Компьютерная среда предназначена для поддержки групповой работы экспертов во главе с руководителем при оценке качества и ранжировании альтернативных ОТР. Ее использование целесообразно на финальных этапах принятия решений, когда определены альтернативные варианты и их показатели. К основным задачам компьютерной среды можно отнести отображение интуитивного процесса принятия решений на формализованную плоскость, предоставление возможности обработки больших объемов информации различных видов, предоставление средств сбора и обработки личных предпочтений субъектов принятия решений.

На основе анализа современных аппаратно-программных коммуникационных средств обоснована архитектура распределенной многоагентной компьютерной среды, поддерживающая кооперативную работу удаленных пользователей. Формулируется необходимость ориентации базовых принципов реализации среды на создание Internet - приложения, что позволит существенно расширить возможности коммуникации удаленных пользователей, компьютерное оснащение которых базируется на разных операционных платформах.

Таким образом, в первой главе определены основные стороны групповой технологии экспертизы OTP (распределенная компьютерная среда и пользователи различных категорий как субъекты процесса принятия решений) и основные составляющие технологии (методологическая, программная, техническая).

Во второй главе разработаны модели формирования групповых решений и контроля согласованности частных мнений экспертов. Результатом теоретических исследований в области методологии групповой экспертной оценки качества OTP явилась разработанная совокупность моделей, описывающих проблемную область «Групповая экспертная оценка качества OTP» и методологически поддерживающих групповую технологию экспертизы OTP. В состав данной совокупности моделей входит информационная модель проблемной области, задающая основные понятия и их отношения, и множество алгоритмических моделей, определяющих сценарии групповой технологии экспертизы OTP.

За основу групповой технологии экспертизы OTP принимается типовой сценарий, состоящий из чередования этапов формирования частных предпочтений экспертов и согласования результатов внутри группы. Для формирования сценариев, ориентированных на специфику предметной области, предназначены предложенные в работе атрибуты: шкалы для измерения предпочтений экспертов, функции нормировки частных предпочтений, функции согласования частных предпочтений, функции агрегирования частных предпочтений в групповые решения.

Таким образом, во второй главе разработаны информационная и алгоритмические модели проблемной области, представляющие собой методологическую составляющую групповой технологии экспертизы OTP.

В третьей главе разработана программная модель групповой технологии экспертизы OTP. Предложена архитектура распределенной многопользовательской компьютерной среды, предназначенная для реализации групповой технологии экспертизы OTP. В основу разработанной архитектуры положены базовые принципы организации многоагентных систем, в настоящее время оцениваемые как наиболее перспективные для создания компьютерных сред подобного класса.

Основными составляющими архитектуры являются агенты и информационные ресурсы, представленные распределенными реляционными базами данных. Различаются три типа агентов, предназначенных для поддержки взаимодействия пользователей в процессе сценарной реализации групповой технологии экспертизы OTP: агент руководителя, агент эксперта и агент-координатор. Обобщенная формальная модель агента представлена отношениями на множествах коммуникационных и функциональных атрибутов, что обеспечивает его автономность и активность в гетерогенной среде. Целевой функцией агента служит образ задания.

Информационные ресурсы среды сосредоточены на групповом и локальном уровнях архитектуры. Данные уровни характеризуются взаимной непрозрачностью, что обеспечивает комфортность работы пользователей, возможность многократного пересмотра частных предпочтений, редактирование результатов.

Основным принципом генерации локальных информационных ресурсов среды, содержащих частные экспертные оценки, является принцип наследования с помощью системы шаблонов. Соответственно информационные ресурсы на групповом уровне содержат агрегированные экспертные оценки (групповые решения), формирующиеся в рамках сценария.

Таким образом, в третьей главе разработана программная модель проблемной области как составляющая групповой технологии экспертизы OTP, удовлетворяющая требованиям интеграции в состав комплексных информационных систем.

В четвертой главе представлена реализация компьютерной среды групповой экспертизы OTP. Предложены общие принципы организации пользовательского оконного интерфейса, приведен алгоритм типового сценария работы различных пользователей в среде, определено назначение редактора сценариев, предложены средства интеграции с другими приложениями, определены характеристики технических средств среды, дан ретроспективных анализ версий компьютерной среды групповой экспертизы OTP и перспективы развития.

Алгоритм типового сценария взаимодействия пользователей в распределенной компьютерной среде предназначен для реализации групповой технологии экспертизы OTP. Сценарий обеспечивает эффективное и дружественное взаимодействие двух сторон групповой технологии экспертизы OTP: распределенной компьютерной среды и пользователей различных категорий (руководителя и экспертов). В зависимости от задач предметной области и исходных данных типовой сценарий может быть модифицирован с помощью редактора сценариев путем выбора на множестве атрибутов сценариев.

В соответствии с разделением полномочий пользователей разработан оконный интерфейс распределенной компьютерной среды. Действия руководителя ассоциированы с групповым уровнем компьютерной среды, действия экспертов - с локальным. Взаимодействие пользователей со средой обеспечивают соответствующие агенты посредством функционально-ориентированного интерфейса. Основным требованием к оконному интерфейсу является представление информации на языке предметной области в текстовом и графическом виде. Для выполнения этого требования оконный интерфейс снабжен средствами интеграции со стандартными офисными приложениями (Microsoft Excel, Microsoft Access, Microsoft Graph), что позволяет пользователю при необходимости работать в привычной среде, иметь доступ к данным других форматов, анализировать графическое представление информации.

Разработанные версии среды предназначены для работы на IBM-совместимых персональных компьютерах различной конфигурации от компьютера АТ-486 с операционной системой DOS до Pentium с Microsoft Windows NT. Первая версия среды, имеющая DOS - ориентированный интерфейс, разработана на базе компилятора СУБД FoxPro 2.0; Windows-ориентированные версии - на базе FoxPro 2.6 и FoxPro 5.0. Распределенный характер среды обеспечивается средствами стандартного сетевого аппаратно-программного обеспечения.

Таким образом, в четвертой главе представлено взаимодействие двух сторон групповой технологии экспертизы ОТР: распределенной компьютерной среды и пользователей различных категорий как субъектов процесса принятия решений. Определены характеристики средств реализации технической составляющей групповой технологии экспертизы ОТР: IBM-совместимые персональные компьютеры различной конфигурации, стандартное сетевое аппаратно-программное обеспечение, архитектура клиент-сервер.

В пятой главе приведены результаты исследований разработанной групповой технологии экспертизы ОТР в различных предметных областях. Представлены результаты экспериментов, проведенных совместно с другими специализированными компьютерными приложениями, и их сравнение с независимыми результатами, полученными с помощью существующих аналогов.

К предметным областям, в рамках которых проводились исследования, относятся: оценка заявок на стадии формирования сводного плана НИОКР; оценка и выбор электромеханических модулей двойного назначения; оценка показателей целесообразности внедрения электронного документооборота в рассматриваемой системе управления предприятием.

Внедрения разработанных моделей и средств групповой экспертной оценки качества ОТР в различные предметные области, характеризующиеся как сложные, позволили провести эксперименты на реальных данных, оценить достоверность полученных результатов путем сравнения с результатами соответствующих аналогов, выявить достоинства и недостатки разработки.

Наряду с полученными результатами экспериментов в процессе проведенных исследований разработаны соответствующие типовые структуры показателей качества, шкалы значений качественных показателей, введены функции поиска, сортировки и фильтрации по классификационным показателям, характерным для аналогов технических систем, накоплены фактические данные по экспертным оценкам.

В заключении приведены основные результаты работы, их научная и практическая ценность, намечены перспективные направления развития данной разработки.

В Приложения вынесены: инструкция пользователя распределенной многопользовательской версии компьютерной среды «MultiExpert», структура основных баз данных, демонстрационные примеры оценки качества ОТР.

5.4 Выводы по главе

1. Для тестирования работоспособности компьютерной среды групповой экспертизы ОТР и проверки достоверности итоговых результатов были проведены эксперименты совместно с другими специализированными компьютерными приложениями, результаты которых сравнивались с независимыми результатами, полученными с помощью существующих аналогов.

Ill

2. Эксперименты подтвердили возможность интеграции разработанных версий компьютерной среды групповой технологии экспертизы OTP с другими информационными системами, что доказывает соответствие разработанных средств современным требованиям информационных технологий.

3. При разработке интегрированной технологии экспертизы заявок на НИОКР возможности распределенной компьютерной среды групповой экспертизы OTP были дополнены средствами сетевого обмена данными разных форматов через интерфейс ODBC. Эти возможности позволяют адаптировать компьютерную среду к другим информационным системам, что повышает потребительскую стоимость разрабатываемых версий среды.

4. Эксперименты подтвердили адекватность подходов и разработанных моделей задачам проблемной области. В процессе оценки показателей целесообразности внедрения электронного документооборота в систему организационного управления предприятием с помощью разработанной компьютерной среды был проведен сеанс групповой экспертизы при участии 20 экспертов. Получены более точные и подробные результаты по сравнению с аналогом.

5. Необходимость решения задачи выбора электромеханической системы двойного назначения позволило расширить функциональные возможности версии компьютерной среды средствами поиска и фильтрации на множестве данных, формирования запросов, что позволяет говорить о выполнении требований, предъявляемых к информационно-поисковым системам.

ЗАКЛЮЧЕНИЕ

Использование современных информационных технологий для оценки качества продукции, технологий, бизнес-процессов, объединяемых общим понятием организационно-технические решения (OTP), может способствовать решению задачи непрерывного повышения уровня качества. Процесс оценки и управления качеством реализуется в слабоструктурированных предметных областях, где сложна формализация процесса и велика роль интуиции экспертов, требуется анализ больших объемов количественной и качественной информации, осложнено детальное описания процесса принятия решений, существенны временные ограничения, возможно появление новых ситуаций. Наличие высокой степени неопределенности, вызываемой сложностью и естественной стохастикой таких предметных областей, требует использования групповых технологий экспертизы решений, базирующихся на соответствующих интегрированных компьютерных средствах, разработанных в классе систем поддержки принятия решений.

Одним из подходов к решению данной задачи является предложенная в настоящей диссертационной работе групповая технология экспертной оценки качества сложных OTP, базирующаяся на методологической, программной, технической составляющих и обеспечивающая дружественное взаимодействие двух сторон процесса экспертизы OTP: распределенной компьютерной среды и пользователей различных категорий (руководителя и экспертов).

В диссертационной работе разработан и внедрен комплекс проблемно-ориентированных моделей групповой экспертной оценки качества OTP в сложных предметных областях. При этом получены следующие результаты:

1. Разработана совокупность моделей, описывающих проблемную область «Групповая экспертная оценка качества OTP», которая послужила методологической основой групповой технологии экспертизы OTP. В состав данной совокупности моделей входит информационная модель проблемной области, задающая основные понятия и их отношения, и множество алгоритмических моделей, определяющих сценарии групповой технологии экспертизы OTP.

2. Разработана программная модель распределенной многопользовательской компьютерной среды как составляющая групповой технологии экспертизы OTP. В основу данной модели положены базовые принципы организации многоагентных систем, позволяющие интегрировать приложения, разработанные на базе данной программной модели, в состав комплексных информационных систем.

3. Определены характеристики средств реализации технической составляющей групповой технологии экспертизы OTP: IBM-совместимые компьютеры, стандартное сетевое аппаратно-программное обеспечение, архитектура клиент-сервер.

4. Разработан алгоритм взаимодействия двух сторон групповой технологии экспертизы OTP: распределенной компьютерной среды и пользователей различных категорий как субъектов процесса принятия решений.

5. Проведены исследования разработанной групповой технологии экспертизы OTP в различных предметных областях: оценка заявок на стадии формирования сводного плана НИОКР; оценка и выбор электромеханических модулей двойного назначения; оценка показателей целесообразности внедрения электронного документооборота в рассматриваемой системе управления предприятием.

6. Внедрения разработанных моделей и средств групповой экспертной оценки качества OTP в различные предметные области, характеризующиеся как сложные, позволили провести эксперименты на реальных данных, оценить достоверность полученных результатов путем сравнения с результатами соответствующих аналогов, выявить достоинства и недостатки разработки.

К практической ценности работы можно отнести:

1. Разработанные средства групповой технологии экспертной оценки качества OTP позволяют оценивать степень согласованности экспертных оценок и получать согласованное итоговое ранжирование OTP.

2. Разработанный редактор сценариев экспертизы OTP позволяет настраиваться на решение прикладных задач из различных предметных областей.

3. Применение разработанной групповой технологии снижает долю субъективного фактора в итоговых решениях, обеспечивает сокращение сроков и трудоемкости экспертизы OTP благодаря эффективному взаимодействию членов экспертной группы, чьи усилия объединены общими информационными и методическими ресурсами в рамках выбранного сценария.

4. Разработанные текстовые и графические средства визуализации как частных предпочтений экспертов, так и итоговых результатов делают открытым для анализа весь процесс экспертизы, что повышает степень доверия к нему.

Результаты проведенных исследований нашли практическое применение в следующих разработках:

1. В проекте Федеральной целевой программы "Информатизация России" (проект "Разработка технологии и многоагентной среды для интеллектуального управления конфигурацией информационных систем при сценарном реинжиниринге организаций", № госрегистрации 037.02.236.132/1-96, 01.01.96 г. - 30.06.98 г.)

2. В проекте Федеральной целевой программы "Перспективные информационные технологии" (проект "Разработка многоагентной среды интеллектуального управления конфигурацией сложных объектов с динамически изменяемой структурой" № госрегистрации 01.960.0 07979, 01.01.96 г. - 31.12.97 г.).

114

3. Адаптированная к потребностям заказчика система "ЭКСПЕРТ" передана в эксплуатацию по хозяйственному договору №21-80/25-97 от 28.04.97 г. Комитету экономики и промышленной политики Администрации Санкт-Петербурга.

4. В СПИИРАН при проведении НИР "Разработка принципов построения и структуры автоматизированной системы оценки качества научно-технической продукции, изделий и технологий двойного назначения" (Шифр "Безопасность"). № госрегистрации 01.9.30 009102.

5. В Институте системных исследований Польской Академии наук в рамках договора о научном сотрудничестве от 30.06.97 г.

6. В Санкт-Петербургском государственном техническом университете на кафедре «Экономика и менеджмент в машиностроении» в рамках учебного курса «Компьютерные технологии в экономике и менеджменте».

Проведенные научные исследования выполнены в СПИИРАН в рамках плановых НИР, проводимых по заданиям Федеральных целевых программ "Информатизация России" и "Перспективные информационные технологии", а также в рамках протокола о научном сотрудничестве между Российской и Польской академиями наук на 1996-1998 гг. п. 3 тематического плана и на 1999-2001 гг. п. 57 тематического плана.

1. Абдрахимов Д.А., Иоффин А.И. Информационно-аналитические технологии и выбор решений // Банковские технологии. 1997, №4. С.24-27.

2. Абдрахимов Д.А., Иоффин А.И. Универсальная информационно-аналитическая система поддержки принятия решений "Оценка и выбор": от проблематики к концепции построения и применения.// ВИНИТИ "Научно-техническая информация". 1999. №1.

3. Ананьин В.И. Корпоративные стандарты точка опоры автоматизации Системы Управления Базами Данных • № 5-6/97 • стр. 4-17 http://iedi.kosnet.rU/osp/dbms/1997/05-06/4.htm

4. Андрианов Ю.М., Субетто А.И. Квалиметрия в приборостроении и машиностроении. Л., Машиностроение, 1990, 216 с.

5. Анискин Ю.П. и др. Новая техника: повышение эффективности создания и освоения. М., 1984, 192 с.

6. Ахтырченко К.В., Леонтьев. В.В. Распределенные объектные технологии в информационных системах. СУБД N 5-6, 1997.

7. Батечко И.В., Кныш В.А. Методы оценки технического уровня и качества продукции. Минск, 1988.

8. Богословская Н.В, Бржезовский A.B., Витюк Н.Г., ИАЦ Корпоративные хранилища данных, http ://www.iac. spb.ru/itmagaz/1997/N4/Kordan.htm

9. Будищева И.Д., Плоткин Я.Д. Регулирование затрат на обеспечение качества продукции. М., 1989, 184 с.

10. Бурков В.Н. и др. Большие системы: моделирование организационных механизмов. М., Наука, 1989,245 с.

11. Васкевич Д. Стратегии Клиент/Сервер .- Киев: Диалектика, 1996 .

12. Вольский В.И. Турнирные функции в задачах коллективного и многокритериального выбора// Исследования по теории структур. М., Наука, 1987.

13. Вольский В.И., Лозина З.М. Голосование в малых группах: процедуры и методы сравнительного анализа. М., Наука, 1991, 192 с.

14. ГОСТ 15467-79. Управление качеством продукции. Основные понятия. Термины и определения. М., изд. стандартов, 1991, 28 с.

15. Грищенко В.И. и др. Современные подходы к созданию распределенных информационных систем. Управляющие системы и механизмы, № 3, 1998, С. 3-10.

16. Громов М. Внедрение Intranet или разговор о том, как материализовать виртуальную реальность. (Ъ ttp : //www. ci. ru/i nform 2 9 8/astr 1. h tm) InformationWeek № 2396 c.29-30

17. Демченко Ю. Технологии Интернет/Интранет для построения корпоративных и кампусных сетей (http://www.dcp.kiev.ua/dummies/dmm-intranet.html)

18. Емельянов C.B. Выявление экспертных знаний. М., Наука, 1989, 127 с.

19. Емельянов C.B. Дискриптивный подход к изучению процесса принятия решений при многих критериях. М., Наука, 1980, 83 с.

20. Емельянов C.B., Ларичев О.И. Многокритериальные методы принятия решений. М., Знание, 1985,32 с.

21. Искусственный интеллект / под ред. Э.В.Попова, Д.А. Поспелова, В.Н. Захарова,22