автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Алгоритмы и методы комплексной количественной оценки качества систем

Введение.

1. Задача комплексной количественной оценки качества систем

1.1 Постановка задачи исследования

1.2 Основные требования к формированию множества единичных показателей качества и комплексных критериев.

Выводы.

2. Задачи и функции нормирования единичных показателей качества систем.

2.1 Некоторые теоретические вопросы нормирования.

2.2 Анализ основных функций нормирования единичных показателей качества и выбор базовых алгоритмов.

2.3 Алгоритм функционально - экспертного нормирования.39 Выводы.

3. Выбор методов количественной оценки уровня качества систем.

3.1 Классификация методов оценки уровня качества по комплексным критериям.

3.2 Анализ основных методов количественной оценки уровня качества систем.

3.2.1 Методы расчета комплексного критерия, основанные на свертках единичных показателей качества.

3.2.2 Методы введения метрик в пространстве нормированных единичных показателей качества.

3.2.3 Методы экспертных оценок.

3.3 Разработка метода комплексной экспертной оценки качества систем.

Выводы.

4. Реализация методов и алгоритмов комплексной количественной оценки качества систем в программном комплексе «Вердикт».

4.1 Структура и состав разработанного программного комплекса.

4.2 Методика использования разработанного программного комплекса.

Выводы.

Вопросам повышения качества промышленной продукции в настоящее время уделяется исключительное внимание.

Это обусловлено объективными жесткими требованиями как внутренней, так и внешней экономической необходимости. Установление государством порядка обязательного лицензирования отдельных видов деятельности, производств, продукции и услуг (например, разработка и производство вооружения и военной техники, средств связи и других стратегически важных видов продукции) требует наличия сертифицированной системы качества.

Законодательством ряда стран (а с 2000г. и российским) во всех спорных ситуациях, связанных с качеством и безопасностью продукции и услуг, требуется подтверждение соответствия поставляемого на рынок продукта современному научно-техническому уровню.

Наличие на предприятии поставщика сертифицированной системы качества позволяет без дополнительных финансовых, временных и организационных издержек преодолеть устанавливаемые рядом стран нетарифные (технические) барьеры.

В России и в ряде зарубежных стран получение государственного заказа зависит, прежде всего, от наличия на предприятии сертифицированной системы качества. Кроме того, Государственные органы исполнительной власти в России обязаны поддерживать поставщиков продукции и услуг для нужд государства в деле разработки и сертификации систем качества [1].

Участие российских предприятий в процессе международного разделения труда предполагает выполнение возрастающего объема подрядных работ. Возможность получения предприятием субподрядов, как от зарубежных заказчиков, так и от российских предприятий, работающих на экспорт, часто также обуславливается наличием на предприятии системы качества [2,3].

Условия тендеров и других конкурсных форм размещения заказов на поставки продукции, как на внешнем, так и на внутреннем рынке России обычно включают в себя требования к наличию у поставщика системы качества. Например, поставки продукции для топливно-энергетического комплекса, для предприятий химической промышленности и других отраслей осуществляется в России с учетом наличия системы качества у поставщика [4,5].

Сертификация системы качества обеспечивает предприятию необходимый уровень доверия на рынке. Стабильность поставок даже известных российских фирм в условиях современной неустойчивой экономики нуждается в дополнительном подтверждении. Таким общепризнанным подтверждением является соответствующим образом документированная и эффективно работающая система качества. Страхование, факторинг и другие виды поддержки финансовыми институтами сделок на поставку продукции и услуг на внешний и (все чаще) на отечественный рынок требуют подтверждения стабильности фирмы, прежде всего в части рисков, связанных с качеством и безопасностью продукции. Эти риски и обусловленная ими административная и имущественная ответственность существенно снижаются при наличии действующей системы качества. Это в свою очередь позволяет привлечь солидных страховщиков и банки, кредитующие предприятия по факту отгрузки, а также снизить ставки по кредиту и страховке.

Использование системы управления качеством позволяет также совершенствовать бизнес - модели компаний по следующим направлениям:

• «скрытое производство» (т.е. исправление брака) при создании системы качества становится явным. Нередко объемы скрытого производства составляют от 30 до 40% трудозатрат производства, и эти значительные издержки при внедрении системы качества значительно сокращаются;

• предупреждение претензий и связанных с ними потерь является важным примером реализации принципа системы качества в понимании стандартов ИСО серии 9000. Конструктивные принципы международных стандартов позволяют предприятию иметь четкий механизм предупреждающих мер и избегать провалов на рынке;

• реструктуризация управления предприятием среди 350 основных функций управления любым предприятием около 60-70% прямо связаны с обеспечением качества в понимании международного стандарта ИСО 8402. Таким образом, внедрение системы качества является одним из важнейших шагов в создании на предприятии современного управления;

• роль высшего руководства в обеспечении необходимого качества сбыта продукции и услуг до настоящего времени заключалась только лишь в оперативном контроле над деятельностью всех служб предприятия. Оптимальная номенклатура и объем делегируемых полномочий, матрицы ответственности и другие инструменты, предлагаемые стандартами серии ИСО для систем качества, позволяет значительно улучшить управляемость предприятием и изменить роль высшего руководства, сосредоточив его внимание на стратегическом управлении. Этим достигается высокое качество во всем: в проектировании и организации закупок, в освоении эффективных технологий производства и маркетинга, в управлении персоналом и т.д.;

• участие персонала в деле обеспечения качества всех производственных процессов (от анализа спроса до технического обслуживания) на всех уровнях является единственным выходом для российских предприятий в условиях отсутствия внешних ресурсов. Идя по этому пути, Германия и Япония после Второй мировой войны, а

Чехия и Венгрия за последние годы смогли за короткое время достичь значительных успехов в экономике. При этом политика руководства предприятия в области качества была доведена до всех сотрудников.

Система управления качеством оказывает влияние и на финансовую привлекательность и надежность компаний:

• внедрение и сертификация системы качества аккредитованным органом повышает уровень надежности предприятия как потенциального получателя заемных средств. Прежде всего, это касается оборотных средств под контрактные поставки, т.к. наличие сертифицированной системы качества является как для зарубежных, так и для отечественных кредиторов важным дополнительным свидетельством стабильности поставок;

• создание совместных предприятий и других структур с участием инвесторов без системы качества является довольно проблематичным. Во-первых, возникают сомнения в состоятельности менеджмента предприятия (если, например, отсутствует анализ затрат на обеспечение качества выпускаемой продукции или другие функции контроля, предусмотренные стандартами ИСО серии 9000). Во-вторых, возможности выхода на новые рынки без гарантии радикального изменения отношения к обеспечению качества, по мнению многих инвесторов, ограничены;

• нефинансовые активы предприятия вследствие создания и сертификации системы качества растут за счет повышения стоимости торговой марки производителя, а также за счет капитализации, вызванной ростом оборота (рост цены высококачественной продукции, освоение новых рынков сбыта и т.д.). При этом после сертификации системы качества аккредитованным органом обычно повышается курс акций акционерных компаний.

Таким образом, сегодня уже очевидно, что успех на стороне тех компаний, которые отдают приоритет качеству - от технологии производства до используемых стандартов в обслуживании клиентов и поставках продукции.

Уделяя должное внимание качеству, компания способствует укреплению своих позиций на мировом рынке в условиях растущей конкуренции и становится способной использовать новые возможности. В действительности, все больше и больше покупателей перед началом работы с поставщиками требуют от них проведения независимой сертификации для подтверждения обязательств в области качества.

Общепринятыми в мире на сегодняшний день считаются стандарты ИСО (ISO).

ИСО - международная неправительственная некоммерческая организация по стандартизации основана в 1947г. Основная цель выработка общих подходов и требований к качеству как к системе.

Основной задачей сертификации фирмы согласно стандартам ИСО 9001 «Системы управления качеством» является получение конкурентных преимуществ на рынке.

Стандарты серии ИСО 9000 предусматривают выделение 20 элементов системы качества продукции, влияющих на конечный результат.

Результаты внедрения и применения на практике стандартов в мире в целом показывает, что идеи, изложенные в стандартах, добились определенного признания в деловом мире.

В соответствии с процедурами ИСО, все стандарты, принятые этой организацией, каждые пять лет должны подвергаться анализу, задача которого - определить какие из них требуют подтверждения, пересмотра или отмены, т.к. они должны соответствовать современному пониманию системы качества, отвечающей требованиям глобального рынка.

Стандарт ИСО 9001 «Системы управления качеством» акцентирует особое внимание на комплексном управлении качеством продукции. Таким образом, качество становится действительным объектом управления. Однако управлять можно только тем, что измеримо. Это диктует необходимость количественно измерять (рассчитывать, оценивать) качество с учетом всего многообразия потребительских свойств продукции.

В настоящее время признано [6], что именно последним обстоятельством объясняется возникновение в начале 60-х годов нового направления в науке - квалиметрии - научной области, изучающей и разрабатывающей принципы и методы количественной оценки качества.

Вместе с тем не только необходимость, но и возможность количественной оценки качества систем доказана работами таких ученых, как Г.Г.Азгальдов, А.В.Гличева, И.Б.Погожева, Э.И.Райхмана, В.И.Сиськова, Я.Б.Шора и др. Причем, еще в работах 60-х и начала 70-х годов [7,8,9] была вскрыта природа качества систем, определены основные понятия квалиметрии, разработаны основные методы и практические рекомендации по их применению.

В работах ряда авторов более позднего периода [10,11,12] находят широкое применение отображение как теоретические, так и практические вопросы квалиметрии.

Следует отметить, что в различных областях науки, техники, производства всегда существовала задача сравнения между собой объектов, выходные (потребительские) свойства которых определялись совокупностью (множеством) числовых характеристик разной физической природы. Причем, она обусловлена не технической (либо математической), а концептуальной сложностью, вытекающей, прежде всего из принципиальной неспособности человека оперировать при мыслительном анализе одновременно большим количеством данных [13,14,15,16].

Формальное (и строгое) решение указанной задачи заключается в том, что вводится некоторый комплексный критерий качества, т.е. некоторое математическое выражение, которое позволяет сопоставить множеству числовых характеристик, описывающих систему, некоторое число. Определяющее качество этой системы.

Выбор критерия качества находится в общем случае в компетенции исследователя, который может его построить, исходя из знаний системы, условий ее использования, возможностей оценки системы в составе некоторой высшей по иерархии и т.п. [17,18,19].

Очевидно, что весьма важно при решении этой задачи максимально исключить субъективизм, как в формировании комплексных критериев, так и в выборе методов и алгоритмов оценки.

Таким образом сущность решаемой научной задачи заключается в разработке методов и алгоритмов, позволяющих минимизировать риск принятия нерационального решения при выборе систем за счет комплексного использования различных методов количественной оценки качества альтернативных систем. Актуальность данной научной задачи обусловлена постоянно возрастающими требованиями к обоснованности решений принимаемых при сравнительном анализе перспективных систем на этапе проектирования, необходимостью учета как технических характеристик так и экспертных оценок свойств этих систем, а также появлением новых технических возможностей для автоматизации этого весьма сложного и трудоемкого процесса, в том числе с появлением достаточно производительных компьютеров.

В интересах обоснованного решения сформулированной научной задачи в работе решаются следующие частные задачи:

• анализ функций нормирования единичных показателей качества систем;

• разработка новых алгоритмов нормирования единичных показателей качества;

• анализ и классификация методов количественной оценки уровня качества систем;

• разработка метода комплексной экспертной оценки качества систем;

• разработка программного комплекса, реализующего методы и алгоритмы комплексной количественной оценки качества систем;

• создание методики использования программного комплекса, реализующего методы и алгоритмы комплексной количественной оценки качества систем;

Работа состоит из введения, четырех разделов, заключения и приложения, изложена на 107 страницах машинописного текста, иллюстрируется 14 рисунками и 8 таблицами.

В первом разделе сформулирована постановка задачи комплексной количественной оценки качества систем, выделены этапы ее решения, сформулированы общие требования к единичным показателям качества и комплексным критериям систем.

Второй раздел посвящен анализу функций нормирования единичных показателей качества, обоснованию необходимости разработки нового алгоритма нормирования единичных показателей и содержит описание предлагаемого алгоритма функционально - экспертного нормирования.

В третьем разделе дана общая классификация и проведен анализ методов количественной оценки уровня качества систем, изложена сущность разработанного метода комплексной экспертной оценки качества систем.

В четвертом разделе описана структура и состав, разработанного программного комплекса «Вердикт», реализующего методы и алгоритмы комплексной количественной оценки качества систем, а также предлагаемая методика его использования для проведения технико-экономического анализа и сравнения альтернативных вариантов сложных систем.

В заключении приведены основные результаты исследований.

В приложении приведено описание базовой версии программного комплекса «Вердикт» для комплексной количественной оценки качества сложных технических систем.

Научная новизна результатов работы заключается в следующем:

• • разработан алгоритм функционально-экспертного нормирования, позволяющий повысить адекватность математических моделей, исследуемых систем за счет использования знаний экспертов для определения вида функции нормировки наиболее подходящей для каждого единичного показателя качества;

• разработан метод комплексной оценки качества систем, применение которого позволяет снизить риск выбора нерационального варианта проектируемой системы за счет комплексного использования всех возможных методов количественной оценки уровня качества альтернативных систем;

• предложена методика использования программного комплекса, реализующего разработанные методы и алгоритмы, для проведения технико-экономического анализа и сравнения альтернативных вариантов систем.

Практические результаты работы: разработан программный комплекс, реализующий методы и алгоритмы комплексной количественной оценки качества систем на персональных компьютерах и обеспечивающий эффективное решение задачи оценки, сравнения и выбора;

Разработанные методы и алгоритмы применялись для сравнительной оценки вариантов эскизного проекта комплекса «БРС», ранжирования объектов повышенной степени риска в топливно-энергетическом комплексе

Украины и при проведении научных исследований в Академии Государственной противопожарной службы МЧС России. На защиту выносится:

1. Алгоритм функционально-экспертного нормирования.

2. Метод комплексной экспертной оценки качества систем.

3. Методика использования программного комплекса, реализующего разработанные методы и алгоритмы, для проведения технико-экономического анализа и сравнения альтернативных вариантов систем.

Полученные в работе результаты прошли апробацию в ходе обсуждений на научно-исследовательских семинарах и конференциях, проводимых в Военной Академии ПВО СВ (Киев, 1990,1991г.), КВЗРИУ (Киев, 1990,1991г.), на международной конференции «Банковские системы и сети» (Ялта, 2001-2003г.), Межведомственном суперкомпьютерном центре (Москва, 2002,2003г.), Московском научно-исследовательском телевизионном институте (Москва, 2002,2003г.), Центре визуализации спутниковых информационных технологий ИВМС РАН (Москва, 20022004г.), опубликованы в 7 научных статьях.

Основные результаты реализованы в ЦКБ "Арсенал" (Киев, 1993г.), Аппаратом Совета по Национальной Безопасности и Обороне при Президенте Украины (Киев, 1993г) и в Академии Государственной противопожарной службы МЧС России (Москва, 2004).

83

ЗАКЛЮЧЕНИЕ

В разработанной базовой версии программного комплекса реализованы функции нормирования и методы комплексной оценки качества систем, позволяющие решать достаточно широкий класс задач. Однако очевидно, что возникает необходимость расширения функциональных возможностей программного комплекса, повышаются требования к его универсальности для решения еще более широкого класса задач.

Архитектура базовой версии программного комплекса построена по модульному принципу, что обеспечивает возможность быстрого расширения функциональных возможностей без существенного изменения структуры программного комплекса.

Новые разрабатываемые версии данного программного комплекса будут иметь следующие возможности:

- выборочную нормировку по метрикам;

- задание собственной функции полезности для системы;

- ввод весовых коэффициентов для метрик;

- графический редактор для задания качественных метрических характеристик;

-дополнительные методы конвертирования, сверток, введения метрик, экспертных оценок и классификации;

- новые сервисные и графические возможности.

1. Постановление Правительства РФ от 02.02.1998г. №113.

2. Логиновский О.В., Болодурина И.П. Государственное управление промышленностью в регионах РФ//М.: Машиностроение, 2003.

3. Бир Ст. Кибернетика и управление производством.-М.: Наука, 1951.

4. Логиновский О.В., Болодурина И.П. Автоматизированная информационная система управления промышленностью субъекта РФ//1Н международная научно-техническая конференция «Кибернетика и технологии XXI века». Воронеж: ВГУ, 2002.

5. Болодурина И.П. Информационные технологии в региональном управлении промышленными предприятиями//Журнал «Обозрение прикладной и промышленной математики.-М., 2002.

6. Тульчин Л.Г., Хаскин A.M., Шаповалов В.Д. Оценка качества электроизмерительных приборов. Л.: Энергоиздат, Ленинградское отделение, 1982.

7. Азгальдов Г.Г., Райхман Э.П. О квалиметрии. -М: Издательство стандартов, 1973.

8. Азгальдов Г.Г, Галичев А. В., Крапивенский З.Н. и др. Квалиметрия -наука об измерении качества продукции.- М.: Стандарты и качество №1,1968.

9. Галичев. А. В., Шор Я. Б., Погожев И: Б. и др. Квалиметрия (её содержание, задачи и методы). -М.: Стандарты и качество №11,1970.

10. Адрианов Ю.М., Лопатин М.В. Квалиметрические аспекты управления качеством новой техники.-Л.: Издательство ЛГУ, 1983.

11. Палицын Ф.И., Пролейко В.М. Экономические методы управления качеством продукции. М.: Машиностроение, 1981.

12. Бобровников Г.Н., Клебанов А.И. Прогнозирование в управлении техническим уровнем и качеством продукции: Учеб.пособие.-М.: Издательство стандартов, 1984.

13. Берталанфи Л., фон.История и статус общей теории систем// Системные исследования. -М.:Наука,1973.

14. Блауберг И.В., Юдин Э.Г. Становление и сущность системного подхода. -М.-.Наука, 1973.

15. Бусленко Н.П., Калашников В.В., Коваленко И.Н, Лекции по теории сложных систем.-М.: Сов.радио,1975.

16. Общая теория систем.М.: Наука, 1966.

17. Растригин Л.А. Адаптация сложных систем.-Рига:Зинатне,1981.

18. Уемов A.M. Системный подход и общая теория систем.-М.: Мысль, 1978.

19. Флейшман Б.С. Основы системологии.-М.:Радио и связь, 1982.

20. Шор Я.Б. Методы комплексной оценки качества продукции. М.: Знание, 1971.

21. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. -М.: Статистика, 1980.

22. Бёшелев С.Д. Карпова И.В. Выбор перспективной техники с помощью метода экспертных оценок. Экономика и математические методы, 1972, т. VIII, вып. 1.

23. Уайдл Д. Оптимальное проектирование. Перевод с английского. -М.: Мир, 1981.

24. Статников Р.Б., Матусов И.Б. Многокритериальное проектирование машин.-М.: Наука, 1972.

25. Аккоф Р. Планирование в больших экономических системах. -М.: Сов.радио, 1972.

26. Альтшуллер Г.С. Алгоритм изобретения.-М.: Московский рабочий, 1969.

27. Теория выбора и принятия решений. Учебное пособие.-М.:Наука,1982.

28. Литвак Б. Г. Экспертная информация: Методы получения и анализа. -М.: Радио и связь, 1984.

29. Китаев Н.Н. Групповые экспертные оценки. М.: Экономика, 1976.

30. Бусленко Н.П. Моделирование сложных систем. -М.: Наука, 1978.

31. Манушин Ю.К. Методы и модели векторной оптимизации. -М.: "Наука", 1986.

32. В.Березнев, А.Сотников, И.Чередниченко. Адаптивная статистическая модель распознавания образов.-М.: Информационные технологии и вычислительные системы,№ 1,1996.

33. Пойда Д. Математическое открытие.-М.:Наука,1970.

34. Гуткин JI.C. Оптимизация радиоэлектронных устройств.-М.: Радио и связь, 1975.

35. Моисеев Н.Н. Математические задачи системного анализа.-М.: Наука, 1981.

36. Петрушенко Л.А. Принцип обратной связи.-М.: Мысль, 1967.

37. Оптнер С.С. Системный анализ для решения деловых и промышленных проблем.-М.: Сов.радио, 1969.

38. Дубов Ю. А., Травкин С.И., Якимец В. Н. Многокритериальные модели формирования и выбора вариантов систем. М.: Наука, 1986.

39. Фишберн П. Теория полезности для принятия решений.-М.: Наука, 1978.

40. Захаров И.Г. Теория компромиссных решений при проектировании.-Л.: Машиностроение, Ленинградское отделение, 1987.

41. Планирование научных исследований и информационное обеспечение. Сборник статей. М.: Наука, 1972.

42. Курицына В.В., Шалимова А.Г., Шканова О.В. Стандартизация и управление качеством (опыт зарубежных стран). Журнал. Стандарты и качество, №4, 1989.

43. Б.Дюран, П.Оделл. Кластерный анализ. М.: Статистика, 1977.

44. А.Сотников. Алгоритм отсечения для различных мер сходства в задаче информационного поиска. М: Вестник МГУ, серия 15,№1,1986 г.

45. Евланов Л. Г., Кутузов В. А. Экспертные оценки в принятии плановых решений.-М.: Экономика, 1978.

46. Кокорев Л.С., Харитонов В.В. Гидравлические расчеты и оптимизация ядерных энергетических установок. М.: Энергоатомиздат,1986.

47. Эшби У.Р. Введение в кибернетику.-М.:ИЛ, 1958.

48. А.Сотников. О некоторых свойствах мер сходства в задаче информационного поиска.-МГУ,1988.

49. Е.Четыркин. Статистические методы прогнозирования. Изд.2-е, перераб. и доп. -М.: Статистика, 1977.

50. Планирование научных исследований и информационное обеспечение. Сборник статей. -М.: Наука, 1982.

51. В.Плют. Сравнительный многомерный анализ в экономических исследованиях. М.: Статистика, 1980.

52. К. Дейт, Введение в системы баз данных. -М.: Наука, 1980.

53. Емельянов С. В., Ларичев О.И. Многокритериальные методы принятия решений. (Математика и кибернетика №10).-М.: Знание, 1985.

54. Подинковский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач.-М.: Наука. 1970

55. Курницкий Б .Я. Оптимальное решение?-Это очень важно!-Л.:Машиностроение, Ленинградское отделение, 1984.

56. Исследование операций. (Методологические аспекты).Сборник статей.-М.:Наука, 1972.

57. Экенроде Р. Т., Взвешенные многомерные критерии. В сб.:"Статистическое измерение качественных характеристик".-М.: Статистика, 1972.

58. Лисецкий Ю.М. Методы и алгоритмы комплексной количественной оценки качества систем. Москва: ЦВСИТ ИМВС РАН, 2002.

59. Панюшкин А.Н., Лисецкий Ю.М. Программные средства для поддержки фундаментальных и прикладных наук: Математико-статистические методы экспертных оценок. Киев: САО «Текна А/Т», КППУ, 1993.

60. Панюшкин А.Н., Головко А.Г., Лисецкий Ю.М. Программные средства решения прикладных задач: Многомерный анализ технических систем. Киев: САО «Текна А/Г», КППУ, 1993.

61. Решетников В.Н., Любимов Б.О., Никитский Ю.И. Ситуационный центр принятия решений и анализа информации// Программные продукты и системы №3, 1999.

62. Гафт М.Г. Принятие решения при многих критериях. .-М.: Знание, 1979.

63. Квейд Э. Анализ сложных систем.-М.: Сов.радио, 1962.

64. Мушик Э., Мюллер П. Методы принятия технических решений.-М.:Мир, 1990.

65. Жмурин А.В., Келенин К.В., Перекатов В.И., Уткин В.Ф. Некоторые вопросы проектирования коммуникационных элементовмикроэлектроники//Высокопроизводительные вычислительныесистемы и микропроцессоры. Труды ИВВС РАН.-Москва, 2001.

66. Решетников В.Н., Сотников А.Н. Информатика. Что это?//Москва, Радио и связь, 1989.

67. Гуд Н.Н., Макол Р.Э. Системотехника. Введение в проектирование больших систем. .-М.: Сов.радио,1962.

68. Решетников В.Н. Проблемы визуализации и отображения информации// Программные продукты и системы №4, 1997.

69. Райфа Г. Анализ решений.-М.:Наука,1977.

70. Лисецкий Ю.М. Задачи и функции нормировки единичных показателей качества систем. Москва: ЦВСИТ ИМВС РАН, 2002.

71. Саати Т.Д. Математические методы исследования операций.М.: Воениздат, 1963.

72. Ивахненко А.Г. Долгосрочное прогнозирование. Киев: Техника, 1975.

73. Ухов Н.Н. и др. Прогнозирование качества продукции.-Л.: Наука, 1980.

74. Лисецкий Ю.М. Задача комплексной количественной оценки качества систем. Москва: ЦВСИТ ИМВС РАН, 2002.

75. Айзерман М.А., Малишевский А.В. Некоторые аспекты общей теории выбора лучших альтернатив.-М.: Институт проблем управления, 1980.

76. Лисецкий Ю.М. Построение моделей качества систем с использованием функций нормирования. Программные продукты и системы №3,2003.

77. Кендалл М. Ранговые корелляции.-М.: Статистика, 1975.

78. Клиланд Д., Кинг В. Системный анализ и целевое управление.-М.: Сов.радио, 1974.

79. Нейман Дж., Моргенштерн О. Теория игр и экономическое поведение.-М. :Наука,1970.

80. Лисецкий Ю.М. Методические аспекты проведения конкурсов проектов в области фундаментальных исследований. Киев: ГКНТ, Материалы МС, 1993.

81. Пранов Б.М. Информатика и государственная противопожарная служба. Программные продукты и системы №3,2003.

82. АКТЫ О РЕАЛИЗАЦИИ РЕЗУЛЬТАТОВ РАБОТЫ

83. УТВЕРВДАЮ И.О. ДШ£аТОРА-ГЛАВНОГО1. А К То реализации результатов диссертационной работы1. ДйСЩлОГО ЮРШ- МИХАЙЛОВИЧА

84. ЗАВ1ДУЮЧИЙ ВIДДI ЛОМ ПЛАНУВАННЯ I КООРДИНАЦ1 i АПАРАТУ РАДИ НАД I ОНА ЛЬЮ I БЕЗПЕКИ ПРИ

85. Заместитель начальника Академии Государственной 11щщ^опожарной службы МЧС России щдоктор техни^ рессорf. М. Глуховенко ?ПП4'г1. Акто внедрении результатов диссертационной работы Лисецкого Юрия Михайловича.

86. Настоящий акт подтверждает, что разработанный Лисецким Ю. М. программный комплекс используется при проведении научный исследований в Академии ГПС МЧС России для ранжирования объектов повышенной степени риска.

87. Профессор Академии ГПС МЧС России iд.т.н., профессор ИД / Б. М. Пранов