автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Разработка метода оценки качества сложных объектов

Введение

1. Методы оценивания качества сложных объектов.

1.1. Обзор методов оценивания качества сложных объектов.

1.2. Постановка задачи диссертации

Выводы.

2. Комплексный показатель качества для случая независимых количественных частных показателей

2.1. Критерии независимости частных показателей качества

2.2. Скаляризация векторного критерия качества в случае независимых количественных частных показателей качества.

2.3. Преобразование частных показателей качества

2.4. Определение коэффициентов важности частных показателей качества

2.5. Метрологические характеристики шкалы комплексного показателя качества

Выводы.

3. Комплексный показатель качества для случая зависимых количественных частных показателей

3.1. Скаляризация векторного критерия качества в случае зависимых количественных частных показателей качества.

3.2. Преобразование . частных показателей качества.

3.3. Учет различной важности частных показателей качества

3.4. Метрологические характеристики.шкалы комплексного показателя качества

Выводы

4ê Комплексный показатель качества для случая неколичественных частных показателей

4.1. Измерение неколичественных частных показателей качества.

4.2. Скаляризация векторного критерия качества в случае дихотомических частных показателей качества

Выводы

5. Экспериментальное исследование метода комплексного оценивания качества сложных объектов

5.1. Описание практической методики комплексного оце-. . нивания качества сложных объектов

5.2. Выбор лучшего варианта построения запоминающего . устройства.

5.3. Выбор лучшего образца технического.средства обу-, . чения

5.4. Оценка результатов деятельности

5.5. Оценка качества знаний.учащихся

Выводы.

Актуальность теш, В диссертации ставится задача разработки научно-методических принципов, математических моделей, алгоритмов и программ, обеспечивающих комплекную оценку качества сложных объектов, для описания состояния качества которых требуется более одного показателя (критерия).

Проблема комплексной оценки качества сложных объектов возникает при разработке автоматизированных систем различного назначения. При создании автоматизированных систем управления она связана с оценкой качества производимой продукции и деятельности (качества труда работников), при разработке систем автоматизированного проектирования - с выбором лучшего варианта проектируемого устройства, при создании автоматизированных систем обучения -с выбором наиболее адекватных технических средств и оценкой качества знаний учащихся и т.п.

Существующие в настоящее время методы решения этой проблемы не всегда оказываются удовлетворительными. В частности, в них не учитывается взаимосвязь (коррелированность) отдельных показателей качества и ограниченность их значений, неудовлетворительно решена задача оценки качества объектов, описываемых неколичественными показателями, недостаточно обоснованы методы нормирования значений показателей качества и методы определения коэффициентов важности этих показателей, не исследованы метрологические характеристики (тип шкалы, погрешность и т.п.) для получаемых шкал комплексной оценки качества объектов. В связи с этим задача создания методов и средств оценивания качества, обладающих более широкой сферой их применимости, является актуальной.

Исследования по теме диссертации проводились в соответствии с координационным планом научно-исследовательских работ по проблемам высшего и среднего специального образования на 1976+80г.г. (п.1.4.3.6.2) Минвуза СССР, аналогичным планом на I981+85г.г. (п.1.1.2.2.2.02), а также в соответствии с приказом Минвуза СССР № 135 от 16.10.80г.

Цель работы. В соответствии с поставленной проблемой в диссертации решаются следующие основные задачи:

- разработка метода скаляризации векторного критерия качества объектов, описываемых как количественными, так и качественными показателями, работоспособного в условиях взаимозависимости показателей качества ;

- разработка метода нормирования значений показателей качества с учетом типа используемой "свертки" векторного критерия качества в скалярную оценку;

- разработка метода определения коэффициентов важности показателей качества для с учетом вида используемой "свертки" векторного критерия качества в скалярную оценку и метода учета важности показателей качества в условиях их взаимной зависимости;

- исследование метрологических характеристик получаемых шкал комплексной оценки качества;

- разработка единой практической методики оценивания качества сложных объектов различной природы;

- экспериментальное исследование разработанной методики оценивания качества сложных объектов.

Предмет исследований. В диссертации исследуется возможность создания комплексного показателя качества сложных объектов путем скаляризации векторного показателя качества этих объектов на основе измерения расстояния в пространстве показателей качества от оцениваемых объектов до эталонного объекта.

Содержание работы. Результаты работы изложены во введении, пяти главах, заключении и приложениях.

В вервой главе приводится обзор методов оценивания качества сложных объектов и постановка задачи диссертации.

Во второй главе описывается метод построения комплексного показателя качества^ для случая независимых количественных показателей, основанный на использовании евклидовой метрики. Ставятся задачи нормирования значений показателей качества и определения коэффициентов важности этих показателей с учетом типа используемой метрики. Приводится решение этих задач для случая использования евклидовой метрики. Описывается методика исследования типа полученной шкалы комплексной оценки качества.

В третьей главе рассматривается метод оценивания качества объектов в случае зависимых количественных показателей,основан-, ный на ортогонализации базиса исходной системы показателей и использовании евклидовой метрики в новом (ортогональном) базисе.

В четвертой главе описывается метод оценивания качества объектов в случае неколичественных показателей качества,основанный на "вложении" дискретного пространства состояний объекта в евклидово пространство.

В пятой главе содержится описание практической методики оценивания качества сложных объектов, приводятся и анализируются результаты ее экспериментального исследования.

В приложениях содержатся некоторые математические выкладки, исходные данные некоторых экспериментов, описание программного обеспечения разработанной методики, акты о внедрении результатов диссертационной работы.

Научная новизна. Автором получены следующие новые результаты, которые выносятся на защиту:

- на основе измерения евклидова расстояния от оцениваемых объектов до эталонного объекта в пространстве показателей качества разработан метод скаляризации векторного критерия качества, работоспособный в условиях взаимозависимости (коррелиро-ванности) значений показателей качества, измеренных как в количественных, так и в качественных шкалах;

- разработан метод нормирования значений показателей качества, учитывающий тип используемой метрики для "свертывания" векторного критерия качества;

- разработан метод определения коэффициентов важности по казателей качества, учитывающий тип используемой метрики и метод учета важности показателей в случае их взаимозависимости;

- исследованы метрологические характеристики полученных жал комплексной оценки качества, в частности, определены типы шкал этой оценки и выражения для ее погрешности для случаев количественных и качественных исходных показателей качества.

Практическая ценность и рекомендации по применению.

Практическая ценность работы определяется разработанной в ней методикой оценивания качества сложных объектов и ее программным обеспечением.

Результаты данной работы могут быть непосредственно использованы в системых автоматизированного проектирования для выбора лучшего варианта проектируемого устройства, в учреждениях системы Минздрава СССР для оценки результатов их деятельности, а также в различных учебных заведениях для автоматизированной оценки состояния знаний учащихся, Кроме того, результаты работы могут быть использованы в других областях для оценки качества объектов различной природы.

Реализация результатов работы. Полученные результаты работы внедрены во Всесоюзном научно-исследовательском институте социальной гигиены и организации здравоохранения им.Н.Л.Семашко (г.Москва) и в Научно-исследовательском институте проблем высшей школы (г.Москва). Их практическая пригодность и эффективность подтверждены актами о внедрении.

Апробация результатов работы. Работа обсуждалась на кафедре Системотехники МЭИ и в Межкафедральной учебной лаборатории МЭИ. Основные результаты диссертации докладывались и обсуждались также на семи конференциях и совещаниях:

- Всесоюзной научной конференции "Современные проблемы энергетики и электротехники", г.Москва, 1977г.;

- Первой межреспубликанской научной конференции по применению математических методов в исследовании процесса обучения, г.Вильнюс, 1977г.;

- Пленуме Научного совета по социальной гигиене и организации здравоохранения при Президиуме АМН СССР, г.Ленинград, 1978г.;

- Первой Всесоюзной научной конференции по человеко-машинным обучающим системам, г.Телави, 1979г.;

- Всесоюзной научно-практической конференции "Состояние диспансеризации населения на современном этапе и основные направления ее развития", г.Ижевск, 1980г.;

- Юбилейной научно-технической конференции МЭИ, г.Москва, 1980г.;

- Научно-технической конференции "Современные проблемы теории и практики применения АСУ ТП", г.Москва, 1982 г. йубликации. По теме диссертации опубликовано 7 работ. Результаты диссертационной работы отражены также в четырех отчетах по НИР, Прошедших государственную регистрацию.

Объем работы. Диссертация состоит из введения, пяти глав,

ВЫВОДЫ

1. Разработана практическая методика комплексного оценивания качества сложных объектов, которая включает алгоритмическое и программное обеспечение.

2. Проведенные экспериментальные исследование подтвердили возможность использования разработанной методики для оценки качества объектов различной природы, описываемых как количественными, так и качественными показателями. Во всех экспериментах получена надежная интерпретация расстояния в пространстве ЧПК от оцениваемых объектов до идеального объекта как комплексного показателя качества этих объектов.

3. Предложены и экспериментально исследованы два подхода к выбору лучшего варианта сложного технического устройства, соответствующие случаям равноценных и неравноценных частных показателей качества.

Предложенные подходы позволили выбрать лучший вариант построения запоминающего устройства (на стадии проектирования) и лучший образец технического средства контроля знаний (из существующих).

4-, Разработана методика оценки результатов деятельности (качества труда) участковых врачей городских поликлиник, которая дает возможность объективно оценивать деятельность как отдельных работников, так коллективов медицинских учреждений, выявлять недостатки в их работе и находить эффективные пути их устранения.

5) Предложена модель состояния знаний, которая дает возможность использовать разработанный метод комплексного оценивания качества объектов для количественной оценки качества знаний.

ЗАКЛЮЧЕНИЕ

1. Анализ методов оценивания качества сложных объектов, использукщих подход скаляризации векторного критерия качества, показал, что все они могут быть сведены к измерению расстояния до эталонного объекта в пространстве ЧПК и отличаются один от другого положением эталонного объекта и типом используемой метрики.

Отмечен ряд недостатков существующих методов оценивания качества, ограничивающих область их применения.

2. Предложена модель скаляризации векторного критерия качества с использованием метрики евклидова типа, что позволило разработать достаточно универсальную методику оценивания качества объектов, В частности, разработанная методика работоспособна в условиях взаимозависимости показателей качества, допускает измерение исходных показателей как в количественных, так и в качественных шкалах.

3. Разработан метод нормирования значений частных показателей качества, позволяющий определить нормирующий коэффициент для конкретно используемой метрики. Получено выражение для нормирующего коэффициента в случае использования евклидовой метрики.

4. Предложен метод определения коэффициентов важности частных показателей качества, позволяющий найти эти коэффициенты для конкретно используемой метрики. Метод основан на использовании информации о важности показателей качества, содержащейся в значениях этих показателей для выборки оцениваемых объектов. Получено выражение для коэффициентов важности в случае использования евклидовой метрики.

5. Исследованы метрологические характеристики шкал комплексной оценки качества, полученных на основе евклидовой метрики для случаев измерения исходных показателей как в количественных, так и в качественных шкалах.

6. Разработана единая практическая методика оценивания качества сложных объектов различной природы, которая была использована для решения следующих задач:

- выбор лучшего варианта построения ферритового запоминающего устройства;

- выбор лучшего образца технического средства обучения;

- количественная оценка результатов деятельности подразделений медицинских учреждений;

- количественная оценка состояния знаний учащихся. Проведенные эксперименты подтвердили работоспособность разработанной методики.

1.. Азгальдов Г.Г. О квалиметрии. М.: изд-во стандартов, 1973. - 172 с.

2. Айвазян С.А., Бежаева З.И., Староверов О.В. Классификация многомерных наблюдений. М.: Статистика, 1974. - 3 с.

3. Айзерман М.А., Малишевский A.B. Некоторые аспекты общей теории выбора лучших вариантов. (Препринт). М.: ин-т проблем управления, 1980. - 36 с.

4. Александров О.Г. Интервальная оценка качества. Стандарты и качество, В 7, 1980, с.33-35.

5. Анализ форм и методов диагностики, контроля и оценки качества знаний. (Отчет), ч.З. -М.: МЭИ, 1981. 120 с.

6. Брук Б.Н., Б|урков Б.Н. Методы экспертных оценок в задачах упорядочения объектов. Изв. АН СССР, Техническая кибернетика, 1972, № 3, с.29-39.

7. Варковецкий М.М. Количественное, измерение качества продукции в текстильной промышленности. М.: Легкая индустрия, 1976. - 103 с.

8. Вентцель Е.С. Теория вероятностей. М.: Наука, 1969. - 576 с.

9. Вентцель Е.С. Исследование операций. М.: Советское радио, 1972. - 551 с.

10. Дубровский С.А., Зейгер Е.М., Френкель A.A. Факторный анализ (методы и приложения). В сб. Многомерный статистический анализ в социально-экономических исследованиях.-М.: Наука, 1974, с.229-293.

11. Дьяконов В.И. Опыт применения метода многомерной статистики для решения задачи повышения качества труда. -Механизация и автоматизация управления, № 3, 1980, с.4-7.

12. Дэвид Г. Метод парных сравнений. -М. : Статистика, 1978. 142 с.j 36.' Емельянов C.B. и др. Методы векторной оптимизации. -В сб.: Итоги науки и техники. Техническая кибернетика, т.5.-М.: ВИНИТИ, 1973, с.386-446.

13. Ефимов Н.В., Розендорн Э.Р. Линейная алгебра и многомерная геометрия. М.: Наука, 1970. - 528 с.

14. Жуковская В.М., Мучник И.Б. Факторный анализ в социально-экономических исследованиях. М.: Статистика,1976.-152с.39,. Загоруйко Н.Г. Методы распознавания и их применение.-М.: Советское радио, 1972. 206 с.

15. Зейгер Е.М., Френкель A.A. О построении обобщенного показателя размера предприятия. В сб. : Математические методы в экономических исследованиях. - М.: Наука, I974,c.II7-I24.41; Иберла К. Факторный анализ. М. : Статистика, 1980.398 с.

16. Исаенко А.И. Управление кадрами на основе оценки результатов деятельности. Экономика и организация промышленного производства, № 7. 1980, с.156-166.

17. Караулов Г.И. Об оценке качества работы. Стандарты и качество, 1982, № 7, с.43-44.

18. Кушелев Ю.Н., Голиков A.A. Современные системы обучения. -М.: МЭИ, 1973. 109 с.

19. Материалы 1У сессии Всесоюзного семинара по методологии педагогики и методике педагогических исследований.- М.: НИИ общей педагогики, 1973.

20. Нахалетян Е.Г. Квалиметрия механизмов машин автоматов. -М.: 1977. - 34с.74,. Огородников И.Т. Оптимальное усвоение учащимися знаний и сравнительная эффективность отдельных методов обучения. -М.: МГПИ им.Ленина, 1972. 352 с.

21. Рознер Б.С. Новый метод шкалирования абсолютных оценок. В сб. Статистическое измерение качественных характеристик. -М.: Статистика, 1972, с.117-172.

22. Саганенко Г.И. Социологическая информация. Статистическая оценка надежности исходных данных социологического исследования, -М.: Наука, 1979. 141 с.

23. Сборник научных программ на Фортране. Вып. 1,2. -М.: Статистика, 1974. 316 с.

24. Свербиков Г.И. Количественное измерение качества машин. Киев, 1973. - 23 с.90; Свиридов А.П. Введение в статистическую теорию обучения и контроля знаний. ч.1. Стандартизованные методы контроля знаний. -М.: МЭИ, 1974. 135 с.

25. Свиридов А.П. Введение в статистическую теорию обучения и контроля знаний. -М.: МЭИ, 1974. 152 с.92,- Свиридов А.П. Обучение и самообучение обучающих иконтролирующих машин. -М.: МЭИ, 1976. 178 с.

26. Соболь И.М., Статников Р.Б. Выбор оптимальных параметров в задачах со многими критериями. М.: Наука, I98I.-I08c.

27. Статников Р.Б. Решение многокритериальных задач проектирования машин на основе исследования пространства параметров. В кн.: Многокритериальные задачи принятия решений. -М.: Машиностроение, 1978, с.148-155.

28. Суппес П., Зинес Дж. Основы теории измерений. -В сб.: Психологические измерения. -М.: Мир, 1967, с.9-110.

29. Талызина Н.Ф. Теоретические проблемы программированного обучения. -М.: МГУ, 1969. -133 с.

30. Таран В.А., Даллакян С.Р. Об использовании результатов статистического контроля дня оценки коэффициентов важности при определении комплексного показателя качества. Надежность и контроль качества, 1981, № 5, с.17-22.

31. Терехина А.Ю. Методы многомерного шкалирования и визуализации данных. Автоматика и телемеханика, 1973, № 7,с.80-94.

32. Торгерсон B.C. Многомерное шкалирование: теория и метод. В сб.: Статистическое измерение качественных характеристик. - М.: Статистика, 1972, с.96-118.

33. Турбович И.Т., Гитис В.А., Маслов В.К. Опознание образов. -М.: Наука, 1971. 246 с.

34. Усков В.Г., Дергунов М.Н., Боев Б.Н. Оперативные характеристики контроля знаний с учетом многих источников ошибок. В сб.: Автоматизированные системы обучения. Труды МЭИ,вып.135. М.: МЭИ, 1972, с.58-66.

35. Усков Б.Г. Психодиагности ческий и психофизический аспекты процесса контроля знаний. Б сб.: Автоматизированные системы обучения. Труды МЭИ, вып.262, - М.: МЭИ, 1975,с.37-41.

36. Усков В.Г. Проверка гипотезы о существовании психофизического закона при оценке знаний. Там же, с.42-46.

37. Усков В.Г. Метод интегральной оценки состояния знаний учащихся. В сб.: Автоматизированные системы управления и обучения. Труды МЭИ, вып.298, - М.: МЭИ, 1976, с.86-97.

38. Фишберн П.К. Методы оценки аддитивных ценностей. В сб. Статистическое измерение качественных характеристик, -М.: Статистика, 1972, с.8-34.118 i Харман Г. Современный факторный анализ. -М.: Статистика, 1972. 486с.

39. Худсон Д. Статистика для физиков. -М.: Мир, 1970.-296с.120; Чевдов A.A. Теоретические основы научной организации учебного процесса. Белгород: Белгородский госпединститут им.М.С.Ольминского, 1972. - 273 с.

40. Vc 121.? Чумаков Н.М., Серебряный Е.И. Оценка эффективности сложных технических устройств. М.: Советское радио, 1980. -191с.122: Шапот Д.Б. О построении критериев качества технических рбъектов. Техническая кибернетика, 1971, № 6, с.53-59.

41. Шерлинг Д.С., Дубровский С.А. и др. Экспертные оценки. Методы и применения (обзор). В сб.: Статистические методы анализа экспертных оценок. - М.: Наука, 1977, с.290-382.

42. Экенроде Г.Т. Взвешенные многомерные критерии.В сб. Статистические измерения качественных характеристик. М.: Статистика, , 1972, с. 139-154.

43. Экман Г., Кюннапас Т. Шкалирование эстетических оценок "прямыми" и "косвенными" методами. В сб. Семиотика и искусство-метрия, - М.: Мир, 1972, с.267-277.

44. Юттлер X. Линейная модель с несколькими целевыми функциями. Экономика и математические методы, 1967, т. Ш, вып. 3, с.397-406.

45. Calpine Н.О., Golding A. Some properties of Pareto8 optimal choices in decision problems. OMEGA, 1976, v. 4, N 2, p. 141x147.

46. Charnes A., Cooper W.W. Management models and industrial applications of linear programming. N.Y., 1961, v. 1,2.

47. Corley H.W. A new scalar equivalence for Pareto optimization. IEEE Trans, automat, control, 1980, v. AC - 25, N 4, p. 829830.

48. Gower J.C. Some Distance Properties of Latent Root and Vector methods used in Multivariate Analisis. Biometrika, 1966, v. 53, N 3.

49. Heary N., Lazarsfeld P. Latcht structure analysis. -Boston, 1968, 294 p.

50. Huber V. A Study of Subject Evaluation Methods. Behavioral Science, v. 14, N 6, 1969, p. 483-489.

51. Kruskal R.B. Multidimensional Scaling by Optimiring Goodness off-Pit to a Noumetric Hypothesis. Psychometriks,1964, v. 29, N 1.

52. Kruskal C.B. Noumetric Multidimensional Scaling: A Numerical Method. Psychometriks, 1964, v. 29, N 2.

53. Lin J.G. Three methods for determining Pare to-optimal solutions of multiple large-scale systems. Nev; York - London; Plenum Press, 1976, p. 117-138.

54. Lord P.M., Novick R. Statistical Theories of mentaltest scores. Reading, 1968, 568 p.

55. Masud A.S., Hwang C.L. Multiple objective decision making -methods and applications. Berlin, Springer - Verlad, 1979.

56. Montgomery H. Direct Scaling: category scales, magnitude scales and their relation. Goteborg Psychological Reports, v.1. N 9, 1975.

57. Rao C.R. The use and interpretation of principal component analysis in applied research. San Kya, 1964, A, v. 26, p. 329-358.

58. Roskam E.E. Metric analysis of ordinal in psychology. -Voorschoten, 1968, 165 p.

59. Soland R. M. Multicriteria optimization: a general characterization of efficient solutions. Decision Sci., 1979» v. 10, N 1, p. 26-38.

60. Stadler W. A survey of multicriteria optimization or the vector maximum problem, part 1: 1776-1960. JOTA, 1979, v. 29, N 1, 'p. 1-52.

61. Young G., Householder A.S. Discassion of a set of pionts in terms of their mutual distances. Psychometrika, v. 3> 1938, p. 331-333.