автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Развитие компьютерных технологий профессиональной аттестации операторов технических систем

Содержание

Введение. 3 I. Анализ состояния методов оценки качества эффективности подготовки операторов для СУ

1.1.Инженерно- психологические задачи аттестации и подготовки операторов на этапах жизненного цикла систем управления

1.2.Место подсистемы аттестации в системе непрерывной подготовки операторов

1.3 .Методика разработки модели успешности деятельности операторов 3 О

1.4.Анализ методов и технических средств аттестации и постановка задач исследования

1.5.Выводы.

П .Принципы и методы рациональной организации подготовки и аттестации операторов в процессе деятельности

2.1.Психолого-педагогические проблемы рациональной организации процесса подготовки операторов

2.2.Методика априорной оценки эффективности подготовки операторов в системах управления

2.3. Методика выбора рационального состава средств аттестации операторов в условиях нестатистической неопределенности

2.4.Формирование рациональных программ аттестации операторов

2.5.Выводы

Ш. Методы прогнозирования результатов тестирования операторов

3.1 .Прогностическая и диагностическая постановка задачи

3.2.Метод адаптивной аттестации операторов на основе алгоритма последовательного принятия решений

3.3.Разработка алгоритма принятия решения с самообучением для аттестации операторов

3.4.Структура компьютерной технологии тестирования операторов 108 3.5.Экспериментальная проверка предложенного метода аттестации операторов

3.6.Выводы 120 Заключение

Автоматизированные системы управления- это сложные человеко- машинные комплексы, качество функционирования и эффективность которых во многом зависят от квалификации и степени готовности операторов к решению своих профессиональных задач.

Подготовка оператора представляет собой сложный организационный учебно- методический процесс, неотъемлемой частью которого является аттестация операторов на различных стадиях обучения. Основная форма аттестации - это проведение контролей знаний, умений и навыков операторов и принятие объективных решений по результатам этих контролей.

Система аттестации операторов должна быть органично связана с системой их непрерывной подготовки и использовать современные технологии аттестации операторов, к которым , в первую очередь , относятся компьютерные технологии. В настоящее время в области создания и использования компьютерных технологий аттестации операторов достигнут значительный прогресс, однако, имеется ряд нерешенных задач. К ним относятся:

1. Контроли знаний , умений и навыков операторов проводятся для оценки профессионально важных качеств (ПВК) на основе их тестирования. Поскольку каждый оператор технической системы должен обладать набором ПВК, то объем его тестирования не поддается измерению. Поэтому имеет важное значение задача рационального выбора набора тестовых проверок операторов и средств их реализации для оценки каждого ПВК;

2. Подготовка и повышение квалификации операторов технических систем и , особенно систем управления, связана со значительными материальными и временными затратами. Эти затраты можно существенно сократить путем разработки моделей оценки эффективности процесса подготовки операторов с учетом априорных сведений об уровне подготовки операторов, а также с учетом текущих результатов аттестации. С помощью этих моделей создается возможность выбора и динамичного уточнения рациональной стратегии подготовки или переподготовки операторов;

3. Известные компьютерные технологии аттестации обучаемых не адаптированы к ним, - не учитывают априорную информацию об уровне подготовленности каждого обучаемого, о составе и возможностях группы обучаемых , апостериорные результаты тестирований, не осуществляют адаптивную регулировку количества и сложность тестов. Все это снижает объективность аттестации и не способствует снижению ее трудоемкости.

Поэтому , для совершенствования системы аттестации операторов и повышения эффективности их непрерывной подготовки , назрела необходимость разработки методов и моделей, позволяющих повысить оперативность и объективность аттестации операторов при обеспечении требуемых уровней достоверности принятия решений по результатам аттестации.

Целью работы является повышение эффективности непрерывной подготовки операторов человеко- машинных комплексов на основе совершенствования системы их текущей аттестации путем разработки методов и алгоритмов рационального тестирования профессиональной подготовки операторов и оценки эффективности обучения.

Данная цель предполагает решение следующих основных задач: •анализ существующих методов и способов подготовки и аттестации операторов систем управления;

•разработка метода выбора рационального состава тестов и порядка их применения для аттестации операторов в условиях их непрерывной подготовки;

•разработка метода адаптивного принятия решения по результатам аттестации операторов;

•разработка моделей оценки эффективности процесса подготовки операторов с учетом результатов их аттестации;

•апробация разработанной компьютерной технологии аттестации операторов.

Методы исследования базируются на : использовании теории вероятностей и математической статистики, теории случайных процессов, теории принятия решения, теории графов, элементов теории нечетких множеств.

Научная новизна полученных результатов состоит в следующем:

1 . Разработан метод рационального выбора тестов для аттестации готовности операторов к функциональной деятельности, отличающийся от известных возможностью синтезировать рациональную с точки зрения материальных и временных затрат программу тестовой проверки профессионального и психофизиологического состояния оператора , которая может корректироваться в ходе исследования при получении новых исходных данных.

2 . Разработаны модифицированный метод и алгоритмы адаптивного принятия решения по результатам тестирования операторов, отличающиеся от известных возможностями настройки алгоритма на группу аттестуемых операторов и адаптацией алгоритма к результатам тестирования каждого обучаемого оператора, а также возможностью самообучения алгоритма последовательного анализа Вальда.

3 . Предложена методика оценки эффективности процесса подготовки операторов, позволяющая выбирать наиболее рациональную стратегию подготовки по критериям максимальной вероятности достижения цели и минимальных временных затрат на подготовку.

4 . Выполнено экспериментальное исследование системы аттестации операторов двух типов - опытных и начинающих , на базе традиционных средств аттестации и новой компьютерной технологии, что позволило реально оценить показатели эффективности предложенной компьютерной технологии и традиционных средств аттестации.

На защиту выносятся:

1.Метод выбора состава тестов и порядка их применения , позволяющий формировать рациональную программу тестовой проверки профессионального и психофизиологического состояния оператора.

2.Модели оценки эффективности системы подготовки операторов по критериям вероятности достижения цели и временных затрат, учитывающие результаты текущих аттестаций операторов.

3.Модифицированный метод и алгоритмы последовательного принятия решения по результатам аттестации операторов, обладающие свойствами самообучения и адаптации к изменяющимся требованиям к подготовке операторов.

Практическая значимость диссертационной работы состоит в следующем:

• Разработана компьютерная технология аттестации готовности операторов к функциональной деятельности , включающая алгоритмы рационального отбора тестов и адаптивного принятия решения по результатам тестирования с учетом особенностей аттестуемых операторов и априорной информации об их общем уровне подготовки.

• Разработанные методы агрегирования результатов тестирования операторов и оценки эффективности процесса подготовки могут быть использованы для интегральных оценок качества функционирования человеко- машинных систем.

• Разработанные методы доведены до программной реализации и содержат необходимые практические рекомендации для практического использования.

• Полученные результаты позволяют повысить оперативность и объективность системы аттестации. Апробация работы:

Основные положения диссертационной работы представлялись и обсуждались на межвузовских научно- технических конференциях в Пушкинском военном училище радиоэлектроники ПВО(1994,1996,1997г), ВИКА им.А.Ф. Можайского (1997гг), в Смоленской BKA ПВО(1996г), в Санкт- Петербургской академии МВД(1996,1997гг), в ВМУ им.В.М. Фрунзе(1997г) Публикация результатов работы.

По теме диссертации опубликовано 7 печатных работ, в том числе 5 статей.

I. Анализ состояния методов оценки качества эффективности подготовки операторов для технических систем

Современные АСУ - это сложные человеко- машинные комплексы, качество функционирования и эффективность которых определяется подготовкой операторов. Известно, что значительное количество ошибок функционирования этих систем обусловлено ошибками операторов. Поэтому задача подготовки специалистов, управляющих техникой , является одной из главных при создании и эксплуатации систем управления.

Подготовка оператора- это сложный организационный учебно- методический процесс, неотъемлемой частью которого является контроль за уровнем подготовки оператора на различных стадиях обучения. Основная форма контроля знаний, умений и навыков операторов в ходе их обучения - это аттестация.

Аттестация операторов должна быть органично связана с системой их непрерывной подготовки, что реализуется с помощью системы аттестации операторов, которая включает в себя методы и средства тестирования и контроля знаний и умений, учета психолого- физиологических особенностей состояний готовности выполнять поставленную задачу в стрессовых условиях в реальном масштабе времени. Современные методы и средства аттестации профессиональной деятельности операторов базируются на компьютерных технологиях, однако, они недостаточно эффективны по ряду причин, к числу которых относятся:

1. Эти методы не адаптированы к аттестуемым, - известные технологии тестирования, контроля знаний и умений , принятия решений ориентированы на абстрактного оператора( конечно, в пределах рассматриваемой профессиональной области). Эти методы не учитывают априорную информацию о составе и возможностях группы операторов, разную степень подготовилости данного оператора по различным темам и вопросам профессиональной деятельности, которая проявляется уже в процессе его текущей аттестации и др.

2. Поскольку системы подготовки и аттестации базируются на комплексе дорогостоящих технических средств и требуют значительных затрат времени и материальных ресурсов на их разработку, рациональнее использовать априорную оценку эффективности подготовки операторов.

3. В существующих методиках тесты и технические средства аттестации задаются , как правило, в соответствии с определенным набором выявленных в ходе профессиографического анализа деятельности профессионально важных качеств(ПВК). При этом не учитывается определенная избыточность тестов. Такой подход может привести к грубым ошибкам в определении профессиональной пригодности обследуемых операторов и не отвечает требованиям рациональности по временным и стоимостным показателям.

Результаты работы направлены на развитие новых компьютерных технологий профессиональной аттестации операторов технических систем. Основные результаты исследования состоят в следующем: •разработан метод выбора рационального состава и порядка применения средств аттестации оператора, который обеспечивает достоверное определение уровня подготовки при минимальных затратах;

•разработаны модели оценки эффективности процесса подготовки операторов по критериям вероятности достижения цели и временных затрат, позволяющие найти компромиссное решение в организации процесса подготовки для удовлетворения требований по указанным критериям;

•разработан модифицированный метод последовательного принятия решения по результатам аттестации операторов, обладающий свойствами адаптации к аттестуемому и оперативности принятия решения;

•разработан алгоритм последовательного принятия решений с самообучением, позволяющий более чем на 20 % сократить временные затраты на тестирование операторов по сравнению с разработанным базовым алгоритмом последовательного анализа;

•осуществлена оценка адекватности предложенных методов, алгоритмов и моделей.

Заключение

1. Авен П.О. и др. Функциональное шкалирование. - М.: Наука, 1988

2. Азгальдова Г.П. О квалиметрии. М.: Издательство стандартов, 1973

3. Азгальдова ГЛ. и др. Оценка и аттестация качества в строительстве. М.: Стройиздат, 1977

4. Азгальдова Г.П. и др. Экспертные методы в оценке качества товаров. -М.:Экономика, 1974

5. Андрианова В.Е Деятельность человека в системах управления( Очерк работы авиадиспетчера). Л.: ЛГУ, 1974,135 с.

6. Багрецов С. А., Любивая Г.В., Попов Г.М. Оценка меры близости ответа обучаемого и эталона в контролирующих процедурах АОС. Л.: ПВУРЭ ПВО, 1989

7. Бодров В.А. Проблемы профессионального психологического отбора. -Психологический журнал, 1985, т.6, № 2

8. Бодров В.А , Зазыкин В.Г., Чернышов А.П. Компенсаторное слежение за гармоническими сигналами.- М.: Наука, 1977

9. Гличев A.B. Прикладные вопросы квалиметрии. М.: Экономика, 1982

10. Гличев A.B. Научные аспекты повышения эффективности управления производством на базе стандартизации. М.: ВНИИСД983

11. Гличев A.B. Методические рекомендации по автоматизированной оценке качества продукции на базе ЭВМ. М.: ВНИИСД983

12. Грибин Ю.Г. и др. Обобщение опыта регулирования и дифференциации заработной платы рабочих на шахтах . М.: ЦНИЭИуголь, 1992

13. Грибин Ю.Г. и др. Материальное стимулирование инженерного труда на угледобывающих предприятиях. М.: Недра, 199321 .Гасов В.М., Соломонов Л.А. Организация взаимодействия человека с техническими средствами АСУ.- М.: Вш., 1990

14. Губинский А.И, Колесников Г.М., Попович П.Р., Савиных СЛ. Системный анализ комплексов "космонавт- техника". М.: Машиностроение, 1994

15. Губинский А.И. Надежность и качество функционирования эргатических систем. Л.: Наука, 1982, 270 с.

16. Даянц Д.Г. и др. Организация труда и управление коллективами на горных предприятиях. М.: МГИ, 1985

17. Даянц Д.Г.Кадровый менеджмент на горных предприятиях. М.: Издательство Моск. гос. горного ун- та, 1994

18. Джордан Н. Распределение функций между человеком и машинами в автоматизированных системах . В кн . : Инженерно- психологическое проектирование, вып. I, М.:1970,195- 205 с.

19. Евграфов В.Г., Губинский А.И. Эргономическое проектирование судовых систем управления. Л.: Судостроение, 1977,224 с

20. Елисов Л.Н., Василевская И.Л. Номенклатура показателей качества подготовки специалистов по вычислительной технике / Квалиметрия человека и образования : методология и практика. Тезисы докладов Первого симпозиума, Москва, 1992. М.: ИЦ. 1992,18- 20 с.

21. ЪА.Зараковский Г.М. Введение в эргономику. М.: Сов.радио ,1974, 352 с.

22. Зарецкий Г.М. Формирование механизма оценки и подбора кадров в системе управления шахтой. : Автореф. дис. на соиск. уч. степ. к. э. н. М.: МГИ, 1991

23. Зарыкин В.Г. Некоторые вопросы инженерно- психологического проектирования. Психологический журнал, 1981, том 2, № 1, 56- 65 с.ъп.Ивахненко А.Г., Мюллер Й. А. Самоорганизация прогнозирующих моделей . Киев: Техника, 1985

24. Инженерная психология: Учебник для вузов / Душков Б.А., Ломов Б.Ф., Рубахин В.Ф. и др./- 2- е издание, дополненное и переработанное- М.: Высшая школа, 1986,448с.

25. Ильин С. А. Научные основы исследования и расчета системы оперативного управления производством на карьерах.: Автореф.дис. на соиск. уч. степ. д. т. н.-М.1973

26. Коломиец Б.К. В помощь выпускающим кафедрам по развернутой оценке и анализу результатов дипломного проектирования студентов- выпускников вузов. М.: ИЦ Гособразования СССР, 1991

27. Красниковский В.Я. Планирование социального развития трудовых коллективов наугольных шахтах.: Автореф. дис. на соиск.уч.степ.к.э.н. -М.: МГИ, 1988

28. Куликова О.В. Организация эффективного использования ресурсов оценки процесса управления на шахте.: Автореф. дис. на соиск.уч.степ.к.т.н. -М.:МГИ, 1991

29. ЛеонтьевБ.Ф. Деятельность. Сознание. Личность. -М.: Наука 1975, 305 с.

30. Лихтерман С.С. Статистические методы в организации и управлении горной промышленностью . М.: МГИ, 1 977м.Ломов Б.Ф. О системном подходе в психологии. Вопросы психологии. 1975, №2, 31-45 с.

31. Ломов Б.Ф. К проблеме деятельности в психологии. Психологический журнал, 1981, том 2, № 9 , 3-22 с.

32. Ломов Б.Ф. Математика и психология в изучении процессов принятия решений .- В кн. : Нормативные и дескриптивные модели принятия решений. М.: Наука, 1981, 5-21 с.

33. Методические рекомендации по оценке дидактической эффективности обучающих систем : Учебное пособие / Багрецов С.А., Попов Г.М. / ПВУРЭПВО, 1988,122 с.

34. Пантелей В.Г. Теоретические модели и человеко- машинные процедуры для поддержки принятия решения о готовности экипажей к полетам потекущему состоянию.: Автореферат дис. на соиск. уч. степени д. т. н. -Санкт- Петербург, АГА, 1995

35. Романов А.П. Тренажеры для подготовки операторов PJIC с помощью ЭВМ. М.: Воениздат, 1980, с. 126

36. Рубахин В.Ф. Состояние и тенденция развития отечественной психологии. В кн.: Инженерная психология . Теория, методология, практическое применение. -М.: Наука, 1977, 17-28 с.

37. Свиридов А.П. Некоторые вопросы организации программированного обучения и контроля . Автореф. на соис.уч.степ.к.т.н. М.,1967

38. Свиридов А.П. Основы статистической теории обучения и контроля знаний . М.: Высш. школа, 198161 .Свиридов А.П. Планирование и обработка данных эксперимента. М.: МЭИ, 1982

39. Свиридов А.П. и др. Сетевые модели динамики знаний . М.: МЭИ, 1992

40. Свиридов А.П. Условные и безусловные алгоритмы диагностического контроля подготовки операторов ЭВМ. М.: МЭИ, 1987

41. Свиридов А.П. Статистические методы контроля. М.: МЭИ, 1980

42. Селезнева H.A. Квалиметрия человека и образование: методология и практика. М.: Исследовательский центр проблем качества подготовки специалистов, 1996

43. Селезнева H.A. и др. Квалификационные характеристики специалистов с высшим образованием М.: Б.и.; Минск : БПИ, 1988

44. Селезнева H.A. и др. Проектирование квалификационных требований к специалистам с высшим образованием. М.: Исследовательский центр Гособразования СССР, 1991

45. Селезнева H.A. Сборник аннотированных отчетов по научно-исследовательским работам , выполненным исследовательским центром в 1993 г. М.: Исследовательский центр проблем качества подготовки специалистов, 1993

46. Спасенников В.В. Некоторые аспекты применимости математических методов для исследования систем человек- машина. Деп. в ВИМИ, : Межотраслевой реферативный сборник. Техника. Технология. Экономика. - 1982, сер. С, вып. 5, № Д05032, 55 с.

47. Спасенников В.В Алгоритм непосредственной оценки деятельности операторов сопровождения АСУ . Деп. В ЦИВТИ МО СССР: Указатель поступления информационных материалов. - 1983, вып 2, № Д13286Д, Д3285Д, с. 16

48. Справочник по инженерной психологии / Под ред. Ломова Б.Ф./ М.: Машиностроение, 1982, 368 с.

49. Том И.Э., Манъшин Г.Г. Надежность систем человек- машина . Минск: Институт технической кибернетики АН БССР, 1985

50. Шубинский И. Б. Основы анализа сложных систем . ПВУРЭ ПВО, 1988ж Шубинский И. Б. Расчет надежности цифровых устройств. М.: Знание,1984

51. Шубинский И. Б Топологический метод и алгоритм определения стационарных показателей надежности технических систем./ Надежность и контроль качества. 1984 № 5, с. 9- 8

52. Шубинский И.Б., ОпаринаНМ, Методика априорной оценки эффективности подготовки операторов.- С- Пб.: Межвузовская конференция, ВМУ им.В.М. Фрунзе , 1997г

53. Ю.Опарина Н.М., Багрецов С.А., Методика разработки модели успешности деятельности операторов. С - Пб.: Межвузовская научно- техническая конференция, ВИКИ им.А.Ф. Можайского, 1997