автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация и адаптивное управление аттестацией персонала промышленных предприятий

На правах рукописи

СААКЯН ИГОРЬ ЭДУАРДОВИЧ

АВТОМАТИЗАЦИЯ И АДАПТИВНОЕ УПРАВЛЕНИЕ АТТЕСТАЦИЕЙ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ

Специальность 05.13.06- Автоматизация и управление технологическими процессами и производствами (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва - 2С09

003460903

Работа выполнена в Московском автомобильно-дорожном институте (государственном техническом университете)

Научный руководитель Заслуженный деятель науки РФ,

доктор технических наук, профессор Николаев Андрей Борисович, профессор МАДИ(ГТУ)

Официальные оппоненты Лауреат премии Правительства РФ,

Доктор технических наук, доцент Строганов Виктор Юрьевич, профессор МГТУ им.Н.Э.Баумана

Кандидат технических наук, Лукащук Петр Иванович Генеральный директор ООО «Спецстройбетон-200», г.Москва

Ведущая организация: Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования (Рос НИИ ИТ и АП), г.Москва.

Защита состоится 24 февраля 2009г. в 10.00 на заседании диссертационного совета Д212.126.05 Московского автомобильно-дорожного института (государственный технический университет) по адресу: 125319, ГСП А-47, Москва, Ленинградский пр., д.64.

С диссертацией можно ознакомиться в библиотеке МАДИ(ГТУ)

Текст автореферата размещен на сайте Московского автомобильно-дорожного института (государственного технического университета):\лллллмпас1!.ги

Автореферат разослан 23 января 2009г.

Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института.

Ученый секретарь диссертационного совета, кандидат технических наук, доцент

С Михайлова Н.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

Эффективное управление персоналом, в том числе подготовка и переподготовка кадров промышленных предприятий в настоящее время невозможна без использования современных компьютерных технологий, которые интенсивно внедряются во все сферы управления. Одной из основных задач системы подготовки и переподготовки персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ. Система аттестации является одним из компонентов системы подготовки и переподготовки персонала, в которую также входят подсистемы определения целей, содержания, методов и средств обучения, организационно-правовых форм, а также учебно-материальная, финансово-экономическая, нормативно-правовая и маркетинговая подсистемы.

Оперативный контроль уровня знаний и умений сотрудников может быть обеспечен лишь за счет всестороннего использования процедур компьютерного тестового контроля, обеспечивающих динамическую идентификацию уровня подготовленности персонала. Повышение эффективности компьютерного тестирования достигается за счет адаптивных алгоритмов, разработке которых в последнее время уделяется большое внимание. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты формирования тестов вместе с процедурами анализа эффективности механизмов предъявления тестовых заданий, что и определяет актуальность настоящей диссертационной работы.

Предметом исследования являются система аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при оценке уровня квалификации персонала.

Цель и основные задачи исследования

Целью работы является повышение эффективности системы аттестации персонала промышленных предприятиях на основе разработки методов, моделей, алгоритмов и программных средств автоматизации формирования компьютерных процедур проведения аттестации.

Для достижения данной цели в работе решаются следующие задачи:

о системный анализ методов и моделей организации процедур компьютерного тестового контроля в системе подготовки персонала промышленных предприятий;

• разработка формальных методов и моделей тестового контроля;

• анализ эффективности методов адаптивного тестового контроля;

• разработка программного комплекса реализации адаптивных механизмов тестового контроля.

Методы исследования

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и теоретико-множественный аппарат. При формировании последовательности тестовых заданий использовались элементы факторного планирования. Обработка результатов эксперимента выполнена с использованием методов многомерного статистического анализа. При разработке моделей компонентов системы аттестации персонала использовались методы математического программирования, теории случайных процессов, имитационное моделирование и другие формальные методы.

Научная новизна

Научную новизну работы составляют методы адаптивного тестового контроля, а также модели оценки эффективности теста. Научную новизну работы составляют; На защиту выносятся

• формализованные критерии оптимальности тестов;

» формализованное описание процесса адаптивного тестового контроля марковской цепью и аналитические выражения стационарных характеристик состояний цепи.

• модели оценки вероятностей ошибочной классификации;

• оценки, сходимости процедур предъявления тестовых заданий в непрерывной шкале сложности;

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных предприятиях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы.

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки учебных программ и процедур тестового контроля. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде учебных центров «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2003-2008г.г.);

• на заседании кафедры АСУ МАДИ(ПГУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации процесса аттестации составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе подготовки и аттестации персонала промышленных предприятий.

СОДЕРЖАНИЕ РАБОТЫ

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.

Во введении обосновывается актуальность проблемы и приведено краткое описание содержания глав диссертации.

1. АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ

В первой главе диссертации проводится системный анализ методов и моделей компьютерного тестового контроля в системе аттестации. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывной подготовки. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.

1.1. Анализ моделей тестового контроля

В качестве модели классической теории применяется простейшая аддитивная модель, в которой на истинный бал накладывается ошибка. В классической теории тестов зарубежные и российские авторы исходят из идеи параллельного измерения интересующего свойства с помощью двух и большего числа тестов, имеющих общее предметное содержание и сходные статистические характеристики. В рамках этой теории принят следующий постулат: эмпирически получаемый результат измерения X представляет собой сумму истинного компонента измерения Т (обычно неизвестного) и ошибочного £ (также неизвестного). При этом Х=Т+Е.

В 1РТ-теории рамках этой теории каждому заданию приписан уровень сложности и на основе аналитических моделей вводится формализованное описание вероятности правильного выполнения задания с заданной сложностью испытуемым с заданным уровнем знаний на основе условной вероятности. Проведен анализ аналитических соотношений и показано, что 1РТ-модель может быть использована совместно с регрессионными моделями и моделями классификации.

Проведен анализ современных информационных технологий в системе аттестации и рассмотрены компоненты информационно-образовательной среды, представляющие собой системно-организованную совокупность средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного и организационно-методического обеспечения, ориентированную на повышение качества проведения аттестации персонала. Проведена классификация существующих методов и моделей тестового контроля и определены границы использования каждого из них для решения задачи автоматизации системы аттестации персонала промышленных предприятий.

1.2. Базовая модель механизма предъявления тестовых заданий

Механизм предъявления дает лишь последовательность заданий различной сложности. Оценивание уровня знаний тестируемого является следующей задачей. В данном случае имеет место два подхода: классификация, когда количество значений оценок тестируемого определено заранее, и оценивание, когда численное значение оценки может быть произвольным.

В общем случае оценивание уровня знаний по результатам ответов на тестовые задания в диссертации рассматривается как задача управления, где на каждом шаге процедуры выбирается очередное задание, обладающее определенной сложностью. При формировании процедуры предъявления заданий варьируется выбор сложности по результатам ответов:

р(п+1) = /=<п)(р<1),..-, р(п,) + 5(п)(Р(1>.-. Р(п)), (1)

где - сложность задания на п-ом шаге процедуры;

- некоторое функциональное преобразование результатов

ответов;

£(п)((3(1),..., ¡3(п)) - случайная величина, моделирующая ответ на п-е задание.

Предложенная схема дает подход к построению множества алгоритмов, различающихся механизмами предъявления заданий и процедурами оценивания. В диссертации разработаны и проведен сравнительный анализ алгоритмов с постоянным шагом и алгоритмов стохастической аппроксимации. Проведена аналогия между поведением поисковых алгоритмов оптимизации в условиях помех и процедурой тестового контроля. Полагается, если ответ правильный, то уровень знаний выше сложности предъявленной задачи, и если ответ неправильный, то - ниже. Процедура подобна оценке некоторой гипотетической функции «уровня знаний», градиент которой является случайной величиной, а ответ тестируемого оценкой градиента.

1.3. Взаимосвязь моделей

При разработке процедур компьютерного тестового контроля основной проблемой является вопрос оценки эффективности предлагаемых процедур с точки зрения точности оценивания уровня знаний тестируемого. Задача построения процедур и задача моделирования их эффективности тесно связаны друг с другом. С одной стороны, модель должна включать в себя все алгоритмические возможности реальной процедуры. С другой стороны, реальная процедура должна включать возможности моделирования с целью динамической корректировки своих параметров, В связи с этим задачи моделирования и задачи разработки процедур тестового контроля в инструментальных средах эквивалентны. На рис.1, представлена взаимосвязь методов и моделей процесса тестового контроля.

В общем случае следует разделять механизм предъявления тестовых заданий и процедуры оценивания или классификации. Механизм предъявления может быть построен на основе статических и динамических планов.

В статическом механизме количество заданий различной степени сложности, включенных в тест, определено заранее. Вариации общим количеством заданий и их распределением по сложности дают различные результаты по точности оценивания уровня знаний. Поэтому необходимо решение задач распределения в зависимости от априорной информации об уровне знаний.

Взаимосвязь методов и моделей тестового контроля

| Методы построения | тестов

/ Формализация понятия \ уровня сложности заданий ; теста у

Априорные распределения по уровню знаний

Статистическая модель теста

Статический

Адаптивный .

Модель группы- -входной поток тестируемых

Вероятностная модель ответов тестируемого '

Виды анализа

|----►х.

Виды анализа

Факторный анализ ¡ЯТ теория

Сложность

Кластерный анализ

Латентно-структурный анализ

Статистическая модель решения теста

" ТГроиесс решения ____теста________

. I. если задание

т\

5)= I д-,. .г, = < ^

, . к к О.еслизааанеие к=\

не решено

1 1 Х'

Решенные задания

)|©.?.®к

Уровни сложности

5п

Истиный балл

; Процедуры классификации ; по вероятностной модели и выборке решенных задэч

Статистическое сравнение истиного балла и оценки

Виды анализа

Байесовская классификация

Дискрименантный анализ

Оценка

Оценка эффективности процесса классификации

Рис. 1.

Адаптивный механизм предъявления тестовых заданий предполагает выбор каждого последующего задания из базы тестовых задания в зависимости от ответов на все предыдущие. В данном случае формирование алгоритма для описания механизмов предъявления дает большую свободу при построении новых методических принципов.

2. ПРИНЦИПЫ ФОРМИРОВАНИЯ ТЕСТОВ

Во второй главе диссертации разработана методика автоматизации формирования тестов, основанная на формализованном представлении задания с возможностью

определения алгоритмической структуры механизмов предъявления и механизмов связывания гомогенных тестов в гетерогенный.

2.1. Модели связности тестовых заданий и учебного материала

Все категории пользователей и компонентов системы определяются по их отношению к учебным материалам (II), которые определяют совокупность неделимых единиц учебной информации, и тестовым заданиям (Т). Основной целью формирования теста является не только оценка тестируемого по различным направлениям, но и автоматизация формирования индивидуального учебного плана, который представляет отношение (Охи), т.е. представления обучаемому (О) определенных учебных материалов. ЫхТ -представляет таблицу множественной связи между модулями и тестовыми заданиями. Формирование и редактирование таблицы осуществляется только методистом.

Отношение связности тестовых заданий и модулей

I

Тестовое задание I Модуль к !

!

Тестовое задание ] Модуль!

I

В результате формируется отношение (Тх(_1), которое представляет двудольный граф, схематично представленный на рис.2., дуги которого взвешены числовой оценкой принадлежности на отрезке [0,1].

Начальный вариант анализа тестового контроля предполагает оценку правильности решения тестовых заданий. С одной стороны эта оценка может быть определена как «да-нет» и определяться либо как 0 либо как 1.

Пусть Х - вектор множества модулей:

Х=(ХЬХ2, ... ,Х„), (2)

где каждая компонента X\ вектора определяет привязку соответствующего тестового задания к модулю. В двухуровневых

факторных экспериментах (полных и дробных) определяется только принадлежность задания, т.е. Х- = 1 - задание имеет отношение к i-ому модулю и X, = 0 - в противном случае.

В качестве оцениваемого функционала берется вероятность правильного ответа на задание конкретной направленности (она определяется содержательной стороной модуля), поэтому каждый тестируемый определяется вектором: Р=(Ри Р2, ... , Р„), где каждая компонента вектора определяет вероятность решения задач соответствующей направленности. Задача, поставленная в диссертации, предполагает расчет сразу всех компонент вектора.

Вероятность решения задания равна произведению вероятностей Р= Y\Pi> что соответствует схеме независимых испытаний. В этом

Л>(>

случае невозможно использовать предположение линейности функционалов в факторных планах, однако логарифмированием можно линеаризовать функционал и в результате такого преобразования получить классическую линейную модель факторного плана:

In Р = X, In Р{ + Х2 In Р2+ + X,. In Р„, (3)

где в качестве оцениваемых параметров регрессии выступают !пР, . При моделировании множества тестовых заданий, составляющих тест, формируется матрица плана теста F=||xu||, где ху определяет наличие j-ой направленности в i-ом тестовом задании.

Критерии оптимальности тестов в диссертации строятся на основе минимизации дисперсионной матрицы D(F) оценок вероятностей ответов в IRT модели на задания различной направленности. В силу неоднозначности решения задачи используются функциональные преобразования D(F) имеющие статистический смысл и обладающие свойствами монотонности, однородности и выпуклости. Поэтому рассматривается задача минимизации функционала Ф, заданного на множестве дисперсионных матриц плана, т.е. задача поиска матрицы плана теста:

F* -arg mm Ф(0(Р)). ^

В диссертации разработаны методики оптимизации гетерогенных тестов, основанные на следующих функциональных преобразованиях: D-оптимальный тест - <t>(F)=defD(F); обобщенно D-оптимальный -0>(F)=£tef(ATD(F)A), А - матрица полного ранга; L-оптимальный -<D(F)=frLD(F), L - фиксированная неотрицательно определенная матрица.

2.2. Параметризация тестового задания

В общем случае тест представляет собой алгоритмическую структуру не только тестовых заданий, но и информационных фрагментов методической поддержки, которые представляются следующим образом:

Я = (ti, dh ah аи sh п), (5)

где t, - тип фрагмента (учебный, тестовый, «выбор»); d, - уровень сложности; а,- - уровень доступа к фрагменту; а, - операция сравнения уровня доступа пользователя и уровня доступа фрагмента <, < =, S, >); Si - время принудительного окончания предъявления; г,- -подмножество признаков, связанных с данным фрагментом:

П Е {Грг, Гпх, Гы, Гр, Ггс, Ггр, rps, tst, Гср, Гц}, (6)

где грг - признак запрета перехода от данного фрагмента к предыдущему в последовательности; гпх - признак запрета перехода от данного фрагмента к следующему в последовательности; гЬк -признак запрета отката на один шаг назад по треку предъявления фрагментов; г„ - признак запрета возможности произвольного доступа к данному фрагменту; гГ0 - признак запрета возможности перехода от данного фрагмента к другому произвольному фрагменту; гф - признак запрета повторного предъявления фрагмента; rps - признак запрета приостановки предъявления фрагмента; rst - признак запрета остановки предъявления фрагмента; гср - признак запрета отображения названия фрагмента; rt/ - признак запрета отображения индикатора времени проигрывания фрагмента.

В системе принята следующая структуризация учебного материала и тестовых заданий. Фрагменты или тестовые задания объединяются в структурный элемент или тест, имеющий алгоритмическую структуру, которая прописана в файле Access, имеющем расширение sed (sed-файл). Структурные элементы объединяются в курс или гетерогенный тест с древовидной структурой (рис.3.), прописанной в файле Access, имеющем расширение sdd (sdd-файл). Таким образом, одним из вариантов механизма формирования тестов является конструирование sdd-файла, который представляет структуризацию ссылок на sed-файлы гомогенных тестов.

Этот файл скрыт от пользователя и для проигрывания таким образом полученного гетерогенного теста разработана компонента проигрывания теста, представляющего ехе-файл и включенного в некоторый sdd-файл.

Более гибкая структура гетерогенных тестов достигается за счет принудительного формирования ссылок каждого задания на каждый модуль (рис.4.) В этом случае разработанные модели факторного планирования позволяют из всего множества тестовых заданий выбрать минимальное подмножество с целью достижения точности

оценки уровня знаний по каждому направлению. Задачи конструирования тестов, оценки их эффективности и непосредственно проведения тестового контроля связаны друг с другом.

Среда конструктора гетерогенных тестов

Среда методиста /

Гетерогенный курс

к. --1

- .su га: г . ±. i 1 1

■ . !;" О г

О

«S

С teC. tL : tóC

С» У) j )

Локальные курсы

Рис.3.

Структура гетерогенного теста

' Гетерогенный тест 1 '

Тест. 1

; | . ТесТ1Л!

Модуль 1

Тест 1 (sed)

.|тз,« '- !

i Тестm í

!;ТЗ,,, ¡(sed) i ¡

¡T3m, |

Модуль 2

/Модуль N "Тест 1

(вей)

тз,.1

^ Тест m Т3<„, (sed)

í V-г-7

: Т3„.,

¡Т3„.„

Рис.4.

Круг задач тестового контроля охватывающий аспекты моделирования (для методиста с целью оценки его эффективности) и непосредственного контроля решается путем создания совокупности сценариев включающих:

• метод оценки вероятностей ошибочной классификации;

• моделирующие алгоритмы;

• язык формирования последовательности тестовых заданий;

• приложение формирования механизмов предъявления тестовых заданий;

• приложение разбора структуры теста;

• визуализация результатов тестового контроля;

• и другие.

3. РАЗРАБОТКА МЕТОДОВ И МОДЕЛЕЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ ТЕСТОВ

В третьей главе диссертации разработаны модели оценки эффективности процедур тестового контроля, основанные на ошибочных классификациях.

3.1. Марковская цепь динамики сложностей тестовых заданий

Полагая, что ответы на задания независимы, представленная процедура формализована однородной марковской цепью (рис.5.):

5=(С, Р, П), (7)

где С={С*, СГ}м..п - множество состояний марковской цепи, определяющее уровни «сложности» тестовых заданий;

Р=||Ро1| - матрица переходных вероятностей;

П=||р,|| - вектор-строка начального распределения, которая определяется на основе априорной информации об «уровне знаний».

Переходные вероятности определяются на основании логистической кривой:

, Г. а -

д=«ч>--(е-р,)/

-^(е-р,)

с

(8)

. .... ......<7,-1

СГ / ®

С использованием ИТГ-теории в диссертации решена задача определения стационарных вероятностей цепи:

тс = (Т:о2>7Т1,1>7Ч2.->7Г,-1,2,Л„1), (9)

где - 71 и вероятность состояния Си+, а 7г,2 - См~.

В качестве меры различия между переменными «уровень знаний» и «сложность задания» принята разность ггб-Рь где p¡ - текущая сложность задачи. При этом считается, что 6 неизменно, но неизвестно, а р известно и управляемо.

Диаграмма переходов марковской цепи

■РГ-^ С] > у Ч <V f X / \

Рз" V, / Р2' Ч3 V

чгЧ С2 Л /^S —{ с,- )>

V__ / V__У

-Pi-Л-П С1-Г)

Рис. 5.

Используя уравнения переходных вероятностей, выраженные через логистическую функцию: р^Ч^); дГ=1-Ч;(г|), / -1,1, получены выражения для стационарных вероятностей марковской цепи:

Ml M';(z,)

=

Рк

Ч ]=2ЯН

I +

I

(Ю)

Стационарные распределения вероятностей марковской цепи

В частных случаях, когда функция положения «уровня знаний» имеет постоянную дисперсию (Ух:ст(х)=с>=Const) и постоянный

коэффициента вариации (Ух: у = = Const ) выражения плотности

Y(x)

стационарных вероятностей принимают вид.

^M^Y-rexp^P*'1, е>т(х) = —[У(х)]у. (Ц)

В обоих случаях плотности являются монотонными преобразованиями, т.е. большим значениям «уровень знаний» соответствуют большие значения плотности распределения «сложности заданий»,

Таким образом, предположение существования функции «уровня знаний» У в рамках предложенной схемы приводит к существованию аналитических зависимостей между «уровнем знаний» и «сложностью задания» через стационарное распределение предложенной марковской цепи, а в частных случаях стационарные вероятности полностью повторяют функцию «уровня знаний». 3.2. Вероятности ошибочных классификаций Для адаптивного алгоритма с постоянным шагом проведен сравнительный анализ ошибочной классификации сс статическим планом. В таблице!, приведены вероятности безошибочной классификации для каждого значения уровня знаний в семибальной шкале.

Таблица 1.

Сравнительный анализ статического и адаптивного алгоритма

'"-^Кяасс | 1 ! о I о | д | с 6 ! 7 I

Статический | 0,822 0,700 | 0,775 0,636 0,757 0,686 | 0,829

Адаптивный \ 0,906 0,821 ! 0,818 0,803 | 0,813 0,804 ! 0,910

Из таблицы видно, что вероятность правильной классификации для адаптивного алгоритма выше при всех значениях «уровня знаний». Поведены эксперименты для различного количества уровней шкалы и различного количества предъявляемых заданий. Показан существенный выигрыш адаптивных алгоритмов для большего количества уровней.

Ниже приведены результаты моделирования для семибальной шкалы. Статический план теста по 5 задач каждой сложности имеет матрицу ошибочных классификаций, приведенную в таблице 2.

Таблица 2.

Матрица ошибочных классификаций _

Класс 1 12 ¡3 14 ! 5 6 ! 7

1 0,8221 0,155! 0,002 0,000! 0,000 0,000 ; 0,000

2 0,176! 0,700! 0,125 0,000! 0,000! 0,000! 0,000

3 0,002 0,145! 0,775 0,185! 0,002 0,000! 0,000

4 0,0001 0,000 0,097 0,636 ; 0,100 Г о.ооо 0.000

5 0,000 0,000 0,001 0,179! 0,757 0,152 0,002

6 0,000 0,000 0,000 0,000 0,139 0,686 0,169

7 0,000! о.ооо 0,000 0,000 0,002 0,162 0,829

Как видно из таблицы равномерное распределение задач по сложности приводит к тому, что для тестируемых среднего уровня

вероятность достаточно велика и достигает 0,34. Для сильных и слабых аттестуемых классификация в данном случае более точная.

Графическое представление результатов вероятностей ошибочных

классификаций

30 Зиг1асе Р1о1 (НеО-ЭТА ЮуМЭс)

2=0.675-0,137*х-0,127*у-8,949е-11*х*х+0,034"Х*у-0,001*у*у

Ш -0,02.9 Ш 0,041

еш 0.112

ШЗ 0,182 СИ 0,253

!-1 0.323

ЕШ 0.394 Ш 0,465 523 0,535 0,606 $№ аЬоте

Рис.7.

В целях визуализации данных о вероятностях ошибочной классификации программная реализация модели оценки эффективности теста имеет как плоские, так и объемные формы представления (рис.7.). Оценка математического ожидания для всех планов является практически несмещенной. Это может объясняться равномерностью всех частот и формой логистической кривой.

Разработанные модели и формы визуализации результатов позволяют методисту настроить параметры теста, а именно длину и последовательность заданий каждой направленности, механизм чередования направленности и другие параметры для достижения заданной точности оценки с точки зрения ошибочной классификации Эти модельные компоненты являются составными частями системы конструирования тестов.

3.3, Имитационные эксперименты по оценке сходимости процедур оценивания уровня знаний

Для оценки сходимости разработанного в диссертации алгоритма предъявления, основанного на процедуре Роббинса-Монрро построена имитационная модель, фрагмент которой приведен на рис.8. В модели варьируется истинный уровень знаний, длина последовательности заданий, начальная сложность тестового

задания и др. Параметр а определяет порог вероятности ответа, для которого подбирается уровень знаний.

Рекуррентная схема предъявления тестовых заданий

и := 601 0 := 4 РО := 0 а := 0.5

X := Ро<-РО

Гог ¡е0,1.. 1_Т ехр[и-1.7-(©-рД] 1 + ехр[и-1.7(© - р^] Р;+1<-р, + а(])-[(гпс1(1)< р)-«]

Р

Рис.8.

В результате, полученная схема позволяет проводить анализ каждой последовательности. На каждом шаге для заданного уровня сложности в соответствии с логистической функцией вычисляется вероятность ответа на данное задание, затем в соответствии с распределением Бернулли разыгрывается вариант ответа, после чего в соответствии с функцией шага приращения вычисляется сложность нового задания. На рис.9, приведены примеры последовательностей предъявляемых тестовых заданий.

Примеры сходящихся последовательностей

А : .60,

Рис.9.

Из графиков видно, что уже после 10-го задания сложность приближается к истинному уровню знаний В=4. Шаг приращения

выбирается в соответствии с условиями, обеспечивающими сходимость алгоритмов стохастической аппроксимации.

Алгоритмы с постоянным шагом не дают сходимости по вероятности, однако он дают хорошее распределение начального значения сложности, что позволяет повысить общую скорость сходимости алгоритма стохастической аппроксимации.

Анализ сходимости алгоритмов проводился путем повторных выборочных реализаций с последующим их усреднением. Для различных комбинаций параметров алгоритма проведены эксперименты, которые показали достаточно быструю сходимость.

А. 218, 5

4

1М

I

1М_рс1 3

1М_тс1 2

А О

О 10 20 30 40 50 60

Л I .60,

Рис.10.

На рис.10, приведен график среднего с 80% доверительным интервалом. Из графика видно, что уже после 10-15 заданий сложность практически совпадает с истинным уровнем знаний.

4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ АДАПТИВНОЙ СИСТЕМЫ ТЕСТОВОГО КОНТРОЛЯ

В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процесса аттестации персонала. Разработана структура базы данных, интегрирующая тестовые задания, методические материалы и результаты выполнения каждого задания каждым аттестуемым. Система реализована в виде отдельного программного приложения. Программный комплекс разработан по открытому принципу, что позволяет наращивать его функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы.

Подсистема «Конструктора тестов» включает «Конструктор тестовых заданий», предназначенный для создания тестовых заданий различных форм. К числу таких форм относятся «закрытая», «открытая», «на соответствие», «на упорядочение» и смешанных

Сходимость стохастической аппроксимации

типов (как комбинации указанных форм). Настройка режима выполнения каждого тестового задания реализована в среде «Конструктор тестов», где также указывается тип алгоритма предъявления тестовых заданий из выбранного списка.

Для поддержки системой аттестации адаптивных тестов расширен функционал Проигрывателя тестов за счет внешних модулей. Для этого сформирована технология создания модулей, разработан универсальный интерфейс взаимодействия модуля с проигрывателем (динамически подключаемая библиотека (DLL) с определенным набором интерфейсных функций, СОМ-класс, текстовый файл с интерпретируемым скриптом). Подключаемые модули (plug-ins) входят в состав расширяемой программной среды.

Модуль расширяет функционал Проигрывателя, однако не входит в состав Проигрывателя, а распространятся вместе с ним в рамках фрагмента теста. Таким образом, модуль имеет более тесную интеграцию с учебным материалом, в отличии от связи Проигрывателя. Отсюда вытекает естественное решение — возложить функции модуля расширения на фрагмент. Поддержка исполняемых фрагментов основана на внедрении пользовательского интерфейса фрагмента в область визуализации фрагментов Проигрывателя и использовании API Windows Hooks.

Алгоритм проигрывания гетерогенного теста

замещаемый фиктивный фрагмент

инициализация

сохранение результата выполнения предъявленного т.з

промежуточная визуализация результатов выполнения предъявленных т.з. (необязательный)

выбор параметров

тестирования (необязательный)

/ определение\ очередного т.з.

конечная визуализация результатов выполнения предъявленных т.з. (необязательный)

деинициализация

Рис.11.

Адаптивные тесты со случайным выбором очередного тестового задания строятся по одной общей схеме (рис.11.) на основе исполняемых фрагментов и списков переходов между фрагментами. Исполняемый фрагмент является гибким средством расширения возможностей проигрывателя, предоставляющим минимальный

достаточный функционал, необходимый для решения определенных задач в любой конкретный момент. Помимо реализации дополнительных алгоритмов исполняемые фрагменты позволяют организовать: работу с внешними файлами, обмен данными по сети, запуск внешних приложений, взаимодействие с внешними приложениями (обмен данными, использование сервисов) посредством ОЬЕ-автоматизации или других технологий и другие возможности, т.е. позволяют расширять возможности проигрывателя, как на системном, так и на прикладном уровне.

Конечный тест, который будет предъявлен тестируемому, собирается в соответствии с представленной схемой в инструментальной среде конструктора структурных элементов (КСЭ). Каждый блок схемы представляет отдельный фрагмент. Алгоритм, реализуемый в 3-ем фрагменте, входные и выходные данные, необходимые для его работы, определяют тип теста. Основная задача этого фрагмента — определение очередного тестового задания, которое будет предъявлено аттестуемому, в соответствии с типом теста. Для гетерогенного теста входными данными являются: выбранные параметры теста (задаются во 2-м фрагменте), информация о принадлежности тестов модулям (соответствующих им зей-файлов) к определенным направлениям, результаты выполнения предъявленных тестовых заданий, список предъявленных тестовых заданий (для исключения повторений), Выходные данные — обновленный список предъявленных тестовых заданий. Результат — замена файла 4-го фрагмента на файл выбранного тестового задания.

Информация о привязке тестов различных курсов к направлениям хранится в эскЗ-файле (файле курса), который создается в среде конструкторе курсов. Т.е. формируется обобщенный тест, модули которого представляют собой направления тестирования, а элементы модуля — тесты определенного направления, к которым подключены созданные ранее эес)-файлы тестов курсов.

Формы представления результатов содержат свертку информации по тестируемым, направлениям и сложностям тестовых заданий. Такие формы представления используют методы многомерного анализа.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов работы.

Публикации. По результатам выполненных исследований опубликовано 12 печатных работ, которые приведены в списке публикаций.

Основные выводы и результаты работы

1. Проведен системный анализ задач организации процедур тестового контроля и аттестации сотрудников промышленных предприятий, определен круг методов и моделей формализованного представления компонент системы аттестации.

2. Разработана методика параметризации компонентов системы компьютерного тестового контроля и формализованная модель преобразования переменных уровня знаний и сложности заданий.

3. Разработаны механизмы формирования тестов и требования к инструментальной среде формирования тестов с возможностью реализации интерактивных режимов.

4. Разработан метод вычисления весовых коэффициентов значимости заданий различной сложности, а также разделяющей константы при реализации процедур классификации уровня знаний тестируемых.

5. Сформированы критерии оптимальности теста на основе матрицы ошибочной классификации и разработана имитационная модель вычисления матрицы ошибочных классификаций.

6. Построена формализованная модель процедуры адаптивного тестового контроля в виде марковской цепи и разработаны механизмы предъявления тестовых заданий.

7. На основе имитационных экспериментов по анализу процедуры Роббинса-Монро получены количественные оценки эффективности адаптивных алгоритмов тестового контроля и показана их эффективность.

8. Сформированы требования к реализации программно-моделирующего комплекса тестового контроля и аттестации персонала транспортных предприятий. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде учебных центров «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Публикации по теме диссертационной работы

1. Саакян, И.Э. Автоматизированная система антикризисного обеспечения работы предприятия / И.Э. Саакян, А.П. Баринов, А.Г. Соленов II Методы прикладной информатики в автомобильно-дорожном комплексе: сб. науч тр. МАДИ(ГТУ), М., 2007. -С. 119-123.

2. Саакян, И.Э. Принятие решения при выборе альтернатив развития предприятия промышленного комплекса / Баринов А.П., Яшуков A.B. Методы прикладной информатики в автомобильно-дорожном комплексе: сб. науч. тр. МАДИ(ГТУ), 2007 С.71-74.

3. Саакян, И.Э. Модели информационной системы предприятия / И.Э. Саакян, Н.Г. Куфтинова, А.Ю. Кудрявцев // Организационно-управляющие системы на транспорте и в промышленности: сб науч. тр. / МАДИ (ГТУ).- М., 2007 - С.48-52.

4. Саакян, И.Э. Методы и технические приемы адаптивной гипермедиа / И.Э. Саакян, A.B. Николаев, И.А. Кузнецов, Ла Суан Тханг II Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ) М„ 2008. - С.49-55.

5. Саакян, И.Э. Комплексная автоматизация производства с использованием системы «СМАРТ» / И.Э. Саакян, A.B. Николаев, В.Н. Брыль, А.Ю. Кудрявцев // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ) М., 2008. - С.141-145.

6. Саакян, И.Э. Адаптивный подход к проектированию человеко-машинных интерфейсов / И.Э. Саакян, А.Ю. Кудрявцев, Р.П. Лукащук, Шень Янь // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). -М., 2008. - С. 2939.

7. Саакян, И.Э. Роль электронного документооборота в автоматизации и управлении предприятием / И.Э. Саакян, C.B. Мазуренко, Л.Ф. Макаренко, A.C. Горячев // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). ~М„ 2008. - С. 103-107.

8. Саакян, И.Э. Особенности Microsoft Windows Server 2008 / И.Э. Саакян, И.А.Евстратова // Методы ситуационного управления и статистического анализа в промышленности, строительстве и образовании: сб. науч. тр. МАДИ(ГТУ). -М., 2008. -С. 69-77.

9. Саакян, И.Э. Сетевое планирование учебного процесса / И.Э. Саакян, Л.Ф.Макаренко Р.П. Лукащук, В.М. Пеньков II Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и образовании(ч.2): сб науч. тр. МАДИ(ГТУ). -М., 2008. -С. 17-21.

10. Саакян, И.Э. Обобщенные графовые модели оценки качества учебно-методических материалов / И.Э. Саакян, Л.Ф.Макаренко В.В. Белоус, В.М. Пеньков/7 Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и образовании (ч.2): сб науч. тр. МПДИ(ГТУ). -М., 2008. -С.22-27.

11. Саакян, И.Э. Примеры исходного кода для Visual Basic 2008 / Аналитико-имитационное моделирование и ситуационное управление в промышленности., строительстве и образовании (ч.2): сб науч. тр. МАДИ(ГТУ). -М., 2008. -С.56-63.

12. Саакян, И.Э. Модель нечетких отношений в системе электронного документооборота / И.Э. Саакян, В.Н. Брыль, В.В. Белоус, Л.Ф. Макаренко II Вестник МАДИ(ГТУ), вып. 4(15), 2008. -С. 92-95.

Подписано в печать £2.04, 2009 г Формат 60x84x16 Усл.печ.л. 4,0 Тираж /О О экз. Заказ № 7

"Техполиграфцентр" Россия, 125319 , г. Москва, ул. Усиевича, д. 8 а. Тел/факс: 8 (499) 152-17-71 Тел. : 8-916-191-08-51

ВВЕДЕНИЕ.

1. СИСТЕМНЫЙ АНАЛИЗ ЗАДАЧ ОРГАНИЗАЦИИ АТТЕСТАЦИИ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ.

1.1. Проблемы кадрового обеспечения предприятий промышленности и транспортного комплекса.

1.2. Педагогические принципы контроля и диагностики.

1.2.1. Функции и методы контроля.

1.2.2. Классификация педагогических тестов.

1.3. Методики построения шкалы оценки уровня знаний.

1.3.1. Принципы построения шкал в задачах тестового контроля.

1.3.2. Формализованные модели классификации обученности.

1.3.3. Унифицированная дидактическая классификация.

1.4. Математическое моделирование процедур тестового контроля.

1.4.1. Основные принципы классической теории тестового контроля.

1.4.2. Формальные модели IRT-теории тестового контроля.

1.4.3. Факторный, латентно-структурный и кластерный анализ в системе моделирования процедур тестового контроля.

1.5. Информационные технологии в системе аттестации персонала.

Выводы по главе 1.

2. РАЗРАБОТКА МЕТОДОВ И МОДЕЛЕЙ ТЕСТОВОГО КОНТРОЛЯ В СИСТЕМЕ АТТЕСТАЦИИ.

2.1.Логистическая модель учета процента правильности решения задания.

2.2. Принципы формирования теста и модели оценки эффективности.

2.2.1. Факторная модель гетерогенного теста.

2.2.2. Модель множественной регрессии в оценке характеристик теста.

2.2.3. Оценка параметров регрессии теста.

2.2.4. Разработка критериев оптимальности тестов на основе дисперсионной матрицы ошибочных классификаций.

2.3. Оптимальное распределение сложности для оценки положения уровня знаний.

2.4. Имитационная модель оценки эффективности теста.

2.5. Методика параметризации гетерогенного теста.

2.5.1. Предварительная оценка уровня знаний тестируемых.

2.5.2: Параметрическая функция оценки гетерогенного теста.

2.5.3. Метод оценки разрешающей способности теста.

2.6. Построение формализованного описания фрагмента гетерогенного теста.

2.7. Методика формирования гетерогенных тестов.

Выводы по главе 2.

3. ОЦЕНКА ЭФФЕКТИВНОСТИ АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ В СИСТЕМЕ АТТЕСТАЦИИ.

3.1. Общая схема построения адаптивных алгоритмов тестового контроля

3.2. Марковская цепь поведения адаптивного алгоритма с постоянным шагом приращения сложности.

3.2.1. Описание алгоритма с постоянным шагом.

3.2.2. Построение марковской цепи процесса адаптивного тестового контроля.

3.2.3. Сходимость стационарных вероятностей при увеличении дискретизации шкалы уровня сложности.

3.2.4. Плотность распределения сложности тестовых заданий.

3.2.5. Анализ сходимости алгоритма поисковой оптимизации.

3.2.6. Плотность распределения для функций регрессии с постоянной дисперсией и постоянным коэффициентом вариации.

Постоянная дисперсия оценки.

Оценка с постоянным коэффициентом вариации.

3.2.7. Оценка эффективности алгоритма с постоянным шагом.

3.3. Адаптивный алгоритм тестового контроля в непрерывной шкале сложности на базе стохастической аппроксимации.

3.3.1. Аналитические оценки скорости сходимости алгоритма оценивания

3.3.2. Имитационные эксперименты по оценке скорости сходимости.

3.3.3. Использование критерия максимального правдоподобия.

Выводы по главе 3.

4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СРЕДЫ КОНСТРУКТОРА ТЕСТОВ В СИСТЕМЕ АТТЕСТАЦИИ.

4.1. Методика формирования процедур тестового контроля.

4.2. Принципы организации хранения результатов тестового контроля.

4.3. Пользовательский интерфейс конструктора тестов.

4.3.1. Панель «Курсы».

4.3.2. Панель «Структура курса».

4.3.3. Панель «Алгоритмы тестирования».

4.3.4. Панель «Шаблоны ГТ».

4.3.5. Нижняя горизонтальная панель.

4.4. Создание скрипта с алгоритмом тестирования и пополнение библиотеки алгоритмов.

4.5. Описание механизмов предъявления тестовых заданий.

Выводы по главе 4.

Эффективное управление персоналом, в том числе подготовка и переподготовка кадров промышленных предприятий в настоящее время невозможна без использования современных компьютерных технологий, которые интенсивно внедряются во все сферы управления. Одной из основных задач системы подготовки и переподготовки персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ. Система аттестации является одним из компонентов системы подготовки и переподготовки персонала, в которую также входят подсистемы определения целей, содержания, методов и средств обучения, организационно-правовых форм, а также учебно-материальная, финансово-экономическая, нормативно-правовая и маркетинговая подсистемы.

Оперативный контроль уровня знаний и умений сотрудников может быть обеспечен лишь за счет всестороннего использования процедур компьютерного тестового контроля, обеспечивающих динамическую идентификацию уровня подготовленности персонала. Повышение эффективности компьютерного тестирования достигается за счет адаптивных алгоритмов, разработке которых в последнее время уделяется большое внимание. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты формирования тестов вместе с процедурами анализа эффективности механизмов предъявления тестовых заданий, что и определяет актуальность настоящей диссертационной работы.

Предметом исследования являются система' аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при оценке уровня квалификации персонала.

Целью работы является повышение эффективности системы аттестации персонала промышленных предприятиях на основе разработки методов, моделей, алгоритмов и программных средств автоматизации формирования компьютерных процедур проведения аттестации.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ методов и моделей организации процедур компьютерного тестового контроля в системе подготовки персонала промышленных предприятий;

• разработка формальных методов и моделей тестового контроля;

• анализ эффективности методов адаптивного тестового контроля;

• разработка программного комплекса реализации адаптивных механизмов тестового контроля.

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и теоретико-множественный аппарат. При формировании последовательности тестовых заданий использовались элементы факторного планирования. Обработка результатов эксперимента выполнена с использованием методов многомерного статистического анализа. При разработке моделей компонентов системы аттестации персонала в диссертации использовались методы математического программирования, теории случайных процессов, имитационное моделирование и другие формальные методы.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.

В первой главе диссертации проводится системный анализ методов и моделей компьютерного тестового контроля в системе аттестации. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывной подготовки. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.

Во второй главе диссертации разработана методика автоматизации формирования тестов, основанная на формализованном представлении задания с возможностью определения алгоритмической структуры механизмов предъявления и механизмов связывания гомогенных тестов в гетерогенный.

Критерии оптимальности тестов в диссертации строятся на основе минимизации дисперсионной матрицы оценок вероятностей ответов в IRT модели на задания различной направленности. В силу неоднозначности решения задачи используются функциональные преобразования матрицы ,имеющие статистический смысл и обладающие свойствами монотонности, однородности и выпуклости. Поэтому рассматривается задача минимизации функционала, заданного на множестве дисперсионных матриц плана, т.е. задача поиска матрицы плана теста:

В третьей главе диссертации разработаны модели оценки эффективности процедур тестового контроля, основанные на ошибочных классификациях. В целях визуализации данных о вероятностях ошибочной классификации программная реализация модели оценки эффективности теста имеет как плоские, так и объемные формы представления. Оценка математического ожидания для всех планов является практически несмещенной. Это может объясняться равномерностью всех частот и формой логистической кривой.

Разработанные модели и формы визуализации результатов позволяют методисту настроить параметры теста, а именно длину и последовательность заданий каждой направленности, механизм чередования направленности и другие параметры для достижения заданной точности оценки с точки зрения ошибочной классификации. Эти модельные компоненты являются составными частями системы конструирования тестов.

В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процесса аттестации персонала. Разработана структура базы данных, интегрирующая тестовые задания, методические материалы и результаты выполнения каждого задания каждым аттестуемым. Система реализована в виде отдельного программного приложения. Программный комплекс разработан по открытому принципу, что позволяет наращивать его функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы.

В заключении представлены основные результаты работы.

В приложении приводятся акты внедрения результатов диссертационной работы.

Научную новизну работы составляют:

• модель логистического преобразования лингвистической переменной уровня знаний в лингвистическую переменную вероятности ответа;

• метод выбора весовых коэффициентов тестовых заданий различного уровня сложности, и разделяющей константы на базе процедуры дискриминантного анализа;

• имитационная модель оценки вероятностей ошибочной классификации;

• формализованное описание процесса адаптивного тестового контроля марковской цепью и аналитические выражения стационарных характеристик.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных предприятиях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы.

Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки учебных программ и процедур тестового контроля. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде учебных центров «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2003-2008г.г.);

• на заседании кафедры АСУ МАДИ(ГТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации процесса аттестации составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе подготовки и аттестации персонала промышленных предприятий.

По результатам выполненных исследований опубликовано 12 печатных работ.

Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 162 странице машинописного текста, содержит 47 рисунков, 19 таблиц, список литературы из 110 наименований и приложения.

Основные выводы и результаты работы

1. Проведен системный анализ задач организации процедур тестового контроля и аттестации сотрудников промышленных предприятий, определен круг методов и моделей формализованного представления компонент системы аттестации.

2. Разработана методика параметризации компонентов системы компьютерного тестового контроля и формализованная модель преобразования переменных уровня знаний и сложности заданий.

3. Разработаны механизмы формирования тестов и требования к инструментальной среде формирования тестов с возможностью реализации интерактивных режимов.

4. Разработан метод вычисления весовых коэффициентов значимости заданий различной сложности, а также разделяющей константы при реализации процедур классификации уровня знаний тестируемых.

5. Сформированы критерии оптимальности теста на основе матрицы ошибочной классификации и разработана имитационная модель вычисления матрицы ошибочных классификаций.

6. Построена формализованная модель процедуры адаптивного тестового контроля в виде марковской цепи и разработаны механизмы предъявления тестовых заданий.

7. На основе имитационных экспериментов по анализу процедуры Роббинса-Монро получены количественные оценки эффективности адаптивных алгоритмов тестового контроля и показана их эффективность.

8. Сформированы требования к реализации программно-моделирующего комплекса тестового контроля и аттестации персонала транспортных предприятий. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде учебных центров «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

1. Аванесов B.C. Научные проблемы тестового контроля знаний. Монография. - М.: Исследовательский центр, 1994.

2. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. М.: Исследовательский центр, 1995.

3. Агафонов В.Н. Спецификация программ: понятийные средства и их организация. Новосибирск, Наука, 1987, 238 с.

4. Акчурин P.M. Задача автоматизации программирования имитационно диалоговых систем // Программирование. - 1982. - №3.

5. Афифи А. , Эйзен С. Статический анализ: Подход с использованием ЭВМ. Пер. с англ. -М.: Изд-во "Мир", 1982. 488 с.Васильев В.И. Наша концепция.// Вестник высшей шкояы. 1990. № 10

6. Байзель М.М., Тарасенко Г.С Исследование адаптивного алгоритма оптимизации в обстановке помех // Проблемы случайного поиска (Рига). -1981. - Вып. 9. - С. 106-124

7. Баранов В.В. Рекурентные методы оптимальных решений в стохастических системах. Харьков:- Вища школа, 1981. - 145 с

8. Брежинина И. А., Галицкая Б.И., Марек И.А. Технология имитационного моделирования с использованием диалога в процессе построения моделей // Теория сложных систем и методы их моделирования: Труды семинара ВНИИСИ. М., 1984. С. 38-42.

9. Брезгуйова Я.М. Риде К.К Структура диалога в процессе синтеза оптимального плана эксперимента // Проблемы случайного поиска (Рига). 1981. Вып. 9. С. 263-384.

10. Ю.Бусленко В.И. Автоматизация имитационного моделирования сложных систем. М.; Наука, 1977. 239 с

11. Вороновский Г. К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. -Харьков, 1997.-111 с.

12. Выготский J1.C. Избранные психологические исследования. М., МГУ, 1956.

13. И.Гершунский Б.С Философия образования. М.: Флинта, 1998,

14. Гордон Д. Вычислительные аспекты имитационного моделирования // Исследование операций методологические основы и математические методы. - М.; Мир, 1981. - С. 655-679.

15. Государственный образовательный стандарт Российской Федерации. Высшее профессиональное образование. Общие требования. М., ГКВО РФ, 1993 -9с.

16. Готлиб М.А. Компьютеру дидактическое обеспечение. // Информатика и образование - М., Педагогика, N 4, с.3-14.

17. Готлиб М.А. Структура АОС. //Информатика и образование -М-, Педагогика, N 3, 1987, с.11-20.

18. Желтое С., Лихачев Н., Степанов В. Виртуальная реальность новая информационная технология // Экология непознанного. - 1995. - № 1.- С.6-11.

19. Жуковская З.Д. Методологические основы разработки и функционирования комплексной системы контроля качества подготовки специалистов в вузе. Диссертация на соискание ученой степени доктора педагогических наук.-С.П.: ЛГУ, 1994.

20. Зимняя И.А. Проблемы самооценивания как интериоризированной внешней оценки в процессе обучения. "Квалиметрия человека и образования. Методология и практика. 2-й симпозиум, кн.1, ч.1. М.: Исследовательский центр, 1993.

21. Казанович В.Г. Образовательная система как объект оценивания. Диссертация на соискание научной степени кандидата педагогических наук. -М.: Исследовательский центр, 1995.

22. Калашников В.В. Организация моделирования сложных систем. -М.: Знание, 1982. 103 с

23. Катыс Г.П., Катыс П.Г. Трехмерное отображение визуальной информации в виртуальном пространстве: Учебное пособие / МИРЭА. М., 1998. - 78 с.

24. Кашицин В.П. и др. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Изд-во «Магистр», 1997. - С. 44.

25. Клейнен Д. Статистические методы в имитационном моделировании. М.; Статистика, 1978. Вып.1 221с, Вып. 2- 335с.

26. Коломиец Б.К. Инвариантные функции интеллектуальной деятельности. Техническое творчество: теория, методология, практика, энциклопедический словарь справочник./Под ред. А.И.Половинкина, В.В.Попова/. М.: НПО "Информсистема", 1994.

27. Коломиец Б.К. Комплексная оценка выпускников высших учебных заведений. Отчет по НИР за 1996 г. -М.: Исследовательский центр проблем качества подготовки специалистов. 1997, 136 с.

28. Коломиец Б.К. Образовательные стандарты и программы: инвариантные аспекты М.: Исследовательский центр проблем качества подготовки специалистов. 1999 - с. 144.

29. Лавров С.С. Представление и использование знаний в автоматизированных системах. //МП. 1986, N 3, с. 14-19.

30. Литвак Б.Г. Экспертная оценка и принятие решений. М.: Патент, 1996-271 с.

31. ЛитвинцеваЛ. В., Налитое С.Д. Графические средства для построения систем когнитивной графики и виртуальных миров // Программные продукты и системы. -1995. № 2.

32. Математическая теория планирования эксперимента Под ред. С.М. Ермакова. М.: Наука, 1983. - 392 с

33. Новое качество высшего образования в современной России. Труды Исследовательского центра. Род научной редакцией Селезневой Н.А. и Субетто А.И. М.: Исследовательский центр проблем качества подготовки специалистов. 1995. - 199 с.

34. Петин Б.Ф. Предложения по совершенствованию ГОСов по направлениям подготовки и специальностям. -М: Исследовательский центр проблем качества подготовки специалистов, 1996.

35. Подгорецкая Н.А. Изучение приемов логического мышления у взрослых. М., Педагогика, 1980.

36. Положение об итоговой государственной аттестации выпускников высших учебных заведений в Российской Федерации. М.Госкомвуз РФ, 25.05.94.

37. Положение об итоговой государственной аттестации студентов высших учебных заведений в РСФСР. Проект. М.: Научно - методический центр по подготовке, переподготовке и повышению квалификации специалистов. 1994.

38. Проходов А В., Рузин В.С О глубинной концепции образования.// Вестник высшей школы. 1990 № 5.

39. Растригин JI. С. Адаптивное обучение с моделью обучаемого. Рига: Знание, 1988.

40. Реформа и развитие высшего образования. Программный документ. ЮНЕСКО, 1995.

41. Рипа К.К. Алгоритм синтеза оптимальных планов эксперимента // Проблемы случайного поиска (Рига). -1981. Вып. 9. С. 250-262.

42. Роберте Ф.С. Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам. М., Наука, 1986.

43. Родионов Б.У.,Татур А.О. Стандарты и тесты в образовании.- М.: Исследовательский центр, 1995. 48с.

44. Саркисова И.О. Автоматизация библиотечной деятельности высших учебных заведений. Электронный учебно-научно-производственный журнал "Автоматизация и управление в машиностроении", №3, 1998.

45. Саркисова И.О. Автоматизация поиска неиндексируемых ресурсов в распределенных компьютерных сетях. // Доклады международной конференции "Информационные средства и технологии", Т. 3, М.: Изд-во СТАНКИН, 1999, стр.184-187.

46. Саркисова И.О. Квалиметрия знаний в системе открытого образования. // Доклады международной конференции "Информационные средства и технологии", Т. 3, М.: Изд-во СТАНКИН, 2001, стр.111-114.

47. Саркисова И.О. Место разработки информационных систем для Internet/Intranet сетей в курсе "Информатика и вычислительная техника". Электронный учебно-научно-производственный журнал "Автоматизация и управление в машиностроении", №14, 2000.

48. Саркисова И.О., Николаев А.Б., Строганов В.Ю. Организация адаптивного тестового контроля // Моделирование и оптимизация в управлении: Сб. науч. тр. М., 2004, МАДИ(ГТУ). с. 12-19.

49. Сборник методических рекомендаций по разработке содержания обучения и дидактических систем. /Под ред. А.А.Золотарева М., МИИГА, 1988,270 с.

50. Селезнева Н.А. Проблемы оценки качества образования в России: состояние и перспективные пути решения. Труды Исследовательского центра. Серия: Научные доклады. М. Исследовательский центр проблем качества подготовки специалистов 1994.

51. Селезнева Н.А., Коломиец Б.К. Проблемы итоговой государственной аттестации выпускников вузов, сб."Современные формы и методы контроля знаний студентов на различных этапах обучения и при аккредитации вузов" -М.: Исследовательский центр. 1995.

52. Соколов В.М. Основы проектирования образовательных стандартов (методология, теория, практический опыт). М.: Исследовательский центр, 1996. - 86с.

53. Срагович В.Г. Адаптивное управление. Наука» 1981. 384 с.

54. Степанов А.А; Бахтина Т.Е., Свердлова Т.А., Желтое С.Ю. Обзор технических и программных средств систем виртуальной реальности // В сб.: "Технология виртуальной реальности". М., 1996. - С. 15-56.

55. Столл P.P. Множества. Логика. Аксиоматические теории. М., Наука, 1988.

56. Субетто А.И. Системология образовательных систем. -М.: Исслед. центр проблем качества подготовки специалистов, 1995.

57. Технология виртуальной реальности: состояние и тенденции развития // Новости искусственного интеллекта. 1995. -№3.-С. 118-122.

58. Технология системного моделирования. /Под ред. С.В.Емельянова -М., Машиностроение; Берлин, Техник, 1988.

59. Титов А.В. Алгоритм агрегирования с использованием смешанной стратегии. Исследовательский центр. 1995.

60. Титтел Эд., Сандерс К., Скотт Ч., Вольф П. Создание VRML миров / Пер. с англ. Киев: Изд-во "Группа BHV", 1997. - 320 с.

61. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л., Ковальчук О.Г. Дистанционное обучение: к виртуальным средам знаний. Дистанционное образование . №2. - 1999. - С.8-16.

62. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Сов. Радио. 1977.-488 с.

63. Управление современным образованием: социальные и экономические аспекты / Под ред. А.Н.Тихонова. М., 1998.- С. 256.

64. Усков В.Л., Ускова М. Информационные технологии в образовании // Информационные технологии. 1999. -№1.-С. 31-37.

65. Феллер В, Введение в теорию вероятностей и ее приложения. : Мир, 1984. 528 с.

66. Фонды комплексных квалификационных заданий по специальностям высшего образования.: Методические разработки ( разработчики : Селезнева Н.А.,Беспалько В.П.,Соколов В.М. и др.) М. Гособразование СССР 1998 г. 89 с.

67. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1995. 32 с

68. Шеннон Р. Имитационное моделирование систем искусство и наука. М.: Мир, 1978.-418 с.

69. Begault D. 3D Sound for Virtual Reality and Multimedia // Academic Press. 1994.

70. Birnbaum A. Some Latent Trait Models and Their Use in Statistical Theories of Mental Test Scores. Reading, Mass. : Addison Wesly, 1968.

71. Candell Thomas P. The Application of Neural Networks to Virtual Reality // 1CNN Tutorial. 1994. № 13. WCCI (Orlando F.L.).

72. Casas L.A.A. et al. Virtual reality full immersion techniques for enhancing workers performance // Proc. Intern. Conf. On Integrated and Sustainable Industrial Production. (Lisbon, Portugal). 1997. P. 399-411.

73. Elane El-Khawas. External Scrutiny, US Style: multiple actors, overlapping roles. Governments and professional education / Edited by Tony Becher. UK. Published by SRHE and Open University Press. Bristol: HEFCE, 1993.

74. Enseignement a distance: realites, enjeux et perspectives: Rapport presente par 7-C1. Barbarante: Conseil economique et social. P., 1997.

75. Gibson W.A., Latent Structure and Positive Manifold, «British Journal of Statistical Psychology», 15, 1962, 149—160.

76. Gibson W.A. Nonlinear Factors in Two Dimensions, «Psychometrika», 25, 1960,381—392.

77. Green B.F., A General Solution for the Latent Class Model of Latent Structure Analysis, «Psychometrika», 16, 1951, 151-— 166.

78. Jnternatronal Standard Classification of Education (JSCD), revised version 2. UNESCO, 1996.

79. Joraslcog K-S. A General Programm for Analysis of Coveriance Structures .Including Generalized MANONA, Edication Testing Service, Princeton, N.S., 1971.

80. Kenneth Nemire. Evaluting an immersive virtual environment prototyping and simulation // SPIE. 1997. Vol. 3012. P. 408-416.

81. Lazarsfeld P.F. Latent Structure Analysis, в: S. Koch (ed), «Psychology: A Study of a Science», New York, McGraw-Hill, 1959.

82. Leary D.E. Artificial intelligence and virtual organizations // Commum ACM (USA). 1997. Vol. 40. № 1. P. 52-59.

83. Libermcm Henry. Intelligent graphics // Commun. ACM. 1996. Vol. 39. № 8. P. 38-48.

84. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J. Lawrence Eribaum Ass., Publ. 1980.

85. Lord F.M., Novick M. Statistical Theories of Mental Test Scores. Addison-Wesley Publ. Co. Reading, Mass., 1968.

86. Macedonia M.R. A transatlantic research and development environment (3D virtual graphics) // IEEE Comput. Graph. Appl. 1997. Vol. 17. № 2. P. 76-82.

87. Menousek В., Wolfe T. Virtual reality the modular way // Comput. Graph. (USA). Aug. 1997. Vol. 31. № 3. P. 66-68.

88. Mood A.M. Macro-Analysis of American Edution System, Operation Res, 17,770-780, 1969.

89. Padgett Mary Lou et al. Virtual Reality systems: from training simulators to . intelligent VR//Proc. SPffi. 1996. Vol. 2878. P. 409-450.

90. Pelletier F. The virtual and real environments: symbiosis // Proc. Internal Conf. On Virtual Systems and Multimedia. 1997. P. 246-247.

91. Pourzand A.R. and Callings N. Progress in the construction of multilayer optical neural network // Proc. SPffi. 1998. Vol. 3940. p. 439-442.

92. Rasch, G. Probabilistic Models for Some Intelligence^and Afteword by B.D.Wright. The Univ. of Chicago Press. Chicago & London, 1980.

93. Simmonds B. Enhancing reality to make the ideal instruments // Control and lustrum. 1995. Vol. 27. № 12. P. 29, 30.

94. The European conventions on higher education. Council of Europe. -Strasbourg: Council of Europe Press, 1995.

95. Udo Jakob, Efi Douloumi. Let's move on the integration of motion Rendering in VR // SPffi. 1997. Vol. 3012. P. 454-460.

96. Umeki V., Doi M. Sensation of movement in virtual space // Electron. Commun. Jpn. Fundam. Electron. Sc. (USA). June, 1997. Vol. 80. № 6. P. 74-82.

97. Vacca J.R. VRML: bringing virtual reality to the internet: CD-ROM included. Boston, 1996. - 552 p.

98. Watars R.C; Barrus J.W. The rise of shared virtual environments // IEEE Spectr. (USA). March. 1997. Vol. 34. № 3. P. 20-25.

99. Watson B. Evaluation of the effects of frame variation on VR tosk performance // Proc. ШЕЕ. 1997. Virtual Reality Annual Internal Symposium. P. 38-44.

100. Wherry R.J., Gaylord R.H., Factor Pattern of Test Items and Tests as a Function of the Correlation Coefficient: Content, Difficulty, and Constant Error Factors, «Psychometrika», 9, 1944, 237-244.

101. Ying-Ying Fang et al. A pseudo-immersive virtual environment a shell for research // Int. J. Virtual Real. (USA) 1996. Vol. 2. № 3. P. 8-14.