автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизированная система распределенного контроля и анализа результатов аттестации персонала промышленных объединений

На правах рукописи

МАКАРЕНКО ЛЮБОВЬ ФЕДОРОВНА

АВТОМАТИЗИРОВАННАЯ СИСТЕМА РАСПРЕДЕЛЕННОГО КОНТРОЛЯ И АНАЛИЗА РЕЗУЛЬТАТОВ АТТЕСТАЦИИ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ ОБЪЕДИНЕНИЙ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

003460Эиа

Москва - 2009

003460909

Работа выполнена на кафедре «Автоматизированные системы управления» в Московском автомобильно-дорожном институте (государственном техническом университете)

Научный руководитель Заслуженный деятель науки РФ,

доктор технических наук, профессор Николаев Андрей Борисович, профессор МАДИ(ГТУ)

Официальные оппоненты Лауреат премии Правительства РФ,

доктор технических наук, доцент Строганов Виктор Юрьевич, профессор МГТУ им.Н.Э.Баумана

Кандидат технических наук, Лукащук Петр Иванович Генеральный директор ООО «Спецстройбетон-200», г.Москва

Ведущая организация: Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования (Рос НИИ ИТ и АП), г.Москва.

Защита состоится 24 февраля 2009г. б 10.00 на заседании диссертационного совета Д212.126.05 Московского автомобильно-дорожного института (государственный технический университет) по адресу: 125319, ГСП А-47, Москва, Ленинградский пр., д.64.

С диссертацией можно ознакомиться в библиотеке МАДИ(ГТУ) Текст автореферата размещен на сайте Московского автомобильно-дорожного института (государственного технического университета):\ллллллтасН.ги

Автореферат разослан 23 января 2009г.

Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института.

Ученый секретарь диссертационного совета, кандидат технических наук, доцент

С Михайлова Н.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

На современном этапе развития систем управления персоналом промышленных предприятий не вызывает сомнения необходимость широкомасштабного внедрения информационных технологий в процесс аттестации персонала. Основной задачей системы аттестации персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ, что приобретает особую актуальность на промышленных объединениях, производящих сложную продукцию. Оперативный контроль качества подготовки сотрудников может быть обеспечен лишь за счет всестороннего и оперативного использования процедур компьютерного тестового контроля, а также распределенного контроля и анализа результатов аттестации. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты автоматизации формирования тестов различной степени сложности. При этом практически отсутствуют работы, учитывающие специфику процедур анализа эффективности процесса тестирования и формирования решающих правил по выбору стратегий подготовки и визуализации результатов аттестации для крупных территориально распределенных объединений, функционирование подразделений которого должно быть синхронизировано по определенным видам производственной деятельности.

Предметом исследования является система аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при оценке уровня подготовки сотрудников.

Цель и основные задачи исследования

Целью работы является повышение эффективности системы аттестации персонала за счет автоматизации процессов распределенного контроля и анализа результатов аттестации персонала промышленных объединений.

Для достижения данной цели в работе решаются следующие задачи:

• анализ системы подготовки и аттестации кадров промышленных объединений;

• системный анализ методов и моделей представления результатов аттестации персонала промышленных предприятий и объединений;

V-

х.

• разработка методов и моделей визуализации аттестационных показателей;

• разработка моделей преобразования количественных данных результатов аттестации;

• разработка методов переоценки сложности тестовых заданий;

• разработка методики и программной реализации системы мониторинга и анализа результатов аттестации и гетерогенного тестового контроля.

Методы исследования

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и случайных процессов. При формировании последовательности тестовых заданий использовались элементы факторного планирования. При разработке моделей компонентов системы аттестации персонала использовались методы математического программирования, имитационное моделирование и другие формальные методы.

Научная новизна

Научную новизну работы составляют методы и модели контроля и анализа результатов аттестации. На защиту выносятся:

• модели аналитической обработки и визуализации данных аттестации персонала:

• методика переоценки сложности тестовых заданий;

• методика распределенного сбора аттестационных показателей;

• программно-моделирующий комплекс аналитической обработки аттестационных показателей.

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных объединениях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центров.

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов

высших учебных заведений. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2004-2008г.г.);

• на заседании кафедры АСУ МАДИ(ГТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации мониторинга результатов аттестации составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе подготовки и аттестации персонала промышленных объединений.

СОДЕРЖАНИЕ РАБОТЫ

Структура работы соответствует списку перечисленных задач, содержит списание разработанных методов и моделей.

Во введении обосновывается актуальность проблемы, ставятся цели и задачи исследования, приводится краткое описание содержания глав диссертации.

1. СИСТЕМНЫЙ АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ КОМПЬЮТЕРНОГО ТЕСТОВОГО КОНТРОЛЯ В СИСТЕМЕ АТТЕСТАЦИИ ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ

В первой главе диссертации проводится системный анализ методов и моделей тестового контроля в системе аттестации персонала. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывной подготовки. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.

Проведен анализ современных информационных технологий в системе аттестации и рассмотрены компоненты информационно-образовательной среды, представляющие собой системно-организованную совокупность средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного и организационно-методического обеспечения, ориентированную на повышение качества проведения аттестации

персонала. Проведена классификация существующих методов и моделей тестового контроля и определены границы использования каждого из них для решения задачи автоматизации процессов аттестации персонала промышленных объединений.

1.1. Модели представления процедур тестового контроля

Для наглядного изображения процесса оценки аттестационных показателей используется ультрасеть. В основу моделирования такой сети положен формализм сети Петри, расширенный следующими правилами:

1. Каждому накопителю тестовых заданий ставится в соответствие позиция ультрасети. Графически накопитель изображается незаштрихованным кружком.

2. Каждой ультрасистеме ставится в соответствие переход ультрасети, графически изображаемый прямоугольником. Информационная связь ультрасистемы с соответствующими накопителями изображается направленными дугами.

Всякий накопитель полностью определяется опорным множеством объектов и шкалой понятий для этого множества. Шкала понятий для этого опорного множества объектов взаимно однозначно определяет шкалу аттестационных показателей.

Сетевая модель системы тестирования

V

Рис.1.

При рассмотрении начального варианта модели системы аттестации предусмотрена оценка связности базы тестовых заданий с процедурами процессного описания проведения самой аттестации, что позволяет рассмотреть данные модели непосредственно по их степени сложности.

1.2. Анализ применимости ОЬАР-технологий в рамках представления результатов аттестации

Ввиду актуальности систем поддержки многомерного оперативного анализа данных (01_АР-систем), рассмотрение концептуальных вопросов о применимости таких подходов в системе мониторинга результатов аттестации также представляет несомненный интерес.

Измерения играют роль индексов, используемых для идентификации значений показателей, находящихся в ячейках гиперкуба. Комбинация членов различных измерений играют роль координат, которые определяют значение определенного показателя. Поскольку для куба может быть определено несколько показателей, то комбинация членов всех измерений будет определять несколько ячеек со значениями каждого из показателей. Поэтому для однозначной идентификации ячейки необходимо указать комбинацию членов всех измерений и показатель.

1.3. Интеграция приложений оперативной аналитической обработки и интеллектуального анализа результатов аттестации

Большинство предлагаемых ОЬАР-приложений ориентировано на обеспечении доступа к многомерным данным, а большинство программных средств интеллектуального анализа данных (ИАД), работающих в сфере определения закономерностей, используют одномерные массивы данных. Перспективные разработки направлены в сторону более тесного объединения двух подходов, то есть 01-АР-приложения должны фокусироваться не только на доступе (Рис.2), но и на поиске закономерностей.

Многие компании создали прекрасные хранилища данных, идеально разложив по полочкам горы неиспользуемой информации, которая сама по себе не обеспечивает ни быстрой, ни достаточно грамотной реакции на оперативные события.

Немногие производители предоставляют сегодня достаточно мощные средства ИАД именно многомерных данных в рамках СИАР-приложений. Проблема также заключается в том, что некоторые методы ИАД (байесовские сети, метод к-ближайшего соседа) неприменимы для задач многомерного интеллектуального анализа, так как основаны на определении сходства детализированных примеров и не способны работать с агрегированными данными.

Архитектура системы многомерного интеллектуального анализа

данных

Рис. 2.

1.4. Анализ ограничений, связанных с задачей сетевого обмена результатами аттестации

Б диссертации проведен анализ различных механизмов передачи результатов вместе с ограничениями, связанными с вопросами подключения к сети и конфиденциальности передаваемых данных результатов аттестации.

Во-первых, это наличие внешнего IP-адреса на серверной стороне, поскольку при его отсутствии клиенты не смогут соединиться и осуществить передачу данных. Для решения этой проблемы необходимо ввести понятие промежуточного звена, то есть некого посредника с внешним IP-адресом, посредством которого будет осуществляться обмен между отправителем и получателем. Применение промежуточного звена с одной стороны решает проблему внешнего IP-адреса, что является несомненным плюсом, но с другой стороны усложняет механизм обмена данными.

Во-вторых, это настройка брандмауэров, как на стороне сервера, так и на стороне клиентов. Для этого необходимо «разрешить» клиент-серверным приложениям получать/передавать информацию по заданному порту, если передача данных осуществляется по протоколам, таким как HTTP, FTP, POP, SMTP и др. (как правило,

порты этих протоколов всегда открыты). Если же клиент-серверное приложение использует нестандартный порт, то него необходимо открыть. Это связано с параметрами безопасности операционной системы.

В-третьих, это конфиденциальность передаваемых данных. Наиболее распространенной защитой от несанкционированного доступа к информации является шифрование данных. Таким образом, формируется основа обеспечения неприкосновенности и конфиденциальности данных. При реализации обмена данными через сеть Интернет с использованием шифрования данных необходимо, что бы и клиент и сервер поддерживали эту возможность (например, использовать протокол шифрования данных SSL). Этот так же относится и к той ситуации, когда мы используем промежуточное звено в механизме передачи данных.

2. РАЗРАБОТКА МЕТОДОВ И МОДЕЛЕЙ ВИЗУАЛИЗАЦИИ РЕЗУЛЬТАТОВ ТЕСТОВОГО КОНТРОЛЯ

Во второй главе диссертации рассматриваются вопросы построения моделей визуализации аттестационных показателей вместе с проблемами их агрегирования и аналитической обработки в различных средах.

2,1. Модели представление результатов аттестации На примере результатов аттестации персонала, занятого в одном из подразделений ОАО «Газпром» по дисциплинам «Управление финансами» - UFO, «Экономика» - ЕсО, «Бухгалтерский учет и аудит»

- BhO, «Юридические основы финансово-экономического управления» UrO, «Организационные основы современного финансово-экономического управления» - FeO и «Информационные технологии»

- ITO корреляционный анализ дал результаты, сведенные в таблицу 1.

Таблица 1.

Корреляционный анализ рейтинга по направлениям

Корреляции значимость на уровне р<0.05

| : OA Д2 ¡ ДЗ j Д4 ¡ Д5 ИТ

ФА 1 00 0,51 0,3? 0 46 0,18

¡fl2JÜS 1,00 0,41 0,50 С 0,06

дз 037 0.41 1,00 0,2| ¡0,21 0.16

Д4 $¡46 0,50 0.29 1,00 0,45 -0,01

As 0,46 0,40 0,21 0,45 ¡1,00 0.05

ИТ 0,19 [0,06 ja 16 ¡-0,01 0,05 1,00

Как ни странно, уровень знаний по информационным технологиям практически не корррелирует с уровнем знаний по специальным дисциплинам.

Формы представления результатов аттестации должны содержать свертку информации как по тестируемым, так и по направлениям и сложностям тестовых заданий. Такие формы представления используют методы многомерного анализа.

Формы представления результатов аттестационных показателей

" Пиктографии (\ZZ_2c.sta 52у*307с)

Рис.3.

На рис.3, представлен звездный график для группы тестируемых. По каждому лучу откладывается масштабированное значение его уровня знаний по данной направленности. Такое представление весьма информативно для сравнительного анализа результатов каждого аттестуемого сразу по всем направлениям подготовки.

2.2. Результаты мониторинга сотрудников и сравнительный анализ рейтинга различных возрастных категорий

Процедура оценки результатов сдачи работниками экзамена и оценка уровня профессиональных знаний состоит из последовательного выполнения следующих этапов:

1. Обработка результатов опроса на основании заполненного специалистом бланка ответов и шаблона правильных ответов по 5 вариантам.

2. Классификация вопросов универсального профессионального опросника по группам сложности и видам.

Разработанной методикой была предусмотрена классификация всех 100 вопросов опросника по следующим группам сложности и видам:

1.3 группы сложности: базовые вопросы; вопросы повышенной трудности; трудные вопросы.

2, 2 вида вопросов: теоретические; практические.

3. Предварительная количественная оценка результатов экзамена. 3.1. Расчет «сырого» балла по темам проводился по формуле:

ЗУН тс = [(2Ч, * к,): ЗУН т тахс ] * 100, 0)

где - количество правильных I - х ответов по т- му подразделу; т =1... 21;

к| - коэффициент значимости I -го вопроса; ЗУН т тахс - максимально возможное значение «сырого» балла, получаемого при условии правильного ответа на все вопросы т- го подраздела. Коэффициенты значимости по вопросам установлены в зависимости от группы сложности следующим образом:

Таблица 2.

Коэффициенты значимости__

Группа сложности Коэффициент значимости

Базовый вопрос 0,8

Вопрос повышенной трудности 1,0

Трудный вопрос 1,4

3.2. Расчет «сырого» балла по блокам проводился по формуле:

ЗУН бс = 2 ЗУН т° , 6 = 1...6. (2)

3.3. Расчет итогового «сырого» балла проводился по формуле:

ЗУН ис = 2 ЗУН бс (3)

4. Окончательная количественная оценка знаний.

Окончательный балл рассчитывался с учетом условий проведения экзамена работников (необходимости адаптации).

Для расчета окончательных баллов соответствующие «сырые» баллы корректировались на повышающий коэффициент К=1,2:

• по темам ЗУН т = ЗУН т° *1,2

• по блокам ЗУН б = ЗУН бс *1,2

• итоговый ЗУН и = ЗУН ис*1,2

Максимальное значение окончательного балла должно быть равно 100.

5. Проведение качественного анализа результатов экзамена с учетом полученных правильных ответов на теоретические и практические вопросы.

Для изучения зависимости между возрастом работников и их уровнем системных профессиональных знаний, работники были разделены на 5 возрастных групп: до 25 лет, 26-30 лет, 31-40 лет, 4150 лет, старше 50 лет. Анализ распределения работников по возрастным группам (рис.4) показал, что наиболее многочисленными являются группы сотрудников в возрасте 41-50 лет (45%) и в возрасте 31-40 лет (31%). Самой малочисленной является группа сотрудников в возрасте до 25 лет (3%).

Распределение работников по возрастным группам

Количественное соотношение работников по возрастным группам

41' 60 старше Б

Рис. 4

Процентное соотношение работников по возрастным ЮЧрупЛИи 11%

П до 25 лет

■ 26 -30 лет

□ 31 -40 лет

□ 41 - 50 лет

■ старше 50 лет

Для определения зависимости между уровнем системных профессиональных знаний работников и их возрастом был проведен корреляционный анализ. Результаты свидетельствуют о наличии слабой обратной связи между возрастом работника и его уровнем системных профессиональных знаний, которые были определены по результатам экзамена, как по отдельным блокам, так и по финансово-экономическому блоку в целом. Наибольшее значение коэффициента корреляции по модулю наблюдается по финансово-экономическому блоку в целом (-0,28), что тем не менее свидетельствует о наличии очень слабой обратной зависимости между возрастом работников и их уровнем системных профессиональных знаний. Следует отметить, что в рамках отдельных блоков знаний наибольшие по модулю значения коэффициента корреляции наблюдаются по блокам «Управление финансами» и «Экономика»; наименьшее значение - по блоку «Бухгалтерский учет и аудит», что говорит практически о полном отсутствии связи между возрастом работников и их уровнем системных профессиональных знаний.

Проведенный анализ представления результатов аттестационных показателей показал, что существует множество вариантов

визуализации и методов аналитической обработки данных. Однако проблема заключается в различной конфигурации одних и тех же данных для различных методов аналитической обработки. Это ставит задачу адаптации OLAP-технологий для представления агрегированных данных аттестационных показателей.

, 2.3. Разработка методики агрегирования показателей аттестации

Допустим, имеется m измерений с л, количеством членов в ¡-ом измерении, где i=1..m. Упорядочим существующие измерения и сопоставим каждому измерению порядковый номер /' в соответствии с выбранной сортировкой. Обозначим множество таких порядковых номеров /, так что m = | /1.

Обозначим некоторое множество агрегатов через , где

Ие{0,1}\ выделим также такое подмножество порядковых номеров /°= {ik ! ikel & lik=0}, к=1...р, р<т. Тогда будем считать Ац...и...1т - множество агрегатов, полученных агрегированием по всем членам тех измерений, порядковый номер которых iei°.

Тогда где индексы во всех позициях равны 1, является множеством исходных данных; А0...с, где индексы во всех позициях равны 0, содержит единственное значение полного агрегата. Упорядоченная последовательность /i(...,/,-,...,/m, соответствующая множеству агрегатов A;...//.../m, представляет состояние агрегации. Разные состояния агрегации, а, следовательно, и множества агрегатов могут соответствовать одному и тому же уровню детализации I = !-,+...Ц+...+1т.

Обозначим количество агрегатов множества Ац..,к.Jm, как an.ji.jm = |Aii...ii.jm|. Для трёхмерного случая с учётом того, что i(C)=1, i(M)=2, i(T)=3- порядковые номера измерений, получим:

ао11= n^ a10i= Псп, а110= ncnm a0Di= nt а0ю= nm а10о= nc, (4)

тогда

а* = 3(311+ ЗЮ1+ Эцо + Эоо1+ Зою + Зюо + Зооо-

Количество агрегатов, полученных агрегированием по некоторым измерениям, равно произведению числа членов всех остальных измерений, то есть: aibJLJm = . Количество всевозможных

ш

агрегатов равно сумме a,j...,при всевозможных вариантах последовательности li,..Jk...,lm, исключая множество исходных данных. Всего таких вариантов -1.

С другой стороны, при агрегации исходных данных по

всевозможным к измерениям, где ks{1.....m}, получается некоторая

совокупность множеств агрегации с одним и тем же уровнем детализации, равным l=m-k. Обозначим эту совокупность А1 с количеством агрегатов а1. Для расчёта количества множеств агрегации

Ац...п...|т в Ат"к необходимо посчитать количество вариантов размещения к нулей по т позициям. Это случай сочетания к элементов по т, равный Скт: ат~к = Пал...//.../т • > гДе = ПРИ ЗТ0М

/с/

а*=]Г[ат'к, поэтому формула расчёта полного числа агрегатов с

/<=/

гк

„ т т _,

может быть представлена следующим образом: а =

к=1 У=1 /=1

Из последнего выражения вытекает свойство:

Ац...|М 1 Й+1...1Ш = А|1...!М 0 И+1. .Лт которое приводит к следующему тождеству:

= (П1 +1)-("т +1)- (7)

На выполнение агрегации некоторого множества значений показателей (агрегированных или исходных) до определенного результирующего множества агрегатов требуется определенное количество элементарных операций суммирования, которые необходимо осуществить для получения результирующего множества. Будем обозначать затраты на выполнение агрегирования множества Ац...к...|т по ¡-му измерению, как С(А(Ь An.jL.im)) или более коротко С(!, An.jl.irr). При этом 0(7, Аци(И),0,1(!*1)...1т) = 0.

Представление множества агрегатов в виде сетевого графа

Пусть существует иерархия с Г уровнями, где П| - количество членов на 1-ом уровне и П|<=п|+1 \ = 1...Г-1. Тогда количество элементарных операций суммирования значений показателя, соответствующих 1+1-му уровню, с целью получения агрегированных значений показателя 1-го уровня равно п1+1 - П|.

Множество агрегатов можно ассоциировать с вершинами сетевого графа. Начальной вершиной такого графа является

множество исходных данных, конечной - значение полного агрегата (рис.5.)

В любое множество агрегатов Ац...к...1т (I, Е {0,... !iM}) можно непосредственно перейти из другого множества A|1..ji+1...im, произведя операцию агрегирования по i-му измерению. При этом необходимо произвести соответствующие вычислительные затраты, откладываемые на рёбрах графа.

При этом справедливо следующее утверждение: В любую вершину графа Ац...н...1т можно попасть из другой вершины Aiv...if...imi если хотя бы одно из неравенств !|'=> h, i = 1 ...т выполняется строго.

Для получения множества агрегатов определённого уровня, необходимо вначале получить множества агрегатов большего уровня детализации. Однако в отличие от процедуры предварительного формирования агрегатов при получении результирующего набора нет необходимости формировать всевозможные агрегаты определённого уровня детализации. Достаточно формировать по одному множеству определённого уровня на основе множества более детального уровня.

Предварительное и оперативное формирование агрегатов в сетевой модели

Пусть в результате процедуры предварительно формирования агрегатов получили всевозможные множества минимального уровня детализации I. Пусть в результате необходимо сформировать

множество агрегатов АГ1.....Гт уровня детализации Г, Г< I. Необходимо

на основании одного из множеств Ац.....|т 1-го уровня получить

результирующее множество. При этом исходное множество агрегатов должно обеспечивать минимальные затраты на формирование результирующего множества, то есть необходимо определить кратчайший путь в сетевом графе к результирующему множеству (рис.6.).

Такая процедура оперативного формирования обеспечит минимальное время выполнения пользовательских запросов. С

Предзаротельное

Оперативное

Рис.6.

другой стороны многое зависит и от множества предварительно сформированных агрегатов. Ясно, что они должны быть сформированы так, чтобы вычислительные затраты на оперативное формирование всевозможных множеств были минимальны. В этом и заключается оптимальность процедуры предварительного формирования агрегатов.

2.4. Разработка метода классификации обучаемых с учетом априорной информации

Для классификации уровня знаний и навыков в работе предлагается использование байесовской процедуры, которая предполагает знание априорных вероятностей qh т.е. вероятностей принадлежности испытуемого к некоторой группе Щ до выполнения процедуры тестового контроля.

Априорные вероятности q■ представляют вероятности принадлежности обучаемого к группе Щ до прохождения теста. Апостериорные вероятности Р(И/||Х) представляют условные вероятности соотнесения тестируемого с результатом X к некоторой группе после проведения тестового контроля и получения конкретных числовых значений правильных ответов.

Без знания предыстории обучаемого априорные вероятности можно положить равными. Знание предыстории тестируемого дает априорную вероятность его уровня знаний, которая может существенно увеличить точность решения задачи классификации, однако это должно быть согласовано с учетом психологических, этических и может быть воспитательных норм получения оценки.

Если X имеет многомерное нормальное распределение с плотностью £|{Х) для первой группы и г2(Х) для второй группы, то соотношение теоремы Байеса принимает вид:

РСМ, \ X) = ¡=1,2. (8)

При использовании байесовской процедуры классификации испытуемого относят к одной из групп на основании сравнения апостериорных вероятностей. Испытуемого относят к если Р(И/1|Х)>Р(И'2|Х) и к И/2, если Р(\Л/1\Х)<Р{)А/2\Х), что соответствует

выполнению или невыполнению неравенства 1. Такая

92/2 гх;

процедура классификации минимизирует ожидаемую вероятность ошибочной классификации: «71Р(2|1) + д2Р( 1|2), где Р(2|1) и Р(1|2) -вероятности ошибочной классификации. Алгебраическими преобразованиями решающие правила Байесовской процедуры приводятся к виду, в котором представлены правила классификации

на основе дискриминантной функции ХеИ^, если

А ^ Мг, +Мг, . о, „ ...

—!-+ иХеИ/2в противном случае.

1=1 ^ <7,

3. МЕТОДЫ И МОДЕЛИ ПЕРЕОЦЕНКИ СЛОЖНОСТИ ТЕСТОВЫХ ЗАДАНИЙ

В третьей главе диссертации разрабатываются модели генерации результатов аттестации с последующей переоценкой сложности тестовых заданий. Для сравнительно анализа сложности тестов использовался дисперсионный анализ.

Диаграмма размаха (Таблица данных4 38у*326с)

-20

1 2 3 4 5

Вариант

Рис.7.

□ Медиана I I 25%-75% \ Размах без выбр.

Так, из диаграммы на рис.7, видна явная заниженность сложности пятого варианта теста (50% баллов попадает в зону от 70 до 100) и завышенность трудности 2-го варианта (50% баллов попадает в интервал от 0 до 25). Это естественный процесс отсеивания методически некорректных заданий.

Поэтому в работе предлагается метод переоценки сложности тестовых заданий, который основывается на статистической обработке результатов решении каждого тестового задания в системе аттестации каждым аттестуемым, с последующей их пересортировкой по сложностям (рис.8.).

В диссертации рассмотрены модели оценки сложности по результатам ответов тестируемых на задания в классической теории, где сложность задания определяется эмпирически и соответствует

Ш-

доле неправильных ответов , Щ - число неправильных

ответов; N - число испытуемых. По сравнению с классической теории тестирования в 1(ЧТ теории используется другая мера сложности. Мера сложности задания или логит трудность задания определяется

как р, Уровень знаний испытуемого в 1РТ теории

^Распределяется как 0,. =1пО- - уровень знания ¡-го испытуемого.

я,

Схема переоценки сложности

Прагматически некорректное задание низкой трудности исключается Ш-уровень П-уровень 1-уровень Прагматически некорректное задание повышенной трудности исключается

о о А оо о 0 0 А А Ш А А А О А А А и Й □ □□ □ □□

Рис.8.

Разработан алгоритм моделирования результатов ответов на тестовые задания различной сложности для различного уровня подготовленности групп.

Результаты моделирования показали, что последующая переоценка сложности тестовых заданий по известным алгоритмам Аванесова и ИЧТ-моделей дает смещенные оценки (рис.9.).

Графики переоценки сложности

Рис.9.

Показано, что приведенные модели не учитывают возможность объединения результатов экспертной оценки методистов, совмещенные с результатами ответов тестируемых. В связи с этим в работе предлагается новый подход к оценке сложности тестовых заданий, который базируется на теории отношений. Предлагается динамическая интерактивная процедура, которая реализует переоценку сложностей в процессе всего цикла обучения.

В результате анализа показано, что более точная оценка сложности задания может быть получена на основе процедуры попарных сравнений сложности. При этом каждый методист определяет граф предпочтений по сложности (рис.10.).

При таком подходе факт тестирования можно считать экспертизой по сравнительной оценке сложности заданий. В рамках одно теста решенная задача считается легче нерешенной. Таким образом, каждый испытуемый определяет бинарное отношение сравнительной сложности для предъявленных задач.

Сравнительная оценка сложностей тестовых заданий методистами Двудольный граф оценки сложности аттестуемым

О 0 X Г V" (пУ Гг^ X (^ТЗз^ ( ТЗ^) (^Т34 ]

Рис.10.

Результаты каждого испытуемого и методиста задают матрицы предпочтений сложности Ак=||акд||., а\ равно 1, если к-ый методист определил, что ¡-ое задание сложнее ]-го и 0 в противном случае.

По результатам опроса всех методистов и анализа результатов ответов всех испытуемых (количество всех опрошенных обозначим К)

к к

составляется обобщенная матрица А = ^АУ. А=Ла^||, где ^ = ~

./=1 *=! количество предпочтений ¡-го задания .¡-му, а % - количество предпочтений ]-го задания ¡-му. Полученная матрица преобразуется в

матрицу вероятностей предпочтений сложности Р. P=|¡p¡j!¡, где p¡j интерпретируется как вероятность того, что i-e задание сложнее j-ro (рис.10.).. Элементы матрицы Р связаны с элементами матрицы А следующими соотношениями:

=1. (9)

ае+ал ал+аи-

Полагаем, что сложность задания является нечеткой переменной. С одной стороны, это может быть лингвистическая переменная, а с другой, с каждым заданием можно связать некоторую случайную величину СотрТЗ,, имеющую нормальное распределение с математическим ожиданием (3¡ и дисперсией a2¡. Далее будем полагать равенство всех дисперсий СотрТЗгЩРи о2).

Далее поставим задачу вычисления математических ожиданий сложности заданий M{CompT3i)=$¡, таких, что для всех i, j должно выполняться условие:

Ру = p[CompT3¡ > СотрТЗj), (10)

Последнее выражение определяет вероятность того, что сложность (СотрТЗ) i-ro тестового задания выше, чем j-ro тестового задания.

В общем случае эта задача не имеет решения. Однако для любого набора p=(pi, р2, ■ • ■, (Зп.) можно определить p'ij = P(CompT3¡ >СотрТЗ■), и в результате задача сводится к оптимизационной задаче:

VLj !р1Г р*;:|->т/л (11)

В результате экспертизы и статистического анализа результатов ответов на все задания известны все попарные вероятности предпочтений сложности. Реализуем переход от вероятностной меры различия и числовой, выраженной в долях среднеквадратичного отклонения. Числовая мера различия из вероятности предпочтения

образуется на основании Z¡{./Л/ = f-7=е ndt, где Z¡j=(PrPj)-

определено в единицах стандартного отклонения. Однако для вычисления указанных мер различия можно использовать и логистическое приближение нормального распределения, что некоторым образом напоминает оценку логит-трудности тестового

задания по IRT-теории 2Ц = /я—.

Все попарные различия сводятся в матрицу Z={Z¡fr и вычисляется

п

сумма каждой строки = В результате Z¡

>1

принимается за оценку сложности соответствующей задачи.

Проверка на непротиворечивость вычисленных сложностей основывается на сравнении исходных вероятностей предпочтения и вероятностей, полученных в результате вторичного вычисления, исходя из числовых оценок сложности каждого задания р;! =С(2,- 2 1). Сумма разностей А0-р0-р0 дает оценку согласия

исходного и вторичного предпочтения > ——.

Далее задаваясь порогом точности, на основании сравнения вычисленной суммы разностей решается задача о соответствии оценки сложности для данных групп испытуемых.

4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ МОНИТОРИНГА АТТЕСТАЦИОННЫХ ПОКАЗАТЕЛЕЙ

В четвертой главе диссертации рассматриваются вопросы разработки программного комплекса для аналитической обработки результатов аттестации. Так, при передаче данных по сети для системы мониторинга результатов аттестации встают следующие вопросы. Во-первых, нужно ответить на вопрос «Что отправлять?». Иначе говоря, для задачи мониторинга в первую очередь необходимо решить, какую информацию необходимо переслать в центр мониторинга. Это может быть любой файл, содержащаяся информация в котором актуальна на данный момент времени. Малейшее изменение в файле должно быть фиксировано. То есть, задача сводится к постоянному отслеживанию изменений в какой-то папке (локальной либо удаленной). Как только в папке появляется новый или обновленный файл, его необходимо переслать в центр мониторинга. Во-вторых, необходимо выбрать механизм сетевого обмена, то есть каким способом осуществляется передача данных (по какому протоколу, какие программные средства будут использоваться при передаче файла в центр мониторинга). В-третьих, необходимо решить проблему, связанную с выбором инициирующей стороны. В качестве инициирующей стороны может выступать как центр мониторинга, так и подразделения, с которых и происходит сбор информации.

В диссертации разработана структура базы данных, интегрирующая тестовые задания, методические материалы и результаты выполнения каждого задания каждым аттестуемым. Система реализована в виде отдельного программного приложения. Программный комплекс разработан по открытому принципу, что позволяет наращивать его функциональные возможности, добавляя

новые механизмы предъявления тестовых заданий в процессе эксплуатации системы.

При разработке системы передачи и сбора отчетных материалов были выделены структуры данных, обработка и визуализация которых представляет особый интерес. При этом учитывается, что на предприятиях сложилась определенная технология сбора и хранения данных. Для реализации механизмов обработки данные приводятся к определенному виду, согласованному со структурами данных пакета Statistica. При организации оперативной обработки и агрегирования данных используется система программных конверторов, которые фильтруют данные и приводят их к выбранному формату.

При организации сетевого обмена по протоколу FTP разработана схема передачи, общий случай которой представлен на рис.11. В качестве клиента выступает как программа «Отправитель», так и программа «Получатель». Только одна закачивает на FTP-сервер файлы, а другая их скачивает.

Общий случай передачи данных посредством протокола FTP

Подсистема мониторинга реализована в виде фрейм-компонента, находящегося в модуле GTMonit (GTMonit.pas). Класс TGTMonitorF данного фрейм-компонента унаследован от TFrame, но, несмотря на это, его можно использовать, как обычный компонент. При выполнении стандартной процедуры регистрации компонента в среде Borland Delphi, в качестве модуля, содержащего компонент, нужно указать файл GTMonit.pas.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов работы.

Публикации. По результатам выполненных исследований опубликовано 10 печатных работ, которые приведены в списке публикаций.

Основные выводы и результаты работы

1. Проведен системный анализ проблем аттестации персонала промышленных объединений, определен круг методов и моделей формализованного представления компонент системы аттестации.

2. Разработана методика параметризации компонентов системы компьютерного тестового контроля и формализованная модель вероятности ответов с учетом процента правильности решения задания.

3. Разработаны методы и модели аналитической обработки и визуализации результатов аттестации персонала, включая корреляционный, дисперсионный и многомерный анализ.

4. Разработана методика формирования банка тестовых заданий с возможностью динамической корректировкой сложности заданий по статистике ответов тестируемых с учетом экспертных оценок методистов.

5. Разработана методика мониторинга результатов тестового контроля в инструментальной среде «COTA».

6. Сформированы требования к реализации программно-моделирующего комплекса мониторинга тестового контроля и аттестации персонала.

7. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Публикации по теме диссертационной работы

1. Макаренко, Л.Ф. Адаптивный алгоритм формирования тестовых заданий /Л.Ф. Макаренко,A.B. Николаез, П.С. Рожин П.С., Р.П. Лукащук. // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ). -М„ 2008. - С. 17-20.

2. Макаренко, Л.Ф. Модификация алгоритма обучения многослойных нейронных сетей / Л.Ф. Макаренко, A.A. Шарков, Ла Суан Тханг // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ) М., 2008. - С.63-67.

3. Макаренко, Л.Ф. Выбор информационной системы для автоматизации промышленных предприятий / Л.Ф. Макаренко, В.Н. Брыль, Е.Ю. Фаддеева, С.С. Гоголин // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ) М., 2008. - С.73-79.

4. Макаренко, Л.Ф. Анализ методов формирования адаптивного контента / Л.Ф. Макаренко, A.B. Николаев, П.С. Рожин, Р.П. Лукащук II Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). -М., 2008. - С. 40-46.

5. Макаренко, Л.Ф. Параметры и технологии адаптации в системах гипермедиа / Л.Ф. Макаренко, A.B. Николаев, П.С. Рожин, Р.П.

Лукащук // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). -М., 2008. - С. 4754.

6. Макаренко, Л.Ф. Роль электронного документооборота в автоматизации и управлении предприятием / Л.Ф. Макаренко, И.Э.Саакян, A.C. Горячев, C.B. Мазуренко // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). -М., 2008. - С. 103-107.

7. Макаренко, Л.Ф. Управление персоналом предприятий по результатам аттестации / Л.Ф. Макаренко, О.И. Архангельская, М.В.Рыбакова II Методы ситуационного управления и статистического анализа в промышленности, строительстве и образовании: сб. науч. тр. МАДИ(ГТУ). -М., 2008. - С. 41-45.

8. Макаренко, Л.Ф. Сетевое планирование учебного процесса / Л.ф. Макаренко, И.Э. Саакян, Р.П. Лукащук, В.М. Пеньков II Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и образовании (ч.2): сб науч. тр. МАДИ(ГТУ). -М., 2008. -С. 17-21.

9. Макаренко, Л.Ф. Обобщенные графовые модели оценки качества учебно-методических материалов / Л.Ф. Макаренко, В.В. Белоус, В.М. Пеньков, И.Э. Саакян // Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и обоазовании (ч.2): сб науч. тр. МПДИ(ГТУ). -М., 2008. -С.22-27.

10. Макаренко, Л.Ф. Модель нечетких отношений в системе электронного документооборота / Л.Ф. Макаренко, В.Н. Брыль, В.В. Белоус, И.Э. Саакян // Вестник МАДИ(ГТУ), вып. 4915), 2008. -С. 9295.

Подписано в печать Р. <5 ,04, 2009 г Формат 60x84x16 Усл.печ.л. 0 Тираж /О О экз. Заказ №

"Техполиграфцентр" Россия, 125319 , г. Москва, ул. Усиевича, д. 8 а. Тел/факс: 8 (499) 152-17-71 Тел. : 8-916-191-08-51

1. СИСТЕМНЫЙ АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ КОМПЬЮТЕРНОГО ТЕСТОВОГО КОНТРОЛЯ В СИСТЕМЕ АТТЕСТАЦИИ ПРОМЫШЛЕННЫХ ОБЪЕДИНЕНИЙ

1.1. Проблемы кадрового обеспечения промышленных объединений

1.1.1. Программы развития кадрового обеспечения промышленных объединений I *

1.1.2. Методы и формы управления подготовкой специалистов

1.2. Анализ методик проведения аттестации и оценки уровня знаний

1.2.1. Педагогические принципы построения процедур контроля

1.2.2. Методические правила проектирования тестовых заданий

1.2.3. Формы тестовых заданий

1.2.4. Принципы построения шкал в задачах тестового контроля • 1.2.5. Формализованные модели классификации обученности

1.3. Методы и модели тестового контроля

1.4. Информационные технологии в системе аттестации

1.5. Методология формального представления механизма агрегации данных

1.5.1. Основные понятия многомерной модели данных

1.5.2. Интеграция приложений оперативной аналитической обработке и интеллектуального анализа данных

1.5.3. Рекомендуемые правила оценки OLAP-приложений

Выводы по главе

2. РАЗРАБОТКА МЕТОДОВ И МОДЕЛЕЙ ВИЗУАЛИЗАЦИИ РЕЗУЛЬТАТОВ АТТЕСТАЦИИ

2.1. Разработка методов представление результатов аттестации

2.2. Анализ результатов аттестации по возрастным группам сотрудников

2.2.1. Анализ зависимости по финансово-экономическому блоку

2.2.2. Анализ зависимости между результатами аттестации и возрастными категориями сотрудников по блокам

2.2. Моделирование системы тестового контроля

2.2.1. Моделирование системы мониторинга аттестационных показателей

2.2.2. Моделирование информационной поддержки системы аттестации

2.2.3. Шкалирование нагрузки сети системы аттестации

2.3. Разработка методики агрегирования показателей аттестации

2.4. Разработка метода классификации обучаемых с учетом априорной информации

Выводы по главе

3. РАЗРАБОТКА ПРИНЦИПОВ ДИНАМИЧЕСКОЙ КОРРЕКТИРОВКИ СЛОЖНОСТИ ТЕСТОВЬГХ ЗАДАНИЙ в СИСТЕМЕ МОНИТОРИНГА АТТЕСТАЦИОННЫХ ПОКАЗАТЕЛЕЙ

3.1. Разработка принципов организации системы аттестации

3.1.1. Концепция создания программно-моделирующего комплекса

3.1.2. Интеграция компонентов системы подготовки

3.1.3. Взаимосвязь математических методов и моделей обучения и тестового контроля

3.2. Разработка модели оценки и переоценки сложности учебных материалов

3.3. Оценка значимости сложности заданий на основе дискриминантного анализа

Выводы по главе

4. ПОДСИСТЕМА МОНИТОРИНГА РЕЗУЛЬТАТОВ ГРУППОВОГО ГЕТЕРОГЕННОГО ТЕСТОВОГО КОНТРОЛЯ

4.1. Общая структура системы мониторинга тестового контроля

4.2. Пользовательский интерфейс системы мониторинга

4.2.1. Верхняя панель общих настроек

4.2.2. Режим мониторинга результатов

4.3. Программный интерфейс фрейм-компонента

Выводы по главе

На современном этапе развития систем управления персоналом промышленных предприятий не вызывает сомнения необходимость широкомасштабного внедрения информационных технологий в процесс аттестации персонала. Основной задачей системы аттестации персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ, что приобретает особую актуальность на промышленных объединениях, производящих сложную продукцию. Оперативный контроль качества подготовки сотрудников может быть обеспечен лишь за счет всестороннего и оперативного использования процедур компьютерного тестового контроля, а также распределенного контроля и анализа результатов аттестации. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты автоматизации формирования тестов различной степени сложности. При этом практически отсутствуют работы, учитывающие специфику процедур анализа эффективности процесса тестирования и формирования решающих правил по выборутегий подготовки и визуализации результатов аттестации для крупных территориально распределенных объединений, функционирование подразделений которого должно быть синхронизировано по определенным видам производственной деятельности.

Предметом исследования является система аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при оценке уровня подготовки сотрудников.

Цель и основные задачи исследования

Целью работы является повышение эффективности системы аттестации персонала за счет автоматизации процессов распределенного контроля и анализа результатов аттестации персонала промышленных объединений.

Для достижения данной цели в работе решаются следующие задачи:

• анализ системы подготовки и аттестации кадров промышленных объединений;

• системный анализ методов и моделей представления результатов аттестации персонала промышленных предприятий и объединений;

• разработка методов и моделей визуализации аттестационных показателей;

• разработка моделей преобразования количественных данных результатов аттестации;

• разработка методов переоценки сложности тестовых заданий;

• разработка методики и программной реализации системы мониторинга и анализа результатов аттестации и гетерогенного тестового контроля.

Научную новизну работы составляют методы и модели контроля и анализа результатов аттестации. На защиту выносятся:

• модели аналитической обработки и визуализации данных аттестации персонала;

• методика переоценки сложности тестовых заданий;

• методика распределенного сбора аттестационных показателей;

• программно-моделирующий комплекс аналитической обработки аттестационных показателей.

Диссертация состоит из четырех глав, в которых приводится решение поставленных задач.

В первой главе диссертации проводится системный анализ методов и моделей тестового контроля в системе аттестации персонала. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывной подготовки. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.

Проведен анализ современных информационных технологий в системе аттестации и рассмотрены компоненты информационно-образовательной среды, представляющие собой системно-организованную совокупность средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного и организационно-методического обеспечения, ориентированную на повышение качества проведения аттестации персонала. Проведена классификация существующих методов и моделей тестового контроля и определены границы использования каждого из них для решения задачи автоматизации процессов аттестации персонала промышленных объединений.

Во второй главе диссертации рассматриваются вопросы построения моделей визуализации аттестационных показателей вместе с проблемами их агрегирования и аналитической обработки в различных средах.

На примере результатов аттестации персонала, занятого в одном из подразделений ОАО «Газпром» по дисциплинам «Управление финансами», «Экономика», «Бухгалтерский учет и аудит», «Юридические основы финансово-экономического управления», «Организационные основы современного финансово-экономического управления» и «Информационные технологии» получены результаты сравнительного анализа по возрастных категориям.

Формы представления результатов аттестации должны содержать свертку информации как по тестируемым, так и по направлениям и сложностям тестовых заданий. Такие формы представления используют методы многомерного анализа.

В третьей главе диссертации разрабатываются модели генерации результатов аттестации с последующей переоценкой сложности тестовых заданий. Метод переоценки сложности тестовых заданий основывается на статистической обработке результатов решении каждого тестового задания в системе аттестации каждым аттестуемым.

Показано, что существующие модели не учитывают возможность объединения результатов экспертной оценки методистов, совмещенные с результатами ответов тестируемых. В связи с этим в работе предлагается новый подход к оценке сложности тестовых заданий, который базируется на теории отношений. Предлагается динамическая интерактивная процедура, которая реализует переоценку сложностей в процессе всего цикла подготовки и аттестации.

В результате анализа показано, что более точная оценка сложности задания может быть получена на основе процедуры попарных сравнений сложности. При этом каждый методист определяет граф предпочтений по сложности.

В четвертой главе диссертации рассматриваются вопросы разработки программного комплекса аналитической обработки результатов аттестации. Так, при передаче данных по сети для системы мониторинга результатов аттестации встают следующие вопросы. Во-первых, нужно ответить на вопрос «Что отправлять?». Иначе говоря, для задачи мониторинга в первую очередь необходимо решить, какую информацию необходимо переслать в центр мониторинга. Это может быть любой файл, содержащаяся информация в котором актуальна на данный момент времени. Малейшее изменение в файле должно быть фиксировано. То есть, задача сводится к постоянному отслеживанию изменений в какой-то папке (локальной либо удаленной). Как только в папке появляется новый или обновленный файл, его необходимо переслать в центр мониторинга. Во-вторых, необходимо выбрать механизм сетевого обмена, то есть каким способом осуществляется передача данных (по какому протоколу, какие программные средства будут использоваться при передаче файла в центр мониторинга). В-третьих, необходимо решить проблему, связанную с выбором инициирующей стороны. В качестве инициирующей стороны может выступать как центр мониторинга, так и подразделения, с которых и происходит сбор информации.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных объединениях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центров.

Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Результаты внедрения и эксплуатации подтвердили работоспособность и эффективность разработанных методов.

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских и межрегиональных научно-технических конференциях, симпозиумах и семинарах (2004-2008г.г.);

• на заседании кафедры АСУ МАДИ(ГТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации процессов управления крупными промышленными предприятиями представляет интерес в области теоретических и практических методов принятия решений по организации системы аттестации.

Материалы диссертации отражены в 6 печатных работах. Диссертационная работа состоит из введения, четырех глав и заключения, изложенных на 151 странице машинописного текста, содержит 36 рисунков, 12 таблиц, список литературы из 90 наименований и приложения.

Основные выводы и результаты работы

1. Проведен системный анализ проблем аттестации персонала промышленных объединений, определен круг методов и моделей формализованного представления компонент системы аттестации.

2. Разработана методика параметризации компонентов системы компьютерного тестового контроля и формализованная модель вероятности ответов с учетом процента правильности решения задания.

3. Разработаны методы и модели аналитической обработки и визуализации результатов аттестации персонала, включая корреляционный, дисперсионный и многомерный анализ.

4. Разработана методика формирования банка тестовых заданий с возможностью динамической корректировкой сложности заданий по статистике ответов тестируемых с учетом экспертных оценок методистов.

5. Разработана методика мониторинга результатов тестового контроля в инструментальной среде «СОТА».

6. Сформированы требования к реализации программно-моделирующего комплекса мониторинга тестового контроля и аттестации персонала.

7. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

1. Аванесов B.C. Научные проблемы тестового контроля знаний. Монография. - М.: Исследовательский центр, 1994.

2. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. М.: Исследовательский центр, 1995.

3. Агафонов В.Н. Спецификация программ: понятийные средства и их организация. Новосибирск, Наука, 1987, 238 с.

4. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003. - 616 с.

5. Васильев В.И. Наша концепция.// Вестник высшей шкояы. 1990. №10

6. Вороновский Г. К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. -Харьков, 1997.-111 с.

7. Выготский Л.С. Избранные психологические исследования. М., МГУ, 1956.

8. Гершунский Б.С Философия образования. М.: Флинта, 1998,

9. Государственный образовательный стандарт Российской Федерации. Высшее профессиональное образование. Общие требования. М., ГКВОРФ, 1993 -9с.

10. Готлиб М.А. Компьютеру дидактическое обеспечение. // Информатика и образование - М., Педагогика, N 4, с.3-14.

11. Готлиб М.А. Структура АОС. //Информатика и образование -М-, Педагогика, N 3, 1987, с.11-20.

12. Желтое С., Лихачев Н., Степанов В. Виртуальная реальность новая информационная технология // Экология непознанного. - 1995. - № 1.- С.6-11.

13. Жуковская З.Д. Методологические основы разработки и функционирования комплексной системы контроля качества подготовки специалистов в вузе. Диссертация на соискание ученой степени доктора педагогических наук.-С.П.: ЛГУ, 1994.

14. Зимняя И.А. Проблемы самооценивания как интериоризированной внешней оценки в процессе обучения. "Квалиметрия человека и образования. Методология и практика. 2-й симпозиум, кн.1, ч.1. М.: Исследовательский центр, 1993.

15. Казанович В.Г. Образовательная система как объект оценивания. Диссертация на соискание научной степени кандидата педагогических наук. -М.: Исследовательский центр, 1995.

16. Катыс Г.П., Катыс П.Г. Трехмерное отображение визуальной информации в виртуальном пространстве: Учебное пособие / МИРЭА. М., 1998.-78 с.

17. Кашицин В.П. и др. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Изд-во «Магистр», 1997.-С. 44.

18. Коломиец Б.К. Инвариантные функции интеллектуальной деятельности. Техническое творчество: теория, методология, практика, энциклопедический словарь справочник./Под ред. А.И.Половинкина, В.В.Попова/. М.: НПО "Информсистема", 1994.

19. Коломиец Б.К. Комплексная оценка выпускников высших учебных заведений. Отчет по НИР за 1996 г. -М.: Исследовательский центр проблем качества подготовки специалистов. 1997, 136 с.

20. Коломиец Б.К. Образовательные стандарты и программы: инвариантные аспекты М.: Исследовательский центр проблем качества подготовки специалистов. 1999 - с. 144.

21. Лавров С.С. Представление и использование знаний в автоматизированных системах. //МП. 1986, N 3, с. 14-19.

22. Литвак Б.Г. Экспертная оценка и принятие решений. М.: Патент, 1996-271 с.

23. Литвинцева Л.В., Налитое С.Д. Графические средства для построения систем когнитивной графики и виртуальных миров // Программные продукты и системы. -1995. № 2.

24. Новое качество высшего образования в современной России. Труды Исследовательского центра. Род научной редакцией Селезневой Н.А. и Субетто А.И. М.: Исследовательский центр проблем качества подготовки специалистов. 1995. - 199 с.

25. Петин Б.Ф. Предложения по совершенствованию ГОСов по направлениям подготовки и специальностям. -М: Исследовательский центр проблем качества подготовки специалистов, 1996.

26. Подгорецкая Н.А. Изучение приемов логического мышления у взрослых. М., Педагогика, 1980.

27. Положение об итоговой государственной аттестации выпускников высших учебных заведений в Российской Федерации. М.Госкомвуз РФ, 25.05.94.

28. Положение об итоговой государственной аттестации студентов высших учебных заведений в РСФСР. Проект. М.: Научно - методический центр по подготовке, переподготовке и повышению квалификации специалистов. 1994.

29. Проходов А В., Рузин В.С О глубинной концепции образования.// Вестник высшей школы. 1990 № 5.

30. Растригин JI. С. Адаптивное обучение с моделью обучаемого. Рига: Знание, 1988.

31. Реформа и развитие высшего образования. Программный документ. ЮНЕСКО, 1995.

32. Роберте Ф.С. Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам. М., Наука, 1986.

33. Родионов Б.У.,Татур А.О. Стандарты и тесты в образовании.- М.: Исследовательский центр, 1995. 48с.

34. Сборник методических рекомендаций по разработке содержания обучения и дидактических систем. /Под ред. А.А.Золотарева М., МИИГА, 1988, 270 с.

35. Селезнева Н.А. Проблемы оценки качества образования в России: состояние и перспективные пути решения. Труды Исследовательского центра. Серия: Научные доклады. М. Исследовательский центр проблем качества подготовки специалистов 1994.

36. Селезнева Н.А., Коломиец Б.К. Проблемы итоговой государственной аттестации выпускников вузов, сб."Современные формы и методы контроля знаний студентов на различных этапах обучения и при аккредитации вузов" М.: Исследовательский центр. 1995.

37. Соколов В.М. Основы проектирования образовательных стандартов (методология, теория, практический опыт). М.: Исследовательский центр, 1996. - 86с.

38. Степанов А.А; Бахтина Т.Е., Свердлова Т.А., Желтое С.Ю. Обзор технических и программных средств систем виртуальной реальности // В сб.: "Технология виртуальной реальности". М., 1996. - С. 15-56.

39. Столл P.P. Множества. Логика. Аксиоматические теории. М., Наука, 1988.

40. Субетто А.И. Системология образовательных систем. -М.: Исслед. центр проблем качества подготовки специалистов, 1995.

41. Технология виртуальной реальности: состояние и тенденции развития // Новости искусственного интеллекта. 1995. -№3.-С. 118-122.

42. Технология системного моделирования. /Под ред. С.В.Емельянова -М., Машиностроение; Берлин, Техник, 1988.

43. Титов А.В. Алгоритм агрегирования с использованием смешанной стратегии. Исследовательский центр. 1995.

44. Титтел Эд., Сандерс К., Скотт Ч., Вольф П. Создание VRML миров / Пер. с англ. Киев: Изд-во "Группа BHV", 1997. - 320 с.

45. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л., Ковальчук О.Г. Дистанционное обучение: к виртуальным средам знаний. — Дистанционное образование . №2. 1999. - С.8-16.

46. Управление современным образованием: социальные и экономические аспекты / Под ред. А.Н.Тихонова. М., 1998.- С. 256.

47. У сков В. Л., У скова М. Информационные технологии в образовании //Информационные технологии. 1999. -№1.-С. 31-37.

48. Фонды комплексных квалификационных заданий по специальностям высшего образования.: Методические разработки ( разработчики : Селезнева Н.А.,Беспалько В.П.,Соколов В.М. и др.) М. Гособразование СССР 1998 г. 89 с.

49. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1995. 32 с.

50. Мельникова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос, 2002. - 432 е.: ил.

51. Begault D. 3D Sound for Virtual Reality and Multimedia // Academic Press. 1994.

52. Bimbaum A. Some Latent Trait Models and Their Use in Statistical Theories of Mental Test Scores. Reading, Mass. : Addison Wesly, 1968.

53. Candell Thomas P. The Application of Neural Networks to Virtual Reality // 1CNN Tutorial. 1994. № 13. WCCI (Orlando F.L.).

54. Casas L.A.A. et al. Virtual reality full immersion techniques for enhancing workers performance // Proc. Intern. Conf. On Integrated and Sustainable Industrial Production. (Lisbon, Portugal). 1997. P. 399-411.

55. Elane El-Khawas. External Scrutiny, US Style: multiple actors, overlapping roles. Governments and professional education / Edited by Tony Becher. UK. Published by SRHE and Open University Press. Bristol: HEFCE, 1993.

56. Enseignement a distance: realites, enjeux et perspectives: Rapport presente par 7-C1. Barbarante: Conseil economique et social. P., 1997.

57. Gibson W.A., Latent Structure and Positive Manifold, «British Journal of Statistical Psychology», 15, 1962, 149—160.

58. Gibson W.A. Nonlinear Factors in Two Dimensions, «Psychometrika», 25, 1960, 381—392.

59. Green B.F., A General Solution for the Latent Class Model of Latent Structure Analysis, «Psychometrika», 16, 1951, 151— 166.

60. Jnternatronal Standard Classification of Education (JSCD), revised version 2. UNESCO, 1996.

61. Joraskog K-S. A General Programm for Analysis of Coveriance Structures .Including Generalized MANONA, Edication Testing Service, Princeton, N.S., 1971.

62. Kenneth Nemire. Evaluting an immersive virtual environment prototyping and simulation // SPIE. 1997. Vol. 3012. P. 408-416.

63. Lazarsfeld P.F. Latent Structure Analysis, в: S. Koch (ed), «Psychology: A Study of a Science», New York, McGraw-Hill, 1959.

64. Leary D.E. Artificial intelligence and virtual organizations // Commum ACM (USA). 1997. Vol. 40. № 1. P. 52-59.

65. Libermcm Henry. Intelligent graphics // Commun. ACM. 1996. Vol. 39. № 8. P. 38-48.

66. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J. Lawrence Eribaum Ass., Publ. 1980.

67. Lord F.M., Novick M. Statistical Theories of Mental Test Scores. Addison-Wesley Publ. Co. Reading, Mass., 1968.

68. Macedonia M.R. A transatlantic research and development environment (3D virtual graphics) // IEEE Comput. Graph. Appl. 1997. Vol. 17. № 2. P. 76-82.

69. Menousek В., Wolfe T. Virtual reality the modular way // Comput. Graph. (USA). Aug. 1997. Vol. 31. № 3. P. 66-68.

70. Mood A.M. Macro-Analysis of American Edution System, Operation Res, 17,770-780, 1969.

71. Padgett Mary Lou et al. Virtual Reality systems: from training simulators to . intelligent VR // Proc. SPffi. 1996. Vol. 2878. P. 409-450.

72. Pelletier F. The virtual and real environments: symbiosis // Proc. Internal Conf. On Virtual Systems and Multimedia. 1997. P. 246-247.

73. Pourzand A.R. and Callings N. Progress in the construction of multilayer optical neural network // Proc. SPffi. 1998. Vol. 3940. p. 439-442.

74. Rasch, G. Probabilistic Models for Some Intelligence and Afteword by B.D.Wright. The Univ. of Chicago Press. Chicago & London, 1980.

75. Simmonds B. Enhancing reality to make the ideal instruments // Control and lustrum. 1995. Vol. 27. № 12. P. 29, 30.

76. The European conventions on higher education. Council of Europe. -Strasbourg: Council of Europe Press, 1995.

77. Udo Jakob, Efi Douloumi. Let's move on the integration of motion Rendering in VR // SPffi. 1997. Vol. 3012. P. 454-460.

78. Umeki V., Doi M. Sensation of movement in virtual space // Electron. Commun. Jpn. Fundam. Electron. Sc. (USA). June, 1997. Vol. 80. № 6. P. 74-82.

79. Vacca J.R. VRML: bringing virtual reality to the internet: CD-ROM included. Boston, 1996. - 552 p.

80. Watars R.C; Barrus J.W. The rise of shared virtual environments // IEEE Spectr. (USA). March. 1997. Vol. 34. № 3. P. 20-25.

81. Watson B. Evaluation of the effects of frame variation on VR tosk performance // Proc. ШЕЕ. 1997. Virtual Reality Annual Internal Symposium. P. 38-44.

82. Wherry R.J., Gaylord R.H., Factor Pattern of Test Items and Tests as a Function of the Correlation Coefficient: Content, Difficulty, and Constant Error Factors, «Psychometrika», 9, 1944, 237-244.

83. Ying-Ying Fang et al. A pseudo-immersive virtual environm for research // Int. J. Virtual Real. (USA) 1996. Vol. 2. № 3. P. 8-14.