автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Моделирование содержательности тестовых заданий и автоматизация формирования многомерных тестов в системе управления персоналом промышленных предприятий

На правах рукописи

ТОЛКАЕВ ЕВГЕНИЙ ЮРЬЕВИЧ

МОДЕЛИРОВАНИЕ СОДЕРЖАТЕЛЬНОСТИ ТЕСТОВЫХ ЗАДАНИЙ И АВТОМАТИЗАЦИЯ ФОРМИРОВАНИЯ МНОГОМЕРНЫХ ТЕСТОВ В СИСТЕМЕ УПРАВЛЕНИЯ ПЕРСОНАЛОМ ПРОМЫШЛЕННЫХ

ПРЕДПРИЯТИЙ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

Автореферат диссертации на соискание ученой степени кандидата технических наук

2 6 СЕН 2013

Москва-2013

005533845

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский автомобильно-дорожный государственный технический университет (МАДИ)» на кафедре «Автоматизированные системы управления»

Научный Николаев Андрей Борисович,

руководитель лауреат премии правительства РФ,

Заслуженный деятель науки РФ, доктор технических наук, профессор, декан факультета «Управление» МАДИ Официальные Строганов Виктор Юрьевич

оппоненты лауреат премии правительства РФ,

доктор технических наук, профессор кафедры «Системы обработки информации и управления» МГТУ им.Н.Э.Баумана, г.Москва Пеньков Владимир Михайлович, кандидат технических наук, ООО «Траст Линк», ведущий разработчик, г. Москва

Ведущая организация: Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский государственный университет печати им. И.Федорова», г. Москва.

Защита состоится 10 октября 2013 г. в 10.00 на заседании диссертационного совета Д 212.126.05 при Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский автомобильно-дорожный государственный технический университет (МАДИ)» по адресу: 125319, г. Москва, Ленинградский проспект, д.64, ауд. 42.

Телефон для справок: (499) 155-93-24.

С диссертацией можно ознакомиться в библиотеке МАДИ.

Текст автореферата размещен на сайте Высшей аттестационной комиссии: www.vak.edu.gov.ru

Автореферат разослан 9 сентября 2013 года.

Отзывы на автореферат в двух экземплярах, заверенные печатью организации, просим направлять в адрес диссертационного совета университета, а копии отзывов присылать по электронной почте: uchsovet@madi.ru

Ученый секретарь

диссертационного совета, /// - Михайлова Н.В.

кандидат технических наук, доцент 0у

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

В условиях современного рынка труда на промышленных предприятиях возникает необходимость внедрения комплексных систем непрерывного обучения, повышения квалификации и подготовки кадров. На предприятиях работают сотрудники с различным исходным уровнем подготовки, образованием и квалификацией, имеющие определённый опыт работы или не имеющие такового. Квалификация сотрудников не соответствующая потребностям организации негативно сказывается на результатах ее деятельности. С другой стороны, для сотрудников с высоким уровнем подготовки дополнительное обучение может оказаться избыточным и повлечет потерю времени и средств. В связи с этим обучение сотрудников по единой для всех программе не представляется целесообразным. Повсеместное внедрение информационных технологий, информатизация и компьютеризация всех сфер жизни открывает большие перспективы для развития электронных обучающих систем. Использование современных технических средств позволяет не только подстраиваться под особенности обучаемого, но и проводить обучение и тестирование дистанционно, что особенно важно на предприятиях распределённого типа, имеющих филиалы и удалённые производственные площадки.

Таким образом, диссертационная работа, посвящённая разработке методов и моделей формирования многомерных тестов в системе управления персоналом промышленных предприятий является современной и актуальной.

Предметом исследования являются модели и методы формализованного описания процедур тестового контроля.

Цель и основные задачи исследования

Целью работы является повышение эффективности системы управления персоналом промышленных предприятий за счет разработки методов, моделей и программных механизмов построения многомерных тестов.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Системный анализ методов и моделей формирования тестовых заданий и тестов в системе управления персоналом промышленных предприятий.

2. Разработка моделей оценки сложности, содержательности и информативности тестовых заданий.

3. Формирование шкалы и оценки правильности решения тестового задания.

4. Разработка механизмов формирования многомерного теста, оценки информативности и надежности.

5. Формирование методики сквозного тестового контроля в системе подготовки и переподготовки персонала.

Методы исследования

В диссертации использовалась общая теория систем,

методы системного анализа, теории информации, теория и методы проектирования информационных систем, баз данных, методы математической статистики. Моделирование предложенных методов и алгоритмов производилось с помощью математических пакетов. Обработка результатов эксперимента выполнена с использованием методов многомерного статистического анализа.

Научная новизна

Научную новизну работы представляют методы и модели оценки содержательности тестовых заданий и автоматизации формирования многомерных тестов в системе управления персоналом промышленных предприятий. На защиту выносятся:

• модели оценки содержательности и информативности тестового задания;

• модель матричной структуры ответов на задания тестового контроля;

• механизмы построения многомерных тестов и методы оценки информативности и надежности;

• методика формирования сквозного тестового контроля в системе подготовки персонала.

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным анализом процесса аттестации персонала на промышленных предприятиях. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде промышленных предприятий.

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Они представляют непосредственный интерес в области управления процессами подготовки и переподготовки персонала.

Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения на ряде предприятий, а также используются в учебном процессе МАДИ.

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях и семинарах (2008-2013 гг.);

• на заседаниях кафедры АСУ МАДИ.

Совокупность научных положений, идей, практических результатов и рекомендаций, включенных в диссертационную работу, представляет интерес в области автоматизации процессов обучения и тестового контроля персонала промышленных предприятий и представляет актуальное направление в области теоретических и практических методов повышения квалификации персонала.

СОДЕРЖАНИЕ РАБОТЫ

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.

Во введении обосновывается актуальность работы, приведено краткое содержание глав диссертации, определена цель и поставлены основные задачи исследований.

В первой главе проведен анализ проблем кадрового обеспечения промышленных предприятий, а также системный анализ методов управления учебным процессом в условиях широкого внедрения новых информационных технологий. Рассмотрены основные методы и формы управления обучением.

Вопросам организации обучения персонала с использованием технологий открытого образования посвящены труды Байденко В.И., Гура В.В., Яровенко В.А. и ряда других. Понятия «компетентность», «компетентностный подход» раскрыты в трудах Байденко В.И., Болотова В.А., Ивановой Н.В., Кивы A.A., Лейбовича А.Н., Чаплыгиной И.В. и других. Развитию представлений о роли информационных и коммуникационных технологий в образовании посвящены работы Астафьевой Н.Г., Денисовой А.Л., Кузнецова A.A., Роберт И.В. и ряда Других.

Важнейшим средством профессионального развития персонала является профессиональное обучение, которое должно представлять комплексный непрерывный процесс. Выполнение должностных обязанностей требует от сотрудников организации знания рабочих процедур и методов, выпускаемой продукции и оказываемых услуг, умения работать на установленном оборудовании и т.п. При обучении контроль и диагностика рассматривается как важнейшее, относительно самостоятельное и заключительное звено в управленческом цикле и является действенным механизмом выявления и оценки результатов. В результате проведенного в работе анализа методических правил конструирования тестовых заданий в системе тестового контроля персонала промышленных предприятий предлагается использовать следующие правила:

П1: результаты интеллектуальной деятельности обучаемых, рассматриваемые как понимание, выражаются языковыми структурами, которыми они одинаково пользуются.

П2: тестовое задание формулируется так, что в его структуре заложена возможность однозначного ответа, преобразующего это утверждение в истинное высказывание. Правило П2 связано с необходимостью представления тестового задания в виде утверждения или повелительного предложения, из которых, в зависимости от качества ответов, получается истинное или ложное высказывание.

ПЗ: тестовое задание конструируется с учетом момента времени и знаний, накопленных обучаемым в определенной предметной области.

П4: вопрос, который может предполагать отсутствие ответа, не может использоваться при конструировании тестового утверждения.

П5: декомпозицию исходного тестового задания к утверждениям оптимальной энтропии необходимо выполнить в случае прагматически некорректного тестового задания. Прагматически некорректным тестовым утверждением является задание с таким значением энтропии, которое является недоступным для формирования истинного ответа. В этом случае необходимо свести исходное тестовое задание с высокой энтропией к тестовым утверждениям с более низким уровнем неопределенности.

П6: формулировка тестового задания детерминируется специфическими условиями задачи, которая решается с помощью данного задания, при условии возможно большей его различающей способности.

Приведенные правила в комплексе с направленностью специальных технических знаний находят свое выражение в методологии компьютерного тестового контроля.

Далее в диссертации проведен анализ классической теории тестового контроля, основанной на обработке статистических данных, в которой применяется аддитивная модель. В рамках этой теории приняты следующие аксиомы: эмпирически получаемый результат измерения (X) представляет собой сумму истинного компонента измерения (Т), обычно неизвестного, и ошибочного (Е), а также неизвестного Х=Т+Е. Истинный компонент измерения можно выразить как математическое ожидание Е(Х); дисперсии ошибочных компонентов параллельных тестов равны; корреляция истинных и ошибочных компонентов по множеству испытуемых отсутствует. Трудность задания при этом определяется эмпирически и

ИЛ

соответствует доле неправильных ответов где - число

неправильных ответов; N - число испытуемых. В теории тестов и в

практике тестирования традиционно рассматриваются два основных критерия. Первый - это надежность тестов, ассоциируемая обычно с идеей точности измерения. Второй критерий - это валидность теста, определяемая обычно как способность теста измерять то, что он призван, по замыслу авторов, измерить. При измерении надежности предполагается линейная модель, в которой дисперсия балла равна сумме истинного и ошибочного, а коэффициент надежности при

однократном тестировании определяется как г =

К

К-1

1-

<?2

где - сумма дисперсий заданий теста; Б2х - дисперсия

тестовых баллов испытуемых; К - число заданий в тесте. Эффективным называется тест, который лучше других измеряет знания интересующего уровня подготовленности меньшим числом заданий, качественнее, быстрее и дешевле.

Далее в диссертации рассмотрена проблема выбора критериев для оценки эффективности обучения и тестового контроля, которые основаны на моделях усвоения учебного материала (табл.1.)

Таблица 1.

Уровни деятельности Характер деятельности

I - репродуктивная, несамостоятельная деятельность Деятельность обучающихся выполняется под руководством тьютора на основе его инструктивных указаний и рекомендаций, и характеризуется узнаванием (опознанием, различием, идентификацией) явлений и объектов, их внешних, поверхностных характеристик

II - репродуктивная, самостоятельная деятельность по алгоритму Деятельность обучающихся осуществляется самостоятельно на основе типовых алгоритмов, воспроизводимых по памяти, и характеризуется воспроизведением знаний

III - продуктивная, самостоятельная деятельность Деятельность выполняется на основе самостоятельно созданного алгоритма. Обучающиеся самостоятельно принимают решения в нетипичных условиях и ситуациях. Деятельность носит продуктивный характер эвристического типа

IV - самостоятельная деятельность с элементами творческого подхода Деятельность обучающихся содержит отдельные элементы творческого подхода, в процессе самообучения внедряются новые подходы к решению учебных задач

V - самостоятельная, творческая, системная, продуктивная, исследовательская деятельность на основе принятия оригинальных инновационных решений Деятельность носит творческий характер. Обучающиеся самостоятельно, по своей инициативе, анализируют, предлагают, модернизируют и реализуют на практике оригинальные решения. В результате такого действия создается объективно новая ориентировочная основа деятельности, носящая исследовательский характер

В педагогической практике разработано много взаимосвязанных критериев, предназначенных для оценки различных психолого-педагогических аспектов, среди которых можно выделить критерии:

1. используемых форм и методов системы подготовки: качество, полнота, глубина, прочность, функциональная пригодность используемых методов поставленным педагогическим задачам;

2. обучения: самостоятельность обучаемых, профессионально-ориентированное мышление, культура обучения (способность рационального планирования процесса обучения) и другие;

3. результатов обучения: глубина знаний, действенность знаний, системность, осознанность знаний и другие;

4. сформированности теоретических знаний: конструирование и определение понятий, выявление логики взаимодействия понятий;

5. сформированности навыков и умений: правильность выполняемых действий, самостоятельность в работе, использование теоретических знаний при выполнении заданий и другие.

Интерес также представляют критерии отношения обучающихся к процессу собственной познавательной деятельности. А именно, непосредственный интерес или безразличие к предмету, а также оценка обучающимся роли изучаемой дисциплины в его планах на будущее.

Во второй главе разработаны модели оценки информативности и содержательности тестового задания в общей структуре теста и системы тестового контроля.

Моделирование соответствия уровня знаний (0) через способность решения тестовых заданий определенного уровня сложности ((3) в работе предлагается на основании логистической кривой (рис.1.).

р(Р) £,

ее1*

р(в)

Б о

I 2 £ §

й ^

■й * ш т

Кривая 1. большие?,

Р = 0,

Сложность задания

® = 0

Уровень знаний

Рис. 1. Соответствие уровня знаний и сложности задания Двухпараметрическая модель Бирнбаума представляет зависимости:

ехр(1,7а(0-ру)) „_____ ехр(1,7а(0,-р))

Р(& 1 Э) = 1 + вхр(1.7а(е-Р,))' РПЗ' Э) = 1 + е*р(1,7а(0,. -р))'

(1)

в которых параметр а является характеристикой дифференцирующей способности задания при измерении различных значений уровня знаний.

В процессе разработки теста приходится оценивать оба параметра р и 0. В случае использования готового теста с известными устойчивыми значениями параметра трудности, выраженными в логитах, задача сводится к оцениванию только параметра ©. Начальное значение параметра (3° в логитах

определяют как (3, = / = 1,2,...,л, где п — число заданий; р, -

Р,

доля правильных ответов всех испытуемых группы на >е задание теста; ц, — доля неправильных ответов, причем р,+£/г 1. Теоретически значения параметров 0 и р могут меняться в интервале (-со,«О, т.е. -оо<0<оо и аналогично -оо<р«ю. Но практически при р<-6 значения Р, близки к единице (Рг0,999...).

Для корректировки уровня сложности тестовых заданий в диссертации предлагается оценивать сложность на основе бинарных отношений. В этом случае методист дает не численное значение оценки сложности, а предпочтение по сложности одного задания другому. Хотя это более трудоемкая процедура экспертного оценивания, она позволяет использовать результаты ответов обучаемых как экспертов. Каждый тест каждого обучаемого представляет бинарное отношение, где каждое невыполненное задание сложнее выполненного. Таким образом, по результатам анализа всех методистов и тестируемых составляется обобщенная 1 ы

матрица Р = — ТАУ, где А' - ранжировка Ко методиста либо

ни

тестируемого, Р=||Рч1|- матрица вероятностей предпочтения уровня сложностей ¡-го и ко задания.

Дальнейшим этапом является переход от матрицы попарных сравнений к перестановке по уровню сложности. Мера различия реализуется на основании поиска такого, что

2' 1 -I2/

в(1ц) = Ру = | М- всех попарных различий формируется

матрица ^=1 1 и определяется сумма каждой строки

л _

2, = 2, = 2,/п. 2\ принимается за оценку значения сложности

тестового задания.

Проверка на непротиворечивость основывается на сравнении вероятностей предпочтения (исходных и полученных) исходя из числовых оценок сложности каждого задания = - .

л I Д.. I

Значение У ' "1 дает оценку согласия исходного и

полученного предпочтения. После этого задаваясь порогом точности, решается задача о соответствии оценки сложности для групп тестируемых.

Сложность и информативность достаточно сильно связаны. Так, количество информации, обеспеченное >м заданием теста, при оценивании 0 - это величина, обратно пропорциональная стандартной ошибке измерения данного значения 0, с помощью задания Для оценки объема информации, получаемой при оценивании параметра с помощью задания вводится функция. Значения функции являются характеристикой Ко задания в каждой точке оси латентной переменной 0. Чем больше количество информации, тем лучше работает задание при заданном значении уровня знаний 0. Вне зависимости от используемой модели информационную функцию Ко задания теста /(0) можно записать как

= где все функции зависят от переменной 0.

Р,(0)0,(0)

Максимальное значение производной ^(0) достигается в точке перегиба характеристической кривой ¡-го задания теста. Так как точке перегиба графика функции Р,(©) соответствует значение 0=В,, то наиболее важное свойство следующее: для измерения значения переменной 0 наиболее информативны задания с трудностью (5=0.

Оценка содержательности задания, предложенная в работе, основана на использовании логических функции истинности т(0 и ложности т(1). При этом выполняются условия 0<тДО<1 и т0)+т(1)=1.

Логическая оценка количества информации, содержащейся в задании, ставится в зависимость от априорных логических функций истинных ответов. Так, если обучаемому с высоким уровнем способности, предъявляется тестовое задание с низким уровнем трудности, то величина т(0^> 1 и такое задание мало информативно. Столь же мало информативны трудные задания для обучаемых с низким уровнем подготовки, когда 0. При этом логическая

оценка содержательности задания определяется как /, = 1од2 ■

откуда следует, что при т(0=О,5=т(1) содержательность задания будет иметь максимальное значение. Следовательно, тестовое задание с заданным уровнем трудности будет содержательным только для испытуемых, уровень способности которых соответствует уровню трудности задания (оптимальной энтропии).

Полезность тестовых сигналов для принятия решения об оценке способности и испытуемого может быть оценена мерой

Р

целесообразности информации 1у=1од2-^~, где Р0 начальная (до

получения задания) и Р\ конечная (после получения ответа) вероятность достижения результата тестирования, которая определяется как изменение вероятности достижения цели при анализе поступающих ответов.

Задания (I)

а)

в) г)

Рис. 2. Информативность предъявления задания

Пусть испытуемый с высоким исходным уровнем находится в

точке а и получает трудную задачу. Поскольку возможны два исхода с

равными вероятностями (решил — не решил), то в соответствии с

рис.2.(а). р(а-Ь) = р(а-с) = 1А Положительная оценка выставляется,

если испытуемый правильно решил задачу. Предположим, что

исходная задача недоступна для ответа и в результате испытуемый

оказался в точке Ь. Выполним декомпозицию недоступной для ответа

задачи, разделив её на 6 тестовых заданий. Из которых три задачи

(по трудности) будут соответствовать уровню подготовки

испытуемого. А оставшиеся три задачи окажутся для него очень

лёгкими и т{0 =1 (рис.2.(б)).

Поскольку положительные ответы на все задания фиксируются,

то ответы на лёгкие задания вносят дезинформацию, т.е. уменьшают

вероятность оставить высокий уровень. В результате дополнительная

информация, полученная в точке Ь (рис.2.(б)) окажется нейтральной

, , Р(а-с) , 3/6 л и „ , .

Р(]—2) = 1/2~= рис.2.(в) в результате

декомпозиции получено 5 лёгких заданий и только 1 задание соответствующее уровню способности испытуемого. Количество

1 /6

дезинформации / = 1од2 — = -1,58. Вероятность получения

истинного балла увеличится, если после разбиения исходной задачи получены тестовые задания соответствующие уровню подготовки испытуемого и доступные для его ответов (рис.2.г). Количество

6/6

полезной информации / = 1од2 = 1.

В общем случае, если между промежуточными оценками {а!} и ответами испытуемого {Ь} в различные моменты времени (испытаний до получения истинного балла) существует вероятностная зависимость Ру(0, то:

«г ощо

/и /=1

где Л/(Ц — количество оценок в момент времени I; М(\) — количество ответов; Р$=0, если уровень трудности задания не соответствует уровню способности испытуемого; РуЮ=1, если между промежуточными оценками и ответами испытуемого имеется полное соответствие (трудность задания соответствует способности испытуемого). При предъявлении испытуемому тестового задания в следующий момент времени неопределённость ситуации изменяется:

тМ)М(М)

на+)1од2Рца+у. <з)

(=1 ;=1

В результате неопределённость ситуации ДН=Н(Ц-Н(1+1) может уменьшиться или увеличиться в зависимости от знака энтропии в момент времени (1+1). Отсюда следует вывод: для вычисления истинного балла испытуемых с различным уровнем способностей нельзя использовать программно-педагогические тесты с одинаковой трудностью заданий.

В качестве оценки правильности ответа на конкретный вопрос вместо классической бинарной шкалы (0 — неверно, 1 - верно) в диссертации предлагается следующая модель определения степени верности ответа на тестовое задание у=Р(х1,х2.Хз.*4). где у -исходная количественная переменная, которая отображает оценку за ответ на текущий вопрос;

Х1— кол-во верных вариантов ответа на текущий вопрос (1, 2, 3, 4, 5), для заданий на установление соответствия - количество сопоставляемых пар, на установление порядка - количество упорядочиваемых пунктов;

х2-кол-во правильных ответов, которые указал тестируемый (1, 2, 3, 4, 5) ,для заданий на установление соответствия - количество

верно сопоставленных пар, на установление порядка - количество верно расставленных пунктов;

х3— общее число всех вариантов ответов, выбранных испытуемым (1, 2, 3, 4,5), для заданий на установление соответствия и на установление порядка совпадает с х2

— общее кол-во возможных вариантов ответа на текущий вопрос (2, 3, 4, 5, 6), для заданий на установление соответствия и на упорядочивание пунктов совпадает с xt

Значение переменной у принадлежит интервалу [0;1]. Оно определялось с помощью экспертных оценок бинарных отношений сравнительной сложности. Соответственно, такая модель позволяет настраивать оценку за ответ в случае необходимости.

Число шесть при описании модели выбрано в связи с тем, что для закрытых вопросов количество вариантов ответов, превышающее шесть, использовать не рекомендуется; для открытых вопросов данная модель вообще не применяется - происходит простое сравнение ответа с эталоном; для заданий на установление соответствия и. на установление порядка также редко используется более шести пар вариантов или пунктов для расстановки. Вся база правил для оценки правильности ответа представлена с помощью фреймовой структуры (табл.2).

Таблица 2

Матричная структура оценивания ответа на тестовое задание

Name Qn ит CON ACT PR Pr Or

Ai 1 (Х-1 = 1 и х2 = 1 и х3 = 5 и х4 = 6) или (х1 = 2 и х2 = 2 и х3 = 5 и хА = 6) Если условие CON выполнено, то у=0.1 If CON=True then True else False An A2

л2 1 (xt = 3 и х2 = 5 и х3 = 5 и дс4 = 6) Если условие CON выполнено, то у=0.21 If CON=True then True else False An A3

А3 2 (х1 = 1 и х2 = 1 и х3 = 5 и х4 = 6) или (х1 = 2и х2 = 2 и х3 = 5 и х4 — 6) Если условие CON выполнено, то у=0.11 IfCON=True then True else False An A4

Ап нет Нет Вернуть вызвавшей программе значение у True Hem Hem

Если для некоторого вопроса из базы, тестовых заданий не выполняется одно правило, то происходит переход к анализу следующего. Name - имя слота, Q_num - номер вопроса в базе, CON - условие, ACT - действие, PR - признак выполнения, Рг-положительный результат, Or- отрицательный результат. В случае выполнения некоторого правила (то есть обнаружения соответствия ответа обучаемого на задание шаблону, указанному в правиле) анализ прекращается. Использование матричной структуры

позволяет избежать «конфликтов» между правилами и противоречивости результатов.

В третьей главе рассматривается задача формирования тестов, которые позволяют одновременно получить оценку знаний по различным направлениям подготовки

Множество тестовых заданий в диссертации предлагается задать в виде трехмерного куба, используя многомерное представление данных (рис.3.)

Тематический класс

Множество тестовых заданий

Рис. 3. Многомерное представление тестовых заданий в тесте На данном множестве задаются три отношения эквивалентности, которые определяют разбиение на классы по тематике, типам и сложности задач. Тематические классы соответствуют распределению учебного материала на одном из промежуточных иерархических уровней (как правило, на уровне разделов или подразделов). Тематический класс тестового задания, соответствующего к-подразделению ро раздела ¡-й части обозначим КЦк. С этого класса выбираются тестовые задания для текущего контроля по этому разделу. Множество тестовых заданий КЦ для итогового контроля по разделу Ц формируется как объединение классов, касающихся всех подразделений - 1)^ КЬ1]к, где пг количество разделов в ¡-й части. Во время итогового контроля знаний тестовые задания выбираются из всего множества К1_. Разбиение на классы по типам тестовых заданий (обозначим Туре) заключается в определении формы представления результата и способа его введения. В рамках тестирования применены следующие типы вопросов: закрытые (с предлагаемыми вариантами ответа), открытые

*».- ■rt"

(без вариантов ответа), на установление соответствия, на установление порядка. Модель тестового контроля ТС формально запишем как

TZ= (KL, Туре, р), (4)

где KL - тематический класс тестового задания; Туре - тип тестового задания; р- весовой коэффициент сложности тестового задания.

Так в системе «COTA» принята следующая структуризация учебного материала и тестовых заданий. Фрагменты или тестовые задания объединяются в структурный элемент или тест, имеющий алгоритмическую структуру, которая прописана в файле Access, имеющем расширение sed (sed-файл). Структурные элементы объединяются в курс или многомерный тест с древовидной структурой, прописанной в файле Access, имеющем расширение sdd (sdd-файл). Таким образом, одним из вариантов механизма формирования тестов является конструирование sdd-файла, который представляет структуризацию ссылок на sed-файлы гомогенных

тестов, представленную на рис.4.

---~ Г1

Гетерогенный тест 1 (sdd)

Тест] i

Тест,.,,,

Модуль 1

Тест 1 ^ (sed)

ТЗ,., Т3,„

Тест m (s¡ed)

T3m, T3mnm

Модуль 2

Тест 1 ^ (sed)

Т31И

тз,.„,

Тест m

(sed)

У

ТЗт.1 T3m nm

^Модуль N

Тест 1 (sed)

О CP Q

ТЗ,.,

тз,.„,

'Тест m (sled)

У

T3mJ T3n,nm

Рис. 4. Структура многомерного теста

Более гибкая структура гетерогенных тестов достигается за счет принудительного формирования ссылок каждого задания на каждый модуль. В этом случае модели факторного планирования позволяют из всего множества тестовых заданий выбрать минимальное подмножество с целью достижения точности оценки уровня знаний по каждому направлению.

Адаптивные тесты со случайным выбором очередного тестового задания строятся по одной общей схеме (рис.5.) на основе исполняемых фрагментов и списков переходов между фрагментами.

Рис. 5. Алгоритм проигрывания многомерного теста Конечный многомерный тест, который будет предъявлен тестируемому, собирается, в соответствии с представленной схемой, в инструментальной среде конструктора структурных элементов (КСЭ). Информация о привязке тестов различных курсов к направлениям хранится в всМ-файле (файле курса), который создается в среде конструкторе курсов (КонК). Т.е. формируется обобщенный тест, модули которого представляют собой направления тестирования, а элементы модуля — тесты определенного направления, к которым подключены созданные ранее Бес1-файлы тестов курсов.

При формировании теста необходимо учитывать точность измерений и репрезентативность конечной выборки. Небольшое изменение условий тестирования и состояния испытуемых приводит к несущественному изменению конечных результатов - зависимость непрерывная, без скачков. Оценка надежности реализуется за счет выделения "факторной дисперсии". На основе классической модели

п к 2

дисперсионного анализа 50бщ = " обЩая сумма квадратов

/=1 м

отклонений наблюдаемых значений Ь от общего среднего Ь; Зтеи = Ьу-ЬI - факторная сумма квадратов отклонений

У=1 V л )

средних значений по столбцам от общего среднего, характеризует

рассеяние между темами; Зтест = -Ь^ - факторная сумма

квадратов отклонений средних значений "по строкам от общего среднего, характеризует рассеяние между участниками тестирования.

Благодаря свойству аддитивности, информация, полученная при измерении заданного уровня знаний 0 с помощью всего теста, складывается из отдельных составляющих /](©), \='\,2,...,п каждого

п

тестового задания /(©) = £/,■(©)• Или используя значение

>1

информативности тестового задания можно записать

/=1 пЧ

Количество заданий существенно влияет на вид функции /(0). Так, если количество заданий меньше 25, то информационная функция теста не имеет одного четко выраженного максимума. В этом случае можно говорить о снижении эффективности всего теста в целом. Например, наличие двух точек максимума указывает на необходимость дальнейшей работы с тестом.

Для многомерного теста в работе предлагается использование формальных аспектов теории планирования эксперимента. При этом

X X

непрерывный план представляет П =

который задает

... лл/ LPi - Pn.

непрерывную вероятностную меру на множестве тестовых заданий. Предполагается, что вероятность решения тестового задания равна р = Р(, что соответствует схеме независимых событий.

Х,*0

Логарифмированием данный функционал можно линеаризовать и получить классическую линейную модель факторного плана

/п Р = X1 In Я, + Х2 In Р2 + + Xn In Р„, (6)

где в качестве оцениваемых параметров регрессии выступают 1пР\ . При моделировании множества тестовых заданий, составляющих многомерный тест, формируется матрица плана теста F=||xij||1 где хц определяет наличие j-ой направленности в ¡-ом тестовом задании.

Далее в работе предлагается следующий метод оценки информативности учебного материала. Обучение и тестирование представляет собой процесс передачи информации по каналу связи "речь-слух". Основываясь на положениях теории информации весь объём учебной дисциплины можно представить выражением вида: Нарг = (кик + кРг) *T*IL, где: к1ек- отношение количества часов

изучения электронных лекций к общему числу часов, крг- отношение количества выполнения практической работы к общему числу часов.

Уровень подготовки обучающегося по дисциплине представляют собой результаты тестирования. Фактически - это весовой коэффициент вопросов на которые испытуемый давал стабильно правильные ответы. Таким образом, общий объём подготовки обучаемого есть /р = Нарг * в. Скорость усвоения, материала

обучающимся рассчитывается следующим образом = ^к[ек^грг.ту

Чем выше этот параметр, тем быстрее обучаемый может освоить материал темы. Поэтому при формировании программы обучения производилась количественная оценка данного параметра для

Рис.6. Алгоритм оценки скорости усвоения материала

Теоретический материал представляет собой электронный вид лекций по одной из тем дисциплины или учебного модуля. Обучаемый изучал его в течение некоторого промежутка времени т^. Его уровень в или по в0Е (дисциплине или теме) и объем подготовки уже определены с помощью описанного выше метода и являются исходными данными для рассматриваемой задачи.

Обучаемый переходил к тестированию, метод построения которого описан выше, после изучения теоретического материала. Так как обучающийся имеет определенный уровень подготовки в или. в0Е то для объективного определения значения параметра скорости усвоения материала ему предлагались вопросы, по сложности превышающие эти значения.

Таким образом, весовые коэффициенты заданий в данном случае ограничены снизу 9 или 6DE . Кроме того, все вопросы принадлежали к теме, по которой был дан к изучению теоретический материал. Полученные на втором тестировании результаты представляют собой новый уровень подготовки. Новый объем подготовки обучаемого определялся по формулам: Ip_new. Разница 1ри Ip new представляет собой то количество информации, которое успел за отведенное время усвоить из предложенного материала обучающийся: AI - lp new — lp-На основании этих данных и информации о количестве времени, предоставленного на изучение теории Т вычислялась скорость усвоения материала обучаемым по дисциплине: tiusv = j. На основе полученных данных производится вычисление необходимого количества часов для успешного освоения обучающимся каждой дисциплины.

Предложенная в работе адаптивная система тестового контроля включает в себя испытуемого, тестирующую систему и среду сбора информации о внешне среде (рис.7.).

Рис. 7. Система тестового контроля с моделью обучаемого

На вход системы управления поступает набор сигналов фиксирующих состояние среды X и модели испытуемого Р, а также цели тестового контроля Z* и ресурсов К. Ресурсы определяют возможности тестирующей системы и ограничения как на время ответов на отдельные тестовые задания, так и на весь тест в целом.

Цели адаптивного тестирования определяются возможностью системы анализировать (в соответствии с требованиями субъекта) способности испытуемых и формировать адекватные им по уровню трудности тестовые задания. Субъект Э в процессе общения с окружающей средой фиксирует своё внимание на тех параметрах, которые определяют состояние его потребностей и могут быть скорректированы в нужную ему сторону. Формируя цели Т", субъект воспринимает окружающую среду как некоторый набор её параметров 5 = каждый из которых может быть оценен, т.е.

воспринимаемая субъектом ситуация управляема: Б(\/) = ). Здесь V - управление субъекта. Для субъекта

средой является не только внешние воздействия (влияние группы, преподавателей, социальных условий и т.д.), но и объект управления, т.е. Б = < X , У >, где X - состояние среды (вход) объекта; У -состояние объекта тестового контроля. Цель субъекта определяет в виде вектора = где г*\ - ¡-ое требование к состоянию

среды Э, выраженное с помощью функции ^¡(Б) г*\ = ^¡(Б).

Далее в рамках диссертационной работы разработана методика и программные компоненты, предоставляющие возможность различных вариантов организации образовательного процесса (рис.8.).

Первый этап: После регистрации в системе, сотрудник проходит процедуру профориентации. Сотруднику предоставляется возможность просмотреть информацию о специализациях, в том числе особое внимание уделяется специализациям, наиболее востребованным в данный момент на предприятии.

На втором этапе работы системы, обучаемому предлагается пройти входное тестирование. На данном этапе ему предлагается выполнение набора тестовых заданий по каждому модулю выбранной дисциплины. Количество заданий на этом этапе должно быть достаточно велико. На основе полученных результатов входного тестирования производится оценка уровня подготовки дистанционного слушателя.

Третьим этапом является этап обучения. На данном этапе за обучаемым закрепляется консультант, который отслеживает весь процесс обучения. Консультант анализирует автоматически построенный системой учебный план, после чего имеет возможность вносить в него свои коррективы.

Рис. 8. Методика сквозного тестового контроля

Четвертым этапом является выходной контроль. Как и в случае входного контроля, выходной контроль осуществляется путём выполнения обучаемым набора тестовых заданий. Однако в отличии от входного контроля, выходной имеет другие цели. Если цель входного - максимальная точность оценки уровня знаний по всем направлениям

Реализация приведённых этапов в системе подготовки кадров промышленных предприятий строится на основе единой универсальной технологии.

В четвертой главе диссертации разработаны программные компоненты системы тестового контроля и выполнена апробация методов и моделей на примере аттестации сотрудников.

В работе был проведен анализ теста, который содержал 10 заданий по каждому из 4-х тем. Результаты выполнения этого теста шестью испытуемыми приведены в табл.3. При этом /' обозначает номер участника тестирования, и в общем случае /' меняется от 1 до п; у обозначает номер темы заданий и в общем случае меняется от 1 до к; позицию (7,/) в таблице занимает количество заданий у-ой

темы, верно выполненных /-м участником (Ь,у - экспертный балл /-му участнику за выполнение /-го задания, выставленный неким единым экзаменатором). Рассматривая имеющиеся баллы Ь,у как реализации случайной величины Ь, выполним дисперсионный анализ результатов теста.

Таблица 3.

Результаты выполнения теста

1 j 1 2 3 4 Z

1 9 6 6 2 23

2 9 5 4 0 18

3 8 9 5 8 30

4 7 6 5 4 22

5 7 3 2 3 15

6 10 8 7 7 32

I 50 37 29 24 140

Для полученных данных значения сумм квадратов равны:

4

1.2 .

п = 6; к = 4; YLbl=912; Ь = Ы0; 1>'=3486; 2>-=528бИ'

7=1 y=i 4 /=1 ' 1-1

соответственно,

5 =972-19600.24 = 155,3; 5 =-3486-19600.24 = 54,8 и

оба/. "с- 4

5 =-5286-19600/24 = 64,3; 5 =155,3-54,8-64,3 = 36,2

тем. ^ ост.

Для вычисления коэффициента надежности теста, во внимание принималось то, что все задания всех тем, выполненные участниками тестирования, одинаковы для всех шести испытуемых и, следовательно, не вносят в результаты дополнительную вариацию. Поэтому дисперсия среди испытуемых включает в себя как характеристику реально существующего рассеяния баллов различных участников тестирования, так и дисперсию случайной ошибки измерений Л. Это означает, что

D(b')=D-D^3\b'}= 8,55 и D-D „ 10,96-2,41

> г = -

= 0,78

В 10,96

Если при тестировании испытуемым предлагались не идентичные задания и, следовательно, задания некоторым образом варьировались от одного участника тестирования к другому, то дисперсию О следует рассматривать как меру дополнительного возмущения:

23

5 = 5-5 = 100,5; /3 = 100,5/18 = 5,58

10,96- 5,68 5{д} = 2,36

10,96

Таким образом, изменение условий тестирования существенно отразилось на надежности. Вообще любые изменения условий тестирования, если они не имеют отношения к его цели, увеличивают дисперсию погрешностей. Поэтому при тестировании важно обеспечить максимально идентичные условия для всех участников (параллельность вариантов теста, временные ограничения, подробность инструктирования, контроль общей обстановки и др.). Всякие отступления от этого правила автоматически снижают надежность теста.

Далее в диссертации проведена апробация предложенной методики формирования тестов. В исследовании принимали участие сотрудники финансово-экономических служб предприятия.

Исследование аттестационных показателей проводилось по блокам знаний: «Управление финансами», «Экономика», «Бухгалтерский учет и аудит», «Юридические основы», «Организационные основы финансово-экономического управления» и «Информационные технологии». Общая численность работников, прошедших повышение квалификации - 179 человек, что составляет 59% от общего количества сотрудников, принимавших участие в исследовании. Характер распределения баллов между сотрудниками прошедшими повышение квалификации и не проходившими обучение свидетельствует о наличии обратной связи между повышением квалификации и аттестационными показателями (рис.9.).

о 10 20 30 40 50 60 70 Рис.9. Зависимость знаний и навыков работников от прохождения программы повышения квалификации

Кроме того исследование выявило явную тенденцию снижения аттестационных показателей с увеличением возраста испытуемых. Анализ полученных результатов показал, что категория стажа сотрудников до 6 месяцев имеет более низкий уровень знаний и навыков относительно других по всем блокам. Вместе с тем, результаты анализа результатов по другим блокам не свидетельствуют о наличии явных зависимостей между уровнем профессиональных знаний и навыков и стажем работы.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов работы.

Публикации. По результатам выполненных исследований опубликовано 10 печатных работ, которые приведены в списке публикаций.

Основные выводы и результаты работы

1. Проведен системный анализ проблем подготовки и аттестации персонала промышленных предприятий, в результате которого выделена совокупность взаимосвязанных критериев, используемых для оценки эффективности организации процесса обучения и тестового контроля.

2. Выполнен анализ методов и моделей тестового контроля, в результате которого сформулированы основные методические правила конструирования тестовых заданий в системе аттестации персонала.

3. Разработаны модели содержательности и информативности тестового задания, которые дают основу для разработки методов оценки эффективности тестового контроля.

4. Сформирована шкала и модель идентификации правильности ответа на тестовое задание, позволяющая повысить дифференцирующую способность процедур оценки уровня знаний по результатам тестирования.

5. Разработаны механизмы формирования многомерных тестов, структурирующие тестовые задания по направленности, сложности и типу, позволяющие формировать адаптивные процедуры тестового контроля, повышающие точность оценки уровня знаний.

6. Разработаны методы оценивания информативности теста по информативности тестовых заданий и надежности теста на основании процедуры дисперсионного анализа, структурирующей факторные суммы квадратов отклонений.

7. Предложена методики сквозного тестового контроля, включающая этапы оценки профессиональной направленности подготовки, входного контроля, обучения и выходного контроля в системе подготовки и переподготовки персонала, предоставляющая возможность организации различных вариантов образовательного

процесса. Разработаны программные компоненты системы формирования многомерных тестов.

8. Разработанные методы и модели прошли апробацию и внедрены для практического применения в ряде предприятий, а также используется в учебном процессе МАДИ.

Публикации по теме диссертационной работы Статьи в журналах ВАК:

1. Толкаев Е.Ю. Эффективность использования технологий дистанционного обучения при повышении уровня знаний и навыков персонала промышленных предприятий /Николаев А.Б., Толкаев Е.Ю. // Вестник Орловского государственного университета. Серия: новые гуманитарные исследования. Федеральный научно-практический журнал ISSN 1997-9878 № 6(14) ноябрь-декабрь, 2010г. - С. 122-123.

2. Толкаев Е.Ю. Дистанционное обучение как инновационный метод повышения квалификации персонала / Николаев А.Б., Толкаев Е.Ю. // В мире научных открытий № 9 (21) . НИЦ,- Красноярск, 2011 .-С. 80-86

3. Толкаев Е.Ю. Интеллектуализация тестового контроля в системах открытого образования / Баринов К.А., Ягудаев Г.Г., Толкаев Е.Ю., Иванова Л.В. // В мире научных открытий № 9 (21). - Красноярск: НИЦ, 2011.-С. 86 93.

Статьи в сб. науч. тр. и других изданиях:

4. Толкаев Е.Ю. Развитие последовательного интерфейса / В.Р. Рогов, П.С. Рожин, Е.Ю. Толкаев // Методы прикладной информатики в автомобильно-дорожном комплексе: сб. науч. тр. / МАДИ(ГТУ). М„ 2007. с. 41-45.

5. Толкаев Е.Ю. Опыт использования LMS MOODLE для создания системы дистанционного обучения. / Остроух A.B., Толкаев Е.Ю. // М.: Информационные технологии управления в автотранспортных системах: Сборник научных трудов факультета «Управление», МАДИ(ГТУ), 2008. С. 207212.

6. Толкаев Е.Ю. Оценка квалификационных характеристик персонала при формировании организационной структуры / Брыль В.Н., Толкаев Е.Ю. // Оптимизация решений в промышленности, строительстве и образовании: сб. науч. тр. МАДИ № 1/45 . МАДИ,-М„ 2010.-С. 13-20.

7. Толкаев Е.Ю. Структура инструментальных средств системы поддержки принятия решений / Власов А.Б., Свободин В.Ю., Толкаев Е.Ю., Белоус В.В. // Модели и методы управления сложными техническими системами: сб. науч. тр. МАДИ. МАДИ .М., 2010 . - С. 104-110.

8. Толкаев Е.Ю. Взаимосвязь методов и моделей системы

переподготовки персонала / Николаев А.Б., Приходько Л.В., Строганов Д.В., Толкаев Е.Ю., Ягудаев Г.Г. // Автоматизация систем управления персоналом: сб. науч. тр. МАДИ. - М.: МАДИ, 2011.-С. 45 52.

9. Толкаев Е.Ю. Автоматизация систем управления персоналом / Соколов Н.К., Толкаев Е.Ю. //сб. науч. тр. МАДИ. - М.: МАДИ. 2011. - С.89-93.

10. Толкаев Е.Ю. Инновационные методы повышения квалификации персонала промышленных предприятий. / Николаев А.Б., Толкаев Е.Ю // Проектирование информационных, обучающих и управляющих систем в промышленности и на транспорте. - М.: МАДИ, 2012.-С. 3 7.

Подписано в печать: 09.09.2013 Тираж: 100 экз. Заказ № 970 Отпечатано в типографии «Реглет» г. Москва, Ленинградский проспект д.74 (495)790-47-77 www.reglet.ru

МОСКОВСКИЙ АВТОМОБИЛЬНО-ДОРОЖНЫЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ (МАДИ)

04201361877 Толкаев Евгений Юрьевич

МОДЕЛИРОВАНИЕ СОДЕРЖАТЕЛЬНОСТИ ТЕСТОВЫХ ЗАДАНИЙ И АВТОМАТИЗАЦИЯ ФОРМИРОВАНИЯ МНОГОМЕРНЫХ ТЕСТОВ В СИСТЕМЕ УПРАВЛЕНИЯ ПЕРСОНАЛОМ ПРОМЫШЛЕННЫХ

ПРЕДПРИЯТИЙ

Специальность 05.13.06 - Автоматизация и управление технологическими

процессами и производствами (промышленность)

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата технических наук

Научный руководитель: доктор технических наук, профессор Николаев А.Б.

Москва - 2013

СОДЕРЖАНИЕ

Введение...................................................................................................................4

1. СИСТЕМНЫЙ АНАЛИЗ ОСНОВНЫХ НАПРАВЛЕНИЙ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ УПРАВЛЕНИЯ ОБУЧЕНИЕМ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ...............................8

1.1. Проблемы кадрового обеспечения промышленных объединений.............8

1.1.1. Программы развития кадрового обеспечения промышленных объединений....................................................................................................9

1.2. Педагогические принципы построения процедур контроля.....................12

1.2.1. Методические правила проектирования тестовых заданий...........16

1.2.2. Формы тестовых заданий...................................................................18

1.2.3. Принципы построения шкал в задачах тестового контроля.....19

1.3. Классическая теория тестового контроля....................................................21

1.3.1. Проблемы контроля освоения образовательной программы.........21

1.4. Выбор критериев эффективности.................................................................27

1.5. Информационные технологии в системе аттестации.................................34

Выводы по главе 1.................................................................................................40

2. МОДЕЛИРОВАНИЕ СОДЕРЖАТЕЛЬНОСТИ ТЕСТОВЫХ ЗАДАНИЙ.............................................................................................................41

2.1. Взаимосвязь уровня знаний и сложности тестового задания...........................41

2.2. Оценка сложности задания через попарные сравнения.............................47

2.3. Информативность тестового задания..........................................................52

2.4. Оценка содержательности тестового задания.............................................54

Выводы по главе 2.................................................................................................62

3. АВТОМАТИЗАЦИЯ ФОРМИРОВАНИЯ ИЕРАРХИЧЕСКОЙ СТРУКТУРЫ ТЕСТА........................................................................................63

3.1. Характеристики тестовых заданий...............................................................63

3.2. Механизмы формирования многомерного гетерогенного теста..............65

3.3. Информативность теста по направлениям..................................................69

3.3.1. Модель множественной регрессии в оценке характеристик теста 75

3.3.2. Оценка параметров регрессии теста.................................................78

3.4. Оценка надежности теста..............................................................................80

3.5. Оценка скорости усвоения материала.........................................................86

3.6. Методика сквозного тестового контроля в системе управления персоналом.............................................................................................................89

Выводы по главе 3.................................................................................................95

4. АПРОБАЦИЯ МЕТОДОВ И МОДЕЛЕЙ ТЕСТОВОГО КОНТРОЛЯ 96

4.1. Оценка надёжности теста......:.......................................................................96

4.2. Апробация разработанных методик.............................................................99

Выводы по главе 4...............................................................................................122

ЛИТЕРАТУРА .................................................................................................124

ПРИЛОЖЕНИЕ. Документы о внедрении и использовании результатов работы..................................................................................................................136

ВВЕДЕНИЕ

Решение вопросов кадрового обеспечения является одним из основных факторов способствующим развитию промышленных предприятий. Квалификация сотрудников предприятия должна соответствовать потребностям организации. В противном случае, недостаточная квалификация отрицательным образом сказывается на результатах деятельности компании. Развитие компании и развитие индивидуальных качеств ее сотрудников неразрывно связаны. Организация повышения квалификации и обучения работников является одним из основных направлений управления персоналом.

Первоочередной задачей в управлении профессиональным развитием сотрудников является выявление основных потребностей организации в этой области. Основным способом повышения профессионального развития сотрудников предприятия являются регулярные мероприятия по повышению квалификации и профессиональное обучение. Повсеместное внедрение информационных технологий, информатизация и компьютеризация всех сфер жизни открывает большие перспективы для развития электронных обучающих систем. Использование современных технических средств позволяет не только подстраиваться под особенности обучаемого, но и проводить обучение и тестирование дистанционно, что особенно важно на предприятиях распределённого типа, имеющих филиалы и удалённые производственные площадки.

Таким образом, диссертационная работа, посвящённая разработке методов и моделей формирования многомерных тестов в системе управления персоналом промышленных предприятий, является современной и актуальной.

Предметом исследования являются модели и методы формализованного описания процедур тестового контроля.

Цель и основные задачи исследования

Целью работы является повышение эффективности системы управления персоналом промышленных предприятий за счет разработки методов, моделей и программных механизмов построения многомерных тестов.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Системный анализ методов и моделей формирования тестовых заданий и тестов в системе управления персоналом промышленных предприятий.

2. Разработка моделей оценки сложности, содержательности и информативности тестовых заданий.

3. Формирование шкалы и оценки правильности решения тестового задания.

4. Разработка механизмов формирования многомерного теста, оценки информативности и надежности.

5. Формирование методики сквозного тестового контроля в системе подготовки и переподготовки персонала.

Методы исследования

В диссертации использовалась общая теория систем, методы системного анализа, теории информации, общей теории систем, методы математической статистики. Моделирование предложенных методов и алгоритмов производилось с помощью математических пакетов. Обработка результатов эксперимента выполнена с использованием методов многомерного статистического анализа.

Научная новизна

Научную новизну работы представляют методы и модели оценки содержательности тестовых заданий и автоматизации формирования

многомерных тестов в системе управления персоналом промышленных предприятий. На защиту выносятся:

•модели оценки содержательности и информативности тестового задания;

•модель матричной структуры ответов на задания тестового контроля;

•механизмы построения многомерных тестов и методы оценки информативности и надежности;

•методика формирования сквозного тестового контроля в системе подготовки персонала.

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным анализом процесса аттестации персонала на промышленных предприятиях. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде промышленных предприятий. Практическая ценность и реализация результатов работы Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Они представляют непосредственный интерес в области управления процессами подготовки и переподготовки персонала.

Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения на ряде предприятий, а также используются в учебном процессе МАДИ. Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях и семинарах (2008-2013 гг.);

• на заседаниях кафедры АСУ МАДИ.

Общая совокупность научных положений, идей, практических результатов и рекомендаций, включенных в диссертационную работу, представляет интерес в области автоматизации процессов обучения и тестового контроля персонала промышленных предприятий и представляет актуальное направление в области теоретических и практических методов повышения квалификации персонала.

В первой главе проведен анализ проблем кадрового обеспечения промышленных предприятий в условиях широкого внедрения новых информационных технологий. Рассмотрены основные методы и формы управления обучением.

Во второй главе разработаны модели оценки информативности и содержательности тестового задания в общей структуре теста и системы тестового контроля.

В третьей главе проведена разработка концептуальных основ построения многомерной структуры теста. Определены основные характеристики тестовых заданий. Разработана методика сквозного тестирования в системе управления персоналом.

В четвертой главе диссертации рассматриваются вопросы анализа надёжности использованных в работе тестов. Проведена апробация разработанных методик и анализ полученных результатов.

По результатам выполненных исследований опубликовано 10 печатных работ.

Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 136 страницах машинописного текста, содержит 41 рисунка, 7 таблиц, список литературы из 109 наименований и приложения.

1. СИСТЕМНЫЕ АНАЛИЗ ОСНОВНЫХ НАПРАВЛЕНИИ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ УПРАВЛЕНИЯ ОБУЧЕНИЕМ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ

В первой главе выполнен анализ основных трудностей обеспечения управления персоналом промышленных предприятий в условиях масштабного применения новейших информационных систем. Приведены основные формы и методы управления процессом повышения квалификации и переподготовки.

1.1 Проблемы кадрового обеспечения промышленных объединений

Решение вопросов кадрового обеспечения является одним из основных факторов способствующим развитию промышленных предприятий. Решение проблем кадрового обеспечения промышленных компаний может вестись, так же, по направлениям представленным ниже:

• Рост профессиональной подготовки и компетенций работников основных групп специальностей (специалистов, инженеров, рабочих и др.);

• Обновление содержания образовательных систем и их учебно-методического обеспечения с применением современных информационных технологий, подготовки и издания новейших учебно-методических комплектов и пособий.

• Создание и применение современных систем подготовки и переподготовки руководителей промышленных предприятий, менеджеров и специалистов высокой категории.

1.1.1 Инновационные направления усовершенствования процесса подготовки кадров промышленных предприятий.

В современных условиях рынка труда в области кадрового обеспечения промышленных объединений необходимо внедрение комплексных мер по усовершенствованию систем подготовки и переподготовки кадров. Решению данных задач посвящены многие западные исследования в этой области.

Квалификация сотрудников предприятия должна соответствовать потребностям организации. В противном случае, недостаточная квалификация отрицательным образом сказывается на результатах деятельности компании. Развитие компании и развитие индивидуальных качеств ее сотрудников неразрывно связаны. Организация повышения квалификации и обучения сотрудников является одним из основных направлений управления персоналом.

Первоочередной задачей в управлении профессиональным развитием сотрудников является выявление основных проблем предприятий в данной отрасли. В конечном счете основной задачей является обнаружение критического несоответствия реальных навыков и знаний сотрудников с теми требованиями, которые предъявляются к работникам предприятий.

Основным способом повышения профессионального развития сотрудников предприятия являются регулярные мероприятия по повышению квалификации сотрудников и их профессиональное обучение.

Процесс профессионального обучения на предприятии может включать в себя несколько этапов, но при этом должен выполняться комплексно и непрерывно.

Исполняя свои должностные обязанности работнику организации необходимы знания рабочих процедур подготовки продукции или оказания услуг, знание инструкций и принципов работы на определённом оборудовании и т.д.

На основе опросов сотрудников, требований руководства, анкетирования и интервьюирования персонала предприятий можно получить информацию о текущих потребностях специалистов сопряженных с выполнением ими служебных обязанностей.

Кроме того, о потребностях в обучении и повышении квалификации могут свидетельствовать индивидуальные планы развития, которые формируются на основании аттестационных показателей работников.

Цели каждой программы повышения квалификации формируются на основании тщательного анализа и выявления потребностей организации.

Мониторинг основных показателей эффективности процессов повышения квалификации является одной из ключевых задач управления процессом обучения. Издержки данного процесса необходимо расценивать, как затраты на развитие кадрового потенциала компании. В конечном итоге данные вложения могут обеспечить повышения результативности труда сотрудников и всего предприятия.

Одним из основных средств подобного мониторинга является процесс аттестации работников. При этом в механизме тестирования должны быть заложены принципы адаптивности. Только такой подход может способствовать эффективному и точному выявлению требуемых показателей.

Повсеместное и целенаправленное использование современных процедур интерактивного тестового контроля позволяет индивидуализировать курс повышения квалификации, за счет динамического определения уровня подготовки испытуемых.

Применение адаптивных методов тестирования позволяет повысить эффективность компьютерного тестового контроля.

Предметом исследования являются модели и методы формализованного описания процедур тестового контроля.

В данном случае в связи с большим количеством предприятий с аналогичными требованиями к подготовке профессиональных сотрудников

целесообразно будет создание единого учебно-методического центра по проектированию и разработке обучающих программ для специалистов, а управленческий функционал передать отделу кадров предприятия.

В свою очередь возможность согласовывать учебные программы по специальностям, формулировать требования к подготовке и переподготове специалистов предоставляется отделу кадров.

Исходя из описанных выше требований, необходимо решить ряд задач по автоматизации процесса составления обучающих программ по основным направлениям обучения. Для этого потребуется максимально точно оценивать уровень знаний обучаемых.

Применение в обучающем процессе информационных технологий позволит максимально индивидуализировать содержание образовательного пространства.

Создание системы подготовки включает в себя решение следующих задач:

• выявление и фиксирование основных функциональных задач системы.;

• Подготовка концептуальных основ использования дистанционного обучения на базе индивидуальных психолого-социальных особенностей обучаемых.

• Разработка учебно-методических программ и приложений.

• Создание модульной структуры учебного материала.

• Разработка систем адаптивного тестового контроля на основе индивидуальных особенностей испытуемых.

• Применение современных мультимедийных средств визуализации информации при подготовке учебных модулей, обеспечивающих оптимальные условия восприятия информации.

Повсеместная масштабная компьютеризация процессов обучения создаёт необходимость применения новых стандартов обучения основанных на

характерных особенностях обучения с использованием информационных технологий. Первоочередной задачей требующей решения в данной области является задача структурирования знаний.

Создание качественной системы подготовки и переподготовки подразумевает выполнение следующих требований к системе:

• Гибкость - предоставление возможности обучаемому выбирать время и место обучения.

• Модульность - использование отдельных именованных сущностей (модулей) из из некоторой коллекции при состалении индивидуального плана обучения.

• Параллельность - обучаемому должна предоставляться возможность проходить обучение без отрыва от производства.

• Охват - возможность обращения сразу ко многим хранилищам обучающей информации и возможность поддержки