Автоматизация и управление процессом аттестации персонала промышленных предприятий на основе квалификационных характеристик и результатов адаптивного тестирования

Свободин, Виталий Юрьевич

Автоматизация и управление технологическими процессами и производствами (по отраслям)

автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация и управление процессом аттестации персонала промышленных предприятий на основе квалификационных характеристик и результатов адаптивного тестирования

кандидата технических наук: Свободин, Виталий Юрьевич
город: Москва
год: 2012
специальность ВАК РФ: 05.13.06

Диссертация по информатике, вычислительной технике и управлению на тему «Автоматизация и управление процессом аттестации персонала промышленных предприятий на основе квалификационных характеристик и результатов адаптивного тестирования»

Автореферат диссертации по теме "Автоматизация и управление процессом аттестации персонала промышленных предприятий на основе квалификационных характеристик и результатов адаптивного тестирования"

( На правах рукописи

СВОБОДИН ВИТАЛИЙ ЮРЬЕВИЧ

АВТОМАТИЗАЦИЯ И УПРАВЛЕНИЕ ПРОЦЕССОМ АТТЕСТАЦИИ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ НА ОСНОВЕ КВАЛИФИКАЦИОННЫХ ХАРАКТЕРИСТИК И РЕЗУЛЬТАТОВ АДАПТИВНОГО ТЕСТИРОВАНИЯ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 О ДЕК 2012

Москва - 2012

005047642

Работа выполнена в Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский автомобильно-дорожный государственный технический университет (МАДИ)» на кафедре «Автоматизированные системы управления»

Научный руководитель Строганов Виктор Юрьевич

Лауреат премии Правительства РФ, доктор технических наук, профессор, МГТУ им.Н.Э.Баумана, профессор кафедры «Системы обработки информации и управления»

Официальные Попов Дмитрий Иванович

оппоненты: доктор технических наук, доцент,

заведующий кафедрой « Информатика и ВТ» Московского государственного Университета печати, г. Москва Рожин Павел Сергеевич кандидат технических наук, доцент, ведущий аналитик группы компаний «М2М-Телематика», г. Москва

Ведущая организация: Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования (Рос НИИ ИТ и АП), г. Москва.

Защита состоится 27 декабря 2012 г. в Ю00 часов на заседании диссертационного совета Д.212.126.05 при Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский автомобильно-дорожный государственный технический университет (МАДИ)» по адресу: 125319, г. Москва, Ленинградский проспект, д.64, ауд. 42.

Телефон для справок: (499) 155-93-24.

С диссертацией можно ознакомиться в библиотеке МАДИ.

Автореферат разослан 27 ноября 2012 года.

Отзывы на автореферат в двух экземплярах, заверенные печатью организации, просим направлять в адрес диссертационного совета университета, а копии отзывов присылать по электронной почте: исЬзоуе1@.тас11. ги

Ученый секретарь

диссертационного совета,

кандидат технических наук, доцент " Михайлова Н.В.

Общая характеристика работы

Актуальность проблемы

Одной из основных задач системы подготовки и переподготовки персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ. Аттестация сотрудников промышленных предприятий представляет собой целенаправленный интерактивный процесс взаимодействия субъектов и объектов между собой, а также с соответствующими аппаратно-программными средствами. Система аттестации является одним из компонентов системы подготовки и переподготовки персонала, в которую также входят подсистемы определения целей, содержания, методов и средств обучения, организационно-правовых форм, а также учебно-материальная, финансово-экономическая, нормативно-правовая и маркетинговая подсистемы. Оперативный контроль уровня знаний и умений сотрудников может быть обеспечен лишь за счет всестороннего использования процедур компьютерного тестового контроля, обеспечивающих динамическую идентификацию уровня подготовленности персонала. Повышение эффективности компьютерного тестирования достигается за счет адаптивных алгоритмов, разработке которых в последнее время уделяется большое внимание. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты формирования тестов вместе с процедурами анализа эффективности механизмов предъявления тестовых заданий, что и определяет актуальность настоящей диссертационной работы.

Предметом исследования являются система аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при классификации уровня знаний сотрудников промышленных предприятий.

Цель и основные задачи исследования

Целью работы является повышение эффективности системы аттестации по критерию точности оценки квалификационных характеристик за счет разработки и использования методов, моделей, алгоритмов и программных средств поддержки компьютерного тестового контроля.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ методов и моделей организации процедур компьютерного тестового контроля в системе аттестации промышленных предприятий;

• разработка системы квалификационных характеристик, оценочной шкалы и формирование схемы групповой аттестации;

• разработка механизмов формирования тестовых заданий и требований к программной инструментальной среде;

• разработка и анализ эффективности методов адаптивного тестового контроля на основе создания интерактивной среды имитационного моделирования;

• разработка программно-моделирующего комплекса конструирования тестовых заданий и тестов.

Методы исследования

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и классический теоретико-множественный аппарат. Расчет вычислительных экспериментов выполнен в пакетах 31айэйса и МаШСас1. При разработке моделей компонентов системы тестового контроля и аттестации использовались методы математического программирования, теории случайных процессов, имитационного моделирования и др.

Научная новизна

Научную новизну работы составляют методы и модели организации аттестации персонала промышленных предприятий на базе адаптивных механизмов тестового контроля. На защиту выносятся:

• модели формирования бальных шкал и оценок квалификационных характеристик;

• комбинированный алгоритм вычисления сложности заданий и уровня подготовленности участников тестирования по схеме групповой аттестации;

• автоматная схема описания проигрывателя тестовых заданий с встроенным компилятором формирования последовательности тестовых заданий.

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных предприятиях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов

диссертации подтверждена положительными результатами внедрения результатов работы на предприятиях и в учебный процесс.

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки тестов и процедур компьютерного тестового контроля в системе аттестации персонала промышленных предприятий. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде предприятий, а также используются в учебном процессе на кафедре АСУ МАДИ.

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2008-2012гг.);

• на заседаниях кафедры АСУ МАДИ.

Совокупность научных положений, идей и практических результатов исследований в области тестового контроля знаний составляет актуальное направление в области теоретических и организационных форм аттестации в системе подготовки и переподготовки персонала промышленных предприятий.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.

Во введении обосновывается актуальность проблемы и приведено краткое описание содержания глав диссертации.

В первой главе диссертации проводится системный анализ процедур тестового контроля. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов аттестации персонала.

Вопросам организации обучения персонала с использованием технологий открытого образования посвящены труды Байденко В.И., Гура В.В., Яровенко В.А. и ряда других. Понятия «компетентность», «компетентностный подход» раскрыты в трудах Байденко В.И., Болотова В.А., Ивановой Н.В., Кивы A.A., Лейбовича А.Н., Чаплыгиной И.В. и других. Развитию представлений о роли информационных и коммуникационных технологий в образовании посвящены работы Астафьевой Н.Г., Денисовой А.Л., Кузнецова A.A., Роберт И.В. и ряда других.

Проведенный в работе анализ показал, что единственной теорией, которая строит модель отношения отдельного тестируемого к отдельному заданию - это IRT-теория. В рамках этой теории

каждому заданию приписан уровень сложности и на основе аналитических моделей вводится формализованное описание вероятности правильного выполнения задания с уровнем сложности р тестируемым с уровнем знаний 0 на основе условной вероятности. Проведен анализ аналитических соотношений и показано, что (ИТ-модель может быть использована совместно с регрессионными моделями и моделями классификации.

Вероятность правильного ответа на задание в рамках 1РТ-теории выражается посредством логистической функции:

ехр(а, С©-В,)) Р(У= 1 [ ©,р „а,) =--

где: У - ответ на задание (У-1 , если ответ правильный, У-0, если нет); в - уровень знаний, латентная переменная; Д - уровень сложности ^го задания теста; а].- параметр модели

(дифференцирующая способность ро тестового задания). На рис.1, приведены характеристические кривые вероятности правильного ответа для тестируемых с различным уровнем знаний в зависимости от сложности тестового задания.

(1)

Рис. 1.

3 4 5 6

Истиный уровень

Характеристические кривые тестовых заданий различной сложности

Использование факторного анализа в сравнении с 1ЯТ-теорией имеет свои плюсы и минусы. С одной стороны, необходимо определение множества факторов, что значительно проще в 1РТ-теории и, значит, дает более адекватную модель в случае гомогенного теста. С другой стороны, ни в кластерном, ни в латентно-структурном анализе не определяется численное значение оценки уровня знаний по каждому классу тестируемых.

Вместе с вопросами оценки сложности тестовых заданий необходимо решить задачу формирования меры сложности понятий

ц(с, j ), меры сложности модулей ц(/я, ), меры сложности библиотек модулей |i(Z.) и меры сложности учебных курсов ц(Г), значения которых можно определять автоматически путем анализа графов связности учебного материала и тестовых заданий. В диссертации мера представляет собой взвешенное количество понятий в

наборах С,,у, C(J: n/c„yJ = = Xh,,j+nir где Л.е[0,1] -

весовой множитель. В качестве меры сложности ц2(с;,у) рассматривается высота понятия с,у. 112(с,j) = Ь(с, ¡). В качестве меры используется количество понятий, информационно

связанных в широком смысле с понятием ctj. Очевидно, что если высота понятия си равна единице, то мера ц3(сЛ,) совпадает с мерой ц,(с/;) и ее значение равно нулю.

При разработке процедур компьютерного тестового контроля основной проблемой является оценка эффективности предлагаемых процедур с точки зрения точности оценивания уровня знаний тестируемого. Задача построения процедур и задача моделирования их эффективности тесно связаны друг с другом. На рис.2, представлена взаимосвязь методов и моделей процесса тестового контроля.

Адаптивный механизм предъявления тестовых заданий предполагает выбор каждого последующего задания из базы тестовых задания в зависимости от ответов на все предыдущие. В данном случае формирование алгоритма для описания механизмов предъявления дает большую свободу при построении новых методических принципов.

Предполагается, что база данных имитационной модели содержит все сформированные запросы по вариантам формирования структуры тестовых заданий. Результаты расчетов по желанию пользователя могут быть представлены как в табличной форме, так и в графической форме. Имеется возможность сравнительного анализа выбранных решений и оптимизации распределения при заданных ограничениях.

В общем случае оценивание уровня знаний по результатам ответов на тестовые задания в диссертации рассматривается как задача управления, где на каждом шаге процедуры выбирается очередное задание, обладающее определенной сложностью. При формировании процедуры предъявления заданий варьируется выбор сложности по результатам ответов:

р(п+1) = fiп)(р(1).....р(П)) + ç (П)(р(1)..... ptn)^ (1)

где: р(п) - сложность задания на n-ом шаге процедуры;

го

и ш

0 ш

Я и О"

01 н о 1а о ш

ь ф

СО

н п> о

4 о ш о

"О

о я

Методы гостроения тестов ( Статический )

| Адаптивный

Формализация понятия уровня сложности теста

Виды анализа ( Факторный анализ I !.

( ^Т теория I

Априорные распределения по уровню знаний

Виды анализа Кластерный анализ

Статистическая модель теста

заданий У :)/(7). . (7). . (7). . .

"" Ч 1 „ ' ..,„ п

Уровни сложности _

Задания

Модель группы -входной поток тестируемых

Статистическое сравнение истиного балла и оценки

Латентно-структурный анализ

Вероятностная модель

ответов тестируемого

5 О

Сложность

Оценка эффективности

процесса классификации

Оценка *

Статистическая модель решения теста

тг

I хк, к= 1

хг

1, если задание

решено О,еслизаданеие

Решенные задания

Э]

Уровни сложности

Процедуры классификации по вероятностной модели и выборке решенных задач

Виды анализа

0. . . •■( М '■ ■ ( Байесовская классификация

I Дискр

именантныи анализ

/=<п) - некоторое функциональное преобразование результатов ответов;

£(П)(Р(1>.....р(п>) - случайная величина, моделирующая ответ на п-е

задание.

В результате проведенного анализа показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров.

Во второй главе диссертации рассматриваются вопросы построения функциональных соотношений описания индивидуальных свойств обучаемого, которые базируются на моделях квалификационных характеристик.

С целью осуществления мониторинга уровня сформированности требуемых характеристик специалиста предлагается использовать комплексный показатель качества психолого-индивидуальных

сформированности профессиональных компетенций, Ь - число локальных коэффициентов.

Психолого-индивидуальные компетенции представляют собой способности, развиваемые в профессиональной деятельности под влиянием мотивации, которая может, как усиливать, так и ослаблять потенциальные задатки специалиста. В этой связи необходимо осуществлять постоянный мониторинг мотивационной направленности. Для определения критериев сформированности проводится тестирование выборки специалистов, успешных в своей деятельности. Для визуализации локальных показателей используется их представление в виде профилограммы, где приняты обозначения: А - коэффициент точности внимания; Е - коэффициент продуктивности влияния; КраСп - коэффициент распределения внимания; Ут - коэффициент объема памяти; Кт - коэффициент творческого мышления; Кл - коэффициент логического мышления; Кв Применение такой модели специалиста на основе процессного подхода и методологии «развертывания функции качества» позволяет снизить уровень неопределенности идентификации и мониторинга рассматриваемых компетенций и повысить качество аттестации и переподготовки специалистов.

При формировании оценочной шкалы в работе предлагается использовать тестовые задания различной формы. Прежде всего, задания множественного выбора А={Ат}т=1 м - множество альтернативных вариантов ответов; 2А={гАт}т=1..м, 2Ате{0,1}- вектор правильного выбора (1 - альтернатива входит в выбор, 0 - нет); ТА={ТАт}т=1..м, ТАте{0,1} - вектор выбора тестируемого (1 -альтернатива выбрана, 0 - нет). В качестве расхождения

где Ка - локальные коэффициенты

предлагается использовать обычную равномерную метрику, но нормированную по количеству альтернатив:

4 м

p(ZA,TA)=^--^Z\ZA,-TAi\. (2)

1У1 ы

Для заданий на соответствие и установление правильной последовательности (по оценке правильности они идентичны) введена другая мера. Левая часть задания определяет первоначальную перестановку (без ограничения общности ее можно считать возрастающей) А={Ат}т=1..м - также множество альтернативных вариантов ответов; 2А={7Ат}^1М, 2Ате{1...М} -правильная перестановка; ТА={ТАт}т=1М, ТАте{1...М} - перестановка тестируемого. В данном случае процент правильности предлагается определять на основании:

-1 м

р{2А, ТА) = 1 - - £< ТА, = ТА, > (3)

м /=1

Логическое условие <...=...> принимает значение 1 при равенстве аргументов и 0 в противном случае. Соотношения (2) и (3) дает значение 1 при полном соответствии ответа, 0 - при полном расхождении. Промежуточные значения определяют процент правильности решения тестового задания. Аналогично задаются меры различия для заданий на кластеризацию объектов и др.

Далее в работе рассмотрена схема группового тестирования. Количество участников тестирования различной подготовленности 0„-

обозначим л; / = 1,2.....п. Каждому участнику предлагается один и тот

же вариант теста, состоящий из к заданий различной трудности <5/ /=1,2,..., к. Результат выполнения каждого здания оценивается по дихотомному принципу - ставится единица, если задание выполнено правильно, и ноль, если задание выполнено неверно. Множество всех таких единиц и нулей образует прямоугольную таблицу-матрицу А=(а¿) размерностью п,к.. Ее элемент а,у, стоящий на пересечении /-ой строки и /-го столбца, выражает возможный результат выполнения /-м участником /-го задания. Элементы а,у являются величинами случайными: они принимают значение 1 с вероятностью р,;=р(Экб1), и значение 0 с вероятностью <7,;='/-р,у.

Матрица ответов представляет собой ту исходную информацию, по которой предполагается оценить латентные параметры тестирования - трудности заданий и уровни подготовленности испытуемых. Матрица имеет ярко выраженную вертикальную структуру - количество столбцов к (число заданий в одном тесте) обычно не превышает 60-70, но количество строк п (число участников тестирования) имеет порядок, как правило, нескольких сотен.

Любые статистики, будучи функциями исходных наблюдений, т.е. величин случайных, также являются случайными. Но разброс их возможных значений при повторных выборках значительно меньше разброса; возможных значений отдельных наблюдений. Удобными статистиками при обработке результатов массового тестирования являются частичные суммы элементов матрицы ответов А по каждой строке и по каждому столбцу, то есть числа:

/ = 1'2 >->п (4)

У=1

с;-а;=ХЛ' 7 = 1.2.-.* (5)

1=1

Число Ь, = а,, представляет собой количество верно выполненных заданий участником с номером /' и называется первичным баллом /-го участника. Оно отражает определенную и меру успеха /-го испытуемого при выполнении к заданий данного теста.

Вероятность того, что при наличии к заданий первичный балл участника с N° окажется: а) менее т; б) более т; в) не менее т; г) не более т, - можно найти на основании соотношений, соответственно РЛ(0)+РЛ(1)+... + РЛ(т-1) Рй(т + 1)+Рл(т + 2)+... + Рй(/с) Р1к(т)+Р,-к(т + 1)+... + Рш(к) (Ь)

Если предположить, что все задания теста имеют одинаковый уровень трудности, т.е. б,=5 для \Лот 1 до к и, следовательно, р^=р„

независимо от /.

Вероятность того, что участник тестирования с N° правильно решит задание с N° и, следовательно, (/',_/)—позицию в матрице

ответов А займет 1, определяется формулой

= (7)

где в,- уровень подготовленности /-го участника, - уровень

трудности /-го задания, а -зАг

Вероятность неверного решения и, следовательно, равенства а,у

s-.it, 1 1

нулю равна ай = 1 - р„ = 1--'— =-=-. Выражения

' 1 + 5,-/0 1 + 5,./г 1 + ^

для р,у и (7,у можно записать единой формулой

= если а</ = 1 ,8) 1 + ^ '\ + Sj / tj [Яц, если а у =0

Поэтому вероятность конкретной реализации Л = (а,у) матрицы ответов, определяемая теоремой умножения вероятностей, имеет вид

л _ к

, , п К (с Ц Ъ 1КП'Г'

р*(и=пп^-—; (9)

ППМ",)

1=1 7=1

Последнее выражение показывает, что рассматриваемая вероятность зависит от элементов а,у матрицы ответов А только через ее частичные суммы Ь, = а,,с 1 = а,по строкам и по столбцам. Поэтому первичные баллы участников тестирования и заданий теста являются достаточными статистиками для искомых параметров я, и /у

соответственно (/ = 1,2.....п; ] = 1,2.....к). Следовательно, при

оценивании параметров можно вместо пк элементов матрицы ответов оперировать лишь с первичными баллами, общее количество которых равно п+к. При этом количество исходных чисел уменьшается в десятки раз без какой-либо потери информации.

Статистические оценки уровней подготовленности всех участников тестирования, набравших одинаковое количество первичных баллов, совпадают, поскольку являются функциями равных достаточных статистик.

Пусть тест содержит к= 20 заданий различной трудности, а р обозначает усредненную вероятность правильного решения одного задания этого теста. Тогда участников тестирования с различным уровнем подготовленности 0;,- можно классифицировать по величине соответствующей вероятности р, =р(01,б). Будем условно называть уровень подготовленности очень слабым, если р,<0,3; слабым, если 0,3^р,20,55; средним, если 0,55<р,^0,75; хорошим, если р,>0,75.

Табл.1, содержит вероятности Рш(т<Ь<к) того, что участники тестирования различного уровня наберут количество первичных баллов Ь не менее т=1,2,...,20.

Тест имеет закрытую форму, если его задания сопровождаются несколькими (обычно пятью) вариантами ответа, из которых только один является верным, а остальные лишь правдоподобны. В таком случае вероятность р=0,2 соответствует бездумному угадыванию ответа. Однако, как показывает таблица, получить при этом первичный балл выше 7-8 практически не представляется возможным. Предполагается, что наименьшее количество баллов, соответствующее ситуации "зачет", равно 12. Такой барьер, согласно анализу таблицы, невозможно преодолеть без знания материала. При этом высокий балл (18 и выше) сумеют получить, по прогнозу, только хорошо подготовленные участники тестирования.

Первичные баллы в результате тестирования являются величинами случайными. При реальном количестве числа к заданий в тесте их распределение приближенно к нормальному распределению. Поэтому доверительный интервал для них можно построить с помощью следующего соотношения

ф-М(Ь]<г}=2Ф

4т)

(10)

Таблица 1.

т Уровень подготовленности

Очень слабый Слабый Средний Хороший

р=0.2 р=0.3 р=0.4 р=0.5 р=0.6 р=0.7 р=0.8 р=0.9

1 0.99 1.00 1.00 1.00 1.00 1.00 1.00 1.00

2 0.90 0.98 1.00 1.00 1.00 1.00 1.00 1.00

3 0.72 0.95 1.00 1.00 1.00 1.00 1.00 1.00

4 0.5 0.85 0.98 1.00 1.00 1.00 1.00 1.00

5 0.29 0.70 0.92 0.99 1.00 1.00 1.00 1.00

6 0.13 0.50 0.83 0.97 1.00 1.00 1.00 1.00

7 0.05 0.31 0.69 0.92 1.00 1.00 1.00 1.00

8 0.01 0.16 0.50 0.82 0.98 1.00 1.00 1.00

9 0.00 0.07 0.32 0.68 0.92 1.00 1.00 1.00

10 0.00 0.03 0.18 0.50 0.83 0.98 1.00 1.00

11 0.00 0.01 0.09 0.33 0.69 0.95 1.00 1.00

12 0.00 0.00 0.03 0.19 0.50 0.85 0.99 1.00

13 0.00 0.00 0.01 0.09 0.32 0.70 0.95 1.00

14 0.00 0.00 0.00 0.04 0.18 0.50 0.87 1.00

15 0.00 0.00 0.00 0.01 0.09 0.31 0.71 0.99

16 0.00 0.00 0.00 0.00 0.03 0.16 0.50 0.93

17 0.00 0.00 0.00 0.00 0.01 0.07 0.29 0.77

18 0.00 0.00 0.00 0.00 0.00 0.03 0.13 0.50

19 0.00 0.00 0.00 0.00 0.00 0.01 0.05 0.23

20 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.07

Здесь М(Ь) - математическое ожидание и й(Ь) - дисперсия, а г -любая положительная константа, определяющая длину доверительного интервала 2е и Ф - функция Лапласа. Более точная оценка получается на основе соотношений Р1к {т, < М(Ь,) < т2} = с/,,,

при

т, =-

к ( I2

В; +—

к + 12 2

К.

к / I2

в, + —

к + 12 2

Н7)

+— 2

где: I - значение аргумента функции Лапласа, при котором 2Ф(1)=с1; Ф уровень значимости интервала (т1,т2).

В третьей главе диссертации рассматриваются вопросы построения программно-моделирующей среды компьютерного тестового контроля в системе аттестации персонала.

Первичным при формировании теста, является конструирование тестового задания. В работе предлагается формализованное описание методики конструирования тестовых заданий, с использованием разработанного с участием автора конструктора тестовых заданий, который имеет следующие функциональные компоненты:

• графический редактор формирования структуры задания;

• формирование схемы разбора ответа;

• параметризация выполнения задания;

• подсистема генерации Р1аз1"1-файла тестового задания.

Функции графического редактора используются для создания

графического образа с интерактивными полями.

С={С}р1.| - множество неактивных графических образов (картинка, формула и т.п. все что делается в других инструментальных средствах, текст, линия, стрелка и т.п., непосредственные функциональные возможности рисования в конструкторе);

N/={N/¡>¡=1^ - множество полей ввода для заданий открытого типа; - множество полей захвата;

А={Ат}т=1М - множество альтернативных вариантов ответов.

Формирование схемы разбора правильности ответа вводит понятия позиций, которые связаны с множествами 7. и А. Обозначим -Рг и Рд. Множество действий О.

- <А^Ра> - перетаскивание поля альтернативы;

Ог -<А| -> РА|> - изменение положения альтернативы;

й3 -<=> \/л> - ввод текста;

й4 -<ОК> - подтверждение завершения задания.

Введенные формализации позволяют представить все известные типы тестовых заданий, а также их расширения. Правильность действий формализуется на основе задания конечного автомата. (Рис.3.)

В случае жесткой последовательности он представляет собой вырожденный случай, где дуги помечаются либо некоторым действием (<А|-»Ра>,<^\/Л>) либо его отрицанием (-.< А;->Ра>, -,<=>'\/А|>).

Детерминированный конечный автомат (ДКА) представляет собой

пятерку - (хХб.у^я) , где: Х - конечный алфавит входных символов, У - конечное множество состояний, 6:У—*У - функция переходов, у0 еУ - начальное состояние, ГеУ - множество допускающих

состояний. Расширенная функция переходов 5 сопоставляющая новое состояние текущему состоянию и цепочке символов, определяется индуктивно следующим образом:

Уу 6 г(з{е,у) = у), УуеУУ^е X' V* е х{б($с,у)= ¿{хД^у))) (12)

Если то есть, стартуя в начальном состоянии и

обработав цепочку £ автомат оказывается в одном из допускающих состояний. Ниже приведено автоматное описание работы проигрывателя тестов.

Проигрыватель - Р = <Э, Е, А, Т, Я 5,>. Состояния - 5 = {Эь Б2, Эз, 34, Бц, Бб1

где: — останов; 32 — проигрывание фрагмента; 83 — пауза;

— отображение списка фрагментов в режиме ручной паузы; 35 — отображение списка фрагментов в режиме автоматической паузы; 56

— отображение списка фрагментов в режиме останова.

Начальное состояние - 5, = 8, Множество конечных состояний - = {Э^

События (входной алфавит): Е = {Еи Ег, Е3, Е4, Е5, Е6, Е7, Еа, Е9, Ею}, где: Е1 — инициация начала или продолжения предъявления текущего фрагмента; Е2 — инициация приостановки предъявления текущего фрагмента; Е3 — инициация завершения предъявления текущего фрагмента; Е4 — инициация перехода к предыдущему фрагменту; Е5 — инициация перехода к следующему фрагменту; £6 — инициация отката на один шаг назад по треку предъявления фрагментов; Е7 — инициация произвольного доступа к фрагменту; Ев

— наступление времени принудительного завершения предъявления текущего фрагмента; Еэ — инициация открытия окна со списком фрагментов; Е10— инициация закрытия окна со списком фрагментов.

Действия (выходной алфавит): А = {А^ А2, А3, А4, А5, Ав, А7} А1 — определение очередного фрагмента для проигрывания; А2

— начало сбора статистики и запуск проигрывания фрагмента; А3 — приостановка проигрывания фрагмента и приостановка сбора статистики; А4 — возобновление проигрывания фрагмента и возобновление сбора статистики; А5 — останов проигрывания

фрагмента и завершение сбора статистики; Аб — открытие списка фрагментов; А7 — закрытие списка фрагментов.

Функция переходов Тф, Е,) = {<(Ак)к=1Х, Зт>т=1..у} ставит в соответствие каждой паре <состояние, событие> некоторую последовательность действий, которые проигрыватель выполняет при переходе в новое состояние, и само новое состояние (рис.4.).

• метод оценки вероятностей ошибочной классификации;

• ... (моделирующие алгоритмы)

• метод переоценки сложности тестовых заданий;

• язык формирования последовательности тестовых заданий;

• приложение компиляции языка;

• приложение разбора структуры гетерогенного теста;

• визуализация результатов тестового контроля и другие.

Приложение компиляции языка последовательности формировании механизма предъявления тестовых заданий основано на формализованном описании рекуррентной схемы:

р(п+1) _ /гМф^з'1',..., р<">, s(n)) + 4<П)(Р(1), S(1).....p(n), S(n)), (13)

S(n+1) = Fs(n)( p(1)]S(1).....pW д(п)) + p(1))S(1).....p(n)_ S(n))^ (14)

где p(n) - сложность задания на n-ом шаге процедуры; Fp(n), Fjn) -некоторые функциональные преобразование результатов ответов; 4(П)(Р<1',..., Р(п>) - результат решения задания в системе контроля либо случайная величина, моделирующая ответ на n-е задание в системе моделирования (1 - задание решено, 0 - не решено).

Реализован компилятор языка рекуррентных последовательностей (синтаксис эквивалентен заданию рекуррентных последовательностей в MathCad). Так, например операторы:

b(k+1):=b(k)+SIGN(x-0,5); S(k+1):=RAND (15)

Будут определять выбор следующего задания на единицу большей сложности в случае правильно ответа, и на единицу меньше в случае неправильного из случайно выбранного направления. Такой синтаксис вполне доступен методистам, не имеющим серьезной компьютерной подготовки.

В основу принципа адаптивного интерфейса проигрывателя тестов положено следующее правило: все визуализируемые области и элементы управления последовательностью выбора учебного материала могут, как присутствовать, так и отсутствовать при работе с программным приложением. При просмотре лекций, выполнении практикумов и прохождении тестирования в качестве элементов визуализации присутствуют следующие типы областей:

визуализируемые области>::=<линейка>, <область визуализации фрагмента^ <индикатор времени>, <список фрагментов>, <название фрагмента^ <текст фрагментам «сообщение об отсутствии фрагмента>

В качестве элементов управления определены: «управляющие элементы>::=<вперед>, <назад>, <переход>, <возврат>

При таком подходе при подготовке сценария прохождения курса для каждого учебного элемента может быть определен собственный набор, элементов управления и визуализации, доступных пользователю. Проведя анализ возможных комбинаций элементов можно сделать вывод, что практически для каждой ситуации найдется

сценарий, имеющий положительные моменты от их наличия, либо отсутствия:

<учебный элемент>::=<тип учебного элементам (по умолчанию) [<наличие элемента <вперед>>], (да) [<наличие элемента <назад>>], (да) [<наличие элемента <переход>>], (да) [<наличие элемента <возврат>>], (да) [<наличие элемента <линейка>>], (да) [<алгоритм>], (нет) [<режим учета времени>] (нет) Аналогично наличию/отсутствию управляющих элементов возможна настройка реализации некоторого события по окончанию временного интервала:

<тип учебного элемента>::=<лекция>|<тест>|<практикум> <алгоритм>::=<последовательный>|<адаптивный>. При программной реализации всех компонентов системы была выдержана автоматная схема переходов, что позволят достаточно просто наращивать функциональные возможности системы. Концептуальная схема создания программного комплекса имеет еще одну особенность. Все пользовательские приложения, а именно: администратор, консультант, методист и обучаемый, формируются из самостоятельных фреймов, что позволяет в каждом конкретном случае настаивать всю пользовательскую конфигурацию.

Для адаптивного алгоритма с постоянным шагом в работе проведен анализ ошибочной классификации (по сравнению со статическим планом). В табл.2. приведены вероятности безошибочной классификации для каждого значения уровня знаний в семибальной шкале.

Таблица 2.

Сравнительный анализ статического и адаптивного алгоритма

""^^^Класс План^^^ 1 2 3 4 5 6 7

Статический 0,822 0,700 0,775 0,636 0,757 0,686 0,829

Адаптивный 0,906 0,821 0,818 0,803 0,813 0,804 0,910

Из таблицы видно, что вероятность правильной классификации для адаптивного алгоритма выше при всех значениях «уровня знаний». Поведены эксперименты для различного количества уровней шкалы и различного количества предъявляемых заданий. Показан существенный выигрыш адаптивных алгоритмов для большего количества уровней. Для апробации модели оценки на основании марковской цепи (рис.5.) разработана имитационная модель, которая позволяет получить выборочные траектории последовательности предъявления сложностей тестовых заданий.

Рис.5. Процедура генерации марковской цепи

При этом гетерогенные адаптивные тесты со случайным выбором очередного тестового задания строятся по одной общей схеме на основе исполняемых фрагментов и списков переходов между фрагментами. Исполняемый фрагмент является гибким средством расширения возможностей проигрывателя, предоставляющим минимальный достаточный функционал, необходимый для решения определенных задач в любой конкретный момент. Помимо реализации дополнительных алгоритмов исполняемые фрагменты позволяют организовать: работу с внешними файлами, обмен данными по сети, запуск внешних приложений, взаимодействие с внешними приложениями (обмен данными, использование сервисов) посредством 01_Е-автоматизации или других технологий и другие возможности, т.е. позволяют расширять возможности проигрывателя, как на системном, так и на прикладном уровне.

В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процесса аттестации персонала. Система реализована в виде отдельного программного приложения. Программный комплекс разработан по открытому принципу, что позволяет наращивать его функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы.

Разработанная инструментальная среда имеет модульную структуру.

остальных компонент (например, изменения сразу отображаются в редакторе сцены).

Модуль проектирования решения визуализирует граф решения. Позволяет задавать последовательность действий для правильного решения теста, указывать какие действия можно совершать параллельно. На основе данных графа модуль строит регулярное выражение, задающее класс правильных ответов на тест.

Модуль скриптов теста позволяет добавить программные обработчики к тесту. Обработчики пишутся на языке программирования JavaScript. Обработчики динамически подключаются к тесту на этапе выполнения. Они позволяют реализовать любую функциональность теста, графическое задание которого было бы затруднительно (например, пересчет некоторых параметров при определённых действиях пользователей).

Модуль упаковки теста позволяет собрать XML документ теста вместе со всеми ресурсами и библиотеками в единую структуру, готовую для сохранения в базе данных и распространению конечным пользователям.

Модуль проигрывания теста позволяет запустить тест в режиме проигрывания. Все действия пользователя автоматически записываются для дальнейшего анализа.

Модуль обработки ответа пользователя проверяет правильность действий пользователя при прохождении теста и сравнивает его на совпадение с регулярным выражением, задающим правильный ответ теста.

Данные модуля построения сцены поступают в модуль проектирования решения, далее происходит компоновка всех объектов теста в модуле упаковки теста и тест готов к проигрыванию в модуле проигрывания теста. Результаты проигрывания поступают в модуль обработки решения.

Разработанной методикой была предусмотрена классификация 100 вопросов опросника по следующим группам сложности и видам:

• 3 группы сложности: базовые вопросы; вопросы повышенной трудности; трудные вопросы.

• 2 вида вопросов: теоретические и практические.

• Предварительная количественная оценка результатов экзамена.

Расчет «сырого» балла по темам проводился по формуле:

ЗУН тс = [(Sq, * k,): ЗУН т тахс ] * 100. (16)

где q, - количество правильных i - х ответов по т- му подразделу; т = 1 ... 21;

к; - коэффициент значимости i -го вопроса;

ЗУН т тах° - максимально возможное значение «сырого» балла, получаемого при условии правильного ответа на все вопросы т- го подраздела. Коэффициенты значимости по вопросам установлены в зависимости от группы сложности следующим образом:

Таблица 3.

Группа сложности Коэффициент значимости

Базовый вопрос 0,8

Вопрос повышенной трудности 1,0

Трудный вопрос 1,4

Окончательный балл рассчитывался с учетом условий проведения экзамена работников (необходимости адаптации).

Для расчета окончательных баллов соответствующие «сырые» баллы корректировались на повышающий коэффициент К=1,2:

• по темам ЗУН т = ЗУН тс *1,2

• по блокам ЗУН 6 = ЗУН бс *1,2

• итоговый ЗУН и = ЗУН ис *1,2

Для изучения зависимости между возрастом работников и их уровнем системных профессиональных знаний, работники были разделены на 5 возрастных групп: до 25 лет, 26-30 лет, 31-40 лет, 4150 лет, старше 50 лет. Анализ распределения работников по возрастным группам (рис.6) показал, что наиболее многочисленными являются группы сотрудников в возрасте 41-50 лет (45%) и в возрасте 31-40 лет (31%). Самой малочисленной является группа сотрудников в возрасте до 25 лет (3%) (рис.6.).

Количественное соотношение работников по возрастным группам

Процентное соотношение работников по возрастным «ИеруптЗДя 11%

41-М старая 60

□ до 25 лет

■ 26 - 30 лет

□ 31-40 лет

□ 41-50 лет

■ старше 50 лет

Рис. 6 Распределение работников по возрастным группам

Для определения зависимости между уровнем системных профессиональных знаний работников и их возрастом был проведен корреляционный анализ. Результаты свидетельствуют о наличии слабой обратной связи между возрастом работника и его уровнем системных профессиональных знаний, которые были определены по

результатам аттестации, как по отдельным блокам, так и по финансово-экономическому блоку в целом. Наибольшее значение коэффициента корреляции по модулю наблюдается по финансово-экономическому блоку в целом (-0,28), что, тем не менее, свидетельствует о наличии очень слабой обратной зависимости между возрастом работников и их уровнем системных профессиональных знаний.

Следует отметить, что в рамках отдельных блоков знаний наибольшие по модулю значения коэффициента корреляции наблюдаются по блокам «Управление финансами» и «Экономика»; наименьшее значение - по блоку «Бухгалтерский учет и аудит», что говорит практически о полном отсутствии связи между возрастом работников и их уровнем системных профессиональных знаний.

Основные выводы и результаты работы

1. Проведен системный анализ процедур тестового контроля. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов аттестации персонала, которые позволяют повысить эффективность системы аттестации персонала промышленных предприятий.

2. Показано, что адаптивный механизм предъявления тестовых заданий обеспечивает выбор каждого последующего задания из базы тестовых задания в зависимости от ответов на все предыдущие, что дает большую свободу построения новых методических принципов тестового контроля.

3.Для осуществления мониторинга уровня сформированности требуемых характеристик специалиста в диссертации предлагается использовать комплексный показатель . качества психолого-индивидуальных компетенций включающий локальные коэффициенты сформированности профессиональных компетенций, что позволяет более дифференцированно подойти к оценке уровня знаний.

4. Рассмотрена схема группового тестирования с произвольным количеством участников различной подготовленности. При этом матрица ответов представляет собой ту исходную информацию, по которой предполагается оценить латентные параметры тестирования, а именно, трудности заданий и уровни подготовленности испытуемых одновременно, что повышает адекватность моделей тестового контроля.

5. Дается формализованное описание методики конструирования тестовых заданий, с использованием разработанного конструктора тестовых заданий, который имеет следующие функциональные компоненты: графический редактор формирования структуры задания;

формирование схемы разбора ответа; параметризация выполнения задания; подсистема генерации Flash-файла тестового задания.

6. Предложенный в работе круг вопросов организации тестового контроля охватывает основные аспекты моделирования, оценки эффективности и непосредственного контроля, что решается путем создания совокупности сценариев, включающих: метод оценки вероятностей ошибочной классификации; метод переоценки сложности тестовых заданий; язык формирования последовательности тестовых заданий и другие приложения.

7. Сформированы требования к реализации программно-моделирующего комплекса тестового контроля и аттестации персонала предприятий промышленности и транспортного комплекса. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде предприятий, а также используются в учебном процессе на кафедре АСУ МАДИ.

Публикации по теме диссертационной работы

Статьи в журналах ВАК:

1. Свободин В.Ю. Оценка эффективности процедур адаптивного тестового контроля / Строганов Д.В., Свободин В.Ю., Ягудаев Г.Г., Сычева Н.В. Наука и образование: Электронное научно-техническое издание. № 10 (Режим доступа: DOI: 10.7463/1112.0506146 http://technomag.edu.ru). - М.: МГТУ им. Баумана, 2012.

Статьи в сб. науч. тр. и других изданиях:

2. Свободин В.Ю. Структура инструментальных средств системы поддержки принятия решений / Власов A.B., Свободин В.Ю., Толкаев Е.Ю., Белоус В.В. // Модели и методы управления сложными техническими системами: сб. науч. тр. МАДИ. - М.: МАДИ, 2010. - С. 104-110.

3. Свободин В.Ю. Использование нечетких множеств при определении количественных оценок связности учебного материала / Николаев А.Б., Ягудаев Г.Г., Карташев М.И., Ульянова А.И., Свободин В.Ю. // Интерактивные технологии моделирования и управления: сб. науч. тр. МАДИ № 2/46. - М.: МАДИ, 2010. - С. 128-134.

4. Свободин В.Ю. Анализ базовых моделей связности учебного материала / Строганов В.Ю., Карташов М.И., Ульянова А.И., Свободин В.Ю. // Оптимизация решений в промышленности, строительстве и образовании: сб. науч. тр. МАДИ № 1/45. - М.: МАДИ, 2010. - С. 49-52.

5. Свободин В.Ю. Модель генерации образовательной траектории / Строганов В.Ю., Карташов М.И., Ульянова А.И., Свободин В.Ю. // Оптимизация решений в промышленности, строительстве и образовании: сб. науч. тр. МАДИ № 1/45. - М.: МАДИ, 2010. - С. 53-61.

6. Свободин В.Ю. Анализ принципов формирования хранилищ данных / Котов A.A., Сатышев С.Н., Свечников A.A., Свободин В.Ю. // Автоматизация систем поддержки управленческой деятельности: сб. науч. тр. МАДИ. - М.: МАДИ, 2011. - С. 33-37.

Подписано в печать: 23.11.2012 Тираж 100 экз. Заказ №950 Отпечатано в типографии «Реглет» г. Москва, Ленинградский пр-т д.74 (495)790-74-77 www.reglet.ru

Оглавление автор диссертации — кандидата технических наук Свободин, Виталий Юрьевич

ВВЕДЕНИЕ.

1. АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ УПРАВЛЕНИЯ ПРОЦЕССОМ АТТЕСТАЦИИ ПЕРСОНАЛА.

1.1. Проблемы кадрового обеспечения предприятий промышленности и транспортного комплекса.

1.2. Педагогические принципы контроля и диагностики.

1.2.1. Функции и методы контроля.

1.2.2. Классификация педагогических тестов.

1.3. Методики построения шкалы оценки уровня знаний.

1.3.1. Принципы построения шкал в задачах тестового контроля.

1.3.2. Формализованные модели классификации обученности.

1.3.3. Унифицированная дидактическая классификация.

1.4. Математическое моделирование процедур тестового контроля.

1.4.1. Основные принципы классической теории тестового контроля.

1.4.2. Формальные модели ЖТ-теории тестового контроля.

1.4.3. Факторный, латентно-структурный и кластерный анализ в системе моделирования процедур тестового контроля.

Выводы по главе 1.

2. ПОСТРОЕНИЕ МОДЕЛЕЙ КЛАССИФИКАЦИОННЫХ ХАРАКТЕРИСТИК И ОЦЕНОЧНЫХ ШКАЛ СИСТЕМЫ ТЕСТОВОГО КОНТРОЛЯ.

2.1. Модель дифференцированной оценки сложности тестового задания.

2.2. Параметризация логистических моделей Раша и Бирнбаума.

2.3. Формирование матрицы ответов и первичных баллов.

2.4. Формирование достаточных статистик оценки уровня знаний.

2.5. Редукция матрицы ответов.

2.6. Разработка моделей преобразования бальных шкал.

Выводы по главе 2.

3. РАЗРАБОТКА ПРИНЦИПОВ КОНСТРУИРОВАНИЯ ТЕСТОВЫХ ЗАДАНИЙ И ФОРМАЛИЗАЦИЯ КОМПОНЕТОВ СИСТЕМЫ АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ.

3.1. Построение формализованной модели тестового контроля.

3.2. Принципы разработки тестовых заданий и формирование требований к инструментальной среде их конструирования.

3.2.1. Разработка методических правил проектирования тестовых заданий

3.2.2. Формализованное описание механизмов формирования тестового задания.

3.3. Формализованная марковская модель поведения адаптивного алгоритма91 3.3.1. Построение марковской цепи процесса адаптивного тестового контроля

3.3.2. Сходимость стационарных вероятностей при увеличении дискретизации шкалы уровня сложности.

3.3.3. Плотность распределения сложности тестовых заданий.

3.3.4. Плотность распределения для функций регрессии с постоянной дисперсией и постоянным коэффициентом вариации.

Выводы по главе 3.

4. ПРОГРАММНО-МОДЕЛИРУЮЩИЙ КОМПЛЕКС И АПРОБАЦИЯ

СИСТЕМЫ АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ.

4.1. Проектирование структуры программного комплекса и интерфейса баз данных.

4.1.1. Функции пользователей системы тестового контроля.

4.1.2. Организация диалога в системе тестового контроля.

4.2. Структура базы данных системы тестового контроля.

4.3. Анализ результатов аттестации по возрастным группам сотрудников.

4.3.1. Анализ зависимости по финансово-экономическому блоку.

4.3.2. Анализ зависимости между результатами аттестации и возрастными категориями сотрудников по блокам.

Выводы по главе 4.

Введение 2012 год, диссертация по информатике, вычислительной технике и управлению, Свободин, Виталий Юрьевич

Для достижения данной цели в работе решаются следующие задачи:

• разработка механизмов формирования тестовых заданий и требований к программной инструментальной среде;

• разработка программно-моделирующего комплекса конструирования тестовых заданий и тестов.

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и классический теоретико-множественный аппарат. Расчет вычислительных экспериментов выполнен в пакетах Зга^эПса и МаШСаё. При разработке моделей компонентов системы тестового контроля и аттестации использовались методы математического программирования, теории случайных процессов, имитационного моделирования и др.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.

При разработке процедур компьютерного тестового контроля основной проблемой является оценка эффективности предлагаемых процедур с точки зрения точности оценивания уровня знаний тестируемого. Адаптивный механизм предъявления тестовых заданий предполагает выбор каждого последующего задания из базы тестовых задания в зависимости от ответов на все предыдущие. В данном случае формирование алгоритма для описания механизмов предъявления дает большую свободу при построении новых методических принципов.

Во второй главе диссертации рассматриваются вопросы построения функциональных соотношений описания индивидуальных свойств обучаемого. которые базируются на моделях квалификационных характеристик.

С целью осуществления мониторинга уровня сформированное™ требуемых характеристик специалиста предлагается использовать комплексный показатель качества психолого-индивидуальных компетенций, где учитываются локальные коэффициенты сформированности профессиональных компетенций, число локальных коэффициентов.

Психолого-индивидуальные компетенции представляют собой способности, развиваемые в профессиональной деятельности под влиянием мотивации, которая может, как усиливать, так и ослаблять потенциальные задатки специалиста. В этой связи необходимо осуществлять постоянный мониторинг мотивационной направленности. Для определения критериев сформированности проводится тестирование выборки специалистов, успешных в своей деятельности. Для визуализации локальных показателей используется их представление в виде профилограммы, где отображаются коэффициент точности внимания; коэффициент продуктивности влияния; коэффициент распределения внимания; коэффициент объема памяти; коэффициент творческого мышления; коэффициент логического мышления; Применение такой модели специалиста на основе процессного подхода и методологии «развертывания функции качества» позволяет снизить уровень неопределенности идентификации и мониторинга рассматриваемых компетенций и повысить качество аттестации и переподготовки специалистов.

В третьей главе диссертации рассматриваются вопросы построения программно-моделирующей среды компьютерного тестового контроля в системе аттестации персонала. Первичным при формировании теста, является конструирование тестового задания. В работе предлагается формализованное описание методики конструирования тестовых заданий, с использованием разработанного с участием автора конструктора тестовых заданий, который имеет следующие функциональные компоненты: графический редактор формирования структуры задания; формирование схемы разбора ответа; параметризация выполнения задания; подсистема генерации Р1азЬ-файла тестового задания. Функции графического редактора используются для создания графического образа с интерактивными полями.

Круг задач тестового контроля, охватывающий основные аспекты моделирования (для методиста с целью оценки его эффективности) и непосредственного контроля, решается путем создания совокупности сценариев, включающих: метод оценки вероятностей ошибочной классификации; .(моделирующие алгоритмы); метод переоценки сложности тестовых заданий; язык формирования последовательности тестовых заданий; приложение компиляции языка; приложение разбора структуры гетерогенного теста; визуализация результатов тестового контроля и другие.

Модуль построения сцены ответственен за визуализацию расположения объектов на сцене и задание свойств объектов. Содержит основные компоненты: инспектор компонент, инспектор свойств выделенного компонента, редактор сцены, палитра компонент. Эти компоненты взаимосвязаны друг с другом, таким образом, что изменения свойства объекта в одном компоненте (например, в инспекторе свойств) немедленно влечет обновление остальных компонент (например, изменения сразу отображаются в редакторе сцены). Модуль проектирования решения визуализирует граф решения. Позволяет задавать последовательность действий для правильного решения теста, указывать какие действия можно совершать параллельно. На основе данных графа модуль строит регулярное выражение, задающее класс правильных ответов на тест. Модуль скриптов теста позволяет добавить программные обработчики к тесту. Обработчики пишутся на языке программирования JavaScript. Обработчики динамически подключаются к тесту на этапе выполнения. Они позволяют реализовать любую функциональность теста, графическое задание которого было бы затруднительно (например, пересчет некоторых параметров при определённых действиях пользователей). Модуль упаковки теста позволяет собрать XML документ теста вместе со всеми ресурсами и библиотеками в единую структуру, готовую для сохранения в базе данных и распространению конечным пользователям. Модуль проигрывания теста позволяет запустить тест в режиме проигрывания. Все действия пользователя автоматически записываются для дальнейшего анализа. Модуль обработки ответа пользователя проверяет правильность действий пользователя при прохождении теста и сравнивает его на совпадение с регулярным выражением, задающим правильный ответ теста.

В заключении представлены основные результаты работы.

В приложении приводятся акты внедрения результатов диссертационной работы.

• модели формирования бальных шкал и оценок квалификационных характеристик;

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов обучения и тестового контроля ряда образовательных учреждений, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в учебных центрах предприятий транспортного комплекса.

Научные результаты, полученные в диссертации, доведены до практического использования на транспортных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки учебных программ и процедур тестового контроля.

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2009-2012гг.);

• на заседании кафедры АСУ МАДИ.

Совокупность научных положений, идей и практических результатов исследований в области автоматизации образовательного процесса составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля и аттестаций сотрудников транспортных предприятий.

По результатам выполненных исследований опубликовано 7 печатных работ.

Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 132 страницах машинописного текста, содержит 37 рисунков, 19 таблиц, список литературы из 123 наименований и приложения.

Заключение диссертация на тему "Автоматизация и управление процессом аттестации персонала промышленных предприятий на основе квалификационных характеристик и результатов адаптивного тестирования"

Выводы по главе 3

1. Разработаны правила и принципы конструирования создания тестовых заданий. Сформированы требования к инструментальной среде создания интерактивных тестовых заданий с единых позиций автоматной схемы разбора корректности выполнения.

2. Разработан метод оценки весов для уровня сложности тестовых заданий, входящих в статический тест на базе процедур дискриминантного анализа. Проведен анализ влияния коррелированное™ ответов на веса сложности и разделяющую константу при классификации.

3. Разработана имитационная модель оценки матрицы ошибочных классификаций, параметризация которой включает размерность шкалы сложности, планы теста и механизмов предъявления, количественный состав группы тестируемых.

4. Построена марковская цепь процесса адаптивного тестового контроля, состояниями которой являются сложности заданий, а переходные вероятности определяются на основе логистической функции. Получены аналитические соотношения стационарных вероятностей цепи и показана их взаимосвязь с функцией уровня знаний.

4. ПРОГРАММНО-МОДЕЛИРУЮЩИЙ КОМПЛЕКС И АПРОБАЦИЯ СИСТЕМЫ АДАПТИВНОГО ТЕСТОВОГО КОНТРОЛЯ

В главе разрабатываются принципы создания программного комплекса поддержки процедур формирования тестовых заданий и алгоритмов адаптивного тестового контроля в системе переподготовки персонала транспортных предприятий. Приведена структура программного комплекса, построена инфологическая модель базы данных.

4.1. Проектирование структуры программного комплекса и интерфейса баз данных

При разработке структуры программного комплекса основной задачей было создание открытой системы с адаптивным интерфейсом и возможностью организации информационных связей с другими инструментальными средствами поддержки системы обучения по комбинированным технологиям.

4.1.1. Функции пользователей системы тестового контроля

При реализации функций системы выделим классы пользователей системы: администратор (А), методист (М), консультант (Р) и обучаемый (О). Все эти категории пользователей отличаются по их отношению к учебным материалам (и), которые определяют совокупность неделимых единиц учебной информации, соответствующих структуре знаний специализации, и тестовым заданиям (Т), которые необходимы для контроля уровня знаний обучаемых. Все указанные категории пользователей работают в одном информационном пространстве. Кроме того, руководители предприятий должны иметь возможность оперативного просмотра результатов переподготовки, что приводит к задаче сопряжения с системой мониторинга.

Аттестация сотрудников, как один из инструментов управления персоналом, позволяет вырабатывать управленческие решения и решать вопросы не только управления кадрами, но и стратегического управления, планирования и развития.

Аттестации сотрудников транспортных предприятий представляют собой целенаправленный интерактивный, асинхронный процесс взаимодействия субъектов и объектов обучения между собой и со средствами обучения Общепринятыми компонентами системы аттестации являются подсистемы, целей обучения, содержания обучения, методов обучения, средств обучения. организационных форм обучения. а также идентификационно-контрольная, учебно-материальная, финансово-экономическая. нормативно-правовая, маркетинговая подсистемы Эффективность может быть достигнута лишь за счет вложенной в систему адаптивности, гибкости, модульности, параллельности, технологичности и др

4.1.2. Организация диалога в системе тестового контроля

Обеспечение рационального диалогового взаимодействия в адаптивной сис1еме тестового контроля достигается на основе выделения множества парамефов диалога, существенных с точки зрения, как процесса компыоюрного тестирования, так и психологически оптимальных условий общения

Сфера применения диалога охватывает процесс разработки ППТЗ, ППТ и технологий компьютерного тестирования Реально компьютерный тестовый диалог нацелен на получение либо классификации испытуемых по уровням их подготовки, либо, на оценку уровня достижений тестируемых из заданного класса Определение сферы применения диалога означает ппанирование того, какие по трудное I и ППТЗ разрешается системе предъявлять испытуемым.

По функции различают основной и вспомогательный диалог Основной диалог 01 носится к взаимодействию испытуемого с тестирующей системой и реализует требуемый результат тестового контроля. Вспомогательный диалог (метадиалог) предназначен для понимания компьютерного текста вводимого разработчиком ППТЗ, модификации, выбора и накопления банка заданий.

Вспомогательный диалог инициируется тестирующей системой с целью уточнения сообщения разработчика ППТЗ и администратора системы - это так называемый метадиалог. Для облегчения вспомогательного диалога используется выбор из меню. Чтобы обеспечить реципиентам разработку и ввод ППТЗ используются специальные символы, располагаемые в верхней части экрана (окна).

Различают два вида адаптации компьютерного диалога: адаптация к ситуации выполнения ППТЗ и адаптация к испытуемому.

Адаптация системы учебной ситуации означает, что сообщения, которые испытуемый вводит в компьютер, анализируется в контексте решения учебной задачи, причем каждое сообщение испытуемого соотносится заложенной в программу соответствующим ответом. На основе анализа качества ответов принимается решение о соответствующем тестирующем воздействии.

Адаптация диалога к испытуемому (индивидуализация) осуществляется при наличии в системе модели конкретного испытуемого, и компьютер выдает контролирующее воздействие с ее учетом.

Индивидуализация диалога может осуществляться на нескольких уровнях. Первый уровень - учет истории ответов данного объекта, т.е. накопление и анализ данных по успешности его деятельности при выполнении ППТЗ, статистика его ошибок и выдача последующих контролирующих воздействий с учетом этой статистики. Модель испытуемого, реализованная в такой программе, весьма примитивна, поскольку в ней представлен только один чисто результативный параметр его учебной деятельности.

Следующий уровень предполагает обогащение модели испытуемого с учетом множества параметров его деятельности (стиль познавательной деятельности и т.п.)

Важнейшим параметром диалога, реализуемого тестирующей системой, является уровень его педагогической направленности. Такая направленность наблюдается в ситуациях, когда тест ориентирован на предметную экранную область, т.е. его цели не выходят за пределы выполнения теста и считается достигнутым, если получен конкретный результат - исходный балл испытуемого. При этом в случае затруднений программа осуществляет переключение модели объекта согласно имеющейся в семантической сети фреймам ситуаций (классам). В этом случае еще нет личностного оценивания, а есть управление структурой испытуемого.

Основа процесса компьютерного тестирования - оценка истинного балла конкретного испытуемого выступает здесь как побочный продукт деятельности объекта. Этот вид диалога, который применяется во многих системах компьютерного контроля часто без должного обоснования механически переносится на компьютерную технологию тестового контроля.

Рассматриваемый уровень педагогической направленности может быть реализован при классификации испытуемых на персональных компьютерах, в ЛВС и с применением интернет технологий. Его можно отнести к области самотестирования, результатом которого является отнесение конкретного испытуемого к определенному классу.

На втором уровне педагогической направленности диалога компьютерного тестового контроля его цели требуют выполнения ППТЗ, уровень трудности которых строго соотнесен к уровню способностей к о н кр етн о го и с п ы ту е м о го.

Результатом компьютерного тестирования на втором уровне является индивидуальная оценка - истинный балл испытуемого данного класса обученности. В интеллектуальных тестирующих системах программа реализует определенную модель объекта, потом по мере диалога, эта модель развивается, обучается и индивидуализируется в ходе анализа действий конкретного объекта.

Тесты, обладающие личностной отнесенностью к уровню подготовки испытуемого, адекватнее понимаются и формируют определенные отношения к принципу тестирования, преодолению препятствий, способности объекта оценивать собственную мыслительную деятельность, применение стратегий и т.п.

Данный вид диалога реализуется на персональных компьютерах или ЛВС при обеспечении присутствия преподавателя или администратора сети. Проведение личного компьютерного тестирования с итоговым оцениванием уровня достижений испытуемого и заключение юридически защищенных договоров rio сети интернет практически невозможно. Это связано с тем, что вся деятельность в электронной сети основана целиком на доверии, ибо никаких правовых механизмов поддержки операций в сети интернет в настоящее время не существует. Авторизовать субъекта электронной сети, удаленного от банка ППТЗ, нереально.

Параметр симметричности диалога относится к мере инициативы, доступной для объекта и квазиобъекта по общению. Симметричный диалог предполагает равенство партнеров в инициировании шагов диалога. В компьютерном диалоге реально симметрия недостижима, поэтому можно говорить о разной степени асимметрии и ее дидактической целесообразности при разработке, модификации ППТЗ (тестов) и компьютерных технологий тестового контроля. При жесткой детерминации деятельности испытуемого в программу контроля заложена асимметрия диалога в пользу компьютера. Испытуемый получает возможность корректировки ответов до их ввода, выход из диалога в режиме анонимного или социально-ориентированного общения, когда сочтет это необходимым.

4.2. Структура базы данных системы тестового контроля

База данных локального варианта конструктора тестовых заданий реализована на Access, а сетевой вариант на базе MS SQL Server. Основные таблицы базы локального варианта представлены на рис.4.1. и 4.2.

Имя поля . | Тип данных 1 - Описание ш . ,счетчик Ключ

Name ' Текстовый Название тестового задания

BackCulor ; Текстовый Задний фон

Backl mage 1 Текстовый Полный путь к фоновой картинке

Type ■ Числовой Режим тестирования (тренировка, контроль).

Vid і Числовой Типзадания (перетаскивание, зап°лненне)

Font Текстовый [Шрифт по умолчанию

Color Числовой Цвет шрифта по умолчанию

Size • Числовой Размер шрифта по умолчанию

Bold Логический Жирный по умолчанию

Italic :Логический Курсив по умолчанию

Underline .Логический Подчеркивание по умолчанию

StrikeOut ■ Логический Зачеркнутое по умолчанию

Transparent .Логический Прозрачность

Level ^Числовой ^Уровень сложности задания

BacklrnageNam э .Текстовый Имя фоновой картинки

FileName ] Текстовый Имя файла

File 1 Текстовый Полное имя файла

Рис. 4.1. Таблица описания тестового задания

Имя поля Тип данных Описание т Счетчик Ключ

Магпе Текстовый Имя для генератора

Test Числовой Привязка к тестовому заданию

Type Числовой Тип объекта (текст, картинка, флэш-ролик)

Top Числовой Верхнее положение объекта

Left Числовой Левое положение объекта

Width Чисповой Длинна объекта

Height Числовой Высота объекта

Font Текстовый Шрифт надписи

Color- Числовой Цвет шрифта объекта

Size Числовой ^Размер шрифта объекта

Bold Логический Жирный шрифт объекта

Italic Логический Курсив шрифта объекта

Underline Логический Подчеркнутый шриф|Т объекта

StrikeOut Логический Зачеркнутый шрифт объекта

Text Поле MEMO Надпись

Link Числовой Полное имя вставляемого файла

FileName Те-кстовый Имя файла

Рис. 4.2.

Библиография Свободин, Виталий Юрьевич, диссертация по теме Автоматизация и управление технологическими процессами и производствами (по отраслям)

1. Астанин C.B. Мониторинг процесса обучения в системе открытого образования // Интеллектуальные САПР. Таганрог, 2001. №4.

2. Астанин C.B., Захаревич В.Г., Попов Д.И. Интеллектуальные средства обучения в Интернет // Сборник докладов Всероссийской научной конференции «Управление и информационные технологии». СПб., 2003. Т. 2. С.278-282.

3. Астанин C.B., Калашникова Т.Г. Разработка индивидуальной модели поведения обучаемого в системе дистанционного образования // Перспективные информационные технологии и интеллектуальные системы. Таганрог, 2001. №5.

4. Астанин C.B., Курейчик В.М., Попов Д.И., Кузьмицкий A.A. Интеллектуальная образовательная среда дистанционного обучения // Новости искусственного интеллекта. М., 2003. № 1.03 (55). С.7-14.

5. Безкоровайный М.М., Костогрызов А.И., Львов В.М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем «КОК». Руководство системного аналитика. М.: Синтег, 2000. - 116с.

6. Бенькович Е.С., Колесов Ю.Б., Сениченков Ю.Б. Практическое моделирование сложных динамических систем. С. Петербург, БХВ, 2001.-441с.

7. Бершадский A.M., Кревский И.Г. Дистанционное обучение форма или метод // Дистанционное образование. М., 1998. № 4.

8. Беспалько В.П. Теория учебника: Дидактический аспект. М.: Педагогика, 1988.

9. Бизли Д. Язык программирования PYTHON, Киев, ДиаСофт, 2000. -336 с.

10. Боггс У, Боггс М. UML и Rational Rose, М: Лори, 2000. 582с.

11. Болотник Л.В., Соколова М.А. Тематическая модель структуры учебного материала // Проблемы педагогических измерений: Межвуз. сб. тр. / Под ред. В. И. Левина. М„ 1984.

12. Буравлев А.И., Переверзев В.Ю. Выбор оптимальной длины педагогического теста и оценка надежности его результатов // Дистанционное образование. М., 1999. № 2. С. 27.

13. Буч Г. Объектно-ориентированный анализ и проектирование с примерами на С++, 3-е изд. / Пер. с англ. М.: «Издательство Бином», СПб.: «Невский диалект», 2001 - 560с.

14. Буч Г., Рамбо Д., Джекобсон А. Язык UML. Руководство пользователя: Пер. с англ. М.: ДМК, 2000. - 432с.

15. Васильев А.Е., Леонтьев А.Г. Применение пакета Model Vision Studium для исследования мехатронных систем. // Гибридные системы. Model Vision Studium: Труды междунар. науч.-технич. конф. СПб.: Изд-во СПбГТУ , 2001. с.51-52.

16. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Изд-во ВТУ, 2000.

17. Васильев В.И., Тягунова Т.Н. Основы культуры адаптивного тестирования. М.: Издательство ИКАР, 2003. 584 с.

18. Вендров A.M. CASE-технологии: Современные методы и средства проектирования информационных систем. М.: Финансы и статистика, 1998. -176с.

19. Вишняков Ю.М., Кодачигов В.И., Родзин С.И. Учебно-методическое пособие по курсам «Системы искусственного интеллекта», «Методы распознавания образов». Таганрог: Из-во ТРТУ, 1999.

20. Гаврилова Т.А. Червинская K.P. Извлечение и структурирование знаний для экспертных систем. М.: Радио и связь, 1992. 200 с.

21. Георгиев В.О. Модели представления знаний предметных областей диалоговых систем // Изв. АН СССР. Техн. киберн. 1993. №5.

22. Голец И.Н., Попов Д.И. Модель представления знаний в интеллектуальной системе дистанционного образования // Известия ТРТУ. Тематический выпуск. Интеллектуальные САПР. Таганрог, 2001. С. 332о -> /"1. JOD.

23. Гома X. UML. Проектирование систем реального времени, параллельных и распределенных приложений: Пер. с англ. М.: ДМК Пресс, 2002.- 704с.

24. Гуленко В.В. Формы мышления. // Соционика, ментология и психология личности, N 4, 2002 (http://socionicsl6.narod.ru/t/gul-402.html).

25. Гультяев А.К. MATLAB 5.3. Имитационное моделирование в среде Windows, М.: Корона принт, 2001. -400с.

26. Дал У., Мюрхауг Б., Нюгород К. СИМУЛА-67. Универсальный язык программирования. М.: Мир, 1969. 99с.

27. Дмитриев А.К., Мальцев Г1.А. Основы теории построения и контроля сложных систем. Л.: Энергоатомиздат, 1988.- 192 с.

28. Дьяконов В. Mathematica 4: учебный курс. СПб: Питер, 2002. - 656с

29. Емельянов C.B, Коровин C.K. Новые типы обратной связи. М.: Наука, 1997. 352 с.

30. Зегжда Д.П., Ивашко A.M. Основы безопасности информационных систем М.: Еорячая линия Телеком, 2000. 452 с.

31. Калашникова Т.Е. Исследование и разработка методов и моделей правдоподобных рассуждений в интеллектуальных системах поддержки принятия решений. Диссертация на соискание ученой степени кандидата технических наук. Таганрог, 2001.

32. Карташев М.И. Методы и алгоритмы адаптивного компьютерного тестирования / Баринов К.А., Рогова О.Б., Карташев М.И. // В мире научных открытий № 9 (21). Красноярск: НИЦ, 2011. - С. 93-106.

33. Карташев М.И. Адаптивный тестовый контроль в системах дистанционного образования / Никитин М.М, Строганов В.Ю., Карташев М.И. // В мире научных открытий № 9 (21). Красноярск: НИЦ, 2011. - С. 1 18-126.

34. Карташев М.И. Интерфейсные формы системы управления персоналом / Брыль В.Н., Карташев М.И., Николаев А.Б., Свечников A.A., Якунин П.С. // Автоматизация систем управления персоналом: сб. науч. тр. МАДИ. М.: МАДИ, 2011.-С. 11-16.

35. Ким Дж.-О., Мьюллер Ч.У., Клекка У.Р., Олдендерфор М.С. Б.пэшфилд Р. К. Факторный, дискриминантный и кластерный анализ. М.: Финансы и статистика, 1989.

36. Козлов О.С., Медведев B.C. Цифровое моделирование следящих приводов. // В кн.: Следящие приводы. В 3-х т. /Под ред. Б.К. Чемоданова. М.: Изд. МГТУ им. Н.Э. Баумана, 1999. Т. 1. С. 71 1-806.

37. Колесов Ю.Б. Анализ корректности процессов логического управления динамическими объектами // Известия ЛЭТИ. Сб. научн. Трудов / Ленингр. Электротехнич. Ин-т им. В.И.Ульянова (Ленина). Л.: 1991. - Вып. 436.-е. 65-70.

38. Колесов Ю.Б., Сениченков Ю.Б. Библиотека программ для решения ОДУ. Труды ЛПИ, 462. С.Пб.: 1996, с. 116-122.

39. Колесов Ю.Б., Сениченков Ю.Б. Компьютерное моделирование в научных исследованиях и в образовании. "Exponenta Pro. Математика в приложениях", №1, 2003, с. 4-11.

40. Колесов Ю.Б., Сениченков Ю.Б. Программная поддержка активного вычислительного эксперимента В сб. "Научно-технические ведомости СПбГПУ", №1.2004.

41. Колесов Ю.Б., Сениченков Ю.Б. Визуальное моделирование сложных динамических систем. Изд. «Мир и Семья & Интерлайн», СПб, 2000, 242с.

42. Колесов Ю.Б., Сениченков Ю.Б. Синхронизация событий при использовании гибридных автоматов для численного моделирования сложных динамических систем. В сб. "Научно-технические ведомости СПбГПУ", №1.2004.

43. Колесов Ю.Б., Цитович И.Г. Имитационная модель участка трикотажного производства // Известия ВУЗ'ов. Технология легкой промышленности, 1993, №6, с.56-61.

44. Колесов Ю.Б., Цитович И.Г. Оценка эффективности новой кругловязальной машины с помощью имитационной модели // Известия ВУЗ'ов. Технология легкой промышленности, 1994, №4, с. 72-77.

45. Красильников В.В. Статистика объектов нечисловой природы. -Наб. Челны: Изд-во Камского политехнического института, 2001. 144 с.

46. Курочкин Е.П., Колесов Ю.Б. Технология программирования сложных систем управления / ВМНУЦ ВТИ ГКВТИ СССР. М: 1990. -112с.

47. Липаев В.В. Надежность программных средств, М.: Синтег, 1998. -232с.

48. Липаев В.В. Системное проектирование сложных программных средств для информационных систем. М.: Синтег, 1999. -224с.

49. Майо Д. С#: Искусство программирования. Энциклопедия программиста: Пер. с англ. СПб.: «ДиаСофтЮП», 2002. 656 с.

50. Назаров А.И., Сергеев А.В. Система дистанционного контроля знаний в сетях Интернет и Интранет // Дистанционное образование. М. 1999.1. с. 11.

51. Никифорова A.M., Попов Д.И., Калашникова Т.Г. Дистанционное образование: тестирование и оценка знаний // VI Междунар. науч,-техн. конф. студентов и аспирантов «Радиоэлектроника, электротехника и энергетика»: Тез. докл. В 3-х т. М., 2000. С. 341-42.

52. Оганесян А.Г. Опыт компьютерного контроля знаний// Дистанционное образование. М. 1999. №6. С. 30.

53. Огорелков В.И. Основные направления исследования проблем измерения качества знаний учащихся // Проблемы педагогической квалиметрии / Под ред. В.И. Огорелкова. М., 1974. Вып. 1.

54. Орлов А.И. Заводская лаборатория. 1995. Т. 61, № 3.

55. Основы открытого образования / A.A. Андреев, C.JI. Каплан и др.; Отв. ред. В.И. Солдаткин. Т. 1. Российский государственный институт открытого образования. М.: НИИЦ РАО, 2002. 676 с.

56. Переверзев В.Ю. Критериально-ориентированное педагогическое тестирование: учебн. пособие. М.: Логос, 2003.

57. Петров Г.Н. Использование пакета "Model Vision" для создания компьютерных лабораторных работ. // Гибридные системы. Model Vision Studium: Труды междунар. науч.-технич. конф. СПб.: Изд-во СПбГТУ , 2001. с.53-54.

58. Подчуфаров Ю.Б. Физико-математическое моделирование систем управления и комплексов / Под ред. А.Г.Шипунова. М.: Изд-во физико-математической литературы, 2002. - 168с.

59. Попов Д.И. Автоматизация управления процессов аттестации персонала предприятий промышленности: монография. М.: Изд-во МГУП, 2007. - 178 с.

60. Попов Д.И. Методы и технологии поддержки открытого образования на основе интеллектуальной информационно-образовательной среды дистанционного обучения. / Научное издание. Таганрог: Изд-во ТРТУ, 2003. 168с.

61. Попова Е.Д. Оценка уровня учебных достижений // Известия высших учебных заведений. Проблемы полиграфии и издательского дела №'2005, М., 2005.

62. Прицкер А. Введение в имитационное моделирование и язык СЛАМ 11: Пер. с англ. М.: Мир, 1987. - 646с.

63. Проблемы педагогической квалиметрии: Межвуз. сб. тр. / Под ред. В.И. Огорелкова. М., 1973, 1975. Вып. 1, 2; То же / Под ред. В.И. Левина. М., 1984.

64. Самарский A.A., Михайлов А.П. Математическое моделирование: Идеи. Методы. Примеры. М.: Наука. Физматлит, 1997.-320 с.

65. Семененко M. Введение в математическое моделирование -М.:Солон-Р, 2002. 112с.

66. Семенов В.В. Индивидуально-личностный подход в компьютерной технологии тестирования знаний // Аналитические обзоры по основным направлениям развития высшего образования. М. 1998. Вып. 3. С. 49.

67. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Магистр. 1997.

68. Трудоношин В.А., Пивоварова Н.В. Математические модели технических объектов Мн.: Выш. шк.,1988 - 159с.

69. Убиенных Г.Ф., Убиенных А.Г. Сравнительный анализ методов представления знаний в базах знаний. Пенза, Пензенский государственный университет, 2002.

70. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989. 388 с.

71. Хайрер Э., Ваннер Г. Решение обыкновенных дифференциальных уравнений. Жесткие задачи и дифференциально-алгебраические задачи, М., Мир, 1999,- 685с.

72. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002. 432с.

73. Черемных C.B., Семенов И.О., Ручкин B.C. Структурный анализ систем: IDEF-технологии, М.: Финстат, 2001. 208с.

74. Черных И.В. Simulink: среда создания инженерных приложений. М.: ДИАЛОГ-МИФИ, 2003. 496с.

75. Шорников Ю.В., Жданов Т.С., Ландовский В.В. Компьютерное моделирование динамических систем // «Компьютерное моделирование2003». Труды 4-й межд. научно-техн. конференции, С.Петербург, 24-28 июня 2003г., с.373-380

76. Юдицкий С.А., Покалев С.С. Логическое управление гибким интегрированным производством // Институт проблем управления. -Препринт. М., 1989. - 55с.

77. Andersson М. Omola An Object-Oriented Language for Model Representation, in: 1989 IEEE Control Systems Society Workshop on Computer-Aided Control System Design (CACSD). Tampa, Florida, 1989.

78. Andersson M. OmSim and Omola Tutorial and User's Manual. Version 3.4., Department of Automatic Control, Lund Institute of Technology, 1995, pp.45.

79. Ascher Uri M., Petzold Linda R. Computer Methods for Ordinary Differential Equations and Differential-Algebraic Equations. SIAM, Philadelphia, 1998.

80. Avrutin V., Schutz M. Remarks to simulation and investigation of hybrid systems, // Гибридные системы. Model Vision Studium: Труды междунар. науч.-'іехнич. конф. СПб.: Изд-во СГІбГТУ , 2001. с.64-66.

81. Baleani М., Ferrari F., Sangiovanni-Vincentelli A.L., and Turchetti С. H W/S W Codesign of an Engine Management System. In Proc. Design Automation and Test in Europe, DATE'00, Paris, France, March 2000, pp.263-270.

82. Booch G., Jacobson I., Rumbaugh J. The Unified Modeling Language for Object-Oriented Development. Documentation Set Version 1.1. September 1997.

83. Borshchev A., Karpov Yu., Kharitonov V. Distributed Simulation of Hybrid Systems with AnyLogic and HLA // Future Generation Computer Systems v. 18 (2002), pp.829-839.

84. Brenan K.E., Campbell S.L., Petzold L.R. Numerical solution of initial-value problems in differential-algebraic equations. North-Holland, 1989, 195 p.

85. Brack D., Elmqvist H., Olsson H., Mattsson S.E. Dymola for multiengineering modeling and simulation. 2nd International Modelica Conference. March 18-19 2002, Proceedings, pp. 55-1 55-8.

86. Bunus P., Fritzson P. Methods for Structural Analysis and Debugging of Modelica Models. 2nd International Modelica Conference, 2002, Proceeding, pp. 157-165.

87. Darnell K., Mulpur A.K. Visual Simulation with Student VisSim, Brooks Cole Publishing, 1996.

88. Davey, B.A. & Priestley, H.A. Introduction to Lattice and Orders. Cambridge University Press. 1990.

89. Dmitry Popov, Alexander Khadzhinov. "Safety Subsystem of Intelligent Software Complex for Distance Learning" // Proceedings of 2002 IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002), IEEE Inc. 2002. P.464 465.

90. Doignon, J-P., Falmagne J-C. (1999) Knowledge Spaces.

91. Esposit J.M., Kumar V., Pappas G.I. Accurate event detection for simulating hybrid systems. Hybrid Systems: Computation and Control, 4th International Workshop, HSCC 2001, Rome, Italy, March 28-30, 2001, Proceedings, pp.204-217.

92. Ferreira J.A., Estima de Oliveira J.P. Modelling hybrid systems using statecharts and Modelica. . In Proc. of the 7th IEEE International Conference on Emerging Technologies and Factory Automation, Barcelona, Spain, 18-21 Oct., 1999, p. 1063.

93. Fritzson P., Gunnarson J., Jirstrand M. MathModelica an extensible modeling and simulation environment with integrated graphics and literate programming/ 2nd International Modelica Conference, March 18-19 2002, Proceedings, pp. 41-54.

94. Harel D., Gery E. Executable Object Modeling with Statecharts / Computer, July 1997, pp. 31-42.

95. Hyunok Oh, Soonhoi Ha. Hardware-software cosynthesis of multi-mode multi-task embedded systems with real-time constraints. In Proc. International Symposium on Hardware/Software Codesign, CODES'02, Estes Park, Colorado, May 2002, pp. 133-138.

96. Kesten Y., Pnueli A. Timed and hybrid statecharts and their textual representation. Lec. Notes in Comp. Sci. pp. 591-620, Springer-Verlag, 1992.

97. M.Khartsiev V.E., Shpunt V.K., Levchenko V.F., Kolesov Yu., Senichenkov Yu., Bogotushin Yu. The modeling of synergetic interaction in Theoretical biology. / Tools for mathematical modelling. St. Petersburg, 1999, p.71-73.

98. Kolesov Y., Senichenkov Y. A composition of open hybrid automata. Proceedings of IEEE Region 8 International Conference «Computer as a tool», Ljubljana, Slovenia, Sep.22-24,. 2003, v.2, pp. 327-331.

99. Koppen, M. Extracting human expertise for constructing knowledge spaces: an algorithm. Journal of Mathematical Psychology, 37, 1993. 1-20.

100. Modelica A Unified Object-Oriented Language for Physical Systems Modeling. Language Specification. Version 2.0, July 10, 2002.

101. Modelica A Unified Object-Oriented Language for Physical Systems Modeling. Tutorial. Version 2.0, July 10, 2002.

102. Modelica a unified object-oriented language for physical systems modeling. Tutorial. Version 1.4, December 15, 2000.

103. Mosterman P.J. Hybrid dynamic systems: a hybrid bond graph modeling paradigm and its application in diagnosis. Dissertation for the degree PhD of Electrical Engineering/ Vanderbilt University, Nashvill, Tenneessee, 1997.

Похожие работы

Информатика, вычислительная техника и управление
05.13.00