автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Концепция интеграции программных приложений и автоматизация управления образовательным контентом в отраслевой системе подготовки кадров

На правах рукописи

005535568

СТРОГАНОВ ДМИТРИИ ВИКТОРОВИЧ

КОНЦЕПЦИЯ ИНТЕГРАЦИИ ПРОГРАММНЫХ ПРИЛОЖЕНИИ И АВТОМАТИЗАЦИЯ УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНЫМ КОНТЕНТОМ В ОТРАСЛЕВОЙ СИСТЕМЕ ПОДГОТОВКИ КАДРОВ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

2 4 ОКТ 2013

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

Москва -2013

005535568

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования Московском автомобильно-дорожном государственном техническом университете (МАДИ) на кафедре «Автоматизированные системы управления»

Официальные Суворов Дмитрий Наумович,

оппоненты: доктор технических наук, профессор, профессор

кафедры «Автоматизация производственных процессов» МАДИ, г.Москва

Петров Вадим Леонидович

доктор технических наук, профессор, и.о. проректора Московского государственного горного

университеа, г.Москва

Попов Дмитрий Иванович

доктор технических наук, профессор, заведующий кафедрой «Информатика и вычислительная техника» Московского государственного университета печати имени Ивана Федорова,

г.Москва

Ведущая организация: федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Российский государственный университет нефти и газа имени И.М. Губкина», г.Москва.

Защита состоится 14 ноября 2013 г. в Ю00 часов на заседании диссертационного совета Д.212.126.05 при Федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Московский автомобильно-дорожный государственный технический университет (МАДИ)» по адресу: 125319, г. Москва, Ленинградский проспект, д.64, ауд. 42.

Телефон для справок: (499) 155-93-24.

С диссертацией можно ознакомиться в библиотеке МАДИ.

Автореферат разослан 11 октября 2013 года.

Отзывы на автореферат в двух экземплярах, заверенные печатью организации, просим направлять в адрес диссертационного совета университета, а копии отзывов присылать по электронной почте: uchsovet@madi.ru

Ученый секретарь диссертационного совета, кандидат технических наук, доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

Подготовка квалифицированных кадров и постоянное повышение квалификации специалистов является одной из приоритетных задач развития отраслевой системы подготовки кадров, которая в настоящее время включает в себя систему профессиональной подготовки, систему дополнительного профессионального образования, а также аттестацию и сертификацию специалистов. Следует отметить, что система дополнительного профессионального образования имеет значительно меньшую степень инерции, так как не базируется на фундаментальном комплексе государственных образовательных стандартов. Она может служить механизмом оперативного обеспечения отрасли кадрами востребованным в текущий период. Учитывая факт относительной непродолжительности производственного обучения (6-11 месяцев) и необходимость оперативного реагирования на текущие потребности в обеспечении кадрами, система профессиональной переподготовки может осуществлять функцию «опережающей» подготовки кадров.

Так, например, учебные центры Газпрома готовят специалистов различных категорий, в том числе диспетчеров, сменных инженеров/операторов компрессорных цехов, специалистов по контрольно-измерительным приборам и автоматике. Именно данные специалисты играют одну из ключевых ролей в обеспечении бесперебойной работы газотранспортной системы и газовых промыслов. От уровня подготовки данных специалистов, их умения эффективно использовать средства автоматизации, анализировать обстановку и принимать в сложных ситуациях правильные решения зависит и экономическая эффективность работы предприятий, обеспечение высокого уровня безопасности эксплуатации критически важных производственных комплексов и оперативность ликвидации возможных аварийных и чрезвычайных ситуаций.

Подготовка специалистов в современных условиях невозможна без современных технических средств обучения. Тренажеры, имитирующие работу по управлению реальными машинами и механизмами, давно и широко применяются в учебном процессе. Развитие информационных технологий привело к распространению новых технологий обучения, в том числе: мультимедийных обучающих программ, социальных сетей, компьютерных тренажеров, применяемых при обучении, как устройства технологических и т.п.

Однако, как показал анализ, все еще недостаточное внимание уделяется разработке формальных моделей структуризации учебной информации, что необходимо для рациональной организации, как самого процесса обучения, так и аттестации сотрудников. Особую важность при этом приобретают задачи, связанные с интеграцией

\

существующих и вновь вводимых в эксплуатацию информационных систем или отдельных приложений, включенных в систему отраслевой подготовки кадров. Это связано с необходимостью непрерывной работы самих информационных систем на предприятии и отсутствием возможности единовременного обновления компонентов информационной системы и образовательного контента. Данная работа направлена как на развитие концепции интеграции разнородных приложений, так и на автоматизацию управления образовательным контентом, включая тестовый материал для проведения аттестации и сертификации персонала в отраслевой системе подготовки кадров.

Объектом исследования является отраслевая система подготовки кадров для предприятий различных отраслей народного хозяйства.

Предметом исследования является информационная и программная поддержка отраслевой системы подготовки кадров, включая инструментальные средства создания тестов, методик оценки и сертификации квалификаций, посредством которых подтверждается уровень квалификаций и компетентность персонала.

Цель и основные задачи исследования

Целью работы является повышение эффективности отраслевой системы подготовки кадров за счет автоматизации управления образовательным контентом, разработки и внедрения методов """ интеграции программных приложений и создания процедур поддержки управленческих решений в области сертификации.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ проблем, методов моделирования и организации процессов обучения и тестового контроля в отраслевой системе подготовки кадров;

• разработка механизмов интеграции разнородных программных приложений формирования образовательного контента;

• разработка инструментальных средств формирования и шкалирования результатов выполнения тестовых заданий;

• разработка методики управления электронными образовательными ресурсами и оптимизации образовательного контента в системе отраслевой подготовки и аттестации персонала (гл.4);

• разработка системы мониторинга результатов аттестации и сертификации квалификаций персонала;

Методы исследования

При разработке методов и моделей в диссертации использовались методы общей теории систем, имитационного моделирования, теории автоматов, сетей Петри, многомерного статистического анализа и др.

Научная новизна

Научную новизну составляют механизмы интеграции программных приложений, а также. методы, модели, алгоритмы и методики автоматизации управления образовательным контентом в отраслевой системе подготовки кадров.

На защиту выносятся:

• модели взаимодействия пользовательских процессов и программных приложений управления образовательным контентом;

• механизмы интеграции программных приложений и расширения системного функционала в системе управления образовательным контентом;

• автоматная схема представления сценария выполнения и шкалирования результатов выполнения тестовых заданий в непрерывной оценочной шкале;

• процессная модель сети Петри в задаче идентификации блокировок тестового задания;

• иерархическая структура приложений реализации методики формирования, оптимизации и управления терм-связанным образовательным контентом;

• имитационная модель расчета эффективности теста, метод и критерий ошибочных классификаций в оценке компетенций;

• функциональная декомпозиция информационного обмена и анализа результатов сертификации квалификаций в отраслевой системе мониторинга подготовки кадров.

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием формальных методов и моделей, а также предварительным анализом учебных планов и программ подготовки кадров. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения.

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования. Они представляют непосредственный интерес в области автоматизации управления подготовкой и аттестацией персонала . Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде предприятий, а также используются при организации учебного процесса в МАДИ и МГТУ им.Н.Э.Баумана.

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (1998-201 Згг.);

• на заседаниях кафедр "Системы обработки информации и управления" МГТУ им.Н.Э.Баумана и "Автоматизированные системы управления" МАДИ.

Совокупность научных положений, идей и практических результатов исследований направлено на повышение эффективности отраслевой системы подготовки кадров за счет развития теоретических основ интеграции программных приложений формирования образовательного контента, автоматизации управления процессами подготовки и аттестации персонала, а также практических подходов в области сертификации квалификаций персонала в отраслевой системе подготовки кадров.

СОДЕРЖАНИЕ РАБОТЫ

Структура работы соответствует списку перечисленных задач и содержит описание разработанных методов, моделей и методик.

Во введении обосновывается актуальность работы. Ставятся цели и задачи исследований. Приводится краткое содержание глав диссертации.

В первой главе диссертации проведен системный анализ проблем отраслевой системы подготовки кадров и технологий внедрения новых информационных систем поддержки образовательного процесса, что приводит к необходимости интеграции разнородных программных приложений.

Вопросам организации обучения персонала с использованием технологий открытого образования посвящены труды Байденко В.И., Гура В.В., Яровенко В.А. и ряда других. Понятия «компетентность», «компетентностный подход» раскрыты в трудах Байденко В.И., Болотова В.А., Ивановой Н.В., КивыАА, Лейбовича А.Н., Чаплыгиной И.В. и других. Развитию представлений о роли информационных и коммуникационных технологий в образовании посвящены работы Астафьевой Н.Г., Денисовой А.Л., Кузнецова A.A., Роберт И.В. и ряда других. Значительный интерес представляют работы российских ученых, а именно, Новикова Д.А., в которых исследуются закономерности итеративного научения, Башмакова А.И., где даются формальные подходы к разработке конструктивных методов проектирования обучающих систем, а также зарубежных ученых М.Жабера, С.Сикстрема, Л.Лопеза, Ф.Оливер и других, в работах которых предлагается ряд моделей научения-забывания, рассматриваются механизмы преобразования знаний, моделируются процессы обучения и тестового контроля и т.д.

Следует отметить, что особенно высока потребность в квалифицированных кадрах для технологически сложных и наукоемких отраслей. Так, например, в настоящее время переработка нефти на отечественных предприятиях осуществляется с недогрузкой мощностей и низкой степенью конверсии мазута, что обусловлено особенностью потребления топлива в энергетическом балансе. Доля процессов глубокой переработки нефти на большинстве

)

отечественных нефтеперерабатывающих заводов (НПЗ) не превышает 15% от мощностей по первичной переработке при 55% - в США. В течение последних пяти лет глубина переработки нефти практически не меняется и составляет около 72% (в США-92-95%, Западной Европе - 85%). Ужесточение требований к экологическим и эксплуатационным характеристикам нефтепродуктов диктует другую важную задачу повышения качества нефтепродуктов. Для реализации этих задач необходим высококвалифицированный технический персонал, для аттестации которого в отрасли создан Экспертно-методический центр (ЭМЦ) и Центр оценки сертификации квалификаций (ЦОСК), которые взаимодействуют с объединением работодателей (рис.1).

N -—

Общественно-государственный

/ Органы государственной Л

Исполнительной власти

__г 'особрнадзор |

Реестр ЦОСК

V У

Объединение работодателей

Реестр сертифициро ванны: специалистов НГП отрасли

Предприятия нефтегазоперерабатывающей отрасли

Центр оценки и сертификации квалификаций

(региональный)

Заявки на средства измерения и оценки, на экспертов

ЭМЦ

нефтегазоперерабатывающей отрасли

А_:_Й==

Реестр экспертов}

Рис. 1 Взаимодействие ЭМЦ и ЦОСК с работодателями Поддержание должного профессионального уровня специалистов, отбора наиболее квалифицированных кадров, их поддержания на конкурентоспособном уровне и постоянного совершенствования возможно только при организации системы постоянного контроля. Сертификация специалистов-технологов создает базу для развития и расширения системы подготовки кадров для остальных специалистов нефтегазоперерабатывающей отрасли.

В диссертации проведен анализ педагогических принципов формирования системы подготовки кадров, поскольку в их основе лежат идеи максимально возможной управляемости учебным процессом, проектирования и воспроизводимости обучающего цикла. Педагогические принципы предусматривают ориентацию всех компонентов и процедур на гарантированное достижение учебных целей и объективную оценку текущих и итоговых результатов учебной деятельности, а также целенаправленного педагогического воздействия на познавательную деятельность обучаемого.

Рассмотрены подходы к моделированию процесса обучения. Проведенный анализ показал, что для формирования качественных учебно-методических материалов необходимо использование формальных методов структуризации учебных планов и рабочих программ подготовки, переподготовки и аттестации специалистов отрасли, которые основаны на терм-анализе связности учебных материалов и моделях научения-забывания. Кроме того, данные модели могут выступать в качестве критериев эффективности образовательного контента.

Терм-множество представляет структуру \Л/=\Л/|и\Л/°, где \Л/ -множество входных термов; \Л/° - выходных. Входные термы -\Л/„={0'№ Лл/, •••■ где О'уу - имя терма; Ям - маркер

принадлежности модулю; ^ - ссылка на терм-источник; и^ -коэффициент значимости модели научения. Выходные термы -\Л/°И={00\«, •••, где - идентификатор терма; Р°м - маркер принадлежности модулю; - ссылка на входные термы; -весовой коэффициент модели забывания.

При использовании такого подхода на основе выделения подмножеств «висячих термов» М00 (не используются в модулях продолжения) и «неопределенных термов» IV (нет ссылок на выходной), которые определены как,

появляется возможность получения автоматической оценки качества учебных материалов. При этом УУ" рассматриваются как базовые, а УУ00 - как термы из требований к компетенциям специалиста. В противном случае считается, что имеет место методическая ошибка формирования учебного плана.

Рассмотрены модели тестового контроля. Приведены основные принципы классической теории тестового контроля, основанной на обработке статистических данных результатов тестирования, и выполнен сравнительный анализ принципов конструирования тестовых заданий и тестов. Для моделирования процедур тестового контроля используются основные принципы ЮТ-теории. Вводится условная вероятность правильного выполнения задания с трудностью Р, различными испытуемыми с уровнем знаний ©. В диссертации принята трехпараметрическая модель Бирнбаумма моделирования ответов, как наиболее общая

\ЛР° - \АР„е И/0": -.3 иЛ*=> И/1™, ИЛ- IV': -а М°„о=> IV«.,

(1)

РГ©,Р,а,с; = с + (1-с)

ехр(1,7а(<Э-р))

(2)

1 + ехр(1,7сс(0-р))'

где в качестве параметров выступают либо 0, а и с, либо р, а и с. , в зависимости от решаемых задач. Параметр а характеризует

дифференцирующую способность задания, с - вероятность угадывания правильного ответа.

Далее в работе выполнен системный анализ методов и моделей интеграции разнородных приложений и баз данных. Одним из основных предполагаемых в работе принципов является требование независимости построения отдельных функциональных подсистем, в связи с чем, рассмотрены технологии, приведенные ниже.

Технология Data Integration (DI) условно делится на технологию доступа к внешним системам и технологию преобразования данных, направленную на возможность понимания данных, считанных из абсолютно разнородных источников и в абсолютно различных форматах.

Технология Process Integration (PI) позволяет разрабатывать информационную систему, используя парадигму бизнес-процессов.

Технология Service Integration - парадигма разработки модулей информационной системы, основанная на SOA, которую можно определить как системную архитектуру, в которой функции приложений создаются в форме компонентов, имеющих слабые связи и четко определенные интерфейсы для многократного использования.

Во второй главе диссертации, на основе проведенного анализа принципов организации системы обучения, формируется концепция интеграции разнородных приложений подготовки и управления образовательным контентом в отраслевой системе подготовки кадров.

В нефтегазоперерабатывающей отрасли предполагается создание единой информационной базы, обеспечивающей открытость и достоверность информации о деятельности системы сертификации квалификаций и возможность проведения мониторинга с последующим формированием управленческих решений, направленных на повышение эффективности отраслевой системы подготовки кадров.

Структура информационной базы (рис.2) основывается на результатах сертификации квалификаций отрасли и направлена на разработку: методов, контрольно-измерительных материалов и критериев оценки квалификаций с их постоянной актуализацией; программ подготовки и аттестации персонала, а также ведение реестра экспертов по оценке и сертификации квалификаций; профессиональных стандартов и др.

Автоматизация столь сложной и объемной задачи требует построения множества моделей, связанных с показателями эффективности управления, критериями качества процедур принятия решений, что требует формирования необходимых структур данных и методов их обработки, а также соответствующих информационных технологий и организационных мер и др.

Рис. 2 Структура информационной базы ЭМЦ и ЦОСК Интеграция этих подсистем вместе с программными компонентами системы «СОТА» позволяет на основе включения модельных составляющих процессов обучения и тестового контроля повысить эффективность подготовки учебных материалов за счет возможности количественного оценивания качества учебно-методических материалов.

В целях создания системы управления и подготовки образовательного контента на нижнем уровне выделены классы пользователей: администратор (А), методист (М), консультант (Р) и обучаемый (О). Все эти категории пользователей отличаются по их отношению к учебным материалам (и) и тестовым заданиям (Т).

Так, А обеспечивает весь сервис и функционирование системы в целом. М наполняет базы и, Т, ихТ. С формированием множества и связан конструктор курсов. С множеством Т - конструктор тестовых заданий. С множеством ихТ - администратор курсов. О использует проигрыватель, который связан с базами и, Т и ОхР. База и используется для организации прямой связи с обучаемым, Т - для обратной, а ОхР - для корректировки процесса обучения. Р обеспечивает коррекцию поведения обучаемого, которая основана на просмотре баз ОхТ и ОхР, и последующем редактировании Охи и ОхР на основе полученных оценок качества обучения. Отношение Рх11 определяется М. Отношение РхО формируется динамически и определяет закрепление О к Р, а также обмен информацией между ними. Оно является производным и формируется на основе Рхи и 11x0. Тернарное отношение РхОхТ определяет наблюдение Р за результатами тестового контроля О.

Показано, что при данном подходе к описанию учебного контента интерес представляют все множества подмножеств: <1), Р, О, Т> -общий координационный план; <11, Р, 0> - процесс обучения в соответствии с учебным планом; <и, Р, Т> - процесс тестирования;

<и, О, Т> - самостоятельная работа; <11, М, Т> - подготовка учебных материалов методистами, <11, Т> - семантическая связность лекций и тестовых заданий и т.д.

Для реализации модельных составляющих системы управления образовательным контентом выполнена систематизация функционала всех приложений системы «СОТА», определены управляющие и информационные связи, что позволяет сделать систему открытой для включения новых методов, моделей и данных.

Инструментарий формирования и управления образовательным контентом включает:

1. Конструктор структурных элементов (КСЭ).

2. Конструктор учебных курсов (КУК).

3. Проигрыватель учебных материалов (ПУМ).

4. Подсистема контроля учебного процесса (КУП).

5. Подсистема администрирования учебного процесса (АУПР).

6. Подсистема администрирования учебных планов (АУП).

7. Подсистема мониторинга результатов успеваемости (МРУ).

8. Подсистема генерации и интерпретации тестов (ГИТ).

9. Конструктор интерактивных тренажеров (КИТ).

10. Конструктор гетерогенных тестов (КГТ).

11. Подсистема гетерогенного тестирования (СГТ).

12. Подсистема мониторинга результатов гетерогенного тестового контроля (МГТ).

Кроме того, представленный набор приложений в различных комбинациях может реализовать множество различных методик, связанных с процессом обучения, тестирования, мониторинга, анализа качества подготовки и др.

В диссертации проведена параметризация исполняемых приложений на основании универсальной схемы описания компонентов системы с использованием принципа «вход-выход-параметризация». Система описаний повторяет принципы теории управления, где каждое приложение выступает в качестве некоторого преобразователя данных. Для объектов принята стандартная классификация: Х/=(\Л,У2,... , \/к) - входные контролируемые управляемые; и=(111, иг,..., 1Л) - входные контролируемые неуправляемые; 2г,...Лк) - входные неконтролируемые;

У=(У1, У2.....Ук) - выходные.

Например, для АУП в качестве входных параметров выступают данные по структуре курсов (рис.3), БД связности входных и выходных термов и др. Выходом подсистемы АУП является сформированный учебный план, сбалансированный по связности термов и функциям научения-забывания.

Для описания взаимодействия приложений под Х->У понимается некоторое управляющее действие X на У, которое поддерживается соответствующей программной компонентой (табл.1.). Х=>У

обозначает соответствующий информационный поток для мониторинга ситуации.

Рис. 3 Параметризация АУП

Таблица 1.

В работе ставится задача создания единого программно-моделирующего комплекса. Т.е. имеется ряд моделей процессов обучения и тестового контроля, которые должны быть параметризованы статистическими данными системы управления образовательным контентом, а приложения системы управления, в свою очередь, должны иметь доступ к моделям для корректировки параметров. В результате появляется необходимость формального представления этих процессов. Базовая модель процесса представляет собой четверку 1=<8, Т, Я, а>, где Б - пространство

Формальные отображения, задаваемые приложениями

1. М->1)1 конструктор лекций

2. 1Л=>РиО проигрыватель лекций

3. конструктор тестовых заданий

4. И=>0 проигрыватель тестовых заданий У(ТхО) =>0;

5. 11р=>РиО проигрыватель учебных модулей

6. Тр=>0 проигрыватель тестов У(ТхО) =>0

7. УО->11хО формирование характеристик учебной траектории

8. V 0->Тх0 формирование БД результатов тестирования

9. М->11р администратор учебных модулей

10. М->Тр администратор тестов

11. М^-ІІхТ, 1)р, Тр администратор связности учебных материалов

12. А-»Р-»РиО регистрация и просмотр консультантов

13. А-Ю-»Р регистрация и просмотр обучаемых

14. Р-»(11хО) редактирование образовательной траектории ((1) хО)и(11 хТ))—►( ІІхО)

15. (ТхО)=>Р просмотр результатов тестирования У(ТхО)=>РиО

16. РиО->(РхО) обмен информацией между консультантом и обучаемым

17. (ихР)=>Р оценка сложности модуля каждым консультантом (11хР)-»и;

18. (ТхР)^>Т оценка сложности теста каждым консультантом (ТхР)->Т

19.

состояний; Г - множество времен изменения состояний; Р/Г-^Э -фазовая характеристика; а- отношение порядка на Т.

Система определяется, как множество О параметров (¡=1..п). Если ст^) - множество значений, принимаемых параметром то пространство состояний системы Бо определяется как Б0 = П ■

Объект (приложение) рассматривается как часть системы 0|с:0. Пространство состояний 50; объекта О, определяется аналогично, как

= Если задан процесс в системе, то процесс в объекте

0, определяется, как 10 =Пр20. При этом [_}г0 =20. Пусть имеем

' у о,

объект 0| в системе О. Тогда генерация процесса г01 может быть выполнена путем задания оператора Н°' = где:

1. еГ0/; А - множество аргументов: АсО; со- случайное число. Анализ

соотношений между 0|, А0' и О позволяют произвести следующую классификацию: если А0' сО(, то в объекте 0| развивается локальный процесс; если А°' с: 2, то процесс в О, частично зависимый; если А°' = <2, то процесс в О, полнозависимый.

Рассмотрим случай задания двух достаточно близких по описанию процессов Z^ (трек А) и Т2 (трек В), для которых используются эквивалентные операторы И, и Ь2, но они взаимодействуют с разными параметрами, как входными, так и выходными. Для обобщенного описания процессов определение инициатора процесса дополняется свойством возможности включения параметры в себя, что представляет локальную среду процесса. В данном случае имеет место следующая схема свертки описаний процессов (рис.4).

С инициатором ^ связана локальная среда (а, е) процесса г,, ас инициатором 12 - локальная среда (Г, д) процесса Оператор ^

модифицирован в оператор который связан с параметром Ь и первым параметром локальной среды инициатора. Оператор /?'2 связан с параметрами й, с, с/ и вторым параметром локальной среды инициатора. Операторы Л'-, и Л'2 будут объединенными. Инициаторы ^ и 12 присутствуют в этой схеме одновременно.

Таким образом, на основе формального аппарата процессно-ориентированного описания поведения имитационных моделей предлагается процедура моделирования поведения пользователей и пользовательских приложений, позволяющая реализовать механизмы декомпозиции и взаимной сцепленности модельных процессов обучения и тестового контроля, направленные на создание интегрированного программно-моделирующего комплекса.

Такая схема описания взаимодействия позволяет реализовать декомпозицию, механизмы блокировок, взаимной сцепленности и выполнить описание пользовательских и модельных процессов обучения и тестового контроля.

В основе интеграции элементарных приложений реализации образовательного контента лежит формализованное описание фрагмента:

Р, = (%, с4 а„ а„ в,, г„ р,), (3)

где: тип фрагмента (расчетный, информационный, выбор и т.п.); £/, - для тестового контроля это уровень сложности; а, - уровень доступа; ст,- - операция сравнения уровня доступа (Ф, <, <, =, >, >), 5,- - время окончания фрагмента; r¡ - признаки описания фрагмента, р, -параметризация фрагмента при активации. С учетом введенных параметров фрагмента для предъявления учебных материалов и тестовых заданий имеется возможность организации алгоритмической структуры приложений (рис.5), связанных с соответствующими фрагментами.

Рис. 5 Алгоритмическая структура приложений

В работе предлагается использовать формальное понятие алгоритмической модели процесса, которое представляется в виде тройки где - множество элементарных операторов;

р- порядок на {Л, }"=1; I- инициатор. Данная модель описания процесса предполагает, что моменты сцепления инициатора с элементарными операторами определяют сами элементарные операторы. Для этих целей используется оператор который определяет условие, при выполнении которого инициатор сцепляется с оператором Л,с+1. Возможны следующие варианты задания такого условия: а) указание момента времени сцепления инициатора с оператором /)(?+1; б) определение логического условия, при выполнении которого инициатор сцепляется с оператором /?,с+1; в) комбинированная форма, включающая варианты а) и б). Таким образом е {Л/1Л/,,Л/'Л}, где: ^ - оператор условия сцепления; И* - оператор временного условия; И" -оператор логического условия; И'" - оператор комбинированного условия. Такая форма описания взаимодействия пользовательских процессов через аппарат представления имитационных процессов является входным параметром для приложения конструктора структурных элементов (КСЭ).

Среда КСЭ в качестве выходной программной структуры формирует зес1-файл, который полностью определяет алгоритмическую структуру предъявления учебного материала и является входным для проигрывателя.

Кроме того, представление фрагмента (3), и связанное с ним элементарное приложение, является гибким средством расширения возможностей инвариантной составляющей системы. Помимо реализации дополнительных алгоритмов исполняемые фрагменты позволяют организовать: работу с внешними файлами, обмен данными, запуск и взаимодействие с внешними приложениями. Они позволяют расширять возможности проигрывателя учебного контента, как на системном, так и на прикладном уровне. При этом последовательность предъявления приложений задается совокупностью воспроизводимых проигрывателем визуальных параметрически настраиваемых фрагментов (рис.6).

Каждому фрагменту приписываются описательные поля, поля визуальной настройки, а также задается структура переходов связанная с результатом проигрывания фрагмента. Развязка по данным дает возможность перенести часть функционала проигрывателя на приложение за счет программных компонентов интерфейсного взаимодействия с пакетами МаН-аЬ,

МаИЮас), бРЭБ и др., которые реализованы и включены в программно-моделирующий комплекс.

Фрагменты учебных занятий (тестов)

Фрагмент 1

Настройка перехода ActiveX, внешние прилож. Аннотация, Замечания, Принадлежность к типу, Аудио настройки, Визуальные настройки, Параметризация интера кг.

| Фрагмент -

Результат выполнения Выполняемый фрагмент I

/„______________________________л

Рис. 6 Расширение функционала за счет приложения

Так, приложение MCadCOTA представляет собой универсальный параметризуемый исполняемый фрагмент, позволяющий средствами пакета Mathcad программирования манипулировать входными данными из внешнего файла в числовой, строковой и матричной формах, получать во внешних файлах значения выходных переменных и файлы графиков.

Аналогично устанавливается взаимодействие исполняемого фрагмента с компонентами пакета Statistica. Так, компонента StgViewer предназначена для оперативного просмотра графиков в STG-формате, а StaViewer - для просмотра файлов данных с расширением STA. Визуализация результатов в исполняемом фрагменте выполняется в формате пакета Statistica. Для работы компонентов необходима активизация пакета.

В третьей главе диссертации представлено описание инструментальной среды разработки и шкалирования результатов выполнения тренировочных тестовых заданий. Построенные в данной среде игровые задания и тренировочные упражнения составляют базовые фрагменты сценария представления учебных и тестовых материалов.

Одной из важнейших задач нефтегазодобывающей отрасли является обеспечение безопасности, включая пожарную и газовую. Однако, специалисты и операторы, особенно в районах крайнего севера, зачастую работают вахтовым методом. Естественно, что перерывы в работе могут сказаться на способности к оперативному приему правильных управленческих решений. Для устранения этих ситуаций разрабатываются тренажерные комплексы, которые моделируют поведение основных объектов управления транспортом

газа, а именно: газотранспортную сеть в зоне ответственности газотранспортного дочернего общества или его филиала (управление потоками газа и согласованное управление газокомпрессорными цехами и линейной частью), газоперекачивающую станцию и газоперекачивающий агрегат, линейную телемеханику для контроля и управления на уровне крановых узлов и др.

Тренажерный комплекс (рис.7) включает себя компоненты: диспетчерского управления на базе системы СПУРТ и системы моделирования «Веста»; управления газоперекачивающим агрегатом на базе САУ ГПА МСКУ-5000; управления линейной части и др. Технические средства оснащены соответствующим штатным программным обеспечением, что позволяет эффективно проводить занятия по изучению устройства и обслуживанию распространенных в газовой отрасли комплексов и систем автоматики.

Предполагается постоянное наращивание функциональных средств тренажерного комплекса, для чего в работе предлагается инструментальная среда конструирования мультимедийных тренажеров, а вместе с приложениями интеграции с МаГСас) и 81ай8й'са среда позволяет оперативно наращивать комплекс модельными составляющими в виде систем нелинейных и разностных уравнений, дискретно-событийных имитационных моделей и моделей случайных процессов и т.п.

Наиболее трудоемкими при разработке инструментальной среды создания тренажеров являются задачи создания графической библиотеки и машины сценариев. Трудоемким также является процесс реализации графического интерфейса приложений. В связи с этим появляется необходимость использования существующих компонентов (рис.8). Наиболее распространенной бесплатной

графической библиотекой является OGRE (Object-oriented Graphics Rendering Engine). Библиотека OGRE используется во множестве проектов.

Рис. 8 Диаграмма компонентов системы

Также существует множество различных инструментальных средств, позволяющих экспортировать ресурсы из графических пакетов, таких как 3ds Max, XSI, Maya, Blender и т.д. в используемый OGRE формат. Особенно важно наличие стабильной и эффективной адаптации данной библиотеки для использования на платформе .NET - MOGRE. Для выбранной платформы общий ход взаимодействия компонентов в ходе создания мультимедийного тренажёра представлен в виде нотации UML (рис.9).

Для построения языка и машины сценариев выбрана платформа .NET. Простота и легковесность Lúa, удобство существующей адаптации машины сценариев Lualnterface для платформы .NET послужило причиной выбора именно этого языка. Использование Lualnterface позволяет коду сценариев создавать объекты CLR, осуществлять доступ к их свойствам, вызывать методы и даже обрабатывать события CLR с использованием соответствующих функций.

Созданные в данной инструментальной среде тестовые задания (тренажеры) являются первичными в системе аттестации при формировании теста. Помимо графического редактора формирования сценария задания среда включает схему разбора ответа, компоненту параметризации задания и подсистему генерации тестового задания.

Редактор Ядро

описания Компановщик обеспечивающее Ядро

практического файлов доступ к базе визуализации

задания медиаконтента

Рис. 9 Обобщенная структура тренажерного комплекса

Функции графического редактора служат для создания графического образа с интерактивными полями. С={С|}м..| -множество простых графических объектов; N/={N/^=-1 ^ - множество полей ввода; 2={гп}п=1..м - множество полей захвата; А={Ат}т=1..м -множество вариантов.

Формирование схемы разбора ответа использует понятия позиций Pz и РА, которые связаны с множествами Z \л /\, множество действий 0={0^=1..4, где О! - <А|->Р21> - перетаскивание поля варианта; 02 -<А, -> Рм> - изменение положения варианта; 03 -<=> УЛ> - ввод текста; -<0^> - подтверждение завершения задания.

Для общего случая произвольной последовательности действий пользователя в работе предлагается модель конечного автомата Е, представляющего пятерку Е=(А, О, В, ср, ф), где: А=(а1, а2,..., ат) -входной алфавит, определяющих множество действий пользователя, таких как перетаскивание объекта, ввод значения, выбор альтернативы и др.; 0=(д1, д2,..., рт) - множество состояний, которое определяется схемой разбора содержательной части тестового задания; В=(Ь1, Ь2,..., Ьт) - выходной алфавит, определяющий множество действий пользовательской оболочки, таких как перемещение или удаление объекта, появление, изменение свойств и т.д.; ф - функция переходов 0хА-»0; ф- функция выходов ОхА->В.

Например, в случае возможности неоднозначной последовательности действий пользователя для достижения положительного результата схема автомата представлена на рис.10,

где дуги помечаются либо некоторым действием (<А^Р2>,<=>\/а1>) либо его отрицанием (-1<Аг->Ря>,-,<=>\/а|>).

«Й У А »Р/1>

1<=>УА;>

<=>Уг

Рис.10 Автоматная схема описания поведения пользователя при выполнении тестового задания

Для конструирования задания с последующей возможностью идентификации правильности решения автомат рассматривается как преобразователь, который задается словарной функцией ^ат)= V (<7, ат), отображающей множество А* в В*, где ат - входное слово длины т. Сама функция представляет конечно-

автоматную функцию, реализуемую или вычисляемую инициальным автоматом НФ

Введенные формализации позволяют представить все известные типы тестовых заданий (ТЗ), а также их расширения.

ТЗ закрытого типа - , - единственное поле захвата,

А={Ат}т=1..м, D=D1v{D1vD2vD4}. Варианты - т*е{1..М}.

ТЗ открытого типа - ^ , У=\Л - единственное поле ввода,

0={03, 04}. Вариант - <строка символов>

ТЗ на классическое соответствие - С={С)|=1 ^ , 2={гп}п=1.^>

А={Ат}т=1 м, Ы=М. D=Dlv{D1vD2vD4}. Вариант - перестановка на {1..М}.

ТЗ на соответствие - С={С|}|=1^ , г={гп}п=1..к. А={Ат}т=1..м, М>Ы.

D=D1v{D1vD2vD4}. Вариант - упорядоченная последовательность {1..М} длины N.

ТЗ на кластеризацию - С={С|}|=1..и , А={Ат}т=1..м, М>М.

•

D=D1v{D1vD2vD4}. Вариант - отношение на ZxA {1..М} длины N -соответствие вариантов полям захвата. Матрица отношения имеет блочный вид,

ТЗ на упорядоченное соответствие (перемещать некоторые варианты на определенные места или вводить фиксированный текст в

заданном поле в определенной последовательности) С={6|}м...ь У={У]}р1.л, А={Ат}т=1..м, М>Ы. 0=01у02У03.

Для формальной количественной оценки выполнения тестового задания в работе сформирована оценочная шкала в интервале [0,1].

В заданиях множественного выбора А={Ат}т=1..м - множество вариантов ответов; 2А={2Ат}т=1..м, 2Ате{0,1} - вектор правильного выбора (1 - вариант входит в выбор, 0 - нет); ТА={ТАт}т=1..м, ТАте{0,1} - выбор тестируемого (1 - вариант выбран, 0 - нет). В качестве

расхождения предлагается использовать равномерную метрику, но

м

нормированную по количеству вариантов р(2А,ТА) = '\--—^\2А1 -ТА,\.

М /и

В задании на соответствие гА={гАт}т=1..м, гАте{1...М} - правильная перестановка; ТА={ТАт}т=1..м, ТАте{1...М} - перестановка тестируемого. В данном случае введена другая мера

м

р(1А,ТА) = 1~ — ^4<2А1=ТА1 >. Логическое условие <...=...>

принимает значение 1 при равенстве аргументов и 0 в противном случае. Полученные соотношения оценок дают значение 1 при полном соответствии ответа, 0 - при полном расхождении. Промежуточные значения определяют процент правильности решения тестового задания. Аналогично задаются меры различия для заданий на кластеризацию объектов и др.

Для проигрывания задания автомат рассматривается как инициальный, для которого выделяется подмножество В'сВ и рассматривается подмножество 1_всА* , 1-В={атеА: ц/(с/, ат)еВ}, где подмножество 1-в' определяет поведение инициального автомата по отношению к множеству В'. С использованием автоматной схемы описания выполнения задания возможна еще большая дифференциация оценки задания.

Для моделирования поведения пользователя в работе предлагается использование аппарата сетей Петри, которая является абстракцией динамической системы в смысле соответствия переходов событиям, а мест условиям наступления событий.

В общем случае модель может порождать разные процессы, а множество всех процессов, порождаемых системой, полностью характеризует динамику поведения системы.

При этом параллельная сеть действий удовлетворяет условию \fpeP ;|* р |< 1а | р' \< 1, т.е. каждое место в данной сети имеет максимум один входной и один выходной переход. Полученная сеть будет представлять последовательно-альтернативные процессы в случае, когда \Н(Ы)\='\, т.е. сеть имеет единственное головное

место, и V* е 7" |= 1л | Г |= 1, т.е. для любого перехода в сети существует по одному входному и выходному месту.

Для реализации сценариев представления образовательного контента, особенно тестовых материалов, параллельно-альтернативные процессы могут быть представлены с помощью ациклических сетей, удовлетворяющих условию

ЧреР,\НиЬеТ:МиЬе-р)=>01 аI 12)).

Рассмотрим развертку примитивной сети N = (Р,Т,Р,М0) со стандартной начальной разметкой М0, при которой только единственное головное место р сети имеет разметку М0(р) = 1, а остальные места имеют нулевую разметку. На рис.11 показана примитивная сеть N = 1а;*( Ь;*с;с1); е . При этом сеть представлена как комбинация компонентов (Ыл;Ы3), где Л/1 и Л/3 — ациклические компоненты, Л/2 =*(Ь;*с;с1) —циклический компонент.

р<

Рис. 11 Развертка примитивной сети в процесс

При развертке такой примитивной сети сначала отдельно разворачиваются все ее циклические компоненты. В каждом циклическом компоненте Л/, имеется единственное головное место р, (в компоненте Л/2 такое место — место р2). Головному месту р, компонента Л/, сопоставляется головное место развернутой сети Л/,. Далее развертка осуществляется индуктивным способом. Процедура развертки примитивной сети со стандартной разметкой сводится к выделению всех возможных путей в графе исходной сети и склеиванию путей в тех местах, после которых эти пути совпадают.

Такое представление согласуется с формальным процессно-ориентированным описанием поведения пользовательских приложений и может быть использовано как схема генерации процессов выполнения тестовых заданий для моделирования блокировок и достижимости состояний в заданном сценарии представления образовательного контента.

В результате практической апробации тренажерных и тестовых заданий в отраслевых системах подготовки, аттестации и сертификации кадров складываются свои собственные нормативы для результатов выполнения ТЗ (табл.2).

Таблица 2

Оценка результата выполнения задания сертификационно-_ измерительных материалов_

% вып. Оценка Описание оценки

¿95% ОТЛ. высокий уровень профессиональной компетенции

>85% ХОР. отсутствие очевидных ошибок (хороший уровень профессиональной компетенции)

>80% УДОВ. необходимость в контроле, отсутствие инициативы

<80% НЕУД. неспособность работать самостоятельно, многочисленные нарекания

Итоги квалификационного экзамена рассчитываются исходя из суммы оценок каждого вида проверки. Для оценки 80% и больше, что соответствует оценке «удовлетворительно», кандидат считается положительно сдавшим квалификационные экзамены и ему выдается соответствующий сертификат. Пороговая величина в 80% определена исходя из принятых в нефтегазоперерабатывающей отрасли норм при проведении проверки теоретических знаний и практических навыков оперативного состава работников.

В четвертой главе диссертации решается задача разработки методики управления образовательным контентом. Для формирования сценария представления и автоматизации управления образовательным контентом предлагается иерархическая структура приложений. КСЭ создает алгоритмическую структуру фрагментов (структурный элемент). На втором уровне КУК формирует вложенную иерархическую схему описания структурных элементов. Обе эти структуры воспроизводятся соответствующими приложениями ПУМ. На третьем уровне АУП объединяет учебно-методические материалы отдельных дисциплин с единую базу учебных материалов по направлению подготовки персонала.

В целом, разработанный программно-моделирующий комплекс направлен не формирование образовательного контента, но и для решения задач оптимизации учебного плана (рис.12) по критериям, построенным на понятиях функций научения-забывания термов, которые объединяются в компетентностном подходе формирования профессиональных отраслевых образовательных стандартов.

На основании использования стандартных моделей научения-забывания каждого терма, которые для определяются

рекуррентной схемой я(1\сг,тг)= для функции

забывания и Я^|си,ти)= - для

т /(¡1)к

функции научения, где Щ\с,т) = е~с' • ^ многочлены Лагерра,

к=0 "'

а И^) начальное значение кусочно-функциональной функции научения-забывания для заданного интервала.

В работе принимается постановка многокритериальной задачи оптимизации последовательности предъявления контента:

VI Р,(Т)-»тах, (4)

где Р,(Т) - значение функции научения ¡-го терма на момент завершения изучения всех модулей (рис.12). Основой формирования интегрального критерия является свертка всех функций по группам классифицирующих признаков компетентностного подхода. Для решения данной задачи могут быть использованы стандартные методы многокритериальной оптимизации (идеальной точки, последовательных уступок и др.) в совокупности с подходами теории расписаний при формировании последовательности предъявления модулей.

КСЭ создает формальное описание алгоритмической структуры исполняемых фрагментов, которые могут инициировать различные пользовательские процессы. Для реализации (проигрывания) созданного сценария представления учебного материала разработано приложение ПУМ, для которого разработана формальная схема автоматного описания.

ПУМ представляет шестерку - Р = Е, А, Т, Б,, Эр, где Б -состояния, Е- события, А- действия, Т - функция переходов.

Состояния представляют набор Б2, Эз, в4, в5, вц}, где: —

останов; — проигрывание; 53 — пауза; — отображение списка фрагментов в режиме ручной паузы; 55 — отображение списка фрагментов в режиме автоматической паузы; 56 — отображение списка фрагментов в режиме останова. Начальное состояние - Б,- = Множество конечных состояний - = {Б^.

События определяют входной алфавит Е = {Еь Ег, Е3, Е4, Е5, Ее, Е7, Ев, Ед, Ею}, где: Е1 — инициация начала; Е2 — инициация приостановки; Е3 —завершение; Е4 — переход к предыдущему; Е5 — переход к следующему; Е6 — откат на шаг назад; Е7 — инициация произвольного доступа к фрагменту; Е8 — наступление времени принудительного завершения; Ед — открытие окна со списком фрагментов; Ею — инициация закрытия окна со списком фрагментов.

Действия определяют выходной алфавит А = {А^ А2, Аз, А4, А5, Аб, А7}, где А1 — определение очередного фрагмента; А2 — начало сбора статистики и запуск; А3 — приостановка фрагмента и сбора статистики; А* — возобновление фрагмента и сбора статистики; А5 — останов фрагмента и завершение сбора статистики; А6 — открытие списка фрагментов; А7 — закрытие списка фрагментов.

На основании этих формализмов в диссертации сформирован граф, представляющий функцию переходов Т^, Е^={<(Ак)к=1..х, <Зт>т=1 у}, который ставит в соответствие каждой паре <состояние, событие> некоторую последовательность действий.

В качестве исполняемых приложений могут быть использованы обычные браузеры или стандартные математические пакеты. Причем после завершения каждого приложения распознается код завершения, который определяет переход к следующему приложению сценария.

Как результат имеется возможность формирования последовательности учебных материалов и тестовых заданий, которая формируется на основании результатов ответов и имеется возможность программирования вариации разделами, сложностью, количеством ТЗ и т.д.

Далее на основе разработанной системы приложений в диссертации разработана методика формирования и управления образовательным контентом. Основной задачей методики является создание терм-связного учебного контента, построенного на основе оптимизации функций научения (рис.13).

На первом этапе в базу заносятся квалификационные требования (профессиональные стандарты) с описанием знаний, умений, навыков и компетенций необходимых для выбранных направлений. По каждой компетенции формируется паспорт с детальным описанием знаний, умений и навыков (ЗУНов). Далее формируются учебные модули, которые закрепляются за методистами, которые формируют рабочую программу модуля (дисциплины) с указанием объемов занятий по видам, а также входных и выходных термов (понятий) по каждому модулю. Имеется возможность редактирования модулей в локальной среде, после чего материалы экспортируются в БД учебного плана, где в последующем старший методист проводит синтаксический анализ термов и устанавливает связи с ЗУНами и компетенциями указанными в квалификационных требованиях.

Рис.13 Диаграмма сценария формирования терм-связного учебного контента

Методисты, обновившие БД, имея заполненный словарь термов по всем учебным модулям, устанавливают связь между своим редактируемым модулем и другими модулями, путем выбора выходных термов от последних. Данный функционал приложений оценивает связность модулей и служит основанием для формирования последовательности изучения модулей. В процессе оптимизации учебного плана (перестановки модулей) система акцентирует внимание старшего методиста на возможные некорректности в плане наличия «неопределенных» и «висячих» термов.

Для автоматизации процесса подготовки учебных планов в отраслевых учебных центров, разработана структура приложений формирования терм-связного учебного контента (рис.14) для следующих групп сотрудников: старший методист (ответственный за образовательную программу в целом), методист (ответственный за отдельные модули и дисциплины), консультант, администратор (ответственный за регистрацию всех пользователей и распределение прав).

Рис.14 Структура приложений реализации методики подготовки терм-связного учебного контента

Входными данными для КУК являются структурные элементы каждого модуля по каждому виду занятий, которые создаются КСЭ на этапе формирования образовательного контента, и входные термы (понятия, необходимые для изучения конкретного модуля).

АУП представляет подсистему автоматизации терм-связного учебного контента и дает старшим методистам функционал формирования учебного плана по образовательной программе, позволяющий связывать модули посредством указания соответствий между входными и выходными термами. Также имеется возможность анализа квалификационных требований работодателя, терм- анализа, подготовки различных видов отчетов (программа модуля, рабочий учебный план, графические представления учебных планов и др.). Входными данными для подсистемы является полная информация о модулях, требования к ЗУНам и компетенциям указанные в квалификационных требованиях.

Оболочка консультанта предназначена для ведения учебного процесса, распределения модулей и контроля знаний. Консультант постоянно наблюдает за ходом учебного процесса на основе времени изучения отдельных учебных модулей и при возникновении вопросов дистанционно проводит консультации и предоставляет информацию методистам о проявившихся некорректностях методических материалов.

Подсистема мониторинга успеваемости, основываясь на промежуточных и конечных результатах обучения, дает возможность в реальном масштабе времени получать информацию в различных разрезах.

Неотъемлемой частью учебного процесса является тестовый контроль, на основании которого решается вопрос о сертификации специалистов. Для сертификации в нефтегазовой отрасли принята

модель оценки компетенций (рис.15). В профессиональном стандарте определены виды трудовой деятельности различных квалификационных уровней, каждому из которых соответствует ряд рекомендуемых должностей. Для каждой должности на основе должностных инструкций и анализа трудовой деятельности подобраны необходимые компетенции, для чего разрабатываются измерительные средства. _

ИЗМЕРИТЕЛЬНЫЙ СРЕДСТВА

:

Тип вопроса \ Выбор одного ответа из нескольких заданных Выбор нескольких вариантов ответа из несколько заданных Установление соответствия Ранжирование Ввод текстовой строки или числа

ш

Решение задам

Условие задачи Метод решения Отпет

На'ТсТеН"е ' ) Тематический вопрос

•5 І

£ с Г>

>• (Ч

Эссе (краткий ответ на тематический вопрос)

Применение симуляторов, компьютерных тренажеров

Условие практической задачи

Методы и средства решения

Выполнение практической задачи

Написание эссе

Тематический вопрос

Устный ответ

Рис. 15 Модель оценки компетенций измерительными средствами

На основании проведенного анализа оценки и сертификации квалификаций различных видов деятельности (газодобыча, геологоразведка и др.) было выявлено, что оптимальное число вопросов для оценки квалификаций тестируемого, равно 100. В результате показано, что измерительные средства для оценки и сертификации квалификаций работников нефтегазо-

перерабатывающей отрасли должны удовлетворять соответствующим требованиям (табл.3). При этом: повтор одних и тех же вопросов в разных должностях не допускается; повтор вопросов (не более 80%) возможен только внутри одной и той же должности с различными категориями; набор вопросов для каждой новой (более высокой) категории должности должен содержать 20% новых вопросов более высокого уровня сложности.

Л^зрг^- -; " де *

29

Таблица 3

Количество тестовых заданий для сертификации квалификации

Категория должности Сложность задания

без категории 2 категории 1 категории Вед. специалиста

без кат. 100 - - -

2 кат. 80 20 - -

1 кат. 60 20 -

Вед. специалист 40 20

Представленные данные по количеству вопросов (заданий) были получены эмпирически. Для формального обоснования принятых положений оптимизации системы сертификации квалификации в диссертации разработана имитационная модель оценки механизма предъявления и процедуры оценивания тестового контроля, основанная на критерии вероятности ошибочных классификаций.

Анализ взаимосвязи методов и моделей тестового контроля

Статистическая модель теста

Задания

Методы построения

тестов

Статический

Адаптивный

/ Формализация понятия \__________N. ч I I

[ уровня сложности заданий ) 1С1 у- • - Су С1 у" ' " (.у V у" • •0П|у)

^----У 1 Уровни сложности

Априорные распределения по уровню знаний

7Г

Модель группы -входной поток тестируемых

^ Кластерный анализ ^ ( Латентно-структурный анализ ^

Вероятностная модель

ответов тестируемого

5

•о

I

( Факторный анализ ) ( ІЯТ теория )

Статистическая модель решения теста

и*

Кг

5у'= I х., х.=

I О-«0™"

Решенные задания — і

О- -0ІО- -©I© ••©

Уровни сложности

Процедуры классификации по вероятностной модели и выборке решенных задач

Байесовская классификация

Дискрименантный анализ

Рис. 16 Взаимосвязь методов и моделей тестового контроля включающих: метод оценки вероятностей ошибочной классификации; моделирующие алгоритмы, основанные на моделях кластерного, факторного, дискриминантного анализа и др.; метод переоценки

сложности тестовых заданий; приложение разбора структуры гетерогенного теста и др.

Поставленная задача заключается в разработке процедуры классификации специалистов в рамках процедуры сертификации на К

групп Wi, W2.....Wk, соответствующих одной из категорий.

На первом шаге разыгрывается процедура получения правильного ответа на вопросы теста в зависимости от уровня сложности задания (результат - матрица Z размерности m*k, где т-число повторов теста). Вероятность правильного ответа задается распределением Бернулли с вероятностью р.

\\z¡,j I = P(Qq, ßy | р), i = 1 ,...т, j = 1 ,...п, (5)

где р— вектор параметров имитационной модели, n-общее количество заданий в тесте.

Если предположить, что ответы испытуемого независимы, то вероятность оценки уровня подготовки испытуемого вычисляется на основании произведения независимых событий:

m íllz,- • IL если X = U А= а/(- =Ги '„ „ , где ü-достоверное событие (6)

" ,J" м - [z/ yj, если X = —iU

На втором шаге используется алгоритм максимального правдоподобия. Последовательно просматривается каждая i-я строка матрицы А и определяется максимальное значение для столбца, индекс которого будет определять выставленный балл

Щ = arg тах (Aq[lj). В результате формируется вектор-столбец Lq,

" " Mbк]

элементы которого суть оценки параметра максимального

•| m

правдоподобия 6 по каждой итерации. \\hk\\ = — представляет

нормализованный вектор Lq. По завершению формируется матрица Elql = Н^ оценок параметров максимального правдоподобия

размерности k*n. При этом матрица ошибочных классификаций представляет функцию попарных вероятностей принадлежности различным классам уровня знаний, которая всегда будет иметь седлообразный вид (рис. 17а). Графики вероятностей ошибочных классификаций, т.е. дополнения до единицы диагональных значений матрицы ошибочных классификаций будут выпуклыми (рис. 17.6). Неравномерный характер вызван статистической погрешностью имитационного эксперимента.

Положение кривой на рис. 17.6 является оценкой эффективности теста. Чем ниже кривая, тем меньше вероятности ошибочных классификаций, и тем эффективнее тест. Данная модель использовалась для расчета эффективности тестов различной сложности, т.е. состоящих из легких (L), средних (М) и сложных заданий (С), а также для оценки эффективности адаптивного теста

--тгг«- ....."Г.а-к...

31

(А). Как видно из графиков легкие тесты слабо различают хорошо подготовленных, сложные тесты - плохо подготовленных, в то время как для адаптивных тестов вероятность ошибочной классификации практически на порядок меньше для тестируемых любой подготовленности.

0,35 0,30 0,25 0.20 0,15 0,10 0,05 0,00

ч

\

Л» \ ,

V

а) Представление матрицы ошибочных б) Вероятности ошибочной

классификаций классификации

Рис. 17 Вероятности ошибочных классификаций

Кроме того, в диссертации предлагается приравнивать первичные баллы участников тестирования Ьу и тестовых заданий с, соответствующим математическим ожиданиям

к п

й/ -1]Ри= ' = 1.2,...,л, С1 - = 1 = 1»2,...,/с, (7)

м /=1

где р,у - вероятность верного выполнения /-м участником /-го задания.

В основной логистической модели Раша эта вероятность моделируется функцией успеха вида

Рц = рК = 1|©(-.2,}= ехр[(©, - 5;)]• [1 + ехр(©/ - 5у)]"1 (8)

Таким образом, при наличии первичных баллов Ь,, и Су, система уравнений (7) представляет собой п+к нелинейных уравнений с п+к неизвестными параметрами, 01,02,... 0П, 61,62,... б/с. Различные оценки латентных параметров получаются лишь в том случае, когда соответствующие первичные баллы различны.

Производные левых частей уравнений (7) имеют вид

4-Х; р.) у о э(-су + Ь>|)

- 2-г ' Чу >

30,•

95;

1=1

(9)

7=1 ""У

где и потому итерационная формула применительно к (7),

выглядит следующим образом:

- У* 6м

" 6 = 0,1,2,...,/с, (Ю)

0

М) _ С>М

©Г +

МдМ ' »

8И) = 5(ц) +

у = 1,2,...,/с,

(11)

где Ь - номер группы участников, набравших один и тот же первичный балл Ь; пь - количество участников в группе Ь; р^' и р^ - оценки

вероятности, вычисляемые на основании (8) по имеющимся приближенным значениям латентных параметров.

Следующей задачей, решенной в диссертации, стало формальное описание конструктора гетерогенных тестов. Обычный тест в системе описывается зес)-файлом и может иметь как линейную, так и алгоритмическую структуру. Структурные элементы, содержащие только тестовые задания, объединяются в тест. Одним из вариантов механизма формирования гетерогенных тестов является конструирование эс)с1-файла, который представляет структуризацию ссылок на зес)-файлы гомогенных тестов. Более гибкая структура гетерогенных тестов достигается за счет принудительного формирования ссылок каждого задания на каждый модуль учебного плана. В работе сформирована структура приложений, которая реализует представленный функционал (рис.18).

Рис. 18 Структура приложений гетерогенного теста Для проигрывания полученной структуры гетерогенного теста разработана компонента проигрывания теста, представляющего exe-файл, вызываемый из фрагмент эсМ-файла структурного элемента. Приложение компиляции языка последовательности формировании механизма предъявления тестовых заданий основано на формализованном описании рекуррентной схемы расчета следующего направления и следующего уровня сложности тестового задания:

р(п+1) _ рр(п)(р«) ¡=1 п: 8В =5(п+1)) + £<п)(р<1>, в'11,..., Р(п), Э'"*), (12)

8<п+1> = р5(п)( р(1) 3(1)..... р(п)] 5<п>), (13)

где р(п) - сложность задания на п-ом шаге процедуры; Рр(п), Р5(п) -некоторые функциональные преобразование результатов ответов для выбора очередного направления и очередного уровня сложности; £<П)(Р<1),..., р(п>) - результат решения задания в системе контроля либо случайная величина, моделирующая ответ на п-е задание в системе моделирования. Моделирование ответов на задание выполняется на основе ИЗТ-моделей.

Для различных механизмов предъявления и методов оценивания в диссертации показаны оценки скорости сходимости алгоритмов к истинному уровню знаний. Так, поведение адаптивной процедуры с постоянным шагом для восьмибальной шкалы, начальной сложностью равной 1 и истинным уровнем знаний 5 приведено на рис.19а. Из гистограммы видно, что сложность большей части заданий находится в окрестности истинного уровня знаний, что естественным образом повышает точность оценки по методу максимального правдоподобия. Для непрерывной шкалы предлагается использование процедуры Роббинса-Монро. На графике (рис. 19.6) приведены математические ожидания с доверительными интервалами для итерационных процедур (для М1 начальный уровень сложности 0, истинный уровень знаний - 4, для М2 - 5 и 1 соответственно).

Рис. 19 Сходимость процедуры адаптивного тестового контроля

Таким образом, в работе получены количественные оценки эффективности адаптивных процедур тестового контроля и предложен синтаксис языка описания рекуррентных последовательностей, для которого разработан компилятор. Так, например, операторы Ь(к+1):=Ь(к)+5ЮЫ(х-0,5) и 3(к+1):=КАШ будут определять выбор следующего задания на единицу большей сложности в случае правильно ответа и на единицу меньше в случае неправильного из случайно выбранного направления. Такой синтаксис вполне доступен методистам, не имеющим опыта программирования.

В пятой главе диссертации рассматриваются вопросы построения системы мониторинга квалификационных характеристик персонала.

Выбор состава пользователей системы мониторинга определен схемой сертификации квалификаций (рис.18). Непосредственно процедурой сертификации в ЦОСК занимается экспертная (сертификационная) комиссия, поэтому чрезвычайно важным является процесс ее формирования, который регулируется специальным Положением. В их состав включаются эксперты, завершившие подготовку в экспертно-методическом центре и имеющие: соответствующее образование, подтвержденное документом установленного образца; высокий уровень профессиональной компетентности в направлении деятельности; опыт работы (практический, научный и управленческий) в близких областях деятельности и т.д.

Перечень нанравленнй деятельности, информация о вакансиях

Определение ІІОІ ребноеIII к імперіях но направленным деятельности

Перечень направлений деятельности; информация о ил каменях и составе комиссий

Подготовки мнвок н предприятия

тренованим к кандидатам: критерии оібора

ічпенпе направлении. І [юрмания о вакансиях I

Уточнені шіф

Кандидаты удовлетворяющие требованиям

Собеседование с кандидатами

Ш

Список кандидатов

Рассмотрение 1 іаявлсміїіі

кандидатов и эксперты

информация о вакансиях п сінгтав^комиссий ^

Обучение женерго

Список обученных экспертов

Формирование ком и ее и И

Заявления от кандидатов

Список экспертов;

СПИСОК КОМИССИИ по

направлениям деятельности

Рис.20 Пользователи системы мониторинга

При формировании экспертного состава комиссии необходимо руководствоваться отсутствием конфликта интересов в соответствии с требованиями, запрещающими экспертам, участвующим в процедуре оценки и сертификации квалификаций соискателей на одном из этапов, привлекаться к работе на других этапах, а также принимать участие в обучении соискателей.

Далее в работе предлагается совокупность показателей системы мониторинга сертификации квалификаций, которая включает:

1. Количественные показатели: количество промежуточных тестирований; количество итоговых тестирований; количество тестирований суммарное; среднее по всем тестируемым и др.

2. Временные показатели: продолжительность тестирования; часы занятий; дни занятий и др.

3. Баллы и оценки: средние баллы; размах баллов; дисперсия баллов; соотношение итоговых оценок и др.

4. Специальные показатели: коэффициент корреляции заданий в тесте; коэффициент корреляции тестов по дисциплине; коэффициент надежности теста и др.

Данные должны выводится как в табличной, так и в графической форме. Графические отчеты должны содержать диаграммы оценок тестируемых и уровней сложности заданий; графики характеристических кривых уровней подготовленности тестируемых и уровней сложности заданий; гистограммы распределений частот набранных баллов; диаграммы рассеяния результатов тестирования.

Далее проведен статистический анализ результатов аттестации по блокам «Организационные основы современного финансово-экономического управления» (OGF), «Экономика» (ЕсО), «Управление финансами» (UFO), «Юридические основы финансово-экономического управления» (UrO), «Бухгалтерский учет и аудит» (BhO) и «Информационные технологии» (ITO). Выполнен трехфакторный анализ результатов аттестации по категориям возраста, стажа и производственной деятельности. На предприятии принята классификация: для возраста (1-ая группа до 25 лет, 2-ая - 26-30, 3-я - 31-40, 4-я - 41-50, 5-я - старше 50) и стажа (1-ая группа до 6 лет, 2-ая - 7-12, 3-я - 13-36, 4-я - 37-60, 5-я - свыше 60 лет). В аттестации участвовали сотрудники департаментов: «Управления», «Сервисов», «Переработки», «Маркетинга» и «Добычи». Количественный состав участников аттестации приведен на диаграммах (рис.21).

а) по направлению деятельности б) по возрасту

, ^ у"

I....................................1......................................1........................................................1 ¿г

О 20 40 60 80 100 120 140

а) по стажу б) по направлению и стажу

Рис. 21 Количественное соотношение участников аттестации Наибольшее количество сотрудников было из департамента сервисов, а наибольшая возрастная категория от 40 до 50 лет. По стажу группы примерно равны. Корреляционный анализ показал слабую взаимозависимость результатов аттестации между блоками (табл.4).

Таблица 4

Таблица корреляционного анализа

Means Std.Dev.j UFO EcO BhO UrO Г OGF | ITO j FEO

UFO 48,80 15,82 1,00 0,47 0,32 0,30 0,53 0,24 0,68

ЕсО 43,91 16,88 0,47 1,00 0,26 0,37 0,41 [0,15 0,61

BhO 37,72 16,47 0,32 0,26 1,00 0,20 0,28 fO, 12 0,49

UrO 52,80 17,33 0,30 0,37 0,20 1,00 0,35 0,12 0,52

OGF 59,86 18,62 0,53 0,41 0,28 0,35 1,00)0,17 0,60

Однако, метод главных компонент и трехфакторный дисперсионный анализ показал значимое совместное влияние выделенных групп на результаты аттестации (рис.22)

в) влияние направления деятельности г) график 3-х главных компонент Рис.22 Анализ влияния в многофакгорных моделях

. 300*10'погтаЦх; 43.812; 1в.»773> 300'10"погтп»1(х; 42.49»7; 26.7928)

iO 40 ЬО 60 70 во

а) дисперсионный анализ по ИТ б) гистограммы по направлениям Рис.23 Сравнительный анализ результатов аттестации по информационным технологиям

Метод главных компонент отчетливо выделил направления информационных технологий и бухучета, стоящие в стороне от остальных по общности результатов. В связи с эти для блока информационных технологий отдельно выполнен дисперсионный анализ (рис.23). Как видно из диаграмм, для первой возрастной группы (самые молодые сотрудники) результаты в среднем существенно выше остальных групп (рис.23.а). Однако, если сравнивать разброс результатов для 1ТО, экономики и общего результата, то по 1ТО имеет место самый большой разброс (рис.23.б).

По результатам аттестаций для ряда видов трудовой деятельности (табл.3) модифицирован перечень вопросов и соответственно тестовых заданий. Для требуемой точности оценки квалификационных характеристик в последующих аттестациях рекомендованы гетерогенные тесты с количеством вопросов - 100.

Таблица 5

Распределение вопросов по должностным обязанностям

Вид трудовой деятельности Квалиф. уровень Наименования должностей без и с 1-ой и 2-ой категорией

Химик-технолог 4 Инженер, инженер-лаборант, инженер-химик, инженер-технолог, диспетчер, начальник смены, инженер по подготовке производства

5 Ведущие инженер по подготовке производства, инженер-лаборант, инженер-химик, инженер-технолог, инженер, диспетчер производства, начальники установки, участка, лаборатории, технического отдела, производственно-диспетчерского отдела

6 Начальник производственно-технологического отдела, главный инженер производства, главный технолог, начальник ЦЗЛ

7 Генеральный директор, заместитель генерального директора по производству, главный инженер

Эколог 4 Инженер по охране окружающей среды без и 1-ой и 2-ой категории

5 Ведущий инженер по охране окружающей среды, начальник отдела охраны окружающей среды

Для процесса сертификации в рамках ЦОСК определён следующий регламент (рис.24). При этом ответственным за процесс являются руководители административного и организационно-методического отделов. Рассматриваемый регламент сертификации предполагает проведение следующих мероприятий: собеседование с соискателем с целью определения графика оценки; оценка квалификации соискателя в составе экзаменационной комиссии центра оценки и сертификации квалификаций; принятие решения о сертификации в составе сертификационной комиссии центра оценки и сертификации квалификаций и др., приведенные на рисунке.

Для обеспечения работы методики сертификации квалификаций специалистов нефтегазоперерабатывающей отрасли необходимо следующее ресурсное обеспечение:

Кадровое: эксперты (представители работодателя, привлеченные эксперты); административный и исполнительный аппарат сертификационного центра; специалисты по методическому обеспечению (штатные и привлеченные консультанты) и др.

Рис.24 Общий уровень знаний и навыков работников

Материально-техническое: помещения; класс для проведения теоретических экзаменов; помещение и тренажеры для проведения практических экзаменов; оргтехника; компьютерное обеспечение и др.

Информационное обеспечение: информационный портал, имеющий информационные разделы "для кандидатов" с возможностью регистрации личного кабинета; раздел для экспертов; раздел портала для возможности проведения удаленного тестирования и обработки результатов; освещение деятельности системы сертификации в СМИ.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов работы.

Публикации. По результатам выполненных исследований опубликовано 60 печатных работ.

Основные выводы и результаты работы

1. Проведен системный анализ проблем, методов и моделей в процессе обучения и тестового контроля в отраслевой системе подготовки кадров. Выделен круг моделей оценки согласованности учебного материала, направленных на получение количественных оценок эффективности образовательного контента, и информационных технологий интеграции разнородных программных приложений, которые являются базовыми при разработке системы управления образовательным контентом.

2. Сформированы требования к информационной системе ЦОСК и ЭМЦ в нефтегазоперерабатывающей отрасли, выполнена классификация пользователей по отношению к образовательным ресурсам, а также параметризация функционала программных приложений, направленные на формализованное описание отраслевой системы подготовки кадров.

3. На основе формального аппарата процессно-ориентированного описания поведения имитационных моделей предложена процедура моделирования поведения пользователей и пользовательских приложений, позволяющая реализовать механизмы декомпозиции и взаимной сцепленности модельных процессов обучения и тестового контроля, направленные на создание интегрированного программно-моделирующего комплекса.

4. Реализованы механизмы интеграции программных приложений и формализованного представления фрагмента, который является гибким средством расширения инвариантной составляющей системы, а также предметно-ориентированного функционала за счет алгоритмической структуры сценария пользовательских процессов в системе управления образовательным контентом.

5. Разработана инструментальная среда формирования тестовых, тренировочных и игровых заданий, которые являются базовыми фрагментами сценария представления тестовых материалов. Для произвольной схемы поведения пользователя разработана автоматная схема представления произвольного сценария выполнения и шкалирования результатов выполнения тестовых заданий в непрерывной оценочной шкале.

6. Для моделирования поведения пользователя в работе предлагается использование аппарата сетей Петри, который согласуется с формальным процессно-ориентированным описанием поведения пользовательских приложений и может быть использован как схема генерации процессов выполнения тестовых заданий для моделирования блокировок и достижимости состояний в заданном сценарии представления образовательного контента.

7. Для формирования сценария представления и автоматизации управления образовательным контентом предлагается иерархическая структура приложений, позволяющая сформировать терм-связный учебный материал и реализовать процедуры оптимизации с точки зрения функций научения-забывания. КСЭ создает алгоритмическую

структуру фрагментов (структурный элемент). На втором уровне КУК формирует вложенную иерархическую схему описания структурных элементов. Обе эти структуры воспроизводятся соответствующими приложениями ПУМ. На третьем уровне АУП объединяет учебно-методические материалы отдельных дисциплин с единую базу учебных материалов по направлению подготовки персонала.

8. Для формального обоснования положений и нормативов на тесты в системе сертификации квалификации разработана имитационная модель, основанная на критерии вероятностей ошибочных классификаций и логистической функции вероятности правильного ответа, позволяющая получить оценки эффективности механизмов предъявления и процедур оценивания уровня знаний тестового контроля.

9. На основе формальной функциональной и организационной декомпозиции информационного обмена, выбора состава пользователей системы управления образовательным контентом и разработанных методов анализа результатов аттестации персонала разработана структура системы мониторинга, предложена процедура и определен регламент сертификации квалификаций, направленный на конструктивные мероприятия повышения эффективности отраслевой системы подготовки кадров.

10. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде предприятий, а также используются на кафедре АСУ МАДИ.

Публикации по теме диссертационной работы

Монографии

1. Строганов Д.В. Реализация уровневой системы подготовки в аэрокосмическом образовании / А.Н. Геращенко, М.Ю. Куприков, А.Ю. Сидоров, Д.В. Строганов и др. // М.: Изд-во МАИ-ПРИНТ, 2011.- 347с.

2. Строганов Д.В. Автоматизация управления образовательным контентом в отраслевой системе подготовки кадров / Д.В. Строганов, Л.В. Приходько // М.: Изд-во МАДИ, 2013. - 172с.

Публикации в журналах, рекомендованных ВАК

3. Строганов Д.В. Защита информационных систем с использованием методов случайного фрактального кодирования / Д.В.Строганов, И.А.Горюшко // Вестник МАДИ(ГТУ), вып.1 (1). - М.: МАДИ (ГТУ)., 2003. - С.56-61.

4. Строганов Д.В. Графовая модель оценки сложности учебной информации / Д.В.Строганов, В.М.Пеньков, К.А.Николаева, H.A. Красникова, Г.Г.Ягудаев // Вестник МАДИ(ГТУ), вып.1 (16). -М.:МАДИ (ГТУ)., 2009. - С.70-73.

5. Строганов Д.В. Критерии оценки сложности учебной информации / А.Б.Николаев, Д.В.Строганов, Б.С.Горячкин // В мире научных открытий № 9 (21). - Красноярск: НИЦ, 2011. - С.7-16.

6. Строганов Д.В. Взаимосвязь модулей учебного плана / Д.В. Строганов, К.А. Баринов, О.Б. Рогова // В мире научных открытий № 9 (21). - Красноярск: НИЦ, 2011. - С. 28 - 34.,

7. Строганов Д.В. Алгоритм управляемого имитационного процесса в системах массового обслуживания / П.А. Тимофеев, Г.Г. Ягудаев, Б.С. Горячкин, Д.В. Строганов // Прикаспийский журнал: управление и высокие технологии № 3 (15). - Астрахань: Издательский дом, 2011. - С.62-70.

8. Строганов Д.В. Организация системы общественно-профессиональной оценки и гарантии качества высшего образования / Д.В. Строганов, Ю.Б. Рубин, C.B. Коршунов, Э.Ю. Соболева // Нижегородское образование №3 - Нижний Новгород: Изд. Центр НИРО, 2011.-С. 32 -38

9. Строганов Д.В. Аппроксимация среднеинтегральных оценок нестационарных режимов имитационных моделей сетей массового обслуживания/ Д.В.Строганов, Е.С.Москвичев, А.А.Солнцев, В.М.Приходько, П.С.Якунин // Наука и образование: электронное научно-техническое издание № 3. - М.: МГТУ им.Н.Э.Баумана, 2012. URL. http://technomag.edu.ru/doc/355371.html (дата обращения 13.08.2013).

Ю.Строганов Д.В. Влияние начальных условий и длительности моделирования на характеристики условно-нестационарных процессов/ Д.В.Строганов, А.А.Солнцев, П.С.Якунин, Р.В.Батов, А.А.Карасев // Наука и Образование: электронное научно-техническое издание №4. - М.: МГТУ им.Н.Э.Баумана, 2012. URL. http://technomag.edu.ru/doc/359132.html (дата обращения 13.08.2013).

11.Строганов Д.В. Формализованная модель учебного плана в задаче оптимизации индивидуальной образовательной траектории / Е.Ю. Жажа, А.Б.Николаев, Д.В.Строганов, Е.Ю.Трещеткина, Л.В.Приходько // Наука и Образование: электронное научно-техническое издание №11 (Режим доступа DOI: 10.7463/1112.0506173). - М.: МГТУ им. Баумана, 2012. URL. http://technomag.edu.ru/doc/506173.html (дата обращения 13.08.2013).

12. Строганов Д.В. Оценка эффективности процедур адаптивного тестового контроля / Д.В.Строганов, В.Ю.Свободин, Г.Г.Ягудаев, Н.В.Сычева // Наука и образование: Электронное научно-техническое издание. №11 (Режим доступа: DOI: 10.7463/1112.0506146). - М.: МГТУ им. Баумана, 2012. URL. http://technomag.edu.ru/doc/506146.html (дата обращения 13.08.2013).

13. Строганов Д.В. Применение мультиагентной системы при дистанционном обучении персонала промышленных предприятий / А.И.Белоусова, С.В.Алексахин, О.О.Варламов, Д.В.Строганов, Н.Е.Суркова // В мире научных открытий № 2.6 (26). - Красноярск: НИЦ, 2012,- С.175-184.

14. Строганов Д.В. Обзор систем дистанционного обучения корпорации 1С для подготовки и переподготовки персонала

нефтехимических предприятий / А.В.Воробьев, Н.С.Хромов, С.В.Алексахин, А.В.Остроух, Д.В.Строганов // В мире научных открытий № 2.6 (26). - Красноярск: НИЦ, 2012. - С. 205-211.

15. Строганов Д.В. Модель аналитической деятельности руководителя по принятию решений / Д.В.Строганов II Вестник МГТУ им.Н.Э.Баумана. Серия Приборостроение. Информатика и системы управления Выпуск №5. - М: МГТУ им. Н.Э. Баумана, 2012 - С.87-93.

16. Строганов Д.В. Инструментальная среда интеграции программных приложений для организации обучения персонала предприятий - / М.И.Карташев, А.Б.Николаев, А.В.Остроух, В.Ю.Строганов, Д.В.Строганов // Промышленные АСУ и контроллеры № 7. - М.: Научтехлитиздат, 2013. - С.17-25.

Публикации в других изданиях

17. Строганов Д.В. Разработка программы компьютеризации автотранспортного предприятия / Д.В.Строганов, В.Г.Самойлович, К.А.Николаева II Информационные технологии в промышленности и на автомобильном транспорте: Сб. науч. тр. МАДИ (ГТУ) - М.: МАДИ(ГТУ), 2002. - С.38-43.

18. Строганов Д.В. Программная реализация методики оценки экономической эффективности компьютеризации автотранспортного предприятия / Д.В.Строганов, С.С.Никитина, К.А.Николаева // Информационные технологии в промышленности и на автомобильном транспорте: Сб. науч. тр. МАДИ (ГТУ) - М.: МАДИ(ГТУ), 2002. - С.67-71.

19. Строганов Д.В. Разработка формализованной модели плана переподготовки персонала в системе "Мосгортранса" / Д.В.Строганов // Моделирование и оптимизация в управлении: Сб. науч. тр. МАДИ (ГТУ) - М.: МАДИ (ГТУ), 2003. - С.31-36.

20.Allocation of information resources in the adaptive distance educational environment / D.Stroganov, O.Gudjoyn, V.Meinik. // 5 International Conference on Information and Telecommunication Technologies in Intelligent Sysems. Barcelona (Spain) May 24th - 31th, 2003. P. 17-20.

21. Строганов Д.В. Сетевая модель системы мониторинга в условиях лингвистических и вероятностных неопределенностей / Д.В.Строганов, С.С.Никитина, В.Ю.Гнездилов // Моделирование и оптимизация в управлении: Сб. науч. тр. МАДИ (ГТУ) - М.: МАДИ(ГТУ), 2003,- С.126-131.

22. Строганов Д.В. Принципы конструирования лекций, тестов и практикумов в системе дистанционного обучения I К.А.Баринов, В.Г.Мельник, И.О.Саркисова, Д.В.Строганов// Информационные технологии в задачах управления и обучения: Сб. науч. тр. МАДИ (ГТУ) - М.: МАДИ(ГТУ), 2003. - С.111-117

23. Строганов Д.В. Разработка метода перераспределения информационных ресурсов в системе дистанционного обучения / В.Г.Мельник, В.Ю.Гнездилов, Д.В.Строганов, И.А.Горюшко II

Информационные технологии в задачах управления и обучения: Сб. науч. тр. МАДИ (ГТУ) - М.: МАДИ(ГТУ), 2003. - С.122-127.

24.Строганов Д.В. Формализованное ... описание связности модулей в интегрированной адаптивной среде обучения и тестирования «СОТА» / А.Б.Николаев, Д.В.Строганов, К.А.Баринов, П.С.Рожин // Телекоммуникационные технологии в промышленности и образовании: Сб. науч. тр. МАДИ (ГТУ) - М.: МАДИ(ГП0, 2003. - С.85-91.

25. Строганов Д.В. Разработка модели оценки и переоценки сложности учебных материалов / Терехин Д.А., Рогова О.Б., Баринов К.А. // Моделирование технологических процессов в промышленности и образовании. Сб. науч. тр. МАДИ (ГТУ) - М.: МАДИ(ГТУ), 2004. - С.29-35.

26. Строганов Д.В. Практика разработки системы обучения, тестирования, адаптации («СОТА») / К.А.Баринов, Д.В.Строганов, П.С.Рожин, А.В.Остроух // Информационные технологии в образовании: Сборник трудов. Часть III. - М.: Просвещение, 2004. - С.208-209.

27. Строганов Д.В. Средства автоматизации формирования образовательного контента в адаптивных системах открытого обучения / Ю.А.Кузнецов, Д.В.Строганов, Самир Бенгеддаш // Интегрированные технологии автоматизированного управления: Сб науч. тр. МАДИ (ГТУ) - М.: МАДИ(ГТУ), 2005. - С.178-183.

28. Строганов Д.В. Инструментальные среды разработки мультимедийных курсов / М.В. Измайлова, Д.В. Строганов // 1Т&ТБ международная научная конференция - Фетхие (Турция). 2007. - С 94-96.

29. Строганов Д.В. Формализованная модель учебного плана в задаче оптимизации индивидуальной образовательной траектории / А.Б.Николаев, Д.В.Строганов, В.Ю.Строганов II Международная научно-методическая конференция «Управление качеством инженерного образования и инновационные образовательные технологии». - М.: 2008. С.54-59.

30. Строганов Д.В. Традиции и развитие сотрудничества МГТУ им. Н.Э. Баумана с Харбинским политехническим университетом / Д.В.Строганов, С.В.Коршунов // Международный форум «Современное образование в России и Китае от традиций к инновациям: перспективы сотрудничества». - КНР, Пекин., 2008. - С.87-92.

31. Строганов Д.В. Организация тестового контроля на базе гетерогенных тестов / Д.В.Строганов, В.Ю.Строганов // Международная конференция «Тенденции развития инженерного образования Китая и России в условиях глобализации» . - КНР, Пекин., 2008. - С.340-345.

32. Строганов Д.В. Формализованная модель учебного плана в задаче оптимизации индивидуальной образовательной траектории в поддержку обеспечения академической мобильности / Д.В.Строганов,

А.Б.Николаев, В.Ю.Строганов // Российско-китайская конференция «Развитие национальных систем инженерного образования России и Китая в современных условиях». М.: МГТУ им. Н.Э. Баумана,

2009. - С.18-25.

33. Строганов Д.В. Анализ эффективности организационных моделей и типов организационных структур / Р.В.Батов, ДАВасильев, А.А.Солнцев, Д.В.Строганов // Автоматизация управления в организационных системах: межвуз. сб. науч. тр. МАДИ - М.: МАДИ, 2008,- С. 17-27.

34. Строганов Д.В. Формирование организационной структуры в Business Studio / М.И.Карташев, М.В.Приходько, В.Ю.Свободин, Д.В.Строганов // Автоматизация управления в организационных системах: межвуз. сб. науч. тр. МАДИ - М.: МАДИ, 2008. - С. 58 - 68.

35. Строганов Д.В. Модель развертки сетей Петри в сети-процессы для описания бизнес-процессов и формирования организационной структуры / А.Б.Николаев, Л.В.Приходько, Д.В.Строганов, Г.Г.Ягудаев И Автоматизация управления в организационных системах: межвуз. сб. науч. тр. МАДИ - М.: МАДИ, 2008,- С. 96- 102.

36. Строганов Д.В. Технология синтеза организационных структур сложных систем управления / П.С.Якунин, М.В.Приходько, Д.В.Строганов, А.А.Котов // Модели и методы управления сложными техническими системами: сб. науч. тр. МАДИ - М.: МАДИ,

2010,- С. 56-61.

37. Строганов Д.В. Модели формирования ситуационных сетей управления / Г.Г.Ягудаев, Л.В.Иванова, Д.В.Строганов, Е.К.Павлова // Модели и методы управления сложными техническими системами: сб. науч. тр. МАДИ - М.: МАДИ, 2010. - С. 74 - 79.

38. Строганов Д.В. Разработка динамической трансформационной модели поведения руководителя в условиях неопределенности / Г.Г.Ягудаев, Л.В.Иванова, Д.В.Строганов, А.Б.Николаев // Модели и методы управления сложными техническими системами: сб. науч. тр. МАДИ - М.: МАДИ, 2010. - С. 79 - 86.

39. Строганов Д.В. Процессно-ориентированная концепция создания ситуационного центра / В.В.Борщ, Б.С.Горячкин, А.А.Котов, Н.К.Соколов, Д.В.Строганов // Автоматизация и управление: стратегия, инвестиции, инновации, сб. науч. тр. МАДИ, - М.: Техполиграфцентр, 2011. - С. 65 - 71.

40. Строганов Д.В. Мониторинг производственных процессов с использованием распределенной информационной системы / Б.С.Горячкин, Ю.А.Краснов, С.Н.Сатышев, Д.В.Строганов, А.С.Хадеев // Автоматизация и управление: стратегия, инвестиции, инновации, сб. науч. тр. МАДИ, - М.: Техполиграфцентр, 2011. - С. 75 - 83.

41. Строганов Д.В. Сценарий системы поддержки принятия решений и концепция создания ситуационного центра / Б.С.Горячкин, Л.В.Приходько, Н.К.Соколов, Д.В.Строганов, Г.Г.Ягудаев //

Автоматизация и управление: стратегия, инвестиции, инновации, сб. науч. тр. МАДИ, - М.: Техполиграфцентр, 2011. - С. 71 - 75.

42. Строганов Д.В. Проблемы принятия . решений при формировании и оценивании эффективности бизнес-процессов / В.Н.Брыль, Б.С.Горячкин, М.И.Карташев, Д.В.Строганов, П.С.Якунин // Автоматизация систем поддержки управленческой деятельности: сб. науч. тр. МАДИ, МАДИ. М.: 2011. С. 21 - 28.

43. Строганов Д.В. Основные принципы консолидации и федерализации данных в системах поддержки управленческих решений / Р.В.Батов, А.А.Котов, Д.В.Строганов, А.С.Хадеев // Автоматизация систем поддержки управленческой деятельности: сб. науч. тр. МАДИ - М.: МАДИ, 2011. - С. 48 - 54.

44. Строганов Д.В. Информационные объекты системы поддержки управленческих решений / Б.С.Горячкин, А.Ю.Кудрявцев, Д.В.Строганов, П.А.Тимофеев // Автоматизация систем поддержки управленческой деятельности: сб. науч. тр. МАДИ - М.: МАДИ, 2011.-С. 54-60.

45. Строганов Д.В. Относительное и абсолютное тестирование уровня знаний персонала предприятий / В.Н.Брыль, Б.С.Горячкин, Д.В.Строганов, Приходько Л.В., Ягудаев Г.Г. // Автоматизация систем управления персоналом: сб. науч. тр. МАДИ - М.: МАДИ, 2011. - С. 24-29.

46. Строганов Д.В. Взаимосвязь методов и моделей системы переподготовки персонала / А.Б.Николаев, Л.В.Приходько, Д.В.Строганов, Толкаев Е.Ю., Ягудаев Г.Г. // Автоматизация систем управления персоналом: сб. науч. тр. МАДИ - М.: МАДИ, 2011.- С. 45-52.

47. Строганов Д.В. Методика подготовки персона предприятий «Мосгортранс» с использованием индивидуальной образовательной траектории / Ю.А.Краснов, Л.В.Приходько, В.Р.Рогов, Д.В.Строганов, Г.Г.Ягудаев // Автоматизация систем управления персоналом: сб. науч. тр. МАДИ - М.: МАДИ, 2011. - С. 52 - 57.

48. Строганов Д.В. Методы шкалирования при оценке уровня знаний персонала предприятий / Б.С.Горячкин, С.Н.Катырин, Д.В.Строганов, Л.В.Приходько, Г.Г.Ягудаев // Автоматизация систем управления персоналом: сб. науч. тр. МАДИ - М.: МАДИ, 2011,- С. 68-74.

49. Строганов Д.В. Выбор состава контролируемых характеристик моделирования технических систем / А.Ю.Кудрявцев, Д.В.Строганов, П.А.Товкач, П.С.Якунин // Имитационное моделирование систем управления. - М.: МАДИ. 2012. - С. 17-20.

50. Строганов Д.В. Оценка влияния начальных условий моделирования на характеристики нестационарных имитационных процессов / Д.В.Строганов, А.Б.Николаев, М.И.Карташев, П.В.Замыцких // Имитационное моделирование систем управления. -М.: МАДИ. 2012. -С. 90-98.

Учебные пособия

51. Строганов Д.В. Прикладные задачи статистического анализа. Комплексное использование компьютерных методов статистической обработки данных / Д.В. Строганов, А.В.Балдин, В.В. Криницин // М.: МГТУГА. 1998. 52 с.

52. Строганов Д.В. Математическая статистика. Теоретические аспекты: Методические указания по использованию системы Statgraphics / Д.В. Строганов, А.В.Балдин, В.В. Криницин // М.: МГТУГА. 1998. 46 с.

53. Строганов Д.В. Случайные процессы. Теоретические аспекты: Методические указания по использованию системы Statgraphics / Д.В. Строганов, А.В.Балдин, В.В. Криницин // М.: МГТУ ГА. 1998. 58 с.

54. Строганов Д.В. Разработка учебных курсов в системе дистанционного обучения безработных граждан./ Д.В.Строганов, С.В.Алексахин, А.Б.Николаев // Учебно-методическое пособие. М.: ВНПЦ профориентации Минтруда РФ. 2003. 64 с.

55. Строганов Д.В. Проектирование основных образовательных программ вуза при реализации уровневой подготовки кадров на основе федеральных государственных образовательных стандартов / В.А. Богословский, Е.В.Караваева, С.В.Коршунов, Д.В. Строганов и др..// Учебно-методическое пособие для слушателей курсов повышения квалификации по направлению «Проблемы организации уровневого образовательного процесса в высшей школе» М.: МГТУ им.Баумана 2010. 212с.

Патенты и свидетельства

56. Инструментальная среда методического наполнения учебных курсов: A.C. №2003611002 от 24.04.2003 /А.Б.Николаев Д.В. Строганов, П.С. Рожин и др.

57. Инструментальная среда администрирования учебных планов: A.C. №2003611004 от 24.04.2003 /А.Б.Николаев Д.В. Строганов, П.С. Рожин и др.

58. Инструментальная среда разработки тестовых заданий: A.C. №2003610976 от 22.04.2003 /А.Б.Николаев Д.В. Строганов, П.С. Рожин и др.

59. Программная среда реализации алгоритмов адаптивного тестового контроля уровня знаний: A.C. №2003611001 от 24.04.2003 /А.Б.Николаев Д.В. Строганов, П.С. Рожин и др.

60. Стропальщик: Регистрационное св-во Депозитария электронных изданий ФГУП НТЦ «Информрегистр» / Д.В. Строганов и др. опубл.09.04.03. Бюлл.№2725-4

Подписано в печать: 17.09.2013 Тираж: 100 экз. Заказ № 982 70тпечатано в типографии «Реглет» г. Москва, Ленинградский проспект д.74 (495)790-47-77 www.reglet.ru

МОСКОВСКИЙ АВТОМОБИЛЬНО-ДОРОЖНЫЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ (МАДИ)

КОНЦЕПЦИЯ ИНТЕГРАЦИИ ПРОГРАММНЫХ ПРИЛОЖЕНИЙ И

АВТОМАТИЗАЦИЯ УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНЫМ КОНТЕНТОМ В ОТРАСЛЕВОЙ СИСТЕМЕ ПОДГОТОВКИ КАДРОВ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

СТРОГАНОВ ДМИТРИЙ ВИКТОРОВИЧ

Диссертация на соискани'е ученой степени доктора технических наук

Москва-2013

СОДЕРЖАНИЕ

ВВЕДЕНИЕ.............................................................................................................5

1. АНАЛИЗ ПРОБЛЕМ, МЕТОДОВ И МОДЕЛЕЙ ПРОЦЕССА ОБУЧЕНИЯ И ТЕСТОВОГО КОНТРОЛЯ В ОТРАСЛЕВОЙ СИСТЕМЕ ПОДГОТОВКИ КАДРОВ.................................................................................XX

1.1. Сравнительный анализ систем открытого обучения..................................15

1.2. Методические принципы структурирования учебного материала...........22

1.3. Базовая модель связности учебного материала..........................................26

1.4. Педагогические принципы контроля и диагностики.................................34

1.5. Модели оценки сложности учебной информации......................................45

1.6. Принципы построения шкалы оценки уровня знаний...............................53

1.7. Основные принципы классической теории тестового контроля..............56

1.7.1. Формальные модели IRT-теории тестового контроля............................57

1.7.2. Однопараметрическая модель Раша.........................................................64

1.7.3. Двухпараметрическая модель Бирнбаума................................................70

1.8. Факторный, латентно-структурный и кластерный анализ в системе моделирования процедур тестового контроля...................................................73

1.9. Принципы разработки тренажерных комплексов ОАО «Газпром».........77

1.10. Системный анализ проблем интеграции данных и приложений...........82

Выводы по главе 1.................................................................................................87

2. МЕХАНИЗМЫ ИНТЕГРАЦИИ ПРОГРАММНЫХ ПРИЛОЖЕНИЙ УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНЫМ КОНТЕНТОМ...........................89

2.1. Структура инструментальных средств интеграции приложений создания обучающих программ и учебных планов..........................................................91

2.2. Перераспределение функций между инвариантной и предметной составляющей........................................................................................................95

2.3. Развитие системы аттестации и отраслевой подготовки кадров..............97

2.4. Классификация пользователей и функциональных приложений гибридной среды.................................................................................................106

2.5. Формальная модель декомпозиции функционала инструментальных средств интеграции приложений.......................................................................121

2.6. Процессная концепция взаимодействия пользователей с программными приложениями.....................................................................................................124

2.7. Моделирование интеграции приложений на основе развертки сетей Петри в сети-процессы.......................................................................................129

2.8. Разработка механизмов связывания модулей на основе модели

интеграции данных.............................................................................................135

Выводы по главе 2...............................................................................................140

3. РАЗВИТИЕ ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ СОЗДАНИЯ МУЛЬТИМЕДИЙНЫХ ТРЕНАЖЕРОВ.....................................................142

3.1. Требования к функционалу тренажерного комплекса системы диспетчерского управления...............................................................................142

3.2. Методические правила проектирования тестовых заданий....................158

3.3. Описание механизмов формирования тестового задания.......................162

3.4. Функционал конструктора и редактора тренажерного комплекса.........167

3.5. Оценка содержательности и направленности тестового задания...........180

3.6. Модель дифференцированной оценки сложности тестового задания ... 184

3.7. Формирование несмещенных, эффективных и состоятельных оценок результатов тестового контроля........................................................................189

3.7.1. Метод усреднения значений функции измерения.................................192

3.7.2. Использование метода моментов............................................................197

3.7.3. Использование метода наибольшего правдоподобия...........................200

3.8. Процедура формирования гетерогенных тестов.......................................203

Выводы по главе 3...............................................................................................205

4. МЕТОДИКА ФОРМИРОВАНИЯ И УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНЫМ КОНТЕНТОМ.......................................................207

4.1. Механизмы представления и связывания модулей..................................208

4.2. Методы измерения сложности учебной информации..............................212

4.3. Формирование требований к построению системы моделирования тестового контроля..............................................................................................218

4.4. Принципы построения адаптивных алгоритмов тестового контроля.... 224

4.5. Имитационная модель оценки эффективности теста...............................234

4.6. Дискриминантный анализ в задаче классификации уровня знаний с

учетом влияния коррелированности ответов...................................................240

Выводы по главе 4...............................................................................................246

5. ПРОГРАММНО-МОДЕЛИРУЮЩИЙ КОМПЛЕКС УПРАВЛЕНИЯ ОБРАЗОВАТЕЛЬНЫМ КОНТЕНТОМ И МОНИТОРИНГА ПЕРСОНАЛА.....................................................................................................247

5.1. Требования к системе мониторинга отраслевой системы подготовки кадров...................................................................................................................247

5.2. Проектирование структуры программно-моделирующего комплекса.. 264

5.3. Разработка интерфейсных взаимодействий с компонентами инструментальных сред формирования мультимедийных курсов................269

5.4. Средства взаимодействия с пакетами аналитических исследований.....273

5.5. Разработка методов представление результатов мониторинга..............277

2.2. Анализ результатов аттестации по возрастным группам сотрудников . 283

2.2.1. Анализ зависимости по финансово-экономическому блоку................284

2.2.2. Анализ зависимости между результатами аттестации и возрастными категориями сотрудников по блокам................................................................294

5.6. Формирование регламента сертификации ЦОСК....................................300

Выводы по главе 5...............................................................................................302

ЗАКЛЮЧЕНИЕ..................................................................

ЛИТЕРАТУРА...................................................................

ПРИЛОЖЕНИЕ. Акты внедрения результатов работы

304 307 322

Введение

Подготовка квалифицированных кадров и постоянное повышение квалификации специалистов является одной из приоритетных задач развития отраслевой системы подготовки кадров, которая в настоящее время включает в себя систему профессиональной подготовки, систему дополнительного профессионального образования, а также аттестацию и сертификацию специалистов. Следует отметить, что система дополнительного профессионального образования имеет значительно меньшую степень инерции, так как не базируется на фундаментальном комплексе государственных образовательных стандартов. Она может служить механизмом оперативного обеспечения отрасли кадрами востребованным в текущий период. Учитывая факт относительной непродолжительности производственного обучения (6-11 месяцев) и необходимость оперативного реагирования на текущие потребности в обеспечении кадрами, система профессиональной переподготовки может осуществлять функцию «опережающей» подготовки кадров.

Так, например, учебные центры Газпрома готовят специалистов различных категорий, в том числе диспетчеров, сменных инженеров/операторов компрессорных цехов, специалистов по контрольно-измерительным приборам и автоматике. Именно данные специалисты играют одну из ключевых ролей в обеспечении бесперебойной работы газотранспортной системы и газовых промыслов. От уровня подготовки данных специалистов, их умения эффективно использовать средства автоматизации, анализировать обстановку и принимать в сложных ситуациях правильные решения зависит и экономическая эффективность работы предприятий, обеспечение высокого уровня безопасности эксплуатации критически важных производственных комплексов и оперативность ликвидации возможных аварийных и чрезвычайных ситуаций.

Подготовка специалистов в современных условиях невозможна без современных технических средств обучения. Тренажеры, имитирующие работу по управлению реальными машинами и механизмами, давно и широко применяются в учебном процессе. Развитие информационных технологий привело к распространению новых технологий обучения, в том числе: мультимедийных обучающих программ, социальных сетей, компьютерных тренажеров, применяемых при обучении, как устройства технологических и т.п.

Однако, как показал анализ, все еще недостаточное внимание уделяется разработке формальных моделей структуризации учебной информации, что необходимо для рациональной организации, как самого процесса обучения, так и аттестации сотрудников. Особую важность при этом приобретают задачи, связанные с интеграцией существующих и вновь вводимых в эксплуатацию информационных систем или отдельных приложений, включенных в систему отраслевой подготовки кадров. Это связано с необходимостью непрерывной работы самих информационных систем на предприятии и отсутствием возможности единовременного обновления компонентов информационной системы и образовательного контента. Данная работа направлена как на развитие концепции интеграции разнородных приложений, так и на автоматизацию управления образовательным

I

контентом, включая тестовый материал для проведения аттестации и сертификации персонала в отраслевой системе подготовки кадров.

Объектом исследования является отраслевая система подготовки кадров для предприятий различных отраслей народного хозяйства.

Предметом исследования является информационная и программная поддержка отраслевой системы подготовки кадров, включая инструментальные средства создания тестов, методик оценки и сертификации квалификаций, посредством которых подтверждается уровень квалификаций и компетентность персонала.

Целью работы является повышение эффективности отраслевой системы подготовки кадров за счет автоматизации управления образовательным контентом, разработки и внедрения методов интеграции программных приложений и создания процедур поддержки управленческих решений в области сертификации.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ проблем, методов моделирования и организации процессов обучения и тестового контроля в отраслевой системе подготовки кадров;

• разработка механизмов интеграции разнородных программных приложений формирования образовательного контента;

• разработка инструментальных средств формирования и шкалирования результатов выполнения тестовых заданий;

• разработка методики управления электронными образовательными ресурсами и оптимизации образовательного контента в системе отраслевой подготовки и аттестации персонала;

• разработка системы мониторинга результатов аттестации и сертификации квалификаций персонала;

При разработке методов и моделей в диссертации использовались методы общей теории систем, имитационного моделирования, теории автоматов, сетей Петри, многомерного статистического анализа и др.

Научную новизну составляют механизмы интеграции программных приложений, а также методы, модели, алгоритмы и методики автоматизации управления образовательным контентом в отраслевой системе подготовки кадров. На защиту выносятся:

• модели взаимодействия пользовательских процессов и программных приложений управления образовательным контентом;

• механизмы интеграции программных приложений и расширения системного функционала в системе управления образовательным контентом;

• автоматная схема представления сценария выполнения и шкалирования результатов выполнения тестовых заданий в непрерывной оценочной шкале;

• процессная модель сети Петри в задаче идентификации блокировок тестового задания;

• иерархическая структура приложений реализации методики формирования, оптимизации и управления терм-связанным образовательным контентом;

• имитационная модель расчета эффективности теста, метод и критерий ошибочных классификаций в оценке компетенций;

• функциональная декомпозиция информационного обмена и анализа результатов сертификации квалификаций в отраслевой системе мониторинга подготовки кадров.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.

В первой главе диссертации проведен системный анализ проблем отраслевой системы подготовки кадров и технологий внедрения новых информационных систем поддержки образовательного процесса, что приводит к необходимости интеграции разнородных программных приложений.

В диссертации проведен анализ педагогических принципов формирования системы подготовки кадров, поскольку в их основе лежат идеи максимально возможной управляемости учебным процессом, проектирования и воспроизводимости обучающего цикла. Педагогические принципы предусматривают ориентацию всех компонентов и процедур на гарантированное достижение учебных целей и объективную оценку текущих и итоговых результатов учебной деятельности, а также целенаправленного педагогического воздействия на познавательную деятельность обучаемого.

Рассмотрены подходы к моделированию процесса обучения. Проведенный анализ показал, что для формирования качественных учебно-

методических материалов необходимо использование формальных методов структуризации учебных планов и рабочих программ подготовки, переподготовки и аттестации специалистов отрасли, которые основаны на терм-анализе связности учебных материалов и моделях научения-забывания. Кроме того, данные модели могут выступать в качестве критериев эффективности образовательного контента.

Рассмотрены модели тестового контроля. Приведены основные принципы классической теории тестового контроля, основанной на обработке статистических данных результатов тестирования, и выполнен сравнительный анализ принципов конструирования тестовых заданий и тестов. Для моделирования процедур тестового контроля используются основные принципы ШТ-теории.

Во второй главе диссертации, на основе проведенного анализа принципов организации системы обучения, формируется концепция интеграции разнородных приложений подготовки и управления образовательным контентом в отраслевой системе подготовки кадров. Так в нефтегазоперерабатывающей отрасли предполагается создание единой информационной базы, обеспечивающей открытость и достоверность информации о деятельности системы сертификации квалификаций и возможность проведения мониторинга с последующим формированием управленческих решений, направленных на повышение эффективности отраслевой системы подготовки кадров.

Интеграция этих подсистем вместе с программными компонентами системы «СОТА» позволяет на основе включения модельных составляющих процессов обучения и тестового контроля повысить эффективность подготовки учебных материалов за счет возможности количественного оценивания качества учебно-методических материалов. Для реализации модельных составляющих системы управления образовательным контентом выполнена систематизация функционала всех приложений системы «СОТА»,

определены управляющие и информационные связи, что позволяет сделать систему открытой для включения новых методов, моделей и данных.

В диссертации проведена параметризация исполняемых приложений на основании универсальной схемы описания компонентов системы с использованием принципа «вход-выход-параметризация». Система описаний повторяет принципы теории управления, где каждое приложение выступает в качестве некоторого преобразователя данных.

На основе формального аппарата процессно-ориентированного описания поведения имитационных моделей предлагается процедура моделирования поведения пользователей и пользовательских приложений, позволяющая реализовать механизмы декомпозиции и взаимной сцепленности модельных процессов обучения и тестового контроля, направленные на создание интегрированного программно-моделирующего комплекса.

В третьей главе диссертации представлено описание инструментальной среды разработки и шкалирования результатов выполнения тренировочных тестовых заданий. Построенные в данной среде игровые задания и тренировочные упражнения составляют базовые фрагменты сценария представления учебных и тестовых материалов.

Одной из важнейших задач нефтегазодобывающей отрасли является обеспечение безопасности, включая пожарную и газовую. Однако, специалисты и операторы, особенно в районах крайнего севера, зачастую работают вахтовым методом. Естественно, что перерывы в работе могут сказаться на способности к оперативному приему правильных управленческих решений. Для устранения э�