автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Программно-инструментальные средства автоматизации разработки тестовых заданий в системе переподготовки персонала промышленных предприятий

На правах рукописи

УГ

ПЕНЬКОВ ВЛАДИМИР МИХАЙЛОВИЧ

ПРОГРАММНО-ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА АВТОМАТИЗАЦИИ РАЗРАБОТКИ ТЕСТОВЫХ ЗАДАНИЙ В СИСТЕМЕ ПЕРЕПОДГОТОВКИ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ

ПРЕДПРИЯТИЙ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва - 2009

003467734

003467734

Работа выполнена на кафедре «Автоматизированные системы управления» в Московском автомобильно-дорожном институте (государственном техническом университете)

Научный руководитель Лауреат премии Правительства РФ,

доктор технических наук, доцент Строганов Виктор Юрьевич, профессор МАДИ(ГТУ)

Официальные оппоненты Доктор технических наук, доцент

Попов Дмитрий Иванович, профессор Московского государственного университета печати

Кандидат технических наук Брыль Владимир Николаевич, начальник отдела Научно-исследовательского центра электронно-вычислительной техники (ОАО НИЦЭВТ)

Ведущая организация: Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования (Рос НИИ ИТ и АП), г.Москва.

Защита состоится апреля 2009г. в 10.00 на заседании диссертационного совета Д212.126.05 Московского автомобильно-дорожного института (государственный технический университет) по адресу: 125319, ГСП А-47, Москва, Ленинградский пр., д.64.

С диссертацией можно ознакомиться в библиотеке МАДИ(ГТУ)

Текст автореферата размещен на сайте Московского автомобильно-дорожного института (государственного технического ун иверситета): \мт/. тасК. ги

Автореферат разослан марта 2009г.

Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института.

Ученый секретарь Л

диссертационного совета, /?/ !/г

кандидат технических наук, доцент Михайлова Н.В.

Общая характеристика работы

Актуальность проблемы

Одной из основных проблем переподготовки персонала промышленных предприятий в настоящее является разработка эффективных технологий создания электронных образовательных ресурсов, включая методически обоснованную систему тестов.

Повышение эффективности компьютерного тестового контроля может быть достигнуто на основании повышения качества конструирования учебных тестовых заданий (УТЗ), использующих разнообразные интерактивные режимы действий пользователей, что особенно важно для рабочих специальностей где необходима визуализация агрегатов и устройств управления технологическими процессами, обеспечивающими производственный цикл.

Мастер производственного обучения или преподаватель системы повышения квалификации и переподготовки персонала промышленных предприятий должны иметь возможность реализовать свой творческий потенциал в процессе создания авторских курсов. В связи с этим в последнее время интенсивно ведутся работы по автоматизации формирования тестов, не только статических, но и адаптивных. Имеется ряд разработок направленных на создание инструментальных средств конструирования УТЗ, но они, в основном, ограничиваются классическими формами заданий открытого типа, закрытого, на соответствие и др.

Однако, в данном направлении отсутствуют работы по созданию программно-инструментальных средств и методик конструирования интерактивных УТЗ, объединяющих все типы и формы представления, включая перемещение графических образов, имитирующих работу устройств. Этим и обосновывается актуальность настоящего диссертационного исследования, поскольку имеет место приближение самого УТЗ к реальной технологической операции. Там, где требуется оперативное принятие решений, тем более во внештатных ситуациях, такие УТЗ дают возможность отрабатывать практические навыки управления технологическим процессом.

Предметом исследования являются информационные технологии, направленные на создание интерактивных тестовых заданий, включаемых в базу данных тестов различных направлений в системе аттестации персонала промышленных предприятий.

Цель и основные задачи исследования

Целью работы является повышение эффективности функционирования системы переподготовки персонала за счет разработки методов, моделей, алгоритмов и программно-инструментальных средств конструирования интерактивных УТЗ.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ методов организации тестового контроля в системе переподготовки персонала промышленных предприятий;

• разработка принципов дифференцированной оценки корректности решения УТЗ;

• разработка моделей описания процессов конструирования УТЗ комбинированных форм;

• разработка моделей оценки вероятности правильного ответа на УТЗ с учетом доли правильности ответа;

• разработка программно-инструментальной среды конструирования интерактивных УТЗ.

Методы исследования

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем, теория автоматов, классический теоретико-множественный аппарат и другие.

Научная новизна

Научную новизну работы составляют методы конструирования тестовых заданий, ориентированных на использование в системе переподготовки персонала промышленных предприятий, и модели дифференцированной оценки сложности. На защиту выносятся1.

• принципы дифференцированной оценки корректности решения УТЗ для персонала промышленного предприятия;

• обобщенные модели описания процессов конструирования и выполнения УТЗ;

• описания интерактивного поведения пользователя на основе конечных автоматов как преобразователей и акценторов;

• программно-инструментальная среда конструирования интерактивных УТЗ.

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным анализом процессов аттестации персонала на промышленных предприятиях, процессов обучения и тестирования в ряде образовательных учреждений, . Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центрах промышленных предприятий.

Практическая ценность и реализация результатов работы

Внедрение результатов работы позволит повысить качество и эффективность конструирования интерактивных тестовых заданий

системе аттестации персонала промышленных предприятий. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде промышленных предприятий, а также используются в учебном процессе МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2005-2008гг.);

• на заседании кафедры АСУ МАДИ(ТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации образовательного процесса составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля з системе переподготовки персонала промышленных предприятий.

СОДЕРЖАНИЕ РАБОТЫ

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.

Во введении обосновывается актуальность проблемы и приведено краткое описание содержания глав диссертации.

1. АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ КОМПЬТЕРНОГО ТЕСТОВОГО КОНТРОЛЯ

В первой главе диссертации проводится системный анализ педагогических принципов создания тестовых заданий. Рассмотрены проблемы кадрового обеспечения предприятий промышленности и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов компьютерного тестового контроля. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов.

8 диссертации с системотехнических позиций рассмотрены во взаимосвязи задачи выбора и формирования последовательности предъявления тестовых заданий и задачи мониторинга результатов прохождения тестов.

Взаимодействие компонент системы тестового контроля

Механизм 1 {¡предъявления Ку

Данная работа направлена на реализацию инструментальных средств конструирования одного тестового задания, которое затем включается в интегрированную базу данных тестовых заданий по всем направлениям переподготовки. Кроме того, исследованы вопросы оценки вероятности правильного ответа на различные УТЗ в зависимости от ограничения по времени ответа, усталости, истинного уровня знаний, сложности самого задания и др.

В рамках 1Ю"-теории каждому заданию приписан уровень сложности и на основе аналитических моделей вводится формализованное описание вероятности правильного выполнения задания с уровнем сложности ¡3 испытуемым с уровнем знаний 0 на основе условной вероятности:

р,й,о , ехр(\7а{® - ¡3))

(1)

Семейство графиков при различных уровнях знаний (истинный уровень) приведено на рис.2. Семейство кривых обладает свойством внутренней (чем сложнее задание, тем меньше вероятность правильного ответа) и внешней (если уровень выше, то для всех сложностей вероятности правильного ответа выше) монотонности.

Проведен анализ аналитических соотношений и показано, что ¡ИТ-модель может быть использована совместно с регрессионными моделями и моделями классификации. В случае моделирования эффективности гетерогенных тестов из анализируемых моделей факторный анализ позволяет построить модель ответа тестируемого произвольного уровня знаний на задание произвольной сложности.

Однако ни в кластерном, ни в латентно-структурном анализе не определяется численное значение оценки уровня знаний по каждому классу тестируемых, а также оценки сложности тестового задания.

Логистические кривые вероятности правильных ответов

Истиный урозень

Рис. 2.

На практике, в основном, используются классические формы тестовых заданий, к которым относятся: «открытая» (требует сформулированного самим обучаемым корректного ответа в виде строки символов), «закрытая» (выбор тестируемым правильного ответа из предложенных), «на соответствие» (необходимо каждый элемент первой группы связать с одним или несколькими элементами из второй группы), «на упорядочение» (определение порядка следования предложенных объектов: символов, слов, формул, рисунков). В работе предлагается расширение стандартных форм представления тестовых заданий.

Применение методологических правил для проектирования тестовых заданий в рамках описания реальных технологических процессов позволяет избежать конструирования некорректных УТЗ, что дает возможность использования многообразия форм тестовых заданий при одном и то же содержании.

Содержание тестового задания, которое "видят" за словами, должно восприниматься тестируемыми одинаково. Под объектом компьютерного тестирования подразумеваются все сотрудники и

рабочие предприятий, участвующие в аттестации, и уровень обученности которых априорно не установлен.

Одно из правил связано с необходимостью представления тестового задания в виде утверждения или повелительного предложения, из которых, в зависимости от качества ответов, получается истинное или ложное высказывание.

Тестовое задание формулируется так, что в его структуре заложена возможность однозначного ответа, преобразующего это утверждение в истинное высказывание.

Ставить вопрос в один ряд с тестовым заданием можно только в том случае, когда вопрос адресативен, причем отнесенность вопроса к самому себе - аномалия.

Вопрос, который может предполагать отсутствие ответа, не может использоваться при конструировании тестового утверждения.

Прагматически некорректным тестовым утверждением является задание с таким значением энтропии, которое является недоступным для формирования истинного ответа. В этом случае необходимо свести исходное тестовое задание с высокой энтропией к тестовым утверждениям с более низким уровнем неопределенности.

Сведение исходного тестового задания к утверждениям оптимальной энтропии необходимо выполнить в случае прагматически некорректного тестового задания.

Для реализации инструментальной среды конструирования интерактивных УТЗ в работе проведен анализ современных программных технологий.

2. РАЗРАБОТКА МЕТОДОВ ДИФФЕРЕНЦИРОВАНИЯ ОЦЕНКИ КОРРЕКТНОСТИ ОТВЕТА НА ЗАДАНИЕ

Во второй главе диссертации разрабатываются формализованные методы конструирования тестовых заданий. На основе автоматной схемы разбора строится модель описания интерактивного поведения тестируемого при формировании ответа на тестовое задание.

Классические схемы зачастую не описывают всех возможных формулировок задания. Кроме того, например, в закрытой форме и малом количестве альтернатив (часто их всего три) имеет место простое угадывание правильного ответа. При этом в качестве вероятностной модели ответа на задание предлагается использовать расширение модели Бирнбаума (1):

Р{® | р, а, с) = с + (1 - с)Р(© I р, а), (2)

где с - является параметром модели, характеризующим вероятность правильного ответа на задание в том случае, если этот ответ угадан, а не основан на знаниях, 0 - уровень знаний, р - сложность задания.

Количественные оценки угадывания могут быть достаточно велики, что приведено в таблице 1. Естественно, что вероятность угадывания ответа на УТЗ тесно связана со сложностью этого задания и формы его представления.

Таблица 1.

Вероятность угадывания, правильного ответа_

Число Закрытая Множественный На соответствие

альтернатив выбор

3 1/3 1/6 1/6

4 1/4 1/16 1/24

»..

п 1/п 1/2" 1/п!

Известно, что сложность представляет собой трудно формализуемый показатель. Существующие способы его формализации относятся к отдельным частным случаям, т.е. конкретным типам задач определенного содержания. В общем случае сложность оценивается экспертным путем. В результате проведенного в работе анализа выявлены основные факторы, влияющие на сложность задания:

• близость искомого результата или данных, требуемых для его получения, к содержанию учебного материала;

• полнота и характер представления в условии задачи информации, необходимой для ее выполнения;

• объем информации, которая должна быть привлечена для выполнения тестового задания;

» сложность метода решения (число его этапов, характер переходов между ними, количество исключений из правил и др.);

• состав и характер отношений, связывающих проверяемые положения учебного материала, которые должны быть учтены при выполнении УТЗ;

• форма представления условия и результата (с точки зрения их наглядности).

Структуру информации УТЗ будем представлять в виде графа, у которого в качестве вершин выступают семантические единицы информации, а ребра, соединяющие соответствующие вершины, определяют отношения между ними (только в смысле: есть ребро — есть какое-то отношение, нет ребра — нет никакого отношения). Различные уровни расположения семантических единиц в информационной иерархии графа представляют ступени иерархии (степенью иерархии). Рассмотрим энтропийную меру структурной сложности. В качестве отношений между семантическими единицами предлагается ввести следующие:

Г1 - отношение непосредственного управления;

г2 - отношение непосредственного подчинения; г3 - отношение опосредованного управления; и - отношение опосредованного подчинения; г5 - отношение соподчинения на одном уровне; г6 - отношение соподчинения на более высоком уровне; г7 - отношение соподчинения на более низком уровне. Рассмотрим эти отношения на примере неполного графа (рис.З.а), где вершины обозначены цифрами 1,2,3 и 4:

И - (1, 2) (1, 3) (2, 4) — первая вершина непосредственно управляет второй и третьей вершинами, а вторая — четвертой; г2 - (2,1) (3,1) (4, 2) — отношение, обратное г^ г3 - (1, 4) — первая вершина управляет четвертой посредством второй;

и - (4, 1) — четвертая вершина подчиняется первой через вторую вершину;

г5 - (2, 3) (3, 2) — вершины 2 и 3 находятся на одном уровне и подчиняются вершине 1;

г6 - (3, 4) — вершина 3 находится на более высоком уровне, чем вершина 4, но обе подчинены первой;

- (4, 3) — вершина 4 находится на более низком уровне, чем вершина 3, но обе они подчинены первой. Между вершинами 4 и 3 существует связь (отношение) через вершину 1.

Экстенсиональная длина ¡^ отношения п, на элементе т,, представляет число пар, в которые отношение п, включает т.

Отношения на неполном графе и расчетные схемы структур

а Ь с с!

Рис. 3.

Так, для графа За получаем: п : 112+11з+1г4=11=3; г2 : 121+1з1+142=12=3;

Гз: 1м=1з=1; и : 141=Ц=1; г5 : Ьз+Ьг—Гб: 1з4='5=1; г7 :14з=!7=1.

л

Экстенсиональная длина отношения п вычисляется как /, =

н

Пусть Р(Г|(гт^)) — вероятность реализации отношения п, на элементе ГП]. Она определяется как р(г1(т]])=Энтропия, приходящаяся

/ \ I •• /•■

на элемент, определяется как ¡-¡{т^;^)-——. И,

соответственно, общая энтропия системы равна:

л — 1

(3)

Эту величину и предлагается считать мерой сложности УТЗ. Расчеты для систем, графы которых приведены на рис. 3. дают следующие значения энтропии: Н(Ь)(т,г)=0,8293; Н(с)(т,г)=1,5071; Н(с!)(т,г)=1,7629.

Данная методика учитывает не только количество вершин и число связей (отношений), но также полноту и неполноту графа.

В основном в системах тестового контроля считается два варианта интерпретации ответа на задание - решено, не решено. В работе предлагается методика формирования количественной оценки корректности решения тестового задания.

Пусть V - множество компонентов ответа, \Л£0, -подмножество компонентов, выбранных обучаемым, \4с\/; У: - подмножество компонентов, соответствующих верному результату Уа -

подмножество компонентов, бессмысленных в контексте УТЗ. Подмножества У, и Уя будут выделяться при конструировании УТЗ. В такой постановке правила оценивания определяют следующие варианты интерпретации:

• если У&=МГ: то ответ верный;

• если & то ответ неточный или неполный;

• если (\,/5\ Уг*0 & Уа=0)у(\/Е=0 & \Zft0), то ответ ошибочный;

• если У5г\УаФ0, то ответ абсурдный.

Наборы оценок для разных УТЗ могут отличаться по полноте. Обязательными их элементами являются оценки верного и ошибочного результатов.

Дифференцирование решения УТЗ по сложности позволит увеличить дискретизацию этой шкалы, что будет выражено в интегральной рейтинговой оценке.

Так, естественное расширение закрытой формы множественный выбор. Пусть: А={Ат}т=1.м - множество альтернативных вариантов ответов; 2А={гАт}т=1..м, 2Ате{0,1}- вектор правильного выбора (1 - альтернатива входит в выбор, 0 - нет); ТА={ТАт}гп=1 ТАте{0,1} - вектор выбора тестируемого (1 -альтернатива выбрана, 0 - нет). В качестве расхождения предлагается использовать обычную равномерную метрику, но нормированную по количеству альтернатив:

1 м

р^глн-^да-гд!. (4)

Для заданий на соответствие и установление правильной последовательности (по оценке правильности они идентичны) введена другая мера. Левая часть задания определяет первоначальную перестановку (без ограничения общности ее можно считать возрастающей) А={Ат}т=1..м - также множество альтернативных вариантов ответов; гА={1Ат}т=1..м, 1Ате{1...М} -правильная перестановка; ТА={ТАт}т=1..м, ТАте{1...М} - перестановка тестируемого. В данном случае процент правильности предлагается определять на основании:

л м

р{гА,ТА) = и^<2А1=ТА,> (5)

м /=1

Логическое условие <...=...> принимает значение 1 при равенстве аргументов и 0 в противном случае.

Соотношения (4) и (5) дает значение 1 при полном соответствии ответа, 0 - при полном расхождении. Промежуточные значения определяют процент правильности решения тестового задания. Аналогично задаются меры различия для заданий на кластеризацию объектов и др.

Дифференциация оценочной шкалы ответа на УТЗ

Абсурдный Неполный Верный ответ Ошибка ответ --------------- ответ

Рис. 4.

Такая количественная оценка может быть использована для формирования интегральной оценки по всему тесту (рис.4.) При разделении шкалы [0, 1] на четыре области, каждому ответу можно приписать одну из четырех оценок: верный - 1, неточный - 0,8, ошибочный 0,5 и абсурдный - 0.

Такой подход к оценке результатов ответа на УТЗ предлагается использовать и для расширения модели адаптивного тестового контроля, где сложность следующего задания выбирается на основании решения предыдущего. Так, неточный ответ на УТЗ определенной сложности можно рассматривать как решение УТЗ пониженной сложности.

Расчет процента правильности решения с учетом дифференцированной шкалы ответа на УТЗ предлагается вычислять

PmiRRflH-r + M г) exp(i,7a(e-p-R))

Р(О| R,%a,c) - с + (1 -c)1 + exp(1j7a(0_p.R))- (6)

где R определяет балл в шкале [0, 1] по ответу на тестовое задание, что по IRT-модели просто снижает уровень сложности задания.

3. РАЗРАБОТКА ИНСТРУМЕНТАЛЬНОЙ СРЕДЬ!

КОНСТРУИРОВАНИЯ ТЕСТОВЫХ ЗАДАНИЙ

В третьей главе на основании построенных моделей формируются принципы конструирования УТЗ в программно-инструментальной среде.

Для такого вида тестовых форм в работе предлагается технология формирования ответов в виде перетаскивания альтернатив, что является максимально адаптированным вариантом для переподготавливаемого контингента.

Первичным при формировании теста, является конструирование тестового задания. В работе предлагается формализованное описание методики конструирования тестовых заданий с использованием разработанного конструктора тестовых заданий, который имеет следующие функциональные компоненты:

• графический редактор формирования структуры задания;

• формирование схемы разбора ответа;

• параметризация выполнения задания;

• подсистема генерации тестового задания (JAVA).

Функции графического редактора используются для создания графического образа с интерактивными полями.

G={Gi}i=1j - множество неактивных графических образов (картинка, формула и т.п. все что делается в других инструментальных средствах, текст, линия, стрелка и т.п., непосредственные функциональные возможности рисования в конструкторе);

V={Vj}j=i..j - множество полей ввода для заданий открытого типа;

Z={Zn}n=i..N - множество полей захвата;

A={Am}ma=i„м - множество альтернативных вариантов ответов.

Формирование схемы разбора правильности ответа вводит понятия позиций, которые связаны с множествами Z и А. Обозначим -Рz и РА. Множество действий D.

Di - <Ar-»PZl> - перетаскивание поля альтернативы;

D2 -<Aj -н> PAi> - изменение положения альтернативы;

D3 -<=> VA;> - ввод текста;

D4 -<OKj> - подтверждение завершения задания.

Введенные формализации позволяют представить все известные типы тестовых заданий, а также их расширения.

Закрытый тип - , 2.\ - единственное поле захвата,

•

А={Ат}т=1..м, 0=01у{01у02у04}. Альтернативы - т*е{1..М}.

Открытый тип - , V=V1 - единственное поле ввода,

0={03, 04}. Альтернативы - <строка символов»

Классическое соответствие - С={С,-}|=1^ , 2={2г,}п=1..ы, А={Ат}гг,=1..м, •

Ы=М. 0=0^{01уР2у04}. Альтернативы - перестановка на {1..М} -соответствие альтернатив полям захвата.

На соответствие - С={С,}р1..и , г={гп}п=1.л, А={Ат}т=1..м, М>№.

0=01у{01у02у04}. Альтернативы - упорядоченная последовательность из {1..М} длины N - соответствие альтернатив полям захвата.

На порядок - эквивалент заданию на «соответствие», где исходный порядок определен в виде пронумерованной порядковой шкалы.

На кластеризацию - , А={Ат}т=1..м,

•

0=01у{01у02у04}. Альтернативы - отношение на 2*А {1..М} длины N - соответствие альтернатив полям захвата. Матрица отношения имеет блочный вид.

На упорядоченное соответствие (перетаскивать определенные альтернативы в определенное место, либо вводить определенный текст в определенном поле, и все это в определенной последовательности) 6={С)м...|, г={2л}п=1..м, А={Ат}т=1..м,

М>Ы. □=01у02У03.

Правильность действий формализуется на основе задания конечного автомата (рис.5.). В случае жесткой последовательности он представляет вырожденный случай, где дуги помечаются либо некоторым действием (<Аг»Ра>,<=>>/*>) либо его отрицанием (-!<Д->Ра>,-.<=>\/й>).

Для общего случая произвольной последовательности действий пользователя в работе предлагается использовать конечный автомат Н, который представляет:

Н=(А, О, В, ф, V), (7)

где А - конечный входной алфавит А=(а1, а2,..., ат); О- конечное множество состояний 0=(а1, я2,.... я"1);

В - конечный выходной алфавит В=(Ь\ Ь2.....Ьт);

Ф - функция переходов ОхА-Ю;

V - функция выходов ОхА-»В;

При конструировании тестовых заданий:

• входной алфавит представляет множество действий пользователя (ввод значения, перетаскивание объекта, выбор альтернативы и др.);

• выходной алфавит множество действий пользовательской оболочки (появление, перемещение или удаление объекта,)

• множество состояний определяется схемой разбора содержательной части тестового задания.

Автоматная схема описания интерактива тестового задания

Рис. 5.

Для конструирования и последующего проигрывания УТЗ рассматривается два проведения автомата: автомат как преобразователь (для формирования сценария решения УТЗ) и автомат как акцептор (идентификации решенное™ УТЗ).

Пусть ат - входное слово длины т. Преобразование задает словарная функция f(am)= \jJ(q, cxm), отображающая множество А* в В*. Сама функция f(am) представляет кончно-автматную функцию, реализуемую или вычисляемую инициальным автоматом Eq.

Для акцентора в инициальном автомате Hq выделяется подмножество В', В'сВ и рассматривается подмножество LB', Ц'сА*:

LB.={ameA:w(g,ana)eB}. (8)

Подмножество LB- определяет поведение инициального автомата Eq по отношению к множеству В'.

Обозначим символами а, Ь, с... символы входного алфавита. При этом: аа — последовательность из 2-х символов а; а* - любое число символов; (aVb) — один из символов а или Ь. Любую строку, состоящую из букв, применяемых для обозначения символов * и V обозначим как регулярное выражение, при условии что она может быть построена с учетом правил:

• любой одиночный символ является регулярным выражением;

• если Е и F — регулярные выражения, то (EF) является регулярным;

• если Е, F ... G — регулярные выражения, то (EVFV...VG) — регулярное выражение;

• если Е — регулярное выражение, то Е* - регулярное выражение.

Согласно теореме Клини, множество последовательностей, распознаваемых автоматом, есть множество регулярных последовательностей, а любое регулярное выражение может быть распознано автоматом с конечным числом состояний. Последовательность действий пользователя по прохождению теста представима в виде последовательности переходов автомата. Таким образом, построив регулярное выражение, описывающее верный ответ теста, можно составить автомат, проверяющий корректность прохождения теста. Регулярное выражение строится с помощью графа действий.

Начальной вершиной графа является исходное состояние теста. Далее проверяются возможные действия теста, указывается параллельность вариантов действий, то есть те действия, которые можно выполнять в произвольном порядке.

Для реализации данной схемы к проигрывателю теста добавляется слушатель событий. Он сохраняет все события, произведённые пользователем (ввод текста, перенос поля захвата). Полученные события передаются анализатору последовательностей, который обрабатывает последовательность, удаляя лишние элементы.

Данное удаление необходимо, например, в случае ввода текста в текстовое поле, так как тестируемый сохранит по одному действию на каждый ввод символа, в итоге полученная последовательность будет излишне длинной. Удалятся все события кроме последнего, последнее событие и будет представлять конечный результат ввода текста.

Компоненты перетаскиваются из палитры компонент на сцену теста. У каждого компонента можно задать свойства (размер, положение, надпись, картинка и т.д.). Компоненты можно выравнивать друг относительно друга. В палитре компонентов есть надписи (как вариант представления графических компонент), кнопки, поля ввода, Приложение содержит несколько модулей.

Для формирования правильного ответа разработчик задания после размещения всех компонент сам указывает правильную последовательность действий. Далее в сформированном графе действий, отображающем его ответ, вносятся коррективы, такие как указание действий, последовательность которых не важна (например, после некого действия А нужно выполнить действия В и С в любом порядке, а далее выполнить действие 6). Пример фрагмента сценария, сформированного по данной схеме приведен на рис.6. В итоге будут собраны все данные для создания структуры теста, сохранения его в виде отдельного файла и последующей интеграции в Базу Данных тестовых заданий, которая является исходной для формирования адаптивных тестов.

Сценарий тестового задания

©

<Э

Рис.6.

Модульная структура программных приложений

Модуль построения

Модуль скриптов

и

I/

Л

Модуль проектирования

зх

I/

Модуль упаковки

Модуль проигрывания

Рис.7.

Структура основных компонентов инструментальной среды конструирования УТЗ приведена на рис.7.

Модуль построения сцены ответственен за визуализацию расположения объектов на сцене и задание свойств объектов. Содержит основные компоненты: инспектор компонент, инспектор свойств выделенного компонента, редактор сцены, палитра компонент. Эти компоненты взаимосвязаны друг с другом, таким образом, что изменения свойства объекта в одном компоненте (например, в инспекторе свойств) немедленно влечет обновление остальных компонент (например, изменения сразу отображаются в редакторе сцены).

Модуль проектирования решения визуализирует граф решения. Позволяет задавать последовательность действий для правильного решения теста, • указывать какие действия можно совершать параллельно. На основе данных графа модуль строит регулярное выражение, задающее класс правильных ответов на тест.

Модуль скриптов теста позволяет добавить программные обработчики к тесту. Обработчики пишутся на языке программирования JavaScript. Обработчики динамически подключаются к тесту на этапе выполнения. Они позволяют реализовать любую функциональность теста, графическое задание которого было бы затруднительно (например, пересчет некоторых параметров при определённых действиях пользователей).

Модуль упаковки теста позволяет собрать XML документ теста вместе со всеми ресурсами и библиотеками в единую структуру, готовую для сохранения в базе данных и распространению конечным пользователям.

Модуль проигрывания теста позволяет запустить тест в режиме проигрывания. Все действия пользователя автоматически записываются для дальнейшего анализа.

Модуль обработки ответа пользователя проверяет правильность действий пользователя при прохождении теста и сравнивает его на совпадение с регулярным выражением, задающим правильный ответ теста.

Данные модуля построения сцены поступают в модуль проектирования решения, далее происходит компоновка всех объектов теста в модуле упаковки теста и тест готов к проигрыванию в модуле проигрывания теста. Результаты проигрывания поступают в модуль обработки решения.

4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ КОНСТРУКТОРА ТЕСТОВЫХ ЗАДАНИЙ

В четвертой главе диссертации приведено описание программно-инструментальной среды конструирования тестовых заданий. Форма конструктора представляет приложение вида «выбери-и-размести» (drag-and-drop). Разработчику дается возможность путем перетаскивания разместить компоненты теста из

палитры компонентов на сцене. Таким образом, достигается наглядность представления теста еще на этапе его проектирования.

Для реализации конструктора УТЗ используется Java, так как она независима от платформы и способа выполнения программ. Другими словами, тестовые задания можно выполнять как в обычной программе, так и на интернет странице, где тест представлен в виде Java-апплета. Java является объектно-ориентированным языком со строгой типизацией, что позволяет точно описывать объекты и модули системы. Исходный код объектов компилируется в платформонезависимый байт-код, который выполняется в виртуальной машине, это обеспечивает высокую скорость работы, автоматические функции по сбору памяти, отказоустойчивость и предоставляет доступ к функциям операционной системы. Для платформы Java реализовано множество библиотек для различных операции.

Работа с XML широко реализована в самой Java и в огромном количестве сторонних библиотек. Методы работы с XML позволяют напрямую отображать объекты и классы Java в код XML, загружать представление XML структуры в виде DOM-дерева, когда загружается вся структура XML документа, или с помощью SAX-парсеров, в случае если XML документ слишком большей и требуется сократить расходы занимаемой памяти. Имеется встроенная поддержка пространств имен документа. Таким образом в Java реализованы все возможности языка XML что позволяет эффективно связать объекты Java и документ XML.

Тестовое задание сохраняется в виде xml-файла (по сути, простой текстовый файл с определенными полями), что позволяет его тесно интегрировать с любой современной базой данных и наглядно отображает его содержимое. Структура хранит как описание всех компонент, содержащихся в УТЗ, так и вариант правильного ответа на УТЗ.

Основные функции конструктора тестов: newTest создание нового теста, очистка полей; openTest — открытие теста для редактирования; saveTest - сохранение XML документа теста; addWidget — добавление виджета (графического компонента) на форму; deleteWidget — удаление виджета; buildPackage -упаковка теста в единую структуру. Основные функции проигрывателя тестов: runTest — запуск теста на выполнение, addActionListener — добавить слушателя событий, fireActionOccured — уведомить слушателей событий о произошедшем событии.

Пример конструирования тестового задания приведен на рис.8. В верхней части окна расположена панель инструментов. На ней последовательно располагаются кнопки: «Создать новое УТЗ», «Открыть УТЗ», «Сохранить УТЗ», «Показать окно редактора сцены»,

«Показать окно XML документа», «Показать окно редактирования скрипта УТЗ», «Показать окно редактирования графа решения», «Запустить построитель правильного решения», «Упаковать УТЗ».

Пример формы конструктора тестового задания

Конструктор тестовых заданий

ПГЛЙГ

«стенные

1 стечки,

СПГу/Ш 'Tf I средней то л wi

нудьс

СВОЙСГМ ; COÖMT5K

_ Название, _ ^Зиачек^

imjm

Под панелью инструментов располагается палитра компонент. На ней последовательно расположены компоненты: «Надпись», «Мупьтистроковая надпись», «Кнопка», «Группа кнопок выбора», «Текстовое поле», «Флажок». «Кнопка выбора», «Зона захвата», «Зона приема», «Бегунок». Для добавления элемента на сцену необходимо нажать на соответствующий компонент на палитре, в появившемся окне нажать кнопку ОК, после чего элемент появится на сцене. С левой стороны последовательно располагаются инспектор компонент и инспектор свойств. В последнем можно изменять свойства выбранного компонента, изменения тут же отображаются на сцене теста. В центре располагается сцена теста с компонентами. Элементы на сцене можно перетаскивать, изменять размер, выравнивать по краю.

При построении графического интерфейса программы активно применяется шаблон программирования ЬЛУС (модель-представление-контролпер), это позволило связать между собой

различные модули так, что при изменении данных в одном из модулей, об изменении уведомляются все остальные модули.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов работы.

Публикации. По результатам выполненных исследований опубликовано 8 печатных работ, которые приведены в списке публикаций.

Основные выводы и результаты работы

1. Проведен системный анализ задач организации процедур тестового контроля и аттестации персонала промышленных предприятий, определен круг методов и моделей формализованного представления компонент системы тестового контроля и конструирования тестовых заданий.

2. Разработаны принципы дифференцированной оценки правильности решения тестового задания, что дает возможность более точной оценки уровня знаний.

3. В раках единого формализованного представления разработаны модели описания процессов конструирования стандартных форм тестовых заданий, а также их расширенных комбинированных форм.

4. С использованием теории конечных автоматов и формальных грамматик построена формализованная модель процедуры конструирования тестового задания.

5. Разработаны механизмы конструирования тестовых заданий и требования к инструментальной среды формирования графических образов УТЗ с возможностью реализации интерактивных режимов их выполнения.

6. Разработана программно-инструментальная среда конструирования интерактивных УТЗ, объединяющая возможности граяического редактора и автоматной схемы разбора результатов выполнения задания.

7. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения на ряде промышленных предприятий, а также используются в учебном процессе МАДИ(ГТУ).

Публикации по теме диссертационной работы

1. Пеньков В.М. Сервисно-ориентированная архитектура распределенных информационных систем / Николаев А.Б., Пеньков В.М. // Автоматизация управления предприятиями поомышленности и транспортного комплекса: сб. науч. тр. /МАДИ (ГТУ). - М, 2006. -С. 153-159.

2. Пеньков В.М. Модели и методы адаптивного тестового контроля / Рожин П.С., Пеньков В.М.. Липсиц Л.М., Круглов A.M. //

Инновационные технологии на транспорте и в промышленности: сб. науч тр./МАДИ (ГТУ). -М,2007, -С. 41-48.

3. Пеньков В.М. Подсистема мониторинга результатов группового гетерогенного тестового контроля / Николаев А.Б., Пеньков В.М., Баринов А.П., Рожин П.С., Строганов В.Ю., // Инновационные технологии в промышленности, строительстве и образовании: сб. науч. тр. /МАДИ (ГТУ). - М, 2007. -С. 39-45.

4. Пеньков В.М. Программная реализация инструментальной среды конструктора гетерогенных тестов / Рожин П.С., Пеньков В.М., Баринов А.П. // Инновационные технологии в промышленности, строительстве и образовании: сб. науч. тр. /МАДИ (ГТУ). - М, 2007. - С.68-74.

5. Пеньков В.М. Создание скрипта в конструкторе гетерогенных тестов / Пеньков В.М., Баринов К. А., Подберезкин A.A. II Информационные технологии: программирование, управление, обучение: сб. науч. тр. /МАДИ(ГТУ). - М, 2007 г. С. 117-121.

6. Пеньков В.М. Обобщенные графовые модели оценки качества учебно-методических материалов / Пеньков В.М., Макаренко Л.Ф., Саакян И.Э., Белоус В.В. // Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и образовании. Сб. науч. тр. МАДИ(ГТУ), № 4 (38). ч.1. -М, 2008. - С. 915.

7. Пеньков В.М. Организация баз данных системы мониторинга промышленных предприятий / Гоголин С.С., Пеньков В.М., ЛукащукР.П, // Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и образовании: сб. науч. тр. МАДИ(ГТУ), № 4 (38), ч.2. - М. 2008. - С. 22-28.

8. Пеньков В.М. Графовая модель оценки сложности учебной информации I Д.В.Строганов, К.А.Николаева, Н.А.Красникова, Пеньков В.М., Г.Г.Ягудаев. Вестник / МАДИ(ГТУ). - М, 2009. -Вып.1(16). - С.70-73.

Подписано в печать 05~,С?Ъ, 2009 г Формат 60x84x16 Усл.печ.л. О Тираж /оо экз. Заказ № /¿2

"Техполиграфцентр" Россия, 125319 , г. Москва, ул. Усиевича, д. 8 а. Тел/факс: 8 (499) 152-17-71 Тел. : 8-916-191-08-51

ВВЕДЕНИЕ.

1. АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ КОМПЬГЕРНОГО ТЕСТОВОГО КОНТРОЛЯ.

1.1. Основные принципы компьютерного тестового кон гроля.

1.1.1. Методические правила проектирования тестовых заданий.

1.1.2. Формы тестовых заданий.

1.2. Проблемы кадрового обеспечения промышленных предприятий.

1.3. Педагогические принципы контроля и диагностики.

1.3.1. Функции и методы контроля.

1.3.2. Классификация педагогических тестов.

1.4. Математическое моделирование процедур тестового контроля.

1.5. Программные технологии формирования тестовых заданий.

Выводы по главе 1.

2. РАЗРАБОТКА МЕТОДОВ ДИФФЕРЕНЦИРОВАНИЯ ОЦЕНКИ СЛОЖНОСТИ ТЕСТОВЫХ ЗАДАНИЙ.

2.1. Измерение сложности учебной информации.

2.2. Разработка энтропийной модели оценки сложности учебной информации.

2.3. Семантический граф тестового задания.

2.4. Модель оценки объема учебной информации с учетом ее сложности.

2.5. Обобщенная форма записи модели и коэффициент сложности информации, представленной в виде дерева.

2.6. Модель дифференцированной оценки сложности тестового задания.

Выводы по главе 2.

3. РАЗРАБОТКА ИНСТРУМЕНТАЛЬНОЙ СРЕДЫ КОНСТРУИРОВАНИЯ ТЕСТОВЫХ ЗАДАНИЙ.

3.1. Формализованные модели описания интерактива пользователя при решении тестового задания.

3.2. Алгебра регулярных сетей.

3.3. Методики построения шкалы оценки уровня знаний.

3.3.1. Принципы построения шкал в задачах тестового контроля.

3.3.2. Формализованные модели классификации обученности.

3.3.3. Унифицированная дидактическая классификация.

3.4. Компоненты инструментальной среды конструирования тестовых заданий.

Выводы по главе 3.

4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ КОНСТРУКТОРА ТЕСТОВЫХ ЗАДАНИЙ.

4.1. Функционал конструктора тестовых заданий.

4.2. Методика формирования сцены теста.

4.3. Применение скриптов в качестве обработчика событий.

Выводы по главе 3.

Одной из основных проблем переподготовки персонала промышленных предприятий в настоящее является разработка эффективных технологий создания электронных образовательных ресурсов, включая методически обоснованную систему тестов.

Повышение эффективности компьютерного тестового контроля может быть достигнуто на основании повышения качества конструирования учебных тестовых заданий (УТЗ), использующих разнообразные интерактивные режимы действий пользователей, что особенно важно для рабочих специальностей где необходима визуализация агрегатов и устройств управления технологическими процессами, обеспечивающими производственный цикл.

Мастер производственного обучения или преподаватель системы повышения квалификации и переподготовки персонала промышленных предприятий должны иметь возможность реализовать свой творческий потенциал в процессе создания авторских курсов. В связи с этим в последнее время интенсивно ведутся работы по автоматизации формирования тестов, не только статических, но и адаптивных. Имеется ряд разработок направленных на создание инструментальных средств конструирования УТЗ, но они, в основном, ограничиваются классическими формами заданий открытого типа, закрытого, на соответствие и др.

Однако, в данном направлении отсутствуют работы по созданию программно-инструментальных средств и методик конструирования интерактивных УТЗ, объединяющих все типы и формы представления, включая перемещение графических образов, имитирующих работу устройств. Этим и обосновывается актуальность настоящего диссертационного исследования, поскольку имеет место приближение самого УТЗ к реальной технологической операции. Там, где требуется оперативное принятие решений, тем более во внештатных ситуациях, такие

УТЗ дают возможность отрабатывать практические навыки управления технологическим процессом.

Предметом исследования являются информационные технологии, направленные на создание интерактивных тестовых заданий, включаемых в базу данных тестов различных направлений в системе аттестации персонала промышленных предприятий.

Целью работы является повышение эффективности функционирования системы переподготовки персонала за счет разработки методов, моделей, алгоритмов и программно-инструментальных средств конструирования интерактивных УТЗ.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ методов организации тестового контроля в системе переподготовки персонала промышленных предприятий;

• разработка принципов дифференцированной оценки корректности решения УТЗ;

• разработка моделей описания процессов конструирования УТЗ комбинированных форм;

• разработка моделей оценки вероятности правильного ответа на УТЗ с учетом доли правильности ответа;

• разработка программно-инструментальной среды конструирования интерактивных УТЗ.

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем, теория автоматов, классический теоретико-множественный аппарат и другие.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.

В первой главе диссертации проводится системный анализ педагогических принципов создания тестовых заданий. Рассмотрены проблемы кадрового обеспечения предприятий промышленности и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов компьютерного тестового контроля. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов.

В диссертации с системотехнических позиций рассмотрены во взаимосвязи задачи выбора и формирования последовательности предъявления тестовых заданий и задачи мониторинга результатов прохождения тестов.

Данная работа направлена на реализацию инструментальных средств конструирования одного тестового задания, которое затем включается в интегрированную базу данных тестовых задании по всем направлениям переподготовки. Кроме того, исследованы вопросы оценки вероятности правильного ответа на различные УТЗ в зависимости от ограничения по времени ответа, усталости, истинного уровня знаний, сложности самого задания и др.

Во второй главе диссертации разрабатываются формализованные методы конструирования тестовых заданий. На основе автоматной схемы разбора строится модель описания интерактивного поведения тестируемого при формировании ответа на тестовое задание.

Классические схемы зачастую не описывают всех возможных формулировок задания. Кроме того, например, в закрытой форме и малом количестве альтернатив (часто их всего три) имеет место простое угадывание правильного ответа. При этом в качестве вероятностной модели ответа на задание предлагается использовать расширение модели Бирнбаума.

Такой подход к оценке результатов ответа на УТЗ предлагается использовать и для расширения модели адаптивного тестового контроля, где сложность следующего задания выбирается на основании решения предыдущего. Так, неточный ответ на УТЗ определенной сложности можно рассматривать как решение УТЗ пониженной сложности.

В третьей главе на основании построенных моделей формируются принципы конструирования УТЗ в программно-инструментальной среде.

Для такого вида тестовых форм в работе предлагается технология формирования ответов в виде перетаскивания альтернатив, что является максимально адаптированным вариантом для переподготавливаемого контингента.

Первичным при формировании теста, является конструирование тестового задания. В работе предлагается формализованное описание методики конструирования тестовых заданий с использованием разработанного конструктора тестовых заданий, который имеет следующие функциональные компоненты:

• графический редактор формирования структуры задания;

• формирование схемы разбора ответа;

• параметризация выполнения задания; подсистема генерации тестового задания (JAVA).

В четвертой главе диссертации приведено описание программно-инструментальной среды конструирования тестовых заданий. Форма конструктора представляет приложение вида «выбери-и-размести» (drag-and-drop). Разработчику дается возможность путем перетаскивания разместить компоненты теста из палитры компонентов на сцене. Таким образом, достигается наглядность представления теста еще на этапе его проектирования.

Для реализации конструктора УТЗ используется Java, так как она независима от платформы и способа выполнения программ. Другими словами, тестовые задания можно выполнять как в обычной программе, так и на интернет странице, где тест представлен в виде Java-апплета. Java является объектно-ориентированным языком со строгой типизацией, что позволяет точно описывать объекты и модули системы. Исходный код объектов компилируется в платформонезависимый байт-код, который выполняется в виртуальной машине, это обеспечивает высокую скорость работы, автоматические функции по сбору памяти, отказоустойчивость и предоставляет доступ к функциям операционной системы. Для платформы Java реализовано множество библиотек для различных операции.

В заключении представлены основные результаты работы.

В приложении приводятся акты внедрения результатов диссертационной работы.

Научную новизну работы составляют методы конструирования тестовых заданий, ориентированных на использование в системе переподготовки персонала промышленных предприятии, и модели дифференцированной оценки сложности. На защиту выносятся:

• принципы дифференцированной оценки корректности решения УТЗ для персонала промышленного предприятия;

• обобщенные модели описания процессов конструирования и выполнения УТЗ;

• описания интерактивного поведения пользователя на основе конечных автоматов как преобразователей и акцепторов;

• программно-инструментальная среда конструирования интерактивных

УТЗ.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным анализом процессов аттестации персонала на промышленных предприятиях, процессов обучения и тестирования в ряде образовательных учреждений, . Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центрах промышленных предприятий.

Внедрение результатов работы позволит повысить качество и эффективность конструирования интерактивных тестовых задании системе аттестации персонала промышленных предприятий. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений.

Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде промышленных предприятий, а также используются в учебном процессе МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2005-2009г.г.);

• на заседании кафедры АСУ МАДИ(ГТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации процесса аттестации составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе подготовки и аттестации персонала промышленных предприятий.

По результатам выполненных исследований опубликовано 7 печатных работ.

Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 150 страницах машинописного текста, содержит 47 рисунков, 19 таблиц, список литературы из 105 наименований и приложения.

Основные выводы и результаты работы

1. Проведен системный анализ задач организации процедур тестового контроля и аттестации персонала промышленных предприятий, определен круг методов и моделей формализованного представления компонент системы тестового контроля и конструирования тестовых заданий.

2. Разработаны принципы дифференцированной оценки правильности решения тестового задания, что дает возможность более точной оценки уровня знаний.

3. В раках единого формализованного представления разработаны модели описания процессов конструирования стандартных форм тестовых заданий, а также их расширенных комбинированных форм.

4. С использованием теории конечных автоматов и формальных грамматик построена формализованная модель процедуры конструирования тестового задания.

5. Разработаны механизмы конструирования тестовых заданий и требования к инструментальной среды формирования графических образов УТЗ с возможностью реализации интерактивных режимов их выполнения.

6. Разработана программно-инструментальная среда конструирования интерактивных УТЗ, объединяющая возможности граяического редактора и автоматной схемы разбора результатов выполнения задания.

7. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения на ряде промышленных предприятий, а также используются в учебном процессе МАДИ(ГТУ).

1. Аванесов B.C. Научные проблемы тестового контроля знаний. Монография. - М.: Исследовательский центр, 1994.

2. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. М.: Исследовательский центр, 1995.

3. Агафонов В.Н. Спецификация программ: понятийные средства и их организация. Новосибирск, Наука, 1987, 238 с.

4. Акчурин P.M. Задача автоматизации программирования имитационно диалоговых систем // Программирование. - 1982. - №3.

5. Афифи А. , Эйзен С. Статический анализ: Подход с использованием ЭВМ. Пер. с англ. -М.: Изд-во "Мир", 1982. 488 с.Васильев В.И. Наша концепция.// Вестник высшей шкояы. 1990. № 10

6. Байзель М.М., Тарасенко Г.С Исследование адаптивного алгоритма оптимизации в обстановке помех // Проблемы случайного поиска (Рига). -1981.-Вып. 9.-С. 106-124

7. Баранов В.В. Рекурентные методы оптимальных решений в стохастических системах. Харьков:- Вища школа, 1981. - 145 с

8. Брежинина И. А., Галицкая Б.И., Марек И.А. Технология имитационного моделирования с использованием диалога в процессе построения моделей // Теория сложных систем и методы их моделирования: Труды семинара ВНИИСИ. М., 1984. С. 38-42.

9. Брезгуйова Я.М. Риде К.К Структура диалога в процессе синтеза оптимального плана эксперимента // Проблемы случайного поиска (Рига). 1981. Вып. 9. С. 263-384.

10. Ю.Бусленко В.И. Автоматизация имитационного моделирования сложных систем. М.; Наука, 1977. 239 с11 .Вороновский Г. К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. -Харьков, 1997.-111 с.

11. Выготский JI.C. Избранные психологические исследования. М., МГУ, 1956.

12. Гершунский Б.С Философия образования. М.: Флинта, 1998,

13. Гордон Д. Вычислительные аспекты имитационного моделирования // Исследование операций методологические основы и математические методы. - М.; Мир, 1981. - С. 655-679.

14. Государственный образовательный стандарт Российской Федерации. Высшее профессиональное образование. Общие требования. М., ГКВО РФ, 1993 -9с.

15. Готлиб М.А. Компьютеру дидактическое обеспечение. // Информатика и образование - М., Педагогика, N 4, с.3-14.

16. Готлиб М.А. Структура АОС. //Информатика и образование -М-, Педагогика, N 3, 1987, с. 11-20.

17. Желтое С., Лихачев П., Степанов В. Виртуальная реальность новая информационная технология // Экология непознанного. - 1995. - № 1.- С.6-11.

18. Жуковская З.Д. Методологические основы разработки и функционирования комплексной системы контроля качества подготовки специалистов в вузе. Диссертация на соискание ученой степени доктора педагогических наук.-С.П.: ЛГУ, 1994.

19. Зимняя И.А. Проблемы самооценивания как интериоризированной внешней оценки в процессе обучения. "Квалиметрия человека и образования. Методология и практика. 2-й симпозиум, кн.1, 4.1. М.: Исследовательский центр, 1993.

20. Казановнч В.Г. Образовательная система как объект оценивания. Диссертация на соискание научной степени кандидата педагогических наук. -М.: Исследовательский центр, 1995.

21. Калашников В.В. Организация моделирования сложных систем. -М.: Знание, 1982. 103 с

22. Катыс Г.П., Катыс П.Г. Трехмерное отображение визуальной информации в виртуальном пространстве: Учебное пособие / МИРЭА. М., 1998. - 78 с.

23. Кашицин В.П. и др. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Изд-во «Магистр», 1997. - С. 44.

24. Клейнен Д. Статистические методы в имитационном моделировании. М.; Статистика, 1978. Вып.1 221с, Вып. 2- 335с.

25. Коломиец Б.К. Инвариантные функции интеллектуальной деятельности. Техническое творчество: теория, методология, практика, энциклопедический словарь справочник./Под ред. А.И.Половинкина, В.В.Попова/. М.: НПО "Информсистема", 1994.

26. Коломиец Б.К. Комплексная оценка выпускников высших учебных заведений. Отчет по НИР за 1996 г. -М.: Исследовательский центр проблем качества подготовки специалистов. 1997, 136 с.

27. Коломиец Б.К. Образовательные стандарты и программы: инвариантные аспекты М.: Исследовательский центр проблем качества подготовки специалистов. 1999 - с. 144.

28. Лавров С.С. Представление и использование знаний в автоматизированных системах. //МП. 1986, N 3, с. 14-19.

29. Литвак Б.Г. Экспертная оценка и принятие решений. М.: Патент, 1996-271 с.

30. ЛитвинцеваЛ. В., Налитое С.Д. Графические средства для построения систем когнитивной графики и виртуальных миров // Программные продукты и системы. -1995. -№ 2.

31. Математическая теория планирования эксперимента Под ред. С.М. Ермакова. М.: Наука, 1983. - 392 с

32. Новое качество высшего образования в современной России. Труды Исследовательского центра. Род научной редакцией Селезневой Н.А. и Субетто А.И. М.: Исследовательский центр проблем качества подготовки специалистов. 1995. - 199 с.

33. Петин Б.Ф. Предложения по совершенствованию ГОСов по направлениям подготовки и специальностям. -М: Исследовательский центр проблем качества подготовки специалистов, 1996.

34. Подгорецкая Н.А. Изучение приемов логического мышления у взрослых. М., Педагогика, 1980.

35. Положение об итоговой государственной аттестации выпускников высших учебных заведений в Российской Федерации. М.Госкомвуз РФ, 25.05.94.

36. Положение об итоговой государственной аттестации студентов высших учебных заведений в РСФСР. Проект. М.: Научно - методический центр по подготовке, переподготовке и повышению квалификации специалистов. 1994.

37. Проходов А В., Рузин В.С О глубинной концепции образования.// Вестник высшей школы. 1990 № 5.

38. Растригин JI. С. Адаптивное обучение с моделью обучаемого. Рига: Знание, 1988.

39. Реформа и развитие высшего образования. Программный документ. ЮНЕСКО, 1995.

40. Рипа К.К. Алгоритм синтеза оптимальных планов эксперимента // Проблемы случайного поиска (Рига). -1981. Вып. 9. С. 250-262.

41. Роберте Ф.С. Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам. М., Наука, 1986.

42. Родионов Б.У.,Татур А.О. Стандарты и тесты в образовании.- М.: Исследовательский центр, 1995. 48с.

43. Саркисова И.О. Место разработки информационных систем для Internet/Intranet сетей в курсе "Информатика и вычислительная техника". Электронный учебно-научно-производственный журнал "Автоматизация и управление в машиностроении", №14, 2000.

44. Сборник методических рекомендаций по разработке содержания обучения и дидактических систем. /Под ред. А.А.Золотарева М., МИИГА, 1988, 270 с.

45. Селезнева Н.А. Проблемы оценки качества образования в России: состояние и перспективные пути решения. Труды Исследовательского центра. Серия: Научные доклады. М. Исследовательский центр проблем качества подготовки специалистов 1994.

46. Селезнева Н.А., Коломиец Б.К. Проблемы итоговой государственной аттестации выпускников вузов, сб."Современные формы и методы контроля знаний студентов на различных этапах обучения и при аккредитации вузов" -М.: Исследовательский центр. 1995.

47. Соколов В.М. Основы проектирования образовательных стандартов (методология, теория, практический опыт). М.: Исследовательский центр, 1996. - 86с.

48. Срагович В.Г. Адаптивное управление. Наука» 1981. 384 с.

49. Степанов А.А; Бахтина Т.Е., Свердлова Т.А., Желтое С.Ю. Обзор технических и программных средств систем виртуальной реальности // В сб.: "Технология виртуальной реальности". М., 1996. - С. 15-56.

50. Столл P.P. Множества. Логика. Аксиоматические теории. М., Наука, 1988.

51. Субетто А.И. Системология образовательных систем. -М.: Исслед. центр проблем качества подготовки специалистов, 1995.

52. Технология виртуальной реальности: состояние и тенденции развития // Новости искусственного интеллекта. 1995. -ЖЗ.-С. 118-122.

53. Технология системного моделирования. /Под ред. С.В.Емельянова -М., Машиностроение; Берлин, Техник, 1988.

54. Титов А.В. Алгоритм агрегирования с использованием смешанной стратегии. Исследовательский центр. 1995.

55. Титтел Эд., Сандерс К., Скотт Ч., Вольф П. Создание VRML миров / Пер. с англ. Киев: Изд-во "Группа BHV", 1997. - 320 с.

56. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л., Ковальчук О.Г. Дистанционное обучение: к виртуальным средам знаний. Дистанционное образование . №2.- 1999.-0.8-16.

57. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Сов. Радио. 1977.-488 с.

58. Управление современным образованием: социальные и экономические аспекты / Под ред. А.Н.Тихонова. М., 1998.- С. 256.

59. Усков В.Д., Ускова М. Информационные технологии в образовании // Информационные технологии. 1999. -№1.-С. 31-37.

60. Феллер В, Введение в теорию вероятностей и ее приложения. : Мир, 1984. 528 с.

61. Фонды комплексных квалификационных заданий по специальностям высшего образования.: Методические разработки ( разработчики : Селезнева Н.А.,Беспалько В.П.,Соколов В.М. и др.) М. Гособразование СССР 1998 г. 89 с.

62. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1995. 32 с

63. Шеннон Р. Имитационное моделирование систем искусство и наука. М.: Мир, 1978.-418 с.

64. Begault D. 3D Sound for Virtual Reality and Multimedia // Academic Press. 1994.

65. Birnbaum A. Some Latent Trait Models and Their Use in Statistical Theories of Mental Test Scores. Reading, Mass. : Addison Wesly, 1968.

66. Candell Thomas P. The Application of Neural Networks to Virtual Reality // 1CNN Tutorial. 1994. № 13. WCCI (Orlando F.L.).

67. Casas L.A.A. et al. Virtual reality full immersion techniques for enhancing workers performance // Proc. Intern. Conf. On Integrated and Sustainable Industrial Production. (Lisbon, Portugal). 1997. P. 399-411.

68. Elane El-Khawas. External Scrutiny, US Style: multiple actors, overlapping roles. Governments and professional education / Edited by Tony Becher. UK. Published by SRHE and Open University Press. Bristol: HEFCE, 1993.

69. Enseignement a distance: realites, enjeux et perspectives: Rapport presente par 7-C1. Barbarante: Conseil economique et social. P., 1997.

70. Gibson W.A., Latent Structure and Positive Manifold, «British Journal of Statistical Psychology», 15, 1962, 149—160.

71. Gibson W.A. Nonlinear Factors in Two Dimensions, «Psychometrika», 25, 1960,381—392.

72. Green B.F., A General Solution for the Latent Class Model of Latent Structure Analysis, «Psychometrika», 16, 1951, 151— 166.

73. Jntematronal Standard Classification of Education (JSCD), revised version 2. UNESCO, 1996.

74. Joraskog K-S. A General Programm for Analysis of Coveriance Structures .Including Generalized MANONA, Edication Testing Service, Princeton, N.S., 1971.

75. Kenneth Nemire. Evaluting an immersive virtual environment prototyping and simulation // SPIE. 1997. Vol. 3012. P. 408-416.

76. Lazarsfeld P.F. Latent Structure Analysis, в: S. Koch (ed), «Psychology: A Study of a Science», New York, McGraw-Hill, 1959.

77. Leary D.E. Artificial intelligence and virtual organizations // Commum ACM (USA). 1997. Vol. 40. № 1. P. 52-59.

78. Libermcm Henry. Intelligent graphics // Commun. ACM. 1996. Vol. 39. № 8. P. 38-48.

79. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J. Lawrence Eribaum Ass., Publ. 1980.

80. Lord F.M., Novick M. Statistical Theories of Mental Test Scores. Addison-Wesley Publ. Co. Reading, Mass., 1968.

81. Macedonia M.R. A transatlantic research and development environment (3D virtual graphics) // IEEE Comput. Graph. Appl. 1997. Vol. 17. № 2. P. 76-82.

82. Menousek В., Wolfe T. Virtual reality the modular way // Comput. Graph. (USA). Aug. 1997. Vol. 31. № 3. P. 66-68.

83. Mood A.M. Macro-Analysis of American Edution System, Operation Res, 17,770-780, 1969.

84. Padgett Mary Lou et al. Virtual Reality systems: from training simulators to . intelligent VR// Proc. SPffi. 1996. Vol. 2878. P. 409-450.

85. Pelletier F. The virtual and real environments: symbiosis // Proc. Internal Conf. On Virtual Systems and Multimedia. 1997. P. 246-247.

86. Pourzand A.R. and Callings N. Progress in the construction of multilayer optical neural network // Proc. SPffi. 1998. Vol. 3940. p. 439-442.

87. Rasch, G. Probabilistic Models for Some Intelligence and Afteword by B.D.Wright. The Univ. of Chicago Press. Chicago & London, 1980.

88. Simmonds B. Enhancing reality to make the ideal instruments // Control and lustrum. 1995. Vol. 27. № 12. P. 29, 30.

89. The European conventions on higher education. Council of Europe. -Strasbourg: Council of Europe Press, 1995.

90. Udo Jakob, Efi Douloumi. Let's move on the integration of motion Rendering in VR// SPffi. 1997. Vol. 3012. P. 454-460.

91. Umeki V., Doi M. Sensation of movement in virtual space // Electron. Commun. Jpn. Fundam. Electron. Sc. (USA). June, 1997. Vol. 80. № 6. P. 74-82.

92. Vacca J.R. VRML: bringing virtual reality to the internet: CD-ROM included. Boston, 1996. - 552 p.

93. Watars R.C; Barrus J.W. The rise of shared virtual environments // IEEE Spectr. (USA). March. 1997. Vol. 34. № 3. P. 20-25.

94. Watson B. Evaluation of the effects of frame variation on VR tosk performance // Proc. ШЕЕ. 1997. Virtual Reality Annual Internal Symposium. P. 38-44.

95. Wherry R.J., Gaylord R.H., Factor Pattern of Test Items and Tests as a Function of the Correlation Coefficient: Content, Difficulty, and Constant Error Factors, «Psychometrika», 9, 1944, 237-244.

96. Ying-Ying Fang et al. A pseudo-immersive virtual environment a shell for research // Int. J. Virtual Real. (USA) 1996. Vol. 2. № 3. p. 8-14.