автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Модели, методы и инструментальные средства интерактивного контроля выполнения многошаговых учебных заданий

На правах рукописи

Садчиков Сергей Михайлович

МОДЕЛИ, МЕТОДЫ И ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ИНТЕРАКТИВНОГО КОНТРОЛЯ ВЫПОЛНЕНИЯ МНОГОШАГОВЫХ УЧЕБНЫХ ЗАДАНИЙ

05.13.11 - математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва-2006

Работа выполнена в Московском инженерно-физическом институте (государственном университете)

Научный руководитель: Официальные оппоненты:

Ведущая организация:

кандидат технических наук,

доцент Синицын Сергей Владимирович

доктор технических наук, профессор Романов Михаил Петрович

кандидат технических наук, доцент Новиков Валерий Арианович

Московский государственный университет экономики, статистики и информатики (МЭСИ)

Защита диссертации состоится 29 ноября 2006/: в 14 часов 00 минут на заседании диссертационного совета Д 212.130.03 в Московском инженерно-физическом институте (государственном университете) по адресу: 115409, г. Москва, Каширское шоссе, 31.

С диссертацией можно ознакомиться в библиотеке института.

Автореферат разослан 2006 г.

Ученый секретарь диссертационного совета д.т.н., профессор

Шумилов Ю.Ю.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Контролирующие процедуры являются, как правило, неотъемлемой частью современных компьютерных обучающих систем. Доля затрат на разработку процедур контроля в обучающих системах значительна.

Применение сценариев интерактивного взаимодействия с обучаемым предусмотрено общепринятыми международными документами в области разработки компьютерных программ для образования. Подобное взаимодействие реализуется соответствующими программными компонентами.

Использование в компьютерной программе функций проверки интерактивного выполнения многошаговых учебных заданий позволяет отслеживать технологию решения, повысить эффективность и снизить временные затраты процедур контроля и самоконтроля.

• За счет компьютерного выполнения рутинных операций при решении учебных заданий экономится время студента, что позволяет выполнять больше различных задач, представляющих предмет изучения, при этом они могут иметь большую размерность, часто невозможную при решении вручную.

• За счет компьютерного контроля процесса решения экономится время преподавателей на детальную проверку каждой выполненной работы. Это позволяет при том же штате преподавателей проводить контроль большего количества студентов или углубить контроль.

• За счет контроля промежуточных результатов увеличивается полнота освоения и контроля методов выполнения заданий, решается ряд проблем для определенного круга заданий, возникающих при контроле только конечного ответа:

о правильный ответ к задаче не гарантирует использования испытуемым требуемого метода решения - слежение за траекторией позволит проконтролировать технологию решения; о неправильно введенный ответ к заданию часто не позволяет выставить оценку, отличную от нуля, - оценивание каждого шага процесса решения позволяет дифференцировано формировать некоторую положительную оценку для частично правильных решений, что важно для заданий, требующих длительного многошагового выполнения; о фиксированная последовательность псевдотестовых "микрозаданий" часто не позволяет испытуемому проявлять инициативу и комплексно продемонстрировать все умения по выполнению задания - разрешение продолжения решения после определенных ошибок помогает решить эту проблему.

РОС. НАЦИОНАЛЬНАЯ БИБЛИОТЕК\

С.-Неи-рСл'ог РЭ

Одним из видов подобных интерактивных процедур являются задания (учебные задачи), для решения которых в явном виде должны применяться алгоритмы, состоящие более чем из одной операции, т.е. они выполняются за несколько шагов (действий). Для выполнения заданий может существовать и использоваться несколько алгоритмов (или вариантов алгоритмов). Для контроля усвоения материала помимо конечного ответа являются важными получаемые промежуточные результаты, принятые решения и траектория процесса решения. При этом увеличение точек контроля в общем случае приводит к увеличению затрат на реализацию системы.

В настоящее время не существует типовых решений и общепринятых формальных методик для синтеза и оценки интерактивных процедур контроля выполнения многошаговых заданий.

В данной диссертации исследуются модели и методы разработки (проектирования) компьютерных программ интерактивной проверки знаний и умений выполнять многошаговые задания. Предлагаемые методы анализа схем контроля являются формальной основой выбора и проектирования сценария работы пользователя при выполнении интерактивного задания.

Цель диссертационной работы - разработка моделей и методов их создания, обеспечивающих необходимую полноту усвоения и глубину (детальность) контроля и снижающих трудоемкость разработки, а также реализация обучающих и контролирующих комплексов по математическому программированию. При разработке сценариев работы студента анализируются необходимая детальность контроля (количество и положение точек контроля промежуточных результатов решения) и затраты на разработку комплексов. Использование результатов исследования должно дать уменьшение затрат на разработку и сокращение времени на процедуры контроля при полноте освоения изучаемых методов. Данные модели и методы могут применяться также для отбора существующих систем.

Для достижения поставленной цели в работе необходимо решить следующие задачи:

• исследовать методы автоматизированного контроля в обучении для построения модели типового комплекса и выявления характеристик, используемых для оценки используемых интерактивных заданий;

• предложить и исследовать оригинальные модели и методы синтеза и модификации нагруженных графов, описывающих схемы (сценарии) выполнения заданий и процедур контроля, метод оценки необходимой детальности данных процедур контроля с целью получения корректных сценариев компьютерного интерактивного контроля выполнения заданий;

• создать алгоритмическое и программное обеспечение для оценки необходимой детальности реализуемых сценариев (схем) контроля решения задачи;

• разработать программное обеспечение комплексов контроля выполнения задания и исследовать их характеристики;

• экспериментально проверить разработанные методы и программные средства.

Методы исследования. При разработке математического обеспечения в диссертационной работе используются методы теории графов, теории множеств. При разработке программного обеспечения (ПО) используются методы объектно-ориентированного программирования.

Научная новизна работы заключается в следующем: в Выполнен анализ современного программно-информационного обеспечения для контроля выполнения многошаговых учебных заданий, выявлены его ограничения и необходимая функциональность, что позволяет сформировать необходимую структуру проектируемого ПО.

• Предложена модель оценки (сравнения) интерактивных систем контроля по критерию глубины (детальности) контроля; решение сводится к задаче на графах, что является традиционным, но разработаны собственные методы расчета необходимых характеристик, что служит теоретической основой для анализа схем интерактивного контроля.

• Предложена алгебра для синтеза корректных сценариев выполнения заданий, что обеспечивает возможность многократного использования фрагментов сценариев.

• Предложена гомоморфная операция стягивания, показаны ее свойства, что позволяет проводить корректную редукцию сценариев выполнения заданий и исследовать их свойства.

Практическая значимость. По тематике диссертационной работы выполнялись исследования над первой очередью комплексов в рамках договора 95-3-114-521/10 ЭУ/95 с Российским НИИ информационных систем (РосНИИ ИС) в МИФИ. Данные исследования описаны в соответствующем отчете о НИР.

Разработанные методы анализа схем контроля выполнения многошаговых учебных заданий используются в созданном инструментальном средстве для проектирования программных систем, предназначенных для компьютерного интерактивного контроля выполнения заданий.

Реализация результатов. Разработанные решения в виде программных комплексов были использованы в МИФИ и МЭСИ при

изучении курсов по математическому программированию в следующих подразделениях:

• на кафедре "Исследования операций" МЭСИ;

• на факультете "Информационная безопасность" МИФИ, в Экономико-аналитическом институте МИФИ, на кафедрах факультета "Кибернетика" МИФИ №17 "Информатика и процессы управления", №22 "Кибернетика", №29 "Интеллектуальные управляющие системы", на факультете иностранных учащихся МИФИ (группы ИК).

На защиту выносятся:

• модель описания сценариев выполнения многошаговых учебных заданий, алгебра для синтеза корректных сценариев; метод анализа необходимой глубины (детальности) процедуры контроля решения задач компьютерными средствами, модель оценки многошаговых заданий;

• гомоморфное преобразование редукции (стягивания) для схем контроля, сохраняющее свойство достижимости результата;

• структура программных комплексов, включающая модули фиксации трассы решения, диалоговой и вычислительной поддержки;

• методы оптимизации структуры учебных курсов с использованием методов преобразования графов;

• программная реализация инструментального средства для анализа схем контроля;

• программная реализация и внедрение обучающе-контролирующих комплексов, разработанных с использованием вышеназванной методики анализа схем контроля.

Апробация работы. Комплексы обучающих и контролирующих программ по математическому программированию зарегистрированы в Отраслевом фонде алгоритмов и программ, государственный регистрационный № 50200501308.

Теоретические положения и практические результаты были доложены на следующих конференциях, семинарах и выставках:

• конференция "Информатика и новые информационные технологии в системе лицей-ВУЗ", МИФИ, 1995;

• Международный научный конгресс студентов, аспирантов и молодых ученых "Молодежь и наука - третье тысячелетие", 1996;

• конференция "Телекоммуникации и новые информационные технологии в системе лицей-ВУЗ", МИФИ, 1997;

• IX Международная конференция-выставка "Информационные технологии в образовании", 1998;

• Научная сессия МИФИ, 2000 и 2002-2006;

б

• 5-я Выставка-конференция "Телекоммуникации и новые информационные технологии в образовании", МИФИ, 2001;

• Х-XV Международные научно-технические семинары "Современные технологии в задачах управления, автоматизации и обработки информации", Алушта, 2001-2006;

• Первая научно-практической конференция "Современные информационные технологии и ИТ-образование", ВМК МГУ, 2005;

• Четвертая открытая всероссийская конференция "Преподавание информационных технологий в России-2006", г. Москва, 2006.

Структура работы. Диссертация содержит 4 главы, введение и заключение, 72 рисунка, 7 таблиц, 8 приложений. Общий объем страниц без приложения: 134 (с приложениями - 169). Список использованных источников содержит 154 наименования.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность работы, определяются цели и задачи работы.

В первой главе рассматриваются компьютерные системы учебного назначения. Исследуются способы контроля с помощью данных систем знаний и умений учащихся. Отмечаются преимущества и недостатки компьютерных систем контроля, основанных на классических тестовых технологиях, и ставится задача создания интерактивных средств контроля выполнения многошаговых учебных заданий.

Компьютерные системы для проведения тестирования обеспечивают интерфейс и обработку различных типов тестовых заданий. В качестве вопроса может выступать текст задания с иллюстрациями или другими возможностями средств мультимедиа. Наиболее распространены различные виды закрытых тестов, ответы на вопросы которых не вводятся, а выбираются из готовых ответов (один или несколько верных, остальные неверные). В открытых тестах предоставляется интерфейс для ввода или конструирования верного ответа или даже всего хода решения. Для закрытых тестов успешно используется автоматическая проверка и выставление оценки. Для систем тестирования, как и для самих тестов, разработаны показатели (надежность, валидность, дискриминативность и др.), характеризующие качество тестового материала. В компьютерных программах, реализующих открытые тесты, предлагаются ограниченные подходы к полностью автоматической проверке ответов. Компьютерное тестирование успешно выполняет свои функции, но не заменяет полностью контрольных работ или экзамена, имеющих в своем составе многошаговые задания. Следовательно, требуется разработка компьютерных систем, предназначенных для выполнения и контроля подобных заданий.

Существуют учебные задания, в которых для контроля усвоения материала помимо конечного ответа являются важными получаемые промежуточные результаты, принятые решения, т.е. траектория получения решения. Предполагается также, что может существовать несколько различных путей выполнения задания (решения задачи). Различие может быть как в мелких деталях, так и во всем процессе решения. Студент управляет этим процессом.

В настоящей работе рассматриваются задачи, схемы решения которых представляются некоторым полем переменных М и графом (сетью) б (некоторым аналогом блок-схемы). Дуги графа ассоциированы с возможными переходами, допустимыми или недопустимыми с точки зрения правильного решения задачи. Узлы графа ассоциированы с точками контроля выполнения операций (проверкой значений в области памяти).

Реализация схемы контроля представляет следующую повторяющуюся последовательность ввода и проверки данных: испытуемый называет следующую операцию (что соответствует выбору дуги) и вводит ее параметры, система осуществляет проверку, испытуемый вводит результат операции, система осуществляет проверку.

Соответственно, для всех узлов и дуг С должны быть реализованы пользовательский интерфейс и функция проверки. Реализация каждой компоненты требует затрат ресурсов. Обозначим сложность (объем) реализации для каждого элемента через

Л ттд, Р(щ)),

где е = {Ь, п}, Ъ - дуга, п - узел, к - номер элемента; Щш/) -пользовательский интерфейс для фиксации значений множества являющегося подмножеством М\ Р(т/) - предикат для проверки введенных значений ту.

Как при автоматизированных процедурах контроля, так и при проверке "вручную" в большинстве случаев нет необходимости и (или) возможности проследить за всеми мельчайшими подробностями выполнения заданий. И для автоматизированного, и для "ручного" контроля требуется так расставить точки проверки и выбрать такие компоненты выполнения заданий, чтобы обеспечить достаточный уровень контроля над траекторией (технологией) работы при сохранении на приемлемом уровне затрат на процедуру контроля и разработку автоматизированного средства.

Выделим несколько шагов решения, допускающих рассмотрение как единое целое, например как подзадача или процедура. Можно предположить, что, контролируя результат всей такой группы шагов сразу, затраты на разработку процедуры проверки уменьшатся за счет исключения фиксации и проверки всех промежуточных преобразований. Но потенциально существуют факторы, повышающие трудоемкость

разработки некоторых аспектов данной "процедуры", по сравнению с отдельными шагами. Например, интерфейсы (связи) с другими элементами решения могут усложниться.

Рассмотрим подобное множество шагов R,, состоящее из узлов и дуг: f'k, ke Rr Пусть /'- трудоемкость реализации контроля всех шагов группы R„ как единого целого. Тогда предполагаем, что в общем случае трудоемкость уменьшается f'<^fek> и является примерно

равной остальным узлам: /' ~fek, Vfcei?,.

"Механический" выбор стягиваемых компонент не всегда целесообразен, полученные в результате автоматического стягивания компоненты могут не иметь практического (дидактического) смысла. Учитывая, что все процедуры могут иметь различную важность и сложную взаимосвязь между собой, выбор наборов укрупняемых процедур - отдельная задача.

Часть шагов решения задачи может выполняться компьютером автоматически с помощью средств системы контроля. Например, ввод дополнительных параметров для автоматических процедур, использование вычислительной поддержки для рутинных операций. Поэтому в составе программных средств системы должны присутствовать модули поддержки диалога, реализации рутинных вычислений (например, числовых, символьных, геометрических и других преобразований), а также модули фиксации и контроля шагов решения.

Существующие общепринятые международные документы ШЕЕ 1484, SCORM, IMS к системам учебного назначения определяют общие требования по форматам данных, совместимости, не рассматривая специфических требований к интерактивному решению задач.

В главе ставится задача разработки модели для описания схемы (сценария) выполнения заданий (с вариациями) в виде нагруженных графов, а также методов их преобразования, с целью получения схемы контроля решения той же задачи с помощью интерактивной компьютерной системы, обеспечивающей необходимую полноту усвоения и глубину контроля и снижающей трудоемкость разработки. Способ описания применяется для анализа разрабатываемой или готовой компьютерной системы.

Во второй главе определяются модели описания предметной области и схем решения задач, приводятся разработанные методы числовой оценки исследуемых схем контроля. Предлагается алгебра для синтеза сценариев (схем) решений. Описываются модель студента, предлагаемые способы разделения действий и данных с точки зрения правильности и реализованное™ в компьютерной системе, а также способы выставления автоматической оценки.

Рассматриваются схемы выполнения заданий А, удовлетворяющие требованию необходимой "популярности" (частоте использования обучающимися) Р(А). Элементы этого описания должны нести некоторые числовые характеристики, которые позволили бы получить интегральную оценку, применимую для сравнения предлагаемого в компьютерной системе способа контроля с наиболее детальным "эталоном". Необходимо учесть следующие аспекты:

• с уменьшением точек контроля и количества доступных вариантов реализации характеристики сценария должны ухудшаться;

• вводятся параметры, отражающие необходимость фиксации любого промежуточного результата.

Рассмотрим две схемы выполнения задания.

Сводный граф выполнения задания - сценарий (схема) решения задач данного типа, граф (сеть) с наибольшей детализацией, отражающий все необходимые нюансы, способы решения.

Исследуемый граф контроля - предлагаемый в компьютерной системе способ (сценарий) контроля, который требуется построить.

Обозначим: X - множество вершин графа; N- множество дуг; X(v), N(v) - множество вершин и дуг в графе процедуры, соответствующей вершине v.

Для описания всех схем выполнения задания введем определение взвешенного графа решения задачи G = <(Х, Wx), (N, Wf¡)>, удовлетворяющего свойствам управляющих графов. Множество вершин X соответствует операциям (шагам) алгоритма, Wx - веса (характеристики, параметры) вершины. Множество дуг N определяет возможные последовательности выполнения компонент задания. Каждой дуге соответствует набор весов HV

Wx = < у, К h, hs, kh> а, со >, где

7 - название и описание операции (ссылка на частную реализацию алгоритма (процедуры), конструкция на некотором языке высокого уровня, указание на ветвление, параллельное выполнение или слияние);

h0 - важность данного компонента решения (интегрированная величина, характеризующая важность контроля и сложность безошибочного выполнения, 0 < h0 < 1);

h¡ - полная детализированная важность компонента решения (для обычной вершины h¡ = если вершине соответствует некоторая процедура, вычисляется из расчета, что все операции полностью контролируются: Н(А) = £ Л(*0(1-ю) + );

itCX Uy,ft)CN

h - фактическое значение характеристики детализированности контроля вершины v в исследуемом графе; для вершины, которой соответствует некоторая процедура h = h(v)~F(Wx(v),WN(v)), где Wx(y) и

- параметры вершин и дуг графа, соответствующих вершине V (в диссертации рассматриваются различные функции I7); если процедура контролируется полностью, то Л = иначе Л < в сводном графе Л = 7гЛ;

- коэффициент необходимости подробной детализации контроля "вложенной" процедуры, соответствующей данной вершине, 0 < < 1;

а = {0,1} - признак автоматического (а = 1) или ручного (о = 0) выполнения операции (используется для исследуемого графа);

ш = {0,1} - признак незначащего элемента графа решения (со = 1 используется для элементов, необходимых только для связности графа).

Тт - терминальные вершины, 5 - начало, г - конец, для них /1=/г{=£Л=0,а>=1.

ТУлг= < у№ <*№ <% > , где Удг- название и описание условия перехода по данной дуге; Лдг - важность выбора следующего действия (интегрированная величина, характеризующая важность и сложность правильно выбрать (назвать) следующую операцию схемы решения при предположении возможности выбора ошибочных действий, 0<кц< 1);

ам = {0,1} - признак автоматического (а^= 1) или ручного (а^= 0) выбора следующего шага;

сод/= {0,1} - признак незначащего ((% = 1) элемента графа решения. В качестве вершин графа могут выступать процедуры, описываемые также с помощью данных графов (аналогично редуцированным графам). При необходимости граф решения задачи может быть представлен только с помощью "элементарных" вершин, путем включения всех вложенных процедур. Если вершина представляет собой не элементарную операцию, а процедуру, то при передаче управления на данную вершину происходит передача управления на начальную вершину графа, описывающего процедуру, передаются все данные, передаваемые вершине. По завершении процедуры все выходные данные объединяются с "внешними" данными, управление передается в соответствии с указанным для вершины.

Общая схема анализа способа контроля:

• для выбранного задания конструируется множество схем выполнения (с вариациями) 21 = {Л|Р(Л)}, где предикат Р определяет используемые студентами способы А\

о схема 21 может конструироваться из различных готовых схем выполнения, узлы схемы могут представлять собой процедуру (другую схему);

• схема выполнения задания 21 описывается в виде одного графа

• строится второй граф, в котором каждой точке контроля соответствует один значащий элемент.

Введем обозначение <3 для такого вида графов. Обозначим через ® £ <5 любой незначимый (некорректный) экземпляр.

Введем операции сочетания схем решения: последовательного, параллельного применения, ветвления (выбора).

Операция последовательного выполнения двух схем решения V Ли АгЕ Ах = <(*,, \УХ1), М, УУт)> и Л2= <(Х2> ]¥Х2), {Ыъ строит схема А - <(Х, \¥х), (К \Уд))> € 6, такая, что её применение эквивалентно тому, что данные, подаваемые на вход А, передаются на вход схемы Аь и вначале выполняется А\, выходные данные А\ являются входными для А2. Выходные данные А2 являются выходными данными для А. Начальной вершиной я схемы А является начальная вершина ¿1 схемы А\. Конечной вершиной I схемы А является конечная вершина г2 схемы А2, конечная вершина Л1 и начальная вершина Л2 отождествляются. Х=(Х, и Х2), N = N1 и N2.

При параллельном (обязательном) сочетании схем V А\,А2 6 А - А1 и А2 & 0. Схема А строится таким образом, что каждая её

начальная ветвь получает всё исходное множество данных. Начальные и конечные вершины А\ и А2 попарно отождествляются. Схемы могут исполняться как параллельно, так и последовательно в любом порядке. Признак окончания выполнения А - окончание каждой Ах и А2. Результат выполнения - объединение результатов каждой. X = Х[ и Х2 (начальные и конечные вершины А\ и А2 попарно отождествлены), N = N1 и В случае, если параллельное выполнение схем А\,А2Е® значимого результата может не дать (например, обе схемы не являются информационно независимыми участками вычислений, определяют один и тот же выходной набор данных, не допускающий объединения результатов), то А = А\ и Л2 =

При сочетании ветвления (выбора вариантов) схем V Аи А2 начальные и конечные вершины объединяются (отождествляются), отождествленная начальная вершина содержит условие выбора, разрешающую схему А\2, указывающую направление выбора 1 или 2 (первая или вторая схема). Только одна схема А1 или А2 должна выполниться. Операция обозначается: А=А\\и А2.

В работе исследованы свойства операций, основные представлены в табл. 1. Таким образом, получена алгебра Аа = < 05; и, и| > для синтеза корректных сценариев (схем) решения.

Введем свойство достижимости вершин графа А = <(Х, У/х), {И, №дг)> £ б. Вершина х. е X достижима из вершины

х, е X > если существует путь из х, в х^, т.е. существует такая последовательность вершин xL, хь, х„, xlt, xk, что дуги (*(,, xlt), (*„.,, х„), (Хь,, хк) е N,Vk = l, ... т (при т> 0), (хи, х„) е N (при т = 0) или х, = х, . Обозначим это отношением R(x, ,х. )• Из

'д 't> 'i!

определения графов (3: для начальной вершины л-0 выполняется V^eX,R(x0, je.), для конечной *„ - е X, R(x,■ ,x„) •

Таблица 1. Свойства операций сочетания схем

Свойство О и ч

Коммутативность Нет Да Нет

Ассоциативность Да Да Нет

Идемпотентность Нет Да Нет

Дистрибутивность Да Не определено

Единица Нет Нет Нет

Нулевой элемент ® ®

Для уменьшения детальности (редукции) вводится операция стягивания на выделенной условно-связной компоненте графа. Рассмотрим множество вершин Х\. Вершины, отсутствующие в исходном графе V А € <&, игнорируются. Если множество всех вершин П X вместе со всеми соединяющими их дугами С N можно представить в виде некоего ©-подграфа, образованного из исходного графа с учетом дополнительного построения единых входа и выхода, то будет получена условно-связная компонента.

Пусть 5(Х) С Х\ - множество "входов" компоненты. Если 5(Х) состоит более чем из одной вершины, то необходимо провести попытку построения единственного входа. Пусть Л'"1 С N - множество входящих в выделенную компоненту дуг. Если все дуги выходят из одной вершины х^ то осуществляется расщепление этой вершины, и операция построения единого входа проведена (на рис. 1 стягиваются вершины 1,2 и 3).

<SH7/

Рис. 1. Пример расщепления вершин (новые вершины помечены штрихом)

Аналогично для множеств "выходов" Т(Х) и исходящих дуг №"' осуществляется попытка построения единой вершины. Введем обозначение выделенной условно-связной компоненты: %(А,Х). Пустое множество будем считать условно-связным. Вершину (возможно,

расщепленную), из которой осуществляется переход в %(А,Х), назовем предкомпонентной. Вершину, в которую осуществляется переход непосредственно из %(А, X), назовем послекомпонентной. Если в выделенную компоненту ведут дуги из нескольких вершин, то условно-связную компоненту получить нельзя.

Правила преобразования простого стягивания фа (пример на рис. 2). Для V А = <(Х, \УХ), (Ы, УГЫ)> 6 <5 и V Х2, образующего одну условно-связную компоненту в А, и такого, что а(х,) = а(х;) = ан(ха, хь) для VxhXjeX2nX и V (ха,хь) еN. где ха,хьЕХ2. <р0(^)Ь=^1 = = (адт)>: = {х|х€ №) и * и О. где 1г(х51) = F

(в работе рассматриваются различные виды функций), у(х51) = Ед(%(А, X)),

-1 • При изменении коэффициента к/, для новых стянутых компонент на значение, отличное от 1, указанные ниже свойства автоматически не сохраняются относительно /г и кн, но всегда можно подобрать такие к/, для каждой стянутой компоненты, чтобы равенства были верными. = (х/, х5/) и (х^, хк) и {(*/, х])Е N | хь х1 е Х^, где хи х^ N - предкомпонентная и послекомпонентная вершины соответственно. Ед(%(А, X)) - свойство эквивалентности преобразований образованной вершины и условно-связной компоненты.

Операция стягивания сохраняет отношение достижимости с учетом отождествления стянутых вершин единой, является гомоморфным преобразованием.

Рис. 2. Стягивание вершин 2,3,4,7: фрагмент исходного графа, результат, укрупненный блок для расчета числовых характеристик

Н(А)= 2й(дг/)(1-со)(1-а)+ £ - взвешенное

по Л количество значащих элементов сводного графа (X, И). Н(А,)

£>(Л.) = ——— - искомая величина, показывающая степень 1 Я (А)

необходимой глубины контроля (детализированность) исследуемой схемы контроля относительно сводного графа А. Очевидно, что

£>(А) = 1. Данная величина существует, если АО А ("О" означает, что

граф выполнения задания стягивается к графу контроля). ЩАХ А.)

л (А,) = щд) ~ степенъ ограничения вариантов. Величина

используется, если АОА\ ("О" означает, что при стягивании отсечены какие-либо элементы исходного графа), и показывает суммарную взвешенную важность элементов выполнения задания, не реализованных в исследуемой схеме контроля. Здесь А = А X а[ формируется следующим образом. Элементы, присутствующие в исследуемом графе, переведены в разряд незначащих (со = 1), за исключением вершин, соответствующих процедурам, содержащим какие-либо компоненты, не реализованные в схеме контроля.

Для каждого состояния решения задачи предлагается выделить (табл. 2) комбинации возможного выбора действий (дуг Ц) и ввода данных (£>). Подобное разбиение позволяет не прерывать работу студента и производить скрытый контроль при следующих сочетаниях действий и данных: (и+ ,с!к(ик)), (и+к Л~к(и[)) или (и~к ,йк(и~к)). Студент решает

задачу без сообщений о правильности вышеназванных действий, поэтому должен самостоятельно принимать решение при анализе нового состояния или итогового протокола работы о необходимости возврата к некоторому состоянию для исправления ошибки.

Таблица 2. Множества действий и данных

Правильность выбора дуг и ввода данных Параметры, допускающие переход по дуге ик

Есть (0*0) Нет (0 = 0)

Выбор дуг и верный выбор и:

неверный и;

Реализована возможность перехода по дуге ик с данными параметрами

Да Нет

Данные (параметры) О верные о;

неверные о;

В третьей главе описываются методы реализации программного обеспечения для оценки необходимой детальности способа контроля и создания обучающих и контролирующих комплексов по математическому программированию.

Для работы с графами схем контроля разрабатывается инструментальное средство. В качестве редактора графов используется

среда MS Visio Professional, которая предлагает широкие возможности визуальной работы с различными графическими объектами, позволяет программно исследовать и модифицировать их параметры, добавлять собственные. Экспорт графа в стандартный пакет DiscreteMath'Combinatorica' системы Mathematica 5.0 позволяет проводить исследования достижимости вершин графа. Основные функции системы:

• графическое средство иерархического описания (построения) сводного и исследуемого графов схем контроля;

• анализ графов схем контроля;

• расчет необходимых числовых характеристик.

Предлагается типовая структура комплекса по разделу математического программирования, состоящая из автоматизированного рабочего места (АРМ) преподавателя, обучающей и контролирующих программ.

Контролирующая программа предназначена для проведения контрольной работы (зачета, экзамена) в компьютерном классе, в ней записывается протокол работы студентов, при этом никаких сообщений об ошибках не выдается, кроме ситуаций, когда продолжение выполнения работы невозможно.

АРМ преподавателя используется для формирования вариантов контрольных работ, просмотра протоколов и анализа результатов.

Обучающая программа предназначена для предварительного ознакомления с интерфейсом контролирующей программы, изучения теоретического материала и решения типовых задач. Программа выдает сообщения об ошибках и необходимые рекомендации.

Для ускорения процесса создания функционирующей системы было предложено использовать комбинацию инкрементной и спиральной моделей жизненного цикла разработки программного обеспечения. Данный подход позволяет сочетать возможность совершенствования разрабатываемой системы с получением пригодного к эксплуатации программного продукта значительно раньше окончательного завершения работы. Разработана типовая архитектура обучающих и контролирующих программ (рис. 3).

Управляющий модуль предназначен для интеграции остальных компонентов системы, обеспечивает загрузку варианта заданий студента, вызов соответствующих режимов работы (прочих модулей).

Теоретический материал представляет собой иллюстрированную электронную книгу. Справка - служебный модуль с информацией о работе с системой. Тесты - модуль работы с тестовыми заданиями.

Построение математических моделей - модуль для тестовых заданий специального вида, ответом на которые является математическая

модель. Модуль предоставляет возможность вывода на экран задания, ввода модели, выполняет эквивалентные преобразования введенной модели и проверяет ее характеристики.

Рис. 3. Состав типовой контролирующей программы

Следующая группа модулей индивидуальна для каждого типа практического задания (или нескольких типов заданий).

Вычислительная поддержка реализует автоматические процедуры методов и прочую поддержку. Интерфейсная поддержка (рис. 4) реализует специфические элементы интерфейса для задания.

Модель контроля реализует контроль (поверку) и оценивание процесса решения и полученных результатов, обеспечивает связь с соответствующим теоретическим материалом по ошибочным ситуациям.

... г чутарявб^щ;:?«!

^"Г ' НЯ^еп,*«**,' ' -'Л

> ИЖЕИЯЕИГгс-

; , г г/2 «но

д-р ™ ;

Рис. 4. Пример интерфейса обучающей программы

Модель задания реализует многошаговую процедуру решения конкретного типа заданий, обеспечивает связь с соответствующим теоретическим материалом.

Модель студента реализует граф переходов состояния (осуществляет выделение разрешенных, неразрешенных, правильных, неправильных действий и данных при решении задания).

Банк стандартных элементов многошаговых заданий содержит те элементы моделей и поддержки, которые используются для нескольких типов заданий в одной или нескольких программах.

Протокол работы реализует формирование протокола работы студента, подобного "печатному" отчету с одновременной записью всех действий в специальном формате для дальнейшего автоматического восстановления процесса взаимодействия студента с системой. Также реализует просмотр отчета с иллюстрацией действий.

Далее приводятся примеры разработанных схем контроля и выделения множеств разрешенных, правильных действий и данных.

В четвертой главе приводятся данные реальных экспериментов по анализу собственных и сторонних разработок по интерактивному решению задач, результаты использования комплексов по математическому программированию в учебном процессе.

Комплексы нового поколения включают задания по следующим разделам математического программирования: линейное и нелинейное программирование, одномерный поиск, линейные целочисленные и частично целочисленные задачи, линейное целочисленное программирование с булевыми переменными, сетевые задачи оптимизации, транспортная задача.

Использование компьютерных комплексов при контрольных мероприятиях существенно сокращает время на данную процедуру (табл. 3). В таблице г™сьм //™ы" - соотношение средних затрат времени при письменном и компьютерном контроле.

Таблица 3. Сокращение времени при компьютерном контроле

Тема Сьм/Сш.не менее

для студента для преподавателя

Одномерный поиск 3.9 5.3

Нелинейное программирование 4.1 5.2

Линейное программирование 1.9 2.4

Проведенный анализ показал высокую степень корреляции между средней оценкой, полученной за компьютерный контроль, и оценкой за экзамен. Исследование характеристик сложности и дискриминативности отдельных шагов и интерактивных заданий в целом показало их приемлемое значение.

Комплексы нового поколения начали внедряться с 1997 г., постепенно заменяя старые версии (рис. 5). Результаты опроса студентов по использованию компьютерных средств контроля показали значительное предпочтение (75 %) данного способа перед письменным. 18

Около 95 % отметили, что комплексы помогли в обучении. Общее количество выполненных заданий превышает 20000.

1994 1996 1998 2000 2002 2004 Годы

□ комплексы 2-го поколения "»задания в комплексах 2-го поколения

^комплексы 3-го поколения "■задания о комплексах 3-го поколения

Рис. 5. Использование компьютерных комплексов в учебном процессе

В заключении отражены основные результаты, полученные в данной работе.

В приложениях содержатся примеры сторонних разработок по решению задач различных естественно-научных дисциплин, модели способов контроля собственных и сторонних разработок по интерактивному решению задач, а также числовые данные для расчета характеристик.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Основные результаты, полученные автором диссертационного исследования, работы состоят в следующем.

• Выполнено исследование особенностей построения образовательных программных систем, предназначенных для обеспечения интерактивного выполнения учебных заданий.

• Обосновано применение теории графов к описанию моделей схем выполнения заданий и схем контроля.

• Разработана алгебра для описания схем выполнения заданий и схем контроля, исследованы свойства операций, используемых для синтеза схем. Введено гомоморфное преобразование редукции (стягивания) для схем контроля, обеспечивающее сохранение набора траекторий решения.

• Предложены методы анализа и сравнения схем контроля.

• Названные методы также применялась при синтезе программ учебных дисциплин.

• Разработаны пользовательские интерфейсы, архитектура и функциональная структура программно-информационного обеспечения интерактивного выполнения учебных заданий.

• Реализованы комплексы программ (рабочее место студента, рабочее место преподавателя) по дисциплине "Методы оптимизации".

• Проведено полномасштабное внедрение разработанного программно-информационного обеспечения в учебный процесс МИФИ и МЭСИ, что подтверждается соответствующими актами.

Результаты работы показывают, что поставленные цели построения, анализа и программной реализации схем контроля выполнения учебных заданий можно считать достигнутыми.

Основные положения диссертационной работы опубликованы в печатных работах [1-22]. Положения диссертации отражены также в научном отчете [23] и электронном учебном пособии [24], разработанные программные комплексы зарегистрированы в Отраслевом фонде алгоритмов и программ [25].

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. СалминИ.Д., Садчиков С.М., Харьковский Р.И. Компьютерный учебник по математическому программированию // Материалы конференции "Информатика и новые информационные технологии в системе лицей-ВУЗ". - М.: МИФИ, 1995. - С. 19-20.

2. Садчиков С.М., Салмин И.Д. Компьютерный учебник по математическому программированию // Сб. «Труды Международного научного конгресса студентов, аспирантов и молодых ученых "Молодежь и наука - третье тысячеле гие"-9б». Т. 2. - М.: HTA АПФН, 1997. - С. 60.

3. Садчиков С.М., Салмин И.Д. Компьютерная обучающая система по математическому программированию // Материалы конференции "Телекоммуникации и новые информационные технологии в системе лицей-ВУЗ". - М.: МИФИ, 1997. - С.54-55.

4. Садчиков С.М., Салмин И.Д., Фетисов И.А. Методологические аспекты компьютерных контролирующих программ // Сб. «Труды IX Международной конференции-выставки "Информационные технологии в образовании"». - М.: МИФИ, 1999. - Ч. И. - С. 227-228.

5. Методологические аспекты компьютерных контролирующих программ / И.Н. Зайченко, А.Н. Монахов, М.В. Озеров, С.М. Садчиков, ИД. Салмин, И.А. Фетисов // Сб. «Научная сессия МИФИ-2000». - Т.10. -М.: МИФИ, 2000. - С. 21-22.

6. Комплекс обучающих и контролирующих программ по линейному и нелинейному программированию / A.A. Дьяконов, И.Н. Мельникова, А.Б. Мухин, С.М. Садчиков, И.Д. Салмин, И.А. Фетисов, П.С. Яблочкин // Сб. «Научная сессия МИФИ-2001. 5-я Выставка-конференция "телекоммуникации и новые информационные технологии в образовании"». - М: МИФИ, 2001. - С. 10.

7. Садчиков С.М., Салмин И.Д. Опыт разработки и использования компьютерных обучающих и контролирующих комплексов / Труды X международного научно-технического семинара "Современные технологии в задачах управления, автоматизации и обработки информации". -Алушта: МАИ, МИРЭА, МЭИ, МИФИ, 2001. - С. 186-187.

8. Дьяконов A.A., Садчиков С.М. Сетевой программный комплекс по нелинейному программированию // Сб. «Научная сессия МИФИ-2002». -Т. 2. - М.: МИФИ, 2002. - С. 49-50.

9. Яблочкин П.С., Садчиков С.М. Разработка гибкой системы контроля в обучающих и контролирующих программах // Сб. «Научная сессия МИФИ-2002». - Т. 2. - М.: МИФИ, 2002. - С. 48.

10. Садчиков С.М., Салмин И.Д., Фетисов И.А. Опыт разработки и использования компьютерных обучающих и контролирующих комплексов // Сб. «Научная сессия МИФИ-2002». - Т. 2. - М.: МИФИ, 2002. - С. 46-47.

11. Садчиков С.М. Применение открытого и скрытого контроля процесса решения задач для проверки умений и навыков обучаемых // Современные технологии в задачах управления, автоматизации и обработки информации: Сборник трудов XI Международного научно-технического семинара. - М.: МГАПИ, 2002. - С. 196-197.

12. Компьютерные обучающие и контролирующие комплексы нового поколения / A.A. Дьяконов, В.А. Никитин, Садчиков С.М., Салмин И.Д., Фетисов И.А. // Сб. «Научная сессия МИФИ-2003». - Т. 2. - М.: МИФИ, 2003. - С. 83-84.

13. Садчиков С.М. Компьютерные обучающие и контролирующие системы нового поколения // Современные технологии в задачах управления, автоматики и обработки информации: Труды XII Международного научно-технического семинара. Сентябрь 2003 г., Алушта. - М.: Изд-во МЭИ, 2003. - С. 197-198.

14. Садчиков С.М., Чамов И.А. Клиент-серверный комплекс для обучения и контроля знаний и умений студентов по математическому программированию // Современные технологии в задачах управления, автоматики и обработки информации: Труды XIII Международного научно-технического семинара. Сентябрь 2004 г., Алушта. - М.: Изд-во МГУ, 2004. - Ч. 2. - С. 278-279.

15. Садчиков С.М., ЧамовИ.А. Комплекс обучающих и контролирующих программ по курсам 'Транспортная задача" и "Календарное планирование" И Сб. «Научная сессия МИФИ-2004». - Т. 2.

- М.: МИФИ, 2004. - С. 84.

16. Андронова Е.Е., Вавилова A.C., Садчиков С.М. Компьютерный комплекс для очного и дистанционного обучения и контроля знаний и навыков студентов // Сб. «Научная сессия МИФИ-2005». - Т. 2. -М.: МИФИ, 2005.-С. 66.

17. Садчиков С.М. О способе оценки систем обучения и контроля // Сб. «Научная сессия МИФИ-2005». - Т. 2. - М.: МИФИ, 2005. - С. 96-97.

18. Садчиков С.М., СалминИ.Д. Опыт использования контролирующих учебных комплексов // Современные информационные технологии и ИТ-образование. Сб. докладов научно-практической конференции: учебно-методическое пособие / Под ред. проф. В.А. Сухомлина. - М.: МАКС Пресс, Издательский отдел факультета ВМК МГУ им. М.В. Ломоносова, 2005. - С. 234-237.

19. СалминИ.Д., Садчиков С.М,, НикитинВ.А. Комплексы обучающих и контролирующих программ по математическому программированию // Компьютерные учебные и инновации (телеграф отраслевого фонда алгоритмов и программ). - 2005. - № 7 (8). - С.З.

20. Садчиков С.М. Способ оценки возможностей автоматизированных систем обучения и контроля // Современные технологии в задачах управления, автоматики и обработки информации: Труды XIV Международного научно-технического семинара. Сентябрь 2005 г., Алушта. - Самара: СГАУ им. Академика С.П. Королева, 2005. - С. 157.

21. Садчиков С.М., Синицын C.B. Разработка программных средств детального пошагового контроля решения задач // Сб. «Научная сессия МИФИ-2006». - Т. 2. - М.: МИФИ, 2006. - С. 50-51.

22. Садчиков С.М. Преобразования графов алгоритмов для пошагового контроля решения задач // Сб. «Научная сессия МИФИ-2006».

- Т. 2. - М.: МИФИ, 2006. - С. 74-75.

23. СалминИ.Д., Чернышев Ю.А., Садчиков С.М. Новые информационные технологии в обучении. Отчет по теме N 91-2-104-229-Г. -М.: МИФИ, 1995.-54 с.

24. Садчиков С.М. Методические указания к выполнению лабораторных работ по нелинейному программированию и одномерному поиску [Электронный ресурс]. М.: МИФИ, 2005. - Режим доступа: http://cyber.mephi.ru/emportal/users/ MEPWAHBSX_EIA/MEPAXX735/Zoit_v2.pdf.

25. СалминИ.Д., СадчиковС.М., НикитинВ.А. Комплексы обучающих и контролирующих программ по математическому программированию. - М.: ВНТИЦ, 2005. - № 50200501308.

Принято к исполнению 24/10/2006 Исполнено 25/10/2006

Заказ № 801 Тираж: ЮОэкз.

Типография «11-й ФОРМАТ» ИНН 7726330900 Москва, Варшавское ш., 36 (495) 975-78-56 wwvv.autoreferat.ru

zωA

lETVysr

ВВЕДЕНИЕ.

1. КОМПЬЮТЕРНЫЕ СИСТЕМЫ В ЗАДАЧЕ КОНТРОЛЯ КАЧЕСТВА ОБУЧЕНИЯ И УСВОЕНИЯ НАВЫКОВ.

1.1. Использование компьютерных систем в образовании.

1.1.1. Автоматизация управления образовательной деятельностью учебного заведения.

1.1.2. Обзор компьютерных систем обучения и контроля результатов обучения.

1.2. Анализ предлагаемых траекторий проверки выполнения заданий.

1.3. Цели компьютеризации учебного процесса.

1.3.1. Оценка качества программных средств образовательного назначения.

1.3.2. О подходах к оцениванию трудоемких многошаговых заданий.

1.4. Постановка задачи. Проблемы контроля навыков и предложения по их решению.

2. МОДЕЛИ ОБЛАСТИ ОБУЧЕНИЯ В СИСТЕМАХ КОНТРОЛЯ ЗНАНИЙ И НАВЫКОВ.

2.1. Математические основы анализа схем контроля.

2.2. Модели и методы анализа предлагаемых траекторий проверки выполнения учебных заданий.

2.2.1. Получение сводного графа выполнения задания.

2.2.2. Разработка контролирующей системы на основе предложенного графа контроля.

2.3. Модель студента в диалоговых многошаговых системах решения задачи 62 2.3.1. Категории действий и данных: правильные, разрешенные, ошибочные, неразрешенные

2.4. Выводы по главе.

3. ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА.

3.1. Интерактивная среда построения схем решения и вычисления их характеристик.

3.1.1. Основные возможности системы.

3.1.2. Архитектура системы и разработка алгоритмов вычисления основных числовых характеристик.

3.1.3. Пример работы с системой.

3.2. Общая архитектура прикладной системы контроля.

3.3. Применение открытого и скрытого контроля процесса решения в комплексе по математическому программированию.

3.3.1. Понятия действий и данных.

3.3.2. Анализ графов схем выполнения задания и контроля.

3.3.3. Выделение состояний, множеств действий и данных в комплексах по математическому программированию.

3.3.4. Комплексы контролирующих и обучающих компьютерных программ по курсу "Методы оптимизации".

3.4. Выводы по главе.

4. ОПЫТ ИСПОЛЬЗОВАНИЯ КОМПЛЕКСА.

4.1. Анализ результатов использования компьютерного контроля.

4.1.1. Сравнение результатов компьютерного и традиционного контроля.

4.1.2. Анализ использования различных способов автоматического оценивания выполненных заданий

4.1.3. Проверка качества интерактивных заданий (анализ дискриминативности шагов, заданий, вариантов).

4.1.4. Анализ временных затрат на проведение контрольных мероприятий.

4.2. Анализ характеристик графа контроля.

4.2.1. Возможность описания предложенным способом требуемых схем выполнения заданийЮб

4.2.2. Анализ числовых характеристик.

4.3. Развитие набора компьютерных комплексов по математическому программированию.

4.3.1. Внедрение комплексов учебный процесс.

4.3.2. Использование комплекса различными группами студентов.

4.3.3. Примеры диалогового решения задач.

4.3.4. Анализ использования студентами средств автоматизированного контроля.

4.4. Предполагаемое дальнейшее развитие.

4.5. Использование математического аппарата исследования характеристик графов схем решения для анализа программ дисциплин и учебных планов.

4.5.1. Математические и методические основы для решения других задач педагогики.

4.5.2. Задача формирования программы учебной дисциплины.

4.5.3. Задача доказательства соответствия учебного плана стандарту.

4.6. Выводы по главе.

Актуальность. Контролирующие процедуры являются, как правило, неотъемлемой частью современных компьютерных обучающих систем. Доля затрат на разработку процедур контроля в обучающих системах значительна.

Применение сценариев интерактивного взаимодействия с обучаемым предусмотрено общепринятыми международными документами в области разработки компьютерных программ для образования. Подобное взаимодействие реализуется соответствующими программными компонентами.

Использование в компьютерной программе функций проверки интерактивного выполнения многошаговых учебных заданий позволяет отслеживать технологию решения, повысить эффективность и снизить временные затраты процедур контроля и самоконтроля.

• За счет компьютерного выполнения рутинных операций при решении учебных заданий экономится время студента, что позволяет выполнять больше различных задач, представляющих предмет изучения, при этом они могут иметь большую размерность, часто невозможную при решении вручную.

• За счет компьютерного контроля процесса решения экономится время преподавателей на детальную проверку каждой выполненной работы. Это позволяет при том же штате преподавателей проводить контроль большего количества студентов или углубить контроль.

• За счет контроля промежуточных результатов увеличивается полнота освоения и контроля методов выполнения заданий, решается ряд проблем для определенного круга заданий, возникающих при контроле только конечного ответа: о правильный ответ к задаче не гарантирует использования испытуемым требуемого метода решения - слежение за траекторией позволит проконтролировать технологию решения; о неправильно введенный ответ к заданию часто не позволяет выставить оценку, отличную от нуля, - оценивание каждого шага процесса решения позволяет дифференцировано формировать некоторую положительную оценку для частично правильных решений, что важно для заданий, требующих длительного многошагового выполнения; о фиксированная последовательность псевдотестовых "микрозаданий" часто не позволяет испытуемому проявлять инициативу и комплексно продемонстрировать все умения по выполнению задания - разрешение продолжения решения после определенных ошибок помогает решить эту проблему.

Одним из видов подобных интерактивных процедур являются задания (учебные задачи), для решения которых в явном виде должны применяться алгоритмы, состоящие более чем из одной операции, т.е. они выполняются за несколько шагов (действий). Для выполнения заданий может существовать и использоваться несколько алгоритмов (или вариантов алгоритмов). Для контроля усвоения материала помимо конечного ответа являются важными получаемые промежуточные результаты, принятые решения и траектория процесса решения. При этом увеличение точек контроля в общем случае приводит к увеличению затрат на реализацию системы.

В настоящее время не существует типовых решений и общепринятых формальных методик для синтеза и оценки интерактивных процедур контроля выполнения многошаговых заданий.

В данной диссертации исследуются модели и методы разработки (проектирования) компьютерных программ интерактивной проверки знаний и умений выполнять многошаговые задания. Предлагаемые методы анализа схем контроля являются формальной основой выбора и проектирования сценария работы пользователя при выполнении интерактивного задания.

Целью работы является разработка моделей и методов их создания, обеспечивающих необходимую полноту усвоения и глубину (детальность) контроля и снижающих трудоемкость разработки, а также реализация обучающих и контролирующих комплексов по математическому программированию. При разработке сценариев работы студента анализируются необходимая детальность контроля (количество и положение точек контроля промежуточных результатов решения) и затраты на разработку комплексов. Использование результатов исследования должно дать уменьшение затрат на разработку и сокращение времени на процедуры контроля при полноте освоения изучаемых методов. Данные модели и методы могут применяться также для отбора существующих систем.

Для достижения поставленной цели в работе решены задачи:

• исследованы методы автоматизированного контроля в обучении для построения модели типового комплекса и выявления характеристик, используемых для оценки интерактивных заданий;

• предложены и исследованы оригинальные модели и методы синтеза и модификации нагруженных графов, описывающих схемы (сценарии) выполнения заданий и процедур контроля, метод оценки необходимой детальности данных процедур контроля с целью получения корректных сценариев компьютерного интерактивного контроля выполнения заданий;

• создано алгоритмическое и программное обеспечение для оценки необходимой детальности реализуемых сценариев (схем) контроля решения задачи;

• разработано программное обеспечение комплексов контроля выполнения задания и исследовать их характеристики;

• экспериментально проверены разработанные методы и программные средства. Методы исследования. При разработке математического обеспечения в диссертационной работе используются методы теории графов, теории множеств. При разработке программного обеспечения (ПО) используются методы объектно-ориентированного программирования.

Научная новизна работы заключается в следующем:

• выполнен анализ современного программно-информационного обеспечения для контроля выполнения многошаговых учебных заданий, выявлены его ограничения и необходимая функциональность, что позволило сформировать необходимую структуру проектируемого ПО;

• предложена модель оценки (сравнения) интерактивных систем контроля по критериям глубины (детальности) контроля и реализованное™ его в ПО; решение сводится к задаче на графах, что является традиционным, но разработаны собственные методы расчета необходимых характеристик, что является теоретической основой для анализа схем интерактивного контроля;

• предложена алгебра для синтеза корректных сценариев выполнения заданий, что обеспечивает возможность многократного использования фрагментов сценариев;

• предложена гомоморфная операция стягивания, показаны ее свойства, что позволяет проводить корректную редукцию сценариев выполнения заданий и исследовать их свойства.

Практическая ценность. По тематике диссертационной работы выполнялись исследования над первой очередью комплексов в рамках договора 95-3-114-521/10 ЭУ/95 с Российским НИИ информационных систем (РосНИИ ИС) в МИФИ. Данные исследования описаны в соответствующем отчете о НИР [94].

Разработанные методы и инструментальные средства используются при проектировании программных систем, предназначенных для компьютерного интерактивного контроля выполнения заданий.

Внедрение комплексов позволило сохранить уровень знаний студентов, сократив время, затрачиваемое преподавателем на детальный контроль проверочных работ, в 2-5.6 раза. Разработанные решения были использованы в МИФИ и МГИУ при изучении курсов по математическому программированию в следующих подразделениях: на факультете "Информационная безопасность" МИФИ, в Экономико-аналитическом институте МИФИ, на кафедрах факультета "Кибернетика" МИФИ №17 "Информатика и процессы управления", №22 "Кибернетика", №29 "Интеллектуальные управляющие системы", на факультете иностранных учащихся МИФИ (группы ИК).

Во всех подразделениях отмечен положительный опыт использования компьютерных комплексов,

На защиту выносятся:

• модель описания сценариев выполнения многошаговых учебных заданий, алгебра для синтеза корректных сценариев; метод анализа необходимой глубины (детальности) процедуры контроля решения задач компьютерными средствами, модель оценки многошаговых заданий;

• гомоморфное преобразование редукции (стягивания) для схем контроля, сохраняющее свойство достижимости результата;

• структура программных комплексов, включающая модули фиксации трассы решения, диалоговой и вычислительной поддержки;

• методы оптимизации структуры учебных курсов с использованием методов преобразования графов;

• программная реализация инструментального средства для анализа схем контроля;

• программная реализация и внедрение обучающе-контролирующих комплексов, разработанных с использованием вышеназванной методики анализа схем контроля.

Апробация работы. Комплексы обучающих и контролирующих программ по математическому программированию зарегистрированы в Отраслевом фонде алгоритмов и программ [112] и во ВНТИЦ (государственный регистрационный № 50200501308) [114].

Теоретические положения и практические результаты были доложены на следующих конференциях, семинарах и выставках:

• конференция "Информатика и новые информационные технологии в системе лицей-ВУЗ", МИФИ, 1995 [95];

• Международный научный конгресс студентов, аспирантов и молодых ученых "Молодежь и наука-третье тысячелетие", 1996 [96];

• конференция "Телекоммуникации и новые информационные технологии в системе лицей-ВУЗ", МИФИ, 1997 [97];

• IX Международная конференция-выставка "Информационные технологии в образовании", 1998 [98];

• Научная сессия МИФИ, 2000 и 2002-2006 [99, 102-104, 106, 108, 110, 111, 117, 118];

• 5-я Выставка-конференция "Телекоммуникации и новые информационные технологии в образовании", МИФИ, 2001 [100];

• X - XV Международные научно-технические семинары "Современные технологии в задачах управления, автоматизации и обработки информации", Алушта, 20012006 [101, 105,107,109, 115];

• Первая научно-практической конференция "Современные информационные технологии и ИТ-образование", ВМК МГУ, 2005 [113];

• Четвертая открытая всероссийская конференция "Преподавание информационных технологий в России-2006", (г. Москва, 2006) [119].

Структура и объем работы. Диссертация содержит 4 главы, введение и заключение, 72 рисунка, 7 таблиц, 8 приложений. Общий объем страниц без приложений: 134 (с приложениями - 169). Список использованных источников содержит 154 наименования.

4.6. Выводы по главе

1. В главе проводится сравнение результатов традиционного контроля и компьютерного, использующего разработанные комплексы. Проведенный анализ показал высокую степень корреляции данных результатов.

2. Сравнение затрат времени студентов и преподавателей на процедуру контроля показывает существенное преимущество разработанных комплексов (экономия времени достигает до 5 раз).

3. Приведены результаты использования характеристик дискриминативности и сложности для шагов заданий и задач в целом. В разработанных комплексах данные характеристики используются для отбора корректных вариантов заданий.

4. Рассмотрено использование предлагаемых моделей и методов анализа сценариев выполнения заданий для собственных и сторонних разработок. Показано, что низкое значение показателя детальности контроля D, соответствует отсутствию контроля выполнения некоторых важных компонент задания, что согласуется с разработанной теорией.

5. Приведены интерфейсы диалогового выполнения различных заданий, как индивидуальных, так и единых для некоторого набора заданий, что дополнительно сокращает затраты на разработку.

6. Приведен график внедрения в учебный процесс новых комплексов, а также статистика их использования студентами. Результаты опроса свидетельствуют о востребованности компьютерных комплексов.

7. Рассмотрено применение предлагаемых моделей и методов в задаче формирования программы учебной дисциплины. Показана возможность их использования для сравнения различных авторских курсов, синтеза единой программы дисциплины, читаемой для нескольких специальностей.

Заключение

В работе решена задача создания математического и программно-алгоритмического обеспечения процедур анализа эффективности интерактивного решения задач с точки зрения необходимой детальности контроля, реализацию обучающих и контролирующих комплексов по математическому программированию.

В результате работы над диссертацией получены следующие результаты:

• исследованы методы автоматизированного обучения и контроля и предложены оригинальные методы описания и оценки необходимой детализированности процедур контроля с помощью нагруженных графов, композиции и модификации данных графов;

• создано программно-алгоритмическое обеспечение решения задачи оценки необходимой детализированности графа в среде MS Visio;

• решена задача реализации программных комплексов контроля и исследования их характеристик по математическому программированию;

• разработанные комплексы внедрены в эксплуатацию в различных подразделениях МИФИ и МГИУ.

1. Салмин И.Д. Внедрение компьютерных обучающих программ в высшей школе // Университетская книга. - 1997. - № 6 - С. 19-21.

2. RenshawC.E., Taylor Н.А. The educational effectiveness of computer-base instruction // Pergamon. Computers & Geosciences. 2000. - Vol. 26. - № 6. - Pp. 677-682.

3. Каменский Я.А. Избранные педагогические сочинения. В 2-х томах. М.: Педагогика, 1982.

4. Майоров А.Н. Теория и практика создания тестов для системы образования. М,: "Интеллект-центр", 2001. - 296 с.

5. Кречетников К.Г. Методология проектирования, оценки качества и применения средств информационных технологий обучения. М.: Госкоорцеитр информационных технологий, 2001. - 244с.

6. Вострокнутов И.Е. Теория и технология оценки качества программных средств образовательного назначения. М.: Госкоорцеитр информационных технологий, 2001.- 300с.

7. Сапунцов В.Д. Компьютер в экономическом образовании. М.: "Издательский дом НОВЫЙ ВЕК", 1999. - 232 с.

8. Соловьев А.И., Жданова Г.В., Новикова Г.В., Гонсалес К.Э.Э. Методика оценки деятельности оперативного персонала при обучении на тренажерах // Вестник МЭИ. Теплоэнергетика. 1998. - №5. - С. 11-15.

9. Тренажерные технологии: 2-я специализированная выставка. Каталог разработок, представленных на стенде Минобразования России. Санкт-Петербург, 4-7 июня 2002 года. СПб., 2002. 29с.

10. ДьячукП.П., Дрозд А.С., Лариков Е.В. Стратегия обучения алгоритмам и компьютерные тренажеры по физике. // Сибирский образовательный журнал "Современное образование" 2002. - №4.

11. Образование и XXI век: Информационные и коммуникационные технологии. -М.:Наука, 1999. 191 с.

12. Бежанова М.М. Компьютерные образовательные программы: обзор инструментальных средств / Системная информатика: Сб. научных трудов, Новосибирск: Наука. Сибирское предприятие РАН, 1998. - Вып. 6. - С. 174-198.

13. Тиффин Д., Раджасингам JI. Что такое виртуальное обучение. Образование в информационном обществе. М.: "Информатика и образование", 1999. - 312 с.

14. Брусенцов Н.П., Маслов С.П., Рамиль Альварес X. Микрокомпьютерная система обучения "Наставник". М.: Наука, 1990. - 224 с.

15. Романов А.Н., Торопцов B.C., Григорович Д.Б. Технология дистанционного обучения. М.:ЮНИТИ-ДАНА, 2000. 303 с.

16. ИКТ в управлении образованием. // Сб. Труды XII Международная конференция "Информационные технологии в образовании". Часть IV. — М.: МИФИ, 2002.

17. ИКТ в управлении образованием. // Сб. Труды XIII Международной конференции-выставки "Информационные технологии в образовании". Секция IV. Часть V. - М.: Просвещение, 2003. - С. 167-263.

18. Клеванский Н.Н., Наумова С.В. Математическое моделирование учебных планов ВУЗ'ов. // Сб. Труды XII Международной конференции-выставки "Информационные технологии в образовании". Часть IV. - М.: МИФИ, 2002. - С. 193-194.

19. Клеванский Н.Н., Наумова С.В., Костин С.А. Моделирование проектной деятельности при разработке учебных планов вуза. // Сб. Труды XIII Международной конференции "Информационные технологии в образовании". Часть V. - М.: Просвещение, 2003. -С. 202-203.

20. Клеванский Н.Н., Костин С.А. Модели и алгоритмы глобальной оптимизации первоначального расписания занятий вуза. / Сб. Труды XIV Международной конференции "Информационные технологии в образовании". Часть V. - М.: Просвещение, 2004. - С. 202-203

21. Китаевская Т.Ю. Система проектирование обучения в вузе в условиях информатизации образования/ Сб. Труды XIV Международной конференции "Информационные технологии в образовании". Часть V. - М.: Просвещение, 2004.

22. СолововА.В., Мрыкин С.В., Колпащиков А.Г. Оптимизация. Комплекс по математическим методам оптимального проектирования. Самара: СГАУ, 1994. - 52 с.

23. Adams Joel С., Armstrong Aaron A. Web-based testing: a study in insecurity // Elsevier Science Ltd. World Wide Web. 1998. -№ 1. -Pp 193-208.

24. Corbett A., McLaughlin M., Scarpinatto K.Ch. Modeling Student Knowledge: Cognitive Tutors in High School and College. // Kluwer Academic Publishers. User Modeling and User-Adapted Interaction. 2000. - Vol. 10. - № 2/3. - Pp. 81-108.

25. Mitrovic A. Experiences in Implementing Constraint-Based Modeling in SQL-Tutor // Springer-Verlag Berlin Heidelberg. Lecture Notes in Computer Science. 1998. - Vol. 1452. -Pp. 414-423.

26. Mitrovic A., Martin B. Evaluating the effect of open student models on learning / 2nd Int. Conf. on Adaptive Hypermedia and Adaptive Web-based Systems AH 2002, Malaga, Spain, 29-31 May. 2002. - Pp. 296-305.

27. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом "Филинъ", 2003. - 616 с.

28. Millaln Е., Pelrez-De-La-Cruz J. A Bayesian Diagnostic Algorithm for Student Modeling and its Evaluation. II Kluwer Academic Publishers. User Modeling and User-Adapted Interaction. 2002. - Vol. 12. - № 2/3. - Pp. 281-330.

29. Sanchez J.Ch., Encinas L.H., Fernandez R.L., Sanchez M.R. Designing hypermedia tools for solving problems in mathematics // Pergamon. Computers & Education. 2002. - Vol. 38. -№ 1-3.-Pp. 303-317.

30. Потемкин В.Г., Ульяиина M.H. Интегрированная среда визуального моделирования при обучении прикладной математике / Сб. Научная сессия МИФИ-2002. Т. 2. -М.: МИФИ, 2002. - С. 161-162.

31. Беспалько В.П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). М.: Изд-во Московского психолого-социального института; Воронеж: Издательство НПО "МОДЭК", 2002. - 352с.

32. Агапонов С.В., Джалиашвили З.О., КречманД.Л., Никифиров И.С., Ченосова Е.С., Юрков А.В. Средства дистанционного обучения. Методика, технология, инструментарий. СПб.: БХВ-Петербург, 2003. - 366 с.

33. IMS Question and Test Interoperability Implementation Guide. Copyright. IMS Global Learning Consortium, Inc., 2006.

34. Трояновский В. M. Автоматизированный контроль знаний в системе взаимосвязанных понятий. // Информатика и образование. 2002. -№3. - С.54-56.

35. ИжогинЯ. В. Компьютер как инструмент педагогической деятельности. // Информатика и образование. 2003. -№12. - С.51-55.

36. Курганская Г.С. Модели, методы и технология дифференцированного обучения на базе интернет; Автореф. дисс. физ.-мат. наук. М., 2001.

37. Мицель А.А., Романенко В.В. Мультимедийный обучающий курс "Вычислительная математика". // Открытое образование. 2003. -№1. - С.47-51.

38. Буч Г., Рамбо Дж., Джекобсон А. Язык UML. Руководство пользователя. М.: ДМК, 2000. - 432 с.

39. Горбатов В.А., Горбатов А.В., Горбатова М.В. Дискретная математика. М.: "ACT", "Астрель", 2003.-447 с.

40. Ершов А.П. Введение в теоретическое программирование. Беседы о методе. М.: Наука, 1977. - 288с.

41. Евстигнеев В.А. Применение теории графов в программировании. М.: Наука, 1985. -352с.

42. Касьянов В.Н., Евстигнеев В.А. Графы в программировании: обработка, визуализация и применение. СПб.: БХВ-Петербург, 2003. - 1104с.

43. Брой М. Информатика. Основопологающее введение. Ч. 1. - М.: Диалог-МИФИ, 1996.-299с.

44. Гэри М., Джонсон Д. Вычислительные машины и труднорешаемые задачи. М.: Мир, 1982.-416с.

45. Харари Ф. Теория графов. М.: Едиториал УРСС, 2003. - 296с.

46. Ахо Альфред В., Хопкрофт Джон, Ульман Джеффри Д. Структуры данных и алгоритмы. М.: Издательский дом "Вильяме", 2000. - 384с.

47. Глушков В.М. Алгебра. Языки. Программирование. М.: - 319с.

48. Мальцев А. И. Алгоритмы и рекурсивные функции. М.: Наука. Гл. ред. физ.-мат. лит., 1986.-368с.

49. Свами М., Тхуласирамаи К. Графы, сети и алгоритмы. М.: Мир, 1984. - 454с.

50. Татт У. Теория графов. М.: Мир, 1988. - 424с.

51. Марков А.А., Нагорный Н.М. Теория алгорифмов.—М.: Наука. Главная редакция физико-математической литературы, 1984.— 432с.

52. Новиков Ф.А. Дискретная математика для программистов.— СПб: Питер, 2000. 304с.

53. Демушкин А.С., Кириллов А.И., Сливина Н.А., Чубров Е.В., Кривошеев А.О., Фомин С.С. Компьютерные обучающие программы // Информатика и образование 1995 - №3 - С.15-22.

54. Соловов А.В. Проектирование компьютерных систем учебного назначения. -Самара: СГАУ, 1995. 138с.

55. Шафер Д.Ф., Фатрелл Р.Т., Шафер Л.И. Управление программными проектами: достижение оптимального качества при минимуме затрат. М.: Издательский дом "Вильяме", 2003.-1136 с.

56. Тягунова Т.Н. Философия и концепция компьютерного тестирования. -М.: МГУП, 2003.-246с.

57. Ohlsson S.:Constraint-based Student Modeling. / Student Modeling:the Key to Individualized Knowledge -based Instruction. Editors: Greer J.E., McCallaG.I.: NATO ASI Series, Vol.125. Springer-Verlag, Berlin- Heidelberg-New York, 1994 Pp. 167-189.

58. Mypra JI.O. Обучающая система по решению графовых задач. // Educational Technology & Society. — 2000. №3(2). - С. 126-133.

59. Серова Г.А., Никитин Н.В. Подходы к организации дистанционного обучения при профессиональной подготовке персонала // Управление персоналом. 2002. - №5. -С. 33-39.

60. Филатова Н.Н., Вавилова Н.И., Ахремчик О.Л. Мультимедиа тренажерные комплексы для технического образования. // Educational Technology & Society. — 2003. №6(3). -С. 164-186.

61. Кноп К. Математика прямо по курсу. // Компьютерра. - 1998. - №24-25.

62. Боревский Л.Я. Усовершенствование методики компьютерных обучающих программ "Курса физики для школьников и абитуриентов"/ Сб. Труды VIII Международной конференции-выставки "Информационные технологии в образовании". Москва, 1998.

63. Ижуткин B.C., Сушенцов А.А. Интернет-технологии при изучении методов оптимизации. // Educational Technology & Society. — 2002. №5(3). - С. 231-239.

64. Чепегин В.И. ПСС система обучения в стиле "Попробуй свои силы" (обзор программного обеспечения). // Educational Technology & Society. — 2000. -№3(3). - С. 564-572.

65. Левинская М.А. Автоматизированная генерация заданий по математике для контроля знаний учащихся. // Educational Technology & Society. — 2002. №5(4). - С. 214-221.

66. Моисеенко С.И., Майстренко А.В. Практические навыки и дистанционное обучение. // Educational Technology & Society. — 2003. №6(2). - С. 111-116.

67. Христочевский С.А. Электронный учебник текущее состояние // Компьютерные инструменты в образовании. - 2001. - №6.

68. Шмелев А.Г. Компьютеризация экзаменов: проблема защиты от фальсификаций. // Сб. Труды XI Международной конференции-выставки "Информационные технологии в образовании". Секция VI. ИТ в контроле результатов обучения М., 2001.

69. Минина Е.Е. Компьютерные средства оценки качества обучения. // Сб. Труды XI Международной конференции-выставки "Информационные технологии в образовании". Секция VI. ИТ в контроле результатов обучения М., 2001.

70. Гуртовой А.В. НелюбинС.В., Кремнев М.В., Строков А.В., Тверьянович Д.Ю., Колодко К.В. Новые компьютерные технологии в преподавании математики. //Сб. Труды X Международной конференции-выставки "Информационные технологии в образовании М., 2000.

71. Поршнев С.В. Методика использования пакета Mathcad для изучения итерационных методов решения краевых задач для обыкновенных дифференциальных уравнений. // Вычислительные методы и программирование. Том 2. - М.: НИВЦ МГУ, 2001. - С. 3.1-3.6.

72. Самарин В.В. Решение экономико-математических задач оптимизации средствами MathCAD. // Информатика и образование. 2002. - №12. - С.42-46.

73. Воеводин В.В., Воеводин Вл.В. ЛИНЕАЛ: электронная энциклопедия по линейной алгебре. // Вычислительные методы и программирование. Том 3. - М.: НИВЦ МГУ, 2002.-С. 3.1-3.10.

74. Васильев В.И., Тягунова Т.Н., Хлебников В.А. Триадная сущность шкалы исследования. // Открытое образование. 2000. - №6.

75. Богомолов О.А. Программа "Дизайнер курсов" эффективное средство для построения электронных учебников // Открытое образование. - 2001 - №1.

76. Божич В.И., Горбатюк Н.В. Интеллектуальная система компьютерного обучения // Перспективные информационные технологии и интеллектуальные системы. 2001 -№1(5)-С. 196-206.

77. Боревский Л.Я. Курс математики 2000 // Сб, Труды IX Международной конференции-выставки "Информационные технологии в образовании". М.: МИФИ, 1999. -Часть II. - С. 202-204

78. Антонова Т.С., Харитонов А.Л. Мультимедийный или гипертекстовый учебник? (на примере компьютерного учебника "История России: XX век"). / Сб. Труды VIII Международной конференции-выставки "Информационные технологии в образовании". Москва, 1998.

79. Антонова Т.С., Харитонов А.Л. История нас рассудит! (о методике применения мультимедийного курса). // Компьютер в школе. 1999 - №8

80. Фомин С.С. Развитие технологии создания компьютерных обучающих программ // Информационные технологии. -1996. № 2. -С. 18-21.

81. Гусева А.И. Оценка качества распределенных обучающих систем. М.: Препринт/МИФИ, 006-2003, 2002. 32 с.

82. Гусева А.И. Адаптивные методики тестирования. М.: Препринт/МИФИ, 007-2002, 2002. 32 с.

83. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования. Программно-дидактическое тестовое задание. М.: МГУП, 2005. - 84с,

84. Образцов П. И. Психолого-педагогические аспекты разработки и применения в вузе информационных технологий обучения. Орел: Орловский государственный технический университет, 2000. - 145 с.

85. Шмелев А.Г. Блиц-партия вопросов и ответов и матч-реванш для контрольной работы // Первое сентября. № 5.12/1998.

86. Салмин И,Д., Чернышев Ю.А., Садчиков С.М. Новые информационные технологии в обучении. Отчет по теме N 91-2-104-229-Г. М.: МИФИ, 1995. - 54 с.

87. Салмин И.Д., Садчиков С.М., Харьковский Р.И. Компьютерный учебник по математическому программированию. / Сб. Материалы конференции "Информатика и новые информационные технологии в системе лицей-ВУЗ". М.: МИФИ, 1995. - С. 19-20.

88. Садчиков С.М., Салмин И.Д. Компьютерный учебник по математическому программированию. / Сб. Труды Международного научного конгресса студентов, аспирантов и молодых ученых "Молодежь и наука третье тысячелетие"-96. Том 2. -М.: НТА АПФН, 1997. - С. 60,

89. Садчиков С.М., Салмин И.Д. Компьютерная обучающая система по математическому программированию / Сб. Материалы конференции "Телекоммуникации и новые информационные технологии в системе лицей-ВУЗ" М.: МИФИ, 1997. - С.54-55.

90. Садчиков С.М., Салмин И.Д., Фетисов И.А. Методологические аспекты компьютерных контролирующих программ. / Сб. Труды IX Международной конференции-выставки "Информационные технологии в образовании". М.: МИФИ, 1999. - Часть II. - С. 227228

91. Зайченко И.Н., Монахов А.Н., Озеров М.В., Садчиков С.М., Салмин И.Д., Фетисов И.А. Методологические аспекты компьютерных контролирующих программ. / Сб. Научная сессия МИФИ-2000. Т.10. - М: МИФИ, 2000. - С. 21-22.

92. Дьяконов А.А., Садчиков С.М. Сетевой программный комплекс по нелинейному программированию. / Сб. Научная сессия МИФИ-2002. Т. 2. - М.: МИФИ, 2002. -С. 49-50.

93. Яблочкин П.С., Садчиков С.М. Разработка гибкой системы контроля в обучающих и контролирующих программах. / Сб. Научная сессия МИФИ-2002. Т. 2. - М.: МИФИ,2002.-С. 48.

94. Садчиков С.М., Салмин И.Д., Фетисов И.А. Опыт разработки и использования компьютерных обучающих и контролирующих комплексов. / Сб. Научная сессия МИФИ-2002. Т. 2. - М.: МИФИ, 2002. - С. 46-47.

95. Дьяконов А.А., Никитин В.А., Садчиков С.М., Салмин И.Д., Фетисов И.А. Компьютерные обучающие и контролирующие комплексы нового поколения. / Сб. Научная сессия МИФИ-2003. Т. 2. - М.: МИФИ, 2003. - С. 83-84.

96. Садчиков С.М., Чамов И.А. Комплекс обучающих и контролирующих программ по курсам "Транспортная задача" и "Календарное планирование". / Сб. Научная сессия МИФИ-2004. Т. 2. - М.: МИФИ, 2004. - С. 84.

97. Андронова Е.Е., Вавилова А.С., Садчиков С.М. Компьютерный комплекс для очного и дистанционного обучения и контроля знаний и навыков студентов. / Сб. Научная сессия МИФИ-2005. Т. 2. - М.: МИФИ, 2005. - С. 66.

98. Садчиков С.М. О способе оценки систем обучения и контроля. / Сб. Научная сессия МИФИ-2005. Т. 2. - М.: МИФИ, 2005. - С. 96-97.

99. Салмин И.Д., Садчиков С.М., Никитин В.А. Комплексы обучающих и контролирующих программ по математическому программированию. М,: ВНТИЦ, 2005.-№50200501308.

100. Салмин И.Д., Садчиков С.М., Никитин В.А. Комплексы обучающих и контролирующих программ по математическому программированию. // Компьютерные учебные программы и инновации (телеграф отраслевого фонда алгоритмов и программ). 2005. -№ 7 (8). - С.З.

101. Садчиков С.М. Методические указания к выполнению лабораторных работ по нелинейному программированию и одномерному поиску Электронный ресурс. М.: МИФИ, [2005]. Режим доступа: http://cyber.mephi.ru/emportal/users/ MEPWAHBSX EIA/MEPAXX735/Zoit v2.pdf.

102. Садчиков С.М., Синицын С.В. Разработка программных средств детального пошагового контроля решения задач. / Сб. Научная сессия МИФИ-2006. Т. 2. -М.: МИФИ, 2006.-С. 50-51.

103. Садчиков С.М. Преобразования графов алгоритмов для пошагового контроля решения задач. / Сб. Научная сессия МИФИ-2006. Т. 2. - М.: МИФИ, 2006. - С. 74-75.

104. Fischer G. User Modeling in Human -Computer Interaction. // Kluwer Academic Publishers. User Modeling and User-Adapted Interaction. 2001. - Vol. 11.-№ 1/2. - Pp. 65-86.

105. Waller J.C., Foster N. Training via the web: a virtual instrument. // Pergamon. Computers & Education. -2000. Vol. 35. - № 2. - Pp. 161-167.

106. Васильева О.В. Инструментальные системы для создания контролирующих ППС. / Материалы секции "В" XI конференции "Информационные технологии в образовании". Электронный ресурс., М., [200-]. - Режим доступа: http://www.ito.sU/1995/b/vasileva.html

107. Бизнес приложения. Электронный ресурс. M.:KODA-PRO.com Professional Software development, 2005. - Режим доступа: http://www.koda-pro.com/it/business ru.phtml. -Загл. с экрана.

108. Компьютерный рынок для образовательных учреждений Электронный ресурс. -Новосибирск: НГУ, 1999. Режим доступа: http://www.nsu.ru/icen/grants/market/lom5/ stat%20PCeducation.htm. - Загл. с экрана.

109. Обучающая программа по математике "Computer mentor" Электронный ресурс. М: ООО "Мобилайф", [200-]. - Режим доступа: http://www.c-mentor.ru/about/index.php -Загл. с экрана.

110. Компьютер-Наставник Электронный ресурс. М., [200-]. - Режим доступа: http://www.coiTiputerm.newmail.ru/comment.htm. - Загл. с экрана.

111. Электронный учебник "Основы теории компьютеров" МИФИ Электронный ресурс. -М.: КСиТ МИФИ, 2004. Режим доступа: http://dozen.mephi.ru:8101/study/btc.htm. -Загл. с экрана.

112. И.В.Черных. "Simulink: Инструмент моделирования динамических систем" Электронный ресурс. М.:, [200-]. Режим доступа: http://www.matlab.ru/simiilink/bookl/index.asp. - Загл. с экрана.

113. Материалы секции "ИТ в контроле и оценке результатов обучения" XI Международной конференции-выставки "Информационные технологии в образовании". Электронный ресурс. М., 2001. - Режим доступа: http://Ito.eclu.ru/2001/ito/Vl.htm. - Загл. с экрана.

114. X3D, H-Anim, and VRML97 Specification Электронный ресурс. [200-]. - Режим доступа: http://www.web3d.org/x3d/specifications/. - Загл. с экрана.

115. Кузьмина Е.А. Модели и оптимизация учебных планов в образовательных системах: Дис. канд. техн. наук. Уфа: Уфимский государственный авиационный технический университет (УГАТУ), 2002. -153 с.

116. Исследование операций. Курс лекций Электронный ресурс. Киев: НТУУ "КИИ". Институт прикладного системного анализа, 2004. - Режим доступа: http://iasa.org.ua/iso.php71an g=rus. - Загл. с экрана.

117. Боревский Л.Я. Курс математики для школьников и абитуриентов XXI века (базовый). Научный консультант Н.Х.Розов. Электронный ресурс. М.: МедиаХауз, 2003. - 1 электрон, опт. диск (CD-ROM). - Загл. с вкладыша контейнера.

118. Открытая биология 2.5 Электронный ресурс. М.: ФИЗИКОН, 2003. - 1 электрон, опт. диск (CD-ROM). - Загл. с вкладыша контейнера.

119. Образовательный комплекс: Математика, 5-11 классы. Практикум Электронный ресурс. М.: ООО «1С-Паблишинг», 2005. - 2 электрон, опт. диска (CD-ROM). - Загл. с вкладыша контейнера.

120. IEEE Learning Technology Standards Committee Электронный ресурс. [2006]. -Режим доступа: http://ieeeltsc.org. - Загл. с экрана.

121. Advanced Distributed Learning SCORM Электронный ресурс. - [2006]. Режим доступа: http://www.adlnet.gov/scorm/index.cfm. - Загл. с экрана.

122. Кузин Л.Т. Основы кибернетики. Том 1.-М.: Энергия, 1973.-504с.

123. Загвязинский В.И. Теория обучения: Современная интерпретация. М.: Издательский центр "Академия", 2001.- 192 с.