автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация проверки знаний и навыков студентов в области прикладной математики и информатики

Направахрукописи

Веретенников Максим Викторович

АВТОМАТИЗАЦИЯ ПРОВЕРКИ ЗНАНИЙ И НАВЫКОВ СТУДЕНТОВ В ОБЛАСТИ ПРИКЛАДНОЙ МАТЕМАТИКИ И ИНФОРМАТИКИ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (в образовании)

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Томск-2004

Работа выполнена в Томском государственном университете систем управления и радиоэлектроники (ТУСУР).

Научный руководитель -

доктор технических наук профессор Артур Александрович Мицель Официальные оппоненты:

доктор технических наук профессор Сергей Петрович Сущенко кандидат технических наук доцент Ольга Григорьевна Берестнева

Ведущая организация - Новосибирский государственный технический университет

Защита состоится « 1 » ШР\0\ 2004 г. в 15°° часов на заседании диссертационного совета Д.212.268.02 при Томском государственном университете систем управления и радиоэлектроники по адресу: 634034, г. Томск, ул. Белинского 53.

С диссертацией можно ознакомиться в библиотеке Томского государственного университета систем управления и радиоэлектроники по адресу: г. Томск, ул. Вершинина, 74.

Автореферат разослан 2004 г.

Ученый секретарь

диссертационного совета

Д.212.268.02, д.т.н.

АЛ. Клименко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Рассматривая высшее учебное заведение как систему управления, необходимо особо отметить область проверки знаний и навыков студентов. Принятие решений в данной области традиционно практически целиком возлагается на преподавателя, несмотря на возможность частичной автоматизации этого процесса. Широкое внедрение инструментальных средств, позволяющих автоматизировать процесс проверки знаний и навыков, помогло бы решить часть проблем системы высшего образования.

Чаще всего автоматизация принятия решений в области оценки знаний обеспечивается средствами тестирования, наибольшее распространение получило компьютерное тестирование. Актуальность разработки средств проверки знаний обуславливается также недавним введением единого государственного экзамена. Также, большая часть форм проверки приобретенных навыков, отнимающие у преподавателя много времени, до сих пор не автоматизированы даже частично. Так, преподавателям технических специальностей приходится тратить много времени на проверку компьютерных программ, созданных студентами даже в тех случаях, если компьютерная программа является лишь средством достижения цели, а не целью работы.

Таким образом, актуальность исследования обусловлена:

1. требованиями повышения качества обучения студентов;

2. отсутствием требований к системам автоматизированного контроля знаний, формализованных в достаточной для математической и программной реализации степени;

3. сложностью проведения некоторых форм дистанционной проверки навыков - таких, как проверки компьютерных прикладных программ;

4. сложностью создания тестирующих программ, удовлетворяющих выдвинутым требованиям, без вспомогательных средств;

5. значительным возрастанием нагрузки на преподавательский со-

Цель данной работы состоит в повышении эффективности проверки знаний и навыков студентов технических вузов. Поставленная цель достигается с помощью моделей, алгоритмов и системы автоматизированного тестирования знаний и навыков.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. обоснована теоретическая целесообразность автоматизации процесса тестирования знаний и навыков;

2. создана система формальных требований, которой должны отвечать системы автоматизированного контроля знаний;

3. создана система формальных требований, которой должны отвечать системы проверки компьютерных программ;

став.

4. разработаны модели и алгоритмы проверки знаний и компьютерных программ;

5. разработан автоматизированный комплекс, позволяющий проводить тестирование знаний студентов и проверять компьютерные программы.

Методы исследования. Для решения поставленных задач использовались методы теории множеств, формальной логики, системного анализа, вычислительной математики и теории вероятностей. При программной реализации полученных концепций использовались методы теории алгоритмов, структурного и объектно-ориентированного программирования, синтаксического анализа и математического моделирования.

Основные положения, выносимые на защиту, можно сформулировать следующим образом:

1. Кодирование тестовых вопросов с помощью языка текстовой разметки EduCAD Tests ускоряет процесс создания тестов различных типов, в том числе нестандартного вида.

2. Модель тестирования компьютерных программ на основе шаблонов позволяет унифицировать создание программного кода для упрощения создания и ускорения тестирования программ.

3. Система тестирования компьютерных программ повышает примерно на порядок эффективность проверки прикладных компьютерных программ в образовательном процессе.

4. Автоматизированный комплекс проверки знаний и навыков EduCAD Controls в целом, и его отдельные компоненты в частности, повышают эффективность проверки знаний и навыков в образовательном процессе.

Научной новизной обладают следующие результаты исследования:

1. Оригинальный язык текстовой разметки описания тестовых вопросов для автоматизированного компьютерного тестирования, отличающийся от аналогов тем, что позволяет создавать тестовые вопросы как стандартного, так и произвольного вида.

2. Впервые разработан оригинальный алгоритм проверки прикладных компьютерных программ в образовании на основе программных шаблонов;

3. Модель проверки прикладных компьютерных программ, созданных на основе программных шаблонов.

4. Отдельные компоненты автоматизированного комплекса EduCAD Controls (EduCAD Programs, EduCAD Tests, EduCAD Questions), введенные в систему контроля. Ранее созданные автоматизированные системы не позволяли создавать тестовые вопросы произвольного вида и проводить тестирование компьютерных программ.

Практическая и теоретическая ценность работы. Выявленные требования к системам автоматизированного тестирования знаний и компьютерных программ дают возможность строить универсальные алгорит-

мы проверки знаний, не зависящие от операционной системы и среды программирования. По разработанным алгоритмам создано программное обеспечение. Таким образом, соблюдается принцип структурного проектирования сверху вниз (CASE), что позволяет существенно сократить время на кодирование и избежать многих ошибок, появляющихся при написании программы «с нуля», безо всяких методик и алгоритмов.

На базе системы требований и созданного программного обеспечения к настоящему времени разработаны блоки автоматизированного тестирования для трех компьютерных учебных пособий, а так же проверено более пятисот компьютерных программ, созданных студентами Томского межвузовского центра дистанционного образования (ТМЦДО).

Принципы, положенные в основу проектирования комплекса и рекомендации по созданию шаблонов для компьютерных программ и разработки тестовых вопросов, могут быть использованы другими авторскими коллективами для дальнейших исследований в области дистанционного обучения (ДО) и создания аналогичного программного обеспечения. Это же касается разработанных отдельных программных компонентов, которые могут быть использованы для конструирования других системДостоверность результатов работы подтверждается успешным опытом длительной проверки компьютерных лабораторных работ по дисциплине «Вычислительная математика». Так же сравнение качества и скорости разработки тестирующих программ с другими подобными системами показало преимущество разработанного комплекса автоматизированного тестирования.

Внедрение результатов диссертации и рекомендации по их дальнейшему использованию. Имеются акты о внедрении мультимедийных учебных пособий по вузовским дисциплинам «Вычислительная математика», «Методы оптимизации», «Основы теории управления» и «Концепции современного естествознания» в образовательный процесс Томского межвузовского центра дистанционного образования (ТМЦДО). Кроме того, мультимедийное учебное пособие «Концепции современного естествознания» внедрено в учебный процесс Новосибирской государственной академии экономики и управления (НГАЭиУ).

Апробация работы. Методика исследования обсуждалась на заседаниях семинара «Автоматизированные системы в учебном процессе» в 20012002 гг. По теме диссертации опубликовано 24 работы, в том числе:

— 8 статей, среди которых две в центральной печати;

- 3 методических пособия;

- материалы 13 докладов на конференциях.

Основные результаты работы докладывались и обсуждались на следующих конференциях:

— всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика» (Москва, МИЭТ, 1999 г.);

- XXXVII международной научной студенческой конференции «Студент и научно-технический прогресс. Информационные технологии» (Новосибирск, НГУ, 1999 г.);

- третьей региональной научно-технической конференции студентов и молодых специалистов «Радиотехнические и информационные системы и устройства» (Томск, ТУ СУР, 1999 г.)

- международной научно-практической конференции «Технический университет: дистанционное инженерное образование» (Томск, ТПУ, 2000 г.);

- четвертой региональной научно-технической конференции «Радиотехнические и информационные системы и устройства» (Томск, ТУСУР, 2000 г.);

- XXXVIII международной научной студенческой конференции «Студент и научно-технический прогресс. Информационные технологии» (Новосибирск, НГУ, 2000 г.);

- VI международной конференции «Информационные технологии обучения», ИТО-2000 (Санкт-Петербург, СПбГЭТУ, 2000 г.);

- 7-й международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (Барнаул, 2001 г.)

- региональной научно-практической конференции «Прогрессивные технологии и экономика в машиностроении» (Юрга, 2002

г.);

- всероссийской научно-практической конференции-выставке «Единая образовательная информационная среда: проблемы и пути развития» (Томск, ТГУ, 2002 г.).

Дипломная работа на тему «Электронные учебные пособия по естественнонаучным дисциплинам», в которой отражены начальные этапы исследования, отмечена дипломом Министерства образования открытого конкурса на лучшую науч!гую работу студентов по естественным, техническим и гуманитарным наукам в вузах РФ в 2001 году, а так же получила второе место на конкурсе дипломных работ и проектов ТУСУР за 2000 год. Учебный комплекс по дисциплине «Концепции современного естествознания - 2» в составе КУМПО (комплексного учебно-методического программного обеспечения) на Сибирской ярмарке 2002 года в г. Новосибирске получил Большую золотую медаль. Этот учебный комплекс зарегистрирован в депозитарии электронных изданий ФГУП НТЦ «Информрегистр» Министерства РФ по связи и информатизации 16 января 2003 года, ему присвоен номер государственного учета 0320300013. Мультимедийные учебники.«Вычислительная математика», «Концепции современного естествознания - 2», «Методы оптимизации» в комплекте электронных учебников, представленных ТМЦЦО ТУСУР на конкурс «Золотая медаль Сибирской ярмарки «УЧСИБ-2004», оценены Малой Золотой медалью в номинации «современный учебник» и дипломом в номинации «электронный учебник». КУП «Концепции современного естествознания» внедрено для обучения студентов в ТМЦДО и

НГАЭиУ. КУП «Вычислительная математика», «Методы, оптимизации», «Основы теории управления» внедрены в учебный процесс ТМЦДО. Диссертационная работа выполнена в рамках трех проектов договоров подряда ТМЦДО.

Личный вклад диссертанта. В диссертации приведены только те результаты, в получении которых автору принадлежит основная роль. Опубликованные работы написаны либо без соавторов, либо в соавторстве с сотрудниками коллектива по разработке компьютерных учебных пособий кафедры АСУ ТУ СУР и профессора НГАЭиУ Дубнищевой Т.Я.

Автором создан комплекс автоматизированного тестирования EduCAD Controls и программное ядро компьютерного учебника «Концепции современного естествознания». Личный вклад в разработку учебных пособий:

— «Концепции современного естествознания» (1999 г.): ядро курса, программирование и дизайн электронного учебника, программы автоматизированного тестирования, контрольные и лабораторные работы. Автор материалов по дисциплине — профессор НГАЭиУ Дубнищева Т.Я.

— «Вычислительная математика» (2002 г.): разработка шаблонов программ для лабораторных работ. Автор материалов по дисциплине — профессор кафедры АСУ ТУ СУР Мицель А.А.

— «Концепции современного естествознания — 2» (2002 г.): дизайн электронного учебника, программирование программ тестирования и лабораторных работ. Автор материалов по дисциплине -профессор НГАЭиУ Дубнищева ТЛ.

— «Основы теории управления» (2003 г.): программа тестирования знаний. Автор материалов по предмету — заведующий кафедрой АСУ ТУСУР, профессор Кориков A.M.

— «Методы оптимизации» (2003 г.): программы тестирования знаний, контрольных работ и курсового проектирования. Авторы материалов по дисциплине - профессор кафедры АСУ ТУСУР Ми-цель А.А. и доцент кафедры АСУ ТУСУР Шелестов А.А..

Структура м объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 86 наименований и 5 приложений. Общий объем диссертации - 126 страниц, в том числе 13 рисунков, 18 таблиц и листингов.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дана общая характеристика работы. Представлено современное состояние предметной области - электронного образования - в настоящее время. Исходя из этого, обусловлена актуальность исследования, а затем его цели и задачи. На основании целей выведены методы исследования проблемы и приведены элементы научной новизны работы. Сформулирована практическая и теоретическая ценность работы, основные защищаемые по-

ложения, обоснована их достоверность. Затем говорится о внедрении результатов диссертации и рекомендациях по их дальнейшему использованию, апробации работы и опубликованных материалов по теме исследования.

Первая глава посвящена общему обоснованию целесообразности разработки электронных учебных пособий и автоматизированных систем контроля знаний. В начале главы рассматривается структура системы дистанционного обучения и место электронного учебного пособия в этой структуре. Приведены основные термины, использующиеся в дистанционном обучении. Дан сравнительный анализ системы дистанционного обучения и традиционного образовании, прослежена история развития системы дистанционного обучения, рассмотрен процесс исторической трансформации электронных учебных пособий от первых специализированных приспособлений до современных компьютерных программ.

Исследуются методологические и психологические аспекты разработки компьютерных учебных пособий (КУП). Предложено схематичное изображение этапов разработки компьютерных учебных пособий с точки зрения методологии и дизайна (рис. 1). Отсутствие программиста в составе группы разработчиков, несмотря на то, что его присутствие рекомендуется большинством исследователей, не случайно. При разработке КУП с помощью специализированных профессиональных средств разработки необходимость в программисте отпадает, его место занимает дизайнер. Так же необходимо отметить, что важнейшим моментом для создания хорошего КУП является участие автора учебного материала на всех этапах разработки пособия.

Рис. 1 - Этапы создания компьютерного учебного пособия

В качестве примера создания современного мультимедийного учебного пособия рассматривается процесс разработки двух версий электронного учебника «Концепции современного естествознания» («КСЕ»). Первая версия КУП «КСЕ» разработана в 1999 г. в системе визуального проектирования

Borland Delphi. В 2002 г. вторая версия КУП создается уже в системе EduCAD. На основании сравнения усилий, затраченных на разработку первой и второй версии электронных учебников, делаются выводы о несомненном положительном эффекте автоматизации разработки компьютерных учебных пособий.

Рассматриваются возможные области применения компьютерного тестирования. Выделяется два направления тестирования — тестирование знаний и тестирование навыков, рассматриваются различные технологии и типы тестирования. Исследуются отличия технологии автоматизированного тестирования от традиционной проверки знаний и рассматриваются области деятельности, в которых автоматизированное тестирование было успешно внедрено.

Вторая глава посвящена исследованию системы формальных требований, предъявляемых к системам автоматизированного контроля знаний (САКЗ). Часть требований к САКЗ интуитивно понятны, в основном это требования безопасности. Во-первых, модуль создания и редактирования тестовых вопросов и модуль тестирования не должны находиться в одной программе. Во-вторых, база тестовых вопросов и протоколы проведения контроля знаний должны быть зашифрованными.

Следующие требования встречаются в работах разных авторов:

- САКЗ должна поддерживать создание и использование тестовых вопросов различных типов. Чем больше типов вопросов будет поддерживать система, тем лучше. Более точную информацию о знаниях студента дает использование вопросов открытого вида — то есть, вопросов, множество возможных ответов на которые практически не ограничено.

- САКЗ должна позволять проводить проверку знаний как в режиме самоконтроля, так и в режиме контрольного тестирования. Процесс контрольного тестирования должен сопровождаться ведением отчета, который получает преподаватель.

- САКЗ должна поддерживать возможность ограничения тестирования по времени. Методика ограничения процесса тестирования по времени одобряется одними источниками и критикуется другими. По нашему мнению, при контрольном тестировании ограничение по времени все же нужно, так как все реальные экзамены имеют временные рамки. Но все же возможность включать и выключать эту опцию нужно предоставить разработчику.

- САКЗ должна поддерживать возможность выставления оценки преподавателем. Возможность выставления оценки преподавателем на основе файлов отчета, во-первых, позволит преподавателю самому проверить ответы на вопросы, плохо поддающиеся автоматизированной проверке. Во-вторых, использование этой возможности не позволит тестируемому при локальной проверке знаний сразу узнать свой результат, и попытаться изменить его.

- САКЗ должна позволять тестирование как в обычном, так и в адаптивном режимах. Процесс проверки знаний называется адаптивным, если каждый следующий задаваемый вопрос зависит от ответа на предыдущий. Это требование достаточно важно, так как обычно при разработке САКЗ реализуют всего лишь один алгоритм тестирования. Несомненно, адаптивное тестирование имеет большие преимущества, но основным его недостатком является сложность построения структуры тестовых вопросов, и, соответственно, большое время разработки подобной структуры. Несомненно, в будущем все тестирование должно проводиться по адаптивным алгоритмам, но на сегодняшний день большая часть тестирования все же проводится по неадаптивной схеме.

- САКЗ должна предоставлять механизмы обмена данными с другими' проектами. Например, если разрабатывается электронный учебник, должна быть возможность создания системы тестирования как части этого учебника. То есть, модуль проведения тестирования САКЗ должен иметь стандартные возможности обмена с внешней средой: приема команд и выдачи результата тестирования.

Обычно разработчиками САКЗ предусматривается проводить тестирование либо в локальном, либо в сетевом режиме. По нашему мнению, САКЗ должна поддерживать оба этих режима тестирования. К основным достоинствам сетевой модели тестирования можно отнести следующие:

— платформенная независимость системы;

- легкость изменения базы данных тестовых вопросов;

— сложность несанкционированного доступа к базе данных САКЗ;

- простота осуществления контроля за действиями тестируемого.

Главным недостатком сетевого тестирования, перевешиваемым все

достоинства, является невозможность проведения контроля знаний, если у тестируемого нет доступа к Интернету.

Особое внимание при разработке системы автоматизированного тестирования знаний следует уделить выбору формата представления информации системы. Информация должна храниться в виде, удобном для ее последующего изменения, дополнения или удаления. Для выбора формата представления данных для САКЗ необходимо сперва уяснить, какая именно информация будет храниться в подобной системе. Большая часть данных тестовых вопросов представлена в текстовом виде, так же используются графические изображения и мультимедиа-информация. С точки зрения отображения текстовой и графической информации очень удобен язык гипертекстовой разметки Hyper Text Markup Language (HTML), на сегодняшний день являющийся основным языком представления документов в сети Интернет. HTML — свободно распространяемый и полностью документированный формат, поэтому он весьма удобен для хранения данных в САКЗ, особенно при выборе сетевой технологии тестирования.

Для большего удобства разработки тестов предлагается внедрять в САКЗ язык текстовой разметки тестовых вопросов (ЯТР). Использование

ЯТР позволяет кодировать не только текстово-графическую информацию, но и команды определения типа и структуры тестовых вопросов, а так же верные ответы. Управляющие элементы ЯТР называются тегами. Нами предлагается использовать в качестве базового языка САКЗ ЯТЗ на базе стандарта Extensible Markup Language (XML), который в последнее время становится стандартном описания документов для различных программных продуктов. Для обеспечения совместимости с языком HTML предлагается теги форматирования, отвечающие за разметку текстовой и графической информации, взять из HTML. Главным достоинством использования языка разметки для описания тестовых вопросов является возможность разработки тестовых вопросов нестандартных видов, то есть, не предусмотренных изначально в системе. Конечно, для кодирования вопросов < нестандартного вида требуется участие программиста, но это дает практически неограниченные возможности разработчикам тестовых вопросов.

Общая относительная оценка, полученная студентом при тестировании, будет равна

А/=-||--100%, (1)

где tri- балл, полученный студентом за ответ на 1-й вопрос, т® - максимально возможный балл за этот вопрос, п — общее число задаваемых вопросов. При адаптивном тестировании получаем следующую оценку:

где т^^ - оценка, полученная за ответ на вопрос j-ro уров^Гяграздела - максимально возможная оценка за этот вопрос.

Подьпоживая вышесказанное, создадим общую систему требований, предъявляемых к разработке САКЗ:

1. Модуль создания и редактирования тестоьых вопросов и модуль тестирования не должны находиться в одной программе.

2. База тестовых вопросов и протоколы проведения контроля знаний должны быть зашифрованными.

3. САКЗ должна позволять тестирование как в обычном, так и в адаптивном режимах.

4. САКЗ должна поддерживать создание и использование тестовых вопросов различных типов, как открытых, так и закрытых.

5. САКЗ должна позволять проводить тестирование как в режиме самоконтроля, так и в режиме контрольного тестирования.

6. САКЗ должна поддерживать возможность ограничения тестирования по времени.

7. САКЗ должна поддерживать возможность выставления оценки преподавателем.

8. САКЗ должна предоставлять механизмы обмена данными с другими проектами.

9. САКЗ должна предоставлять возможность проведения локального тестирования и телетестинга.

10. Тестовые вопросы должны создаваться в САКЗ при помощи языка текстовой разметки.

Третья глава посвящена исследованию модели системы автоматизированной проверки компьютерных программ в образовательном процессе. На большинстве технических специальностей студентов обучают программированию ЭВМ. Базовые предметы, на которых учат основам написания компьютерных программ- информатику или программирование - изучают почти все студенты втузов, а на многих учебных специальностях эти знания требуются для дальнейшего обучения. Студенты могут составлять прикладные компьютерные программы на практических и лабораторных занятиях по математическим и техническим дисциплинам, закрепляя практические навыки решения задач по этим предметам. Выполнение заданий с помощью составления прикладных программ создает довольно большие сложности проверки при большом количестве работ. На практике обычно работоспособность прикладной компьютерной программы оценивается не по ее внутренней структуре, а по результатам ее работы. Большую часть такой работы за преподавателя может сделать компьютер. Таким образом, возникает проблема автоматизированного тестирования компьютерных программ (АТП).

В последнее время системы автоматизированного тестирования программ (САТП) очень часто используются для проверки учебных и олимпиад-ных задач по информатике. Общая схема АТП приведена на рис. 2. Условием, без которого не возможен процесс АТП, является однозначное отображение множества входных данных {X} в соответствующий набор выходных данных (У):

0:{Х>-КУ> (3)

Закон отображения О определяется алгоритмом испытуемой программы. На вход САТП подается внешнее воздействие. На вход тестируемой программы поступает вектор входных данных На выходе программы

по закону (1) получаем результаты работы тестируемой программы У = (У1>"->Ут), подающиеся на САТП, где они и обрабатываются. В САТП задан алгоритм Н однозначного отображения множества

ЩХ}^{2} (4)

Условием верности работы программы является следующее условие:

0:{Х}-КУ}=Н:{Х}->{2}, т.е. {¥}={2} (5)

Рис. 2 - Модель АТП

Таким образом, тестируемую программу можно рассматривать как модель идеальной программы, действующей по закону (4). Успехом тестирования программного кода будет являться истинность этой модели.

Между АТП для олимпиад программированию и АТП в образовательном процессе есть два основных отличия. Во-первых, в олимпиадах обычно участвуют люди, весьма «подкованные» в области программирования; студенты же, составляющие прикладные программы на лабораторных и практических занятиях, зачастую даже не обучаются на «программистских» специальностях, то есть зачастую им труднее дается сам процесс кодирования текста программы, чем решение поставленных задач. Во-вторых, среди студентов довольно распространены попытки фальсификации и «списывания» компьютерных программ. Для облегчения взаимодействия преподавателя со студентами-непрограммистами в 2000 г. нами был предложен метод шаблонов проверки компьютерных программ. Под шаблоном подразумевается программа, в которой преподавателем уже реализован процесс чтения входных и выдача выходных данных, студенту остается лишь запрограммировать подпрограммы, реализующие алгоритм задания. Шаблон имеет унифицированные входы и выходы, что позволяет довольно легко автоматизировать процесс проверки самой программы. Нами был разработан комплект из семи программных шаблонов на ЯП Паскаль для лабораторных работ по вычислительной математике. Данный комплект шаблонов распространяются среди студентов, обучающихся по дистанционной технологии, в течении двух лет, и в более чем в 80% студентов предпочитают создавать программы на основе предоставленных шаблонов. Таким образом, внедрение метода шаблонов реально облегчает не только работу преподавателя при проверке работ, но и работу студентов при их выполнении.

Выявим требования, предъявляемые к разработке шаблонов программ:

1. Метод шаблонов может быть применен только для тех учебных дисциплин, на которых не учат работе с конкретными языками программирования.

2. Метод шаблонов применим только к программам с четко формализуемыми входами и выходами.

3. Шаблоны программ должны быть легко читаемы и понятны студентам.

4. Программа, написанная на базе шаблона, должна легко поддаваться тестированию не только преподавателем, но и студентом.

5. Шаблоны всех программ, относящихся к одному предмету, должны иметь один и тот же механизм ввода-вывода.

Как уже было сказано выше, одной из основных особенностей АТП в образовании является возможность фальсификации программы или плагиата со стороны студентов. Под фальсификацией программы будем подразумевать задание ей таких свойств, с помощью которых программа отображает заданный набор входных данных {X} в соответствующий набор выходных данных {У}=С({Х}) по алгоритму, не предусмотренному техническим заданием, причем отображение С:{Х}->{У} будет выполняться верно. Оригинальной назовем компьютерную программу, полностью созданную студентом, сдающим ее на проверку. Плагиатом будем считать сдачу студентом на проверку либо полностью неоригинальной программы, либо лишь слегка измененной чужой программы.

В отличие от фальсификации программ, встречающейся довольно редко, сдача студентами неоригинальных программ весьма распространена. По нашему мнению, элементы плагиаты присутствуют в не менее чем 20% случаев от общего числа программ, сдаваемых на проверку студентами. Такие изменения можно отследить, приводя текст программы к стандартному виду - замене всех имен переменных и функций на стандартные, удаление всех комментариев, переводов строки, символов табуляции и лишних пробелов. Таким образом, не нарушая внутренней структуры и работоспособности программы, мы можем сравнить ее текст с текстом эталонной программы, приведенной к тому же виду, используя вероятностную оценку. При подозрении на плагиат преподаватель проверяет текст программы вручную. Эталонные программы хранятся в постоянно пополняемом банке данных.

Общий алгоритм проверки оригинальности и нефальсифицируемости программ приведен на рис. 3. Разумеется, никакие алгоритмы и системы не могут полностью гарантировать оригинальность и отсутствие фальсификации программного кода. Важнейшим условием, при котором эти методы будут успешно работать, является неразглашение информации. Если студенты не будут знать методов, по которым тестируются их программный код, вероятность обхода ими алгоритмов проверки серьезно уменьшается.

Проверка V прокцена Приведение программы к стандартному виду

Рис. 3 - Алгоритм проверки оригинальности и нефальсифицированности тестируемой программы

Полную модель АТП в образовательном процессе получим на рис. 4. На вход системы подаются внешние требования (например, государственные стандарты), предъявляемые к данной специальности и созданию программ. На выходе системы будут получены знания и навыки в разработке прикладных программ, приобретенные студентом в процессе обучения. Техническое задание вырабатывается преподавателем на основе своего собственного опыта, представлений и поступающих внешних требований. Техническое задание должно выполняться студентом при создании им программы.

в образовательном процессе

Необязательным элементом в системе АТП является программист (в принципе, его функции может выполнять преподаватель). Получая задание от преподавателя, программист разрабатывает шаблоны программ. Созданные программистом шаблоны программ передаются студенту. В соответствии со знаниями, полученными от преподавателя, и своевременными консультациями, на основании технического задания студент создает программы. Программы могут создаваться студентом как на основе шаблонов, так и полностью самостоятельно. Созданная студентом программа поступает для тестирования на центр управления САПР. Центр управления является модулем, через которое проходит обмен данными САПР с внешней средой. Перед началом тестирования текст программы поступает на блоки определения языка программирования и компиляции для получения исполняемого файла. При тестировании программы проверяется равенство (5), множество входов (X) и

выходов {Z} хранится в банке данных входных и выходных значений, откуда поступает на блок тестирования. Если тестирование проведено удачно, программа проверяется на оригинальность и фальсификацию по алгоритму, приведенному на рис. 3. Если программа удачно прошла этапы тестирования, определение оригинальности и проверку на фальсификацию, она сохраняется в банке данных ранее проверенных программ. Вся информация о результате тестирования передается преподавателю, который дает окончательную оценку тестируемой программе. Окончательная оценка показывается студенту.

В четвертой главе приведены особенности программной реализации комплекса автоматизированного тестирования EduCAD Controls, включающий в себя (рис. 5):

1. САТП EduCAD Programs;

2. САКЗ EduCAD Tests;

3. систему генерации заданий EduCAD Questions.

Комплекс EduCAD Controls является частью автоматизированного комплекса создания средств поддержки электронного обучения EduCAD, общая структура которого была разработана В.В. Романенко.

САТП EduCAD Programs первоначально создавалась для автоматизации процесса проверки компьютерных лабораторных работ по дисциплине «Вычислительная математика» на кафедре АСУ ТУ СУР. В дальнейшем система развивалась в плане большей стандартизации. Структура системы EduCAD Programs рассматривалась на рис. 4. Результат работы компьютерных программ, тестируемых в САТП EduCAD Programs, выводится либо на стандартное устройство вывода st d o ut (по умолчанию экран), либо в текстовый файл out. txt. Полученный текстовый файл обрабатывается в системе. Для каждой задачи в банке данных САТП хранится массив входных данных и соответствующий ему массив выходных данных. При тестировании программы система сравнивает полученный в результате работы программы набор выходных данных с тестовым набором; тестирование проводится по всем наборам данных из массива.

Формат наборов входных и выходных данных для каждой задачи определяется шаблоном данных. Шаблон данных представляет обычный текстовый файл, в каждой строке которого описывается один элемент набора данных. В таблице 1 приведены типы данных, которыми может оперировать система EduCAD Programs.

Типы данных САТП EduCAD Programs

Таблица 1

Тип данных Описание Формат в шаблоне данных

Символ символ char

Строка одномерный массив символов string

Скаляр целое или дробное число number <погрешность>

Вектор одномерный массив целых или дробных чисел vector <количест-воэлементов> <погрешность>

Матрица двумерный массив целых либо дробных чисел matrix <количество строк> <количество столбцов> <погрешность>

Сами наборы входных и выходных данных так же представляются текстовым файлом, созданным по следующим правилам:

- каждый элемент набора (кроме матриц) располагается на отдельной строке; матрицы располагаются в файле на том же количестве строк, сколько строк элементов они содержат;

- порядок следования элементов в наборе данных такой же, как и в соответствующем ему шаблоне;

- элементы данных векторного и матричного типов пишутся через пробел.

В настоящее время САТП EduCAD Programs используется для проверки лабораторных работ по дисциплине «Вычислительная математика» студентов заочной формы обучения ТМЦДО. Статистические результаты проверки программ приведены в таблице 2, экономический эффект от внедрения системы — в таблице 3.

Таблица 2

Статистика проверки лабораторных работ по вычислительной математике

(по состоянию на 01.01.2004)

Проверено работ, всего 520 100%

Из них: Выполнено на основе шаблонов: 462 89%

Ошибки программ: 37 7,1%

Плагиат: 48 9,4%

Таблица 3

Экономическая эффективность автоматизированного тестирования _компьютерных программ__

Преподаватель Система (полуавтоматический режим) Система (автоматический режим)

Время проверки, минУпрограмму, ср. 10 3 1

Производительность труда, программ/ (академ. час) 4 13 40

Экономическая эффективность 1 3,3 10

Система автоматизированного тестирования знаний EduCAD Tests предназначена для разработки и проведения тестирования. Система состоит из двух частей - редактора тестовых вопросов и подсистемы тестирования. Для представления тестовых вопросов разработан язык текстовой разметки ЕСТ («EduCAD Tests»), являющийся подмножеством XML. Структура ЕСТ разрабатывалась для совместимости как с внутренним ЯТР системы EduCAD TextBook ECHTL, так и с языком HTML. Система EduCAD Tests поддерживает вопросы как закрытых, так и открытых типов, а так же вопросы нестандартного (смешанного вида).

В работе отмечается важность информационной совместимости компонентов и автоматизированной системы. Разработанные форматы хранения и обработки данных обеспечивают их целостность и корректность. Сделаны предположения относительно дальнейших перспектив использования и развития комплекса EduCAD Controls. Теоретически и практически показаны преимущество его использования перед другими системами проектирования, использующимися в настоящее время. С помощью модифицированного балльно-индексного метода были получены значения индексов эксплуатационно-технического уровня для программных систем автоматизированного контроля знаний EduCAD Tests (78%), Гипертест (66%), Усатик (69%), Sydney (71%). Это говорит о том, что для эффективной разработки качественных программ тестирования знаний предпочтительнее использование разработанного автоматизированного комплекса.

Заключение. В диссертационной работе решена актуально научно-техническая задача автоматизации контроля знаний студентов технических специальностей. В результате проведенных исследований создан автоматизированный комплекс EduCAD Controls, позволяющий существенно сократить время разработки программ автоматизированного тестирования, а так же проверки компьютерных программ в образовательном процессе.

В результате проделанной работы:

1. впервые предложен метод, облегчающий разработку и проверку прикладных компьютерных программ для технических дисциплин («метод шаблонов»);

2. предложен оригинальный алгоритм проверки компьютерных программ с целью выяснения фальсификации и плагиата;

3. разработана модель автоматизированной проверки компьютерных программ в образовательном процессе, основанной на методе шаблонов;

4. выработаны требования, предъявляемые к языку текстовой разметки описания тестовых вопросов;

5. на основе выработанных требований, создано формальное описание языка текстовой разметки «EduCAD Tests»;

6. разработаны формальные требования к созданию системы автоматизированного контроля знаний;

7. на основе всей выявленной совокупности требований и проведенных исследований разработан программный комплекс для проверки знаний и навыков «EduCAD Controls», включающий систему автоматизированного тестирования, систему проверки компьютерных программ и систему выдачи задании;

8. в рамках комплекса EduCAD Controls автоматизированным способом, быстро и качественно разработан ряд модулей тестирования и заданий, а так же проведено тестирование большого количества компьютерных программ по дисциплине «Вычислительная математика»;

9. разработаны две версии компьютерного учебника «Концепции современного естествознания».

В дальнейшем результаты работы могут быть использованы в различных целях:

1. Выявленная совокупность требований обеспечивает системный подход к проектированию автоматизированной системы проверки знаний.

2. По результатам исследований могут быть построены универсальные алгоритмы тестирования компьютерных пограмм.

3. Общие концепции автоматизации, положенные в основу создания всех компонентов комплекса EduCAD Controls, могут быть использованы для создания других подобных автоматизированных систем.

Основное содержание диссертации опубликовано в следующих работах:

1. Веретенников М.В. Электронный учебник по дисциплине «Концепции современного естествознания» // Микроэлектроника и информатика-99. Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Тезисы докладов. - М.: МИЭТ, 1999.-С. 181.

2. Мицель А.А., Веретенников М.В. Электронный учебник в системе дистанционного обучения // Доклады Томского государственного университета систем управления и радиоэлектроники. Том 3. Сборник трудов. - Томск: ТУСУР, 1999. - С. 197.

3. Дубнищева Т.Я., Мицель А.А, Веретенников М.В. Создание электронного учебника «Концепции современного естествознания» // Высшее образование в России, №6,1999.

4. Мицель А.А, Коломак А.А., Веретенников М.В. Автоматизированный лабораторный практикум по дисциплине "Вычислительная математика" // Тезисы 5 Международной конференции "Современные технологии обучения". - С.-Петербург, 1999.

5. Веретенников М.В. Пакет для автоматизированного контроля знаний. // Материалы XXXVIII международной научной конференции «Студент и научно-технический прогресс»: Информационные технологии. - Новосиб. Кн-т, Новосибирск, 2000. - С. 40.

6. Мицель А.А, Веретенников М.В. Электронный учебник в системе дистанционного обучения. // Современное образование: качество и новые технологии: Труды научно методической конференции. - Томск: ТУСУР, 2000.

7. Веретенников М.В. Пакет для автоматизированного контроля знаний // Труды международной научно практической конференции «Технический университет: дистанционное инженерное образование». -Томск: изд-во ТПУ, 2000.

8. Мицель А.А., Веретенников М.В. Электронный лабораторный практикум по вычислительной математике. // Доклады Томского государственного университета систем управления и радиоэлектроники. Том 6. Сборник трудов. - Томск: ТУСУР, 2001. - С. 45.

9. Мицель А.А., Романенко В.В., Веретенников М.В., Клыков В.В. Комплект средств автоматизированного обучения «Вычислительная математика». // Доклады 7-й международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (СИБРЕСУРС - 7-2001), часть 2. - Барнаул: изд-воТГУ, 2001.-С. 163-165.

10. Дубнищева Т.Я., Мицель А.А, Веретенников М.В. Новая версия электронного учебника по дисциплине "Концепции современного естествознания11 // Открытое и дистанционное образование, №4,2002:

11. Дубнищева Т.Я., Мицель А.А, Веретенников М.В. Концепции современного естествознания: Учебное пособие к электронному учебнику. - Томск: ТМЦЦО, 2002.29 с.

12. Веретенников М.В. Автоматизированная система*. проверки знаний «EduCAD Control». // Сборник трудов ТУСУР «Автоматизированные системы обработки информации, управления и проектирования». - Томск: ТУСУР, 2002. - Т. 7. - С. 156-158.

13. Веретенников М.В. Создание тестовых вопросов с помощью языка текстовой разметки «EduCAD Tests» // Информационные системы. Труды постоянно действующей» научно-технической школы-семинара студентов, аспирантов и молодых специалистов «Информационные системы мониторинга окружающей среды». Сборник трудов. Выпуск 1. - Томск: ТУСУР, 2002 - С. 152-154.

14. Веретенников М.В. Требования к системе автоматизированного контроля знаний // Информационные системы. Труды постоянно действующей научно-технической школы-семинара студентов, аспирантов и молодых специалистов «Информационные системы мониторинга окружающей среды». Сборник трудов. Выпуск 2 — Томск: ТУСУР, 2003 - С. 148-152.

15. Мицель А.А., Веретенников М.В., Романенко В. В. и др. Концепция современного мультимедийного учебника: Учебно-методическое пособие. - Томск: ТМЦЦО, 2004. - 62 с.

16. Веретенников М.В. Автоматизация проверки компьютерных программ в технических дисциплинах. // Дистанционные образовательные технологии. Выпуск 1: Пути реализации. Сборник научных трудов. - Томск: ТУСУР, 2004. - С. 52-61.

04-14105

Тираж 100. Заказ 653. Томский государственный университет систем управления и радиоэлектроники пр. Ленина, 40

Введение.

Глава 1; Теоретическое обоснование целесообразности« разработки электронных учебных пособии и автоматизации контроля знаний

1.1 Компьютерные учебные пособия в образовательном процессе.

1.1.1 Сравнение традиционной и дистанционной форм обучения.

1.1.2 Развитие дистанционного обучения.

1.1.3 Развитие концепции КУП.

1.2. Некоторые психологические аспекты компьютеризации обучения.

1.3 Современный мультимедийный учебник на примере КУП «Концепции современного естествознания».30'

1.3.1 Первая версия КУП «КСЕ».

1.3.2 Вторая версия КУП «КСЕ».

1.4 Компьютерное тестирование.

1.4.1 Типы компьютерного тестирования знаний.

1.4.2 Отличия компьютерного тестирования от традиционных методов, проверки знаний.

1.4.3 Области применения компьютерного тестирования.

1.5 Выводы.

Глава 2 Автоматизированное тестирование знаний.

2.1 Сравнение технологий локального и сетевого тестирования.

2.2 Представление структуры тестовых вопросов с помощью языка текстовой разметки.

2.3 Защита данных тестирования от фальсификации

2.4 Проблемы оценки ответов на тестовые вопросы.

2.4.1 Общий алгоритм оценки ответов на тестовые вопросы.

2.4.2 Типы тестовых вопросов.

2.4.3 Проблемы оценки ответов на вопросы открытого типа.

2.4.4 Вывод общей оценки за тестирование.

2.5 Требования к системе автоматизированного тестирования.

2.6 < Выводы.

Глава 3 Автоматизация проверки компьютерных программ.62'

3.1 Концепция автоматизации проверки программ для ЭВМ!.

3:2 Метод шаблонов АТП.66?

313 Методы идентификации, оригинальности и фальсифицированности тестируемой программы.72:

3.3.1 Методы фальсификации программного кода и пути их обнаружения.

3.3.2 Плагиат программного кода и методы его обнаружения.

3:3.3 Общий алгоритм проверки оригинальности и»нефальсифицированности тестируемой программы.

3.4 Построение модели АТП, основанного на методе шаблонов

3.5 Выводы.

Глава 4. Комплекс автоматизированного тестирования EduCAD Controls

4.1 Общие сведения о комплексе EduCAD.

4.2 Система автоматизированной проверки компьютерных программ EduCAD Programs.

4.3 Система автоматизированного тестирования знаний EduCAD Tests.

4.4 Система генерации заданий EduCAD Questions.

4.5 Внедрение комплекса EduCAD Controls в образовательный процесс.

Современный: период развития высших? учебных заведений характеризуется значительным увеличением; числа студентов, обучающихся по заочной; и > дистанционной формам. Это общемировая тенденция»усугубляется также значительным • возрастанием нагрузки на; преподавательский состав в вузах РФ. В • результате процесс обучения становится все более сложным и менее надежным: решение- острых; проблем: обучения в высших учебных заведениях традиционными методами все чаще не дает удовлетворительных результатов, т.е. страдает качество обучения;

В оценке качества обучения выделяем три основных показателя [67]: 1. Общее: состояние качества обучения в целом по учебному заведению

2. Качество учебной работы преподавателей 3. Качество знаний и навыков студентов. Здесь каждый*показатель зависит от предыдущего. Ясно, что качество учебной работы преподавателей » зависит от общего состояния, качества • вуза, а качество знаний и умений* студентов? (помимо личностно-психологических. характеристик конкретного студента) — и от качества их обучения преподавателем, и от общего состояния качества обучения в вузе.

Как было рассмотрено? выше, качество учебной работы преподавателей зависит от учебной нагрузки, при возрастании нагрузки нашреподавателя качество его работы снижается. Одним из путей снижения учебной нагрузки является автоматизация отдельных функций преподавателя.

Рассматривая высшее учебное заведение как систему управления,. необходимо: особо отметить область проверки: знаний и навыков студентов — т.е., обратную связь блока повышения качества знаний и навыков студентов. Принятие решений в данной области традиционно практически целиком возлагается ; на преподавателя, несмотря на возможность частичной автоматизации этого. процесса. Широкое; внедрение инструментальных средств, позволяющих автоматизировать процесс проверки знаний и навыков, помогло бы решить часть проблем системы высшего образования.

Чаще всего автоматизация принятия решений в области оценки знаний обеспечивается средствами.тестирования, и наибольшее распространение получило компьютерное тестирование. Актуальность разработки средств 5 проверки знаний обуславливается также; недавним введением; единого государственного экзамена. Также, большая часть форм проверки приобретенных навыков, отнимающие у преподавателя много времени, до сих пор не автоматизированы даже частично. Так, преподавателям технических специальностей приходится тратить < много > времени на проверку компьютерных. программ, созданных студентами даже в тех случаях, если компьютерная программа является лишь средством-достижения цели, а не целью работы.

Таким образом, автоматизация процесса принятия решений- в области проверки знаний; и навыков в высшем: образовании позволит освободить время * преподавателя для творческой деятельности и сократить расходы вузов;

Программная v реализация; средств: автоматизированного тестирования является довольно сложной задачей: Для проектирования сложного ПО в настоящее время широко применяется технология GASE (Computer-Aided Software Engineering). GASE - это совокупность, методологий »анализа, проектирования, разработки и сопровождения сложных систем:программного обеспечения, поддержанная; комплексом взаимосвязанных средств автоматизации. CASE-технологии позволяют оптимизировать любую систему уже на этапе проектирования. В связи с тем, что современные средства разработки прикладного^ ПО (например, популярные в РФ системы визуального программирования Borland Delphi и Borland С++ Builder) осуществляют поддержку технологии CASE, проектирование и реализация сложных программных систем становится легко доступной квалифицированному программисту.

Таким образом, актуальность исследования обусловлена: 1) требованиями повышения качества обучения студентов;

2) отсутствием требований к системам автоматизированного контроля знаний, формализованных в достаточной для математической и программной реализации степени;

3) сложностью проведения некоторых форм дистанционной проверки;навыков -таких, как проверки компьютерных прикладных программ;

4) ^ сложностью; создания ¡тестирующих программ, удовлетворяющих выдвинутым требованиям, без вспомогательных средств;;

5) значительным возрастанием нагрузки на преподавательский состав.

Цел ь данной работы состоит в повышении; эффективности! проверки знаний и навыков • студентов технических вузов. Поставленная, цель достигается; с помощью моделей, алгоритмов, и ? системы г автоматизированного 5 тестирования знаний и навыков.

Для»достижения поставленной цели были решены следующие задачи:

1) обоснована целесообразность автоматизации процесса тестирования знаний и навыков;

2) создана система1 формальных требований, которой должны отвечать системы автоматизированного контроля знаний;

3) создана ; система формальных требований; которой г должны отвечать системы проверки компьютерных программ;

4) разработаны модели и алгоритмы проверки; знаний и ? компьютерных программ;

5) разработан■ автоматизированный; комплекс, позволяющий проводить, тестирование знаний студентов и проверять компьютерные программы.

Методы; исследования вытекают из: поставленных задач. С дидактической точки зрения были рассмотрены плюсы и минусы дистанционного обучения в целом; а также использование систем автоматизированного тестирования знаний1 и1 компьютерных программ в частности. Были; рассмотрены психологические и педагогические аспекты внедрения тестирования в процесс: обучения. Для решения; поставленных задач использовались методы теории множеств, формальной логики, системного анализа, вычислительной математики и теории. вероятностей. При программной реализации полученных концепций использовались методы теории алгоритмов, структурного и объектно-ориентированного программирования, синтаксического анализа и математического моделирования.

Основные положения, выносимые на защиту, можно сформулировать следующим образом:

1. Кодирование тестовых вопросов с помощью языка текстовой разметки EduCAD Tests ускоряет процесс создания: тестов различных: типов, в том числе нестандартного вида.

2. Модель тестирования компьютерных программ на основе шаблонов позволяет унифицировать создание программного кода для упрощения создания и ускорения тестирования программ.

3. Система тестирования компьютерных программ повышает примерно на порядок эффективность проверки прикладных компьютерных программ в образовательном процессе.

4. Автоматизированный комплекс проверки знаний и навыков EduCAD Controls в целом, и его отдельные компоненты в частности, повышают эффективность проверки знаний и навыков в образовательном процессе:

Научной новизной обладают следующие результаты исследования:

1. Оригинальный язык текстовой разметки описания тестовых вопросов для автоматизированного компьютерного тестирования, отличающийся от аналогов тем, что позволяет создавать тестовые вопросы как стандартного, так и произвольного вида.

2. Впервые разработан оригинальный алгоритм проверки прикладных компьютерных программ в образовании на основе программных шаб

К" лонов;

3. Модель проверки прикладных компьютерных программ, созданных на основе программных шаблонов.

4. Отдельные компоненты автоматизированного комплекса EduCAD Controls (EduCAD " Programs, EduCAD Tests, EduCAD Questions), введенные в систему контроля;. Ранее созданные автоматизированные системы не позволяли создавать тестовые вопросы произвольного вида и проводить тестирование компьютерных программ.

Практическая и теоретическая ценность работы.

Выявленные требования к системам автоматизированного тестирования! знаний и компьютерных программ; дают возможность строить универсальные обучающие алгоритмы, не зависящие от: операционной системы и среды программирования. По разработанным алгоритмам создано программное обеспечение. Таким образом; соблюдается - принцип- структурного проектирования /щ, сверху вниз (CASE), что позволяет существенно сократить время на кодирование и избежать многих ошибок, появляющихся при < написании; программы, «с нуля», без всяких методик и алгоритмов.

На базе системы * требований и созданного программного обеспечения к настоящему времени^ разработаны» блоки; автоматизированного тестирования? для трех КУП, а также проверено более пятисот компьютерных программ, созданных студентами Томского межвузовского центра дистанционного образования.

Принципы, положенные в основу проектирования комплекса и рекомендации по созданию шаблонов для компьютерных программ и разработки тестовых вопросов, могут быть использованы другими авторскими коллективами для дальнейших исследований в области дистанционного обучения и создания аналогичного программного обеспечения. Это же касается разработанных отдельных программных компонентов, которые могут быть использованы для конст-м руирования других систем.

Достоверность. результатов работы подтверждается успешным опытом длительной проверки компьютерных лабораторных работ по дисциплине «Вычислительная : математика». Также, сравнение: качества и; скорости разработки тестирующих программ с другими подобными■ системами' показало преимущество разработанного комплекса автоматизированного тестирования.

Внедрение результатов диссертации > и рекомендации по их дальнейшему использованию. В результате выполнения работы был создан автоматизированный ; комплекс тестирования! знаний и навыков EduCAD Controls. В основу создания комплекса были заложены требования^ выявленные на этапе исследования проблемной области.

С помощью автоматизированного комплекса * EduG AD Controls были разработаны программы автоматизированного * контроля знаний для нескольких учебных дисциплин.

Имеются; акты о > внедрении мультимедийных учебных пособий по вузовским? дисциплинам «Вычислительная математика», «Методы оптимизации», «Основы теории управления» и «Концепции современного естествознания» в образовательный процесс Томского межвузовского центра дистанционного образования (ТМЦДО). Кроме того, мультимедийное учебное пособие «Концепции современного естествознания» внедрено в учебный* процесс:Новосибирской государственной академии экономики и управления (НГАЭиУ).

В дальнейшем комплекс автоматизированного» тестирования! EduCAD Controls будет дорабатываться с целью соответствия новейшим тенденциям ДО; Положенные в его основу методологические и алгоритмические принципы могут быть использованы для дальнейшего развития системы автоматизированного тестирования знаний и систем проверки компьютерных программ.

Апробация работы и;публикации. Методика и результаты исследования обсуждалась на заседаниях семинара «Автоматизированные системы в учебном процессе» в 2000-2003 гг. на кафедре АСУ ТУСУР.

По теме диссертации опубликовано 24 работ, в том числе:

- 8 статей; среди которых две в центральной печати;

- 3 методических пособия;

- материалы 13 докладов на конференциях.

Основные результаты работы докладывались и обсуждались на следующих конференциях:

- всероссийской; межвузовской; научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика» (Москва, МИЭТ, 1999 г.);

- XXXVII международной научной студенческой конференции «Студент и научно-технический прогресс. Информационные технологии» (Новосибирск, НРУ, 1999 г.);

- третьей региональной научно-технической конференции студентов и молодых специалистов «Радиотехнические и информационные системы и устройства» (Томск, ТУ СУР, 1999 г.)

- международной научно-практической конференции «Технический университет: дистанционное инженерное образование» (Томск,. ТПУ, 2000 г.);

- четвертой региональной научно-технической конференции «Радиотехнические и информационные системы и устройства» (Томск, ТУ-СУР;2000г.);

- XXXVIII международной научной студенческой конференции • «Студент и научно-технический прогресс. Информационные технологии» (Новосибирск, НГУ, 2000 г.);

- VI международной конференции «Информационные технологии обучения», ИТО-2000 (Санкт-Петербург, СПбГЭТУ, 2000 г.);

- региональной научно-практической конференции «Прогрессивные технологии и экономика в машиностроении» (Юрга, 2002 г.);

Дипломная работа на тему «Электронные учебные пособия по естественнонаучным дисциплинам», в которой отражены начальные этапы исследования, отмечена дипломом Министерства образования открытого конкурса на лучшую научную работу студентов? по естественным, техническим и гуманитарным наукам в вузах РФ в 2001 году, а,также получила второе место на конкурсе дипломных работ и проектов ТУСУР за 2000 год. И

Учебный комплекс по. дисциплине, «Концепции; современного! естествознания — 2» в составе КУМПО (комплексного учебно-методического программного обеспечения) на Сибирской ярмарке 2002 года; в г. Новосибирске получил Большую золотую медаль. Этот учебный комплекс зарегистрирован в депозитарии электронных изданий ФГУП НТЦ «Информрегистр» Министерства РФ по связи и информатизации^ 16 января 2003 года, ему присвоен номер государственного учета 0320300013; Диссертационная работа выполнена в рамках двух проектов договоров ТМЦДО

Личный вклад диссертанта. В!диссертации приведены только те результаты, в получении которых автору принадлежит основная роль. Опубликованные работы написаны либо без соавторов, либо в соавторстве с сотрудниками; коллектива по;разработке компьютерных учебных пособийiкафедры АСУ ТУ-СУР и профессора НРАЭиУ Дубнищевой-Т.Я.

Автором создан комплекс автоматизированного тестирования EduCAD Controls и программное ядро компьютерного учебника «Концепции1 современного естествознания». Личный вклад в разработку учебных пособий: «Концепции современного естествознания»: ядро курса, программирование и дизайн электронного учебника, программы автоматизированного tтестирования, контрольные и лабораторные работы;. Автор материалов по дисциплине - профессор НГАЭиУ Дубнищева Т.Я. «Вычислительная; математика»: разработка шаблонов программ для лабораторных работ- Автор ? материалов по дисциплине - профессор кафедры АСУ ТУ СУР Мицель A.A. «Концепции современного естествознания - 2»: дизайн электронного учебника, программирование программ тестирования и лабораторных работ. Автор материалов по дисциплине - профессор НГАЭиУ Дубнищева Т.Я:

Основы теории управления»: программа тестирования знаний. Автор материалов по предмету - заведующий кафедрой АСУ ТУ СУР, профессор Кориков A.M. «Методы оптимизации»: программы тестирования знаний, контрольных работ и курсового проектирования. Авторы материалов t по дисциплине - профессор кафедры АСУ ТУ СУРs Мицель A.A. и доцент кафедры АСУ ТУСУР Шелестов A.A.

Первая, глава посвящена общему обоснованию целесообразности разработки; электронных, учебных пособий и автоматизированных систем контроля знаний. В начале главы рассматривается структура системы дистанционного обучения и место электронного учебного пособия в этой структуре. Приведены основные термины, использующиеся в дистанционном; обучении [77, 72, 69, 37]. Дан! сравнительный; анализ системы дистанционного > обучения: и. традиционного образования [13], прослежена история развития системы дистанционного обучения [2, 40, 71], рассмотрен процесс исторической трансформации электронных учебных пособий от первых специализированных приспособлений до современных компьютерных программ [57, 81, 13];

Далее,. в; пункте; 1.2 рассматриваются методологические и психологические аспекты разработки компьютерных учебных пособий; [84, 16]; Предложена схематичное изображение этапов разработки компьютерных учебных пособий с точки зрения методологии и дизайна. Рассматриваются основные психологические личностные типы и их особенности в работе с электронными учебниками, а также выявляются антагонистические типы характера; не приспособленные к обучению с помощью компьютера [42]. Также, исследуются; рекомендации ? дизайнеров по оформлению электронных учебников [35].

Процесс создания^ двух версий: электронного»учебника «Концепции современного естествознания» [17, 21] рассматривается• в пункте 1.3. Исследуются созданные электронные учебники по данной дисциплине [30, 43], проводится: анализ существующего программного обеспечения [48] для разработка электронного учебника. Описывается создание первой версии учебника, структура; с минимальной» автоматизацией процесса разработки и г структура полученного учебника [9, 20]. Описывается вторая версия электронного учебника, созданная уже на более высоком уровне автоматизации iпроцесса [17, 64, 19]. На основании сравнения усилий, затраченных на разработку первой' и< второй версии электронных учебников, делаются; выводы о несомненном положительном эффекте автоматизации разработки компьютерных учебных пособий.

В ? пункте 1.4 рассматриваются возможные области применения компьютерного тестирования. Выделяется два направления тестирования - тестирование знаний и тестирование: навыков, рассматриваются различные технологии и типы тестирования [1, 60 ,41]. Исследуются отличия технологии автоматизированного тестирования от традиционной i проверки знаний [52, 76] и рассматриваются области деятельности, в которых автоматизированное тестирование было успешно внедрено [83, 62, 51].

Вторая главам посвящена исследованию системы автоматизированной проверки знаний. В' начале главы рассматривается ситуация на рынке систем компьютерного тестирования знаний [39, 76, 55, 54, 44, 70, 79, 78, 50] и выдвигается ряд доводов в пользу создания собственной системы, а также выявляется необходимость выработки системы требований к автоматизированным системам контроля знаний.

В пункте 2Л сравниваются технологии локального и Интернет-тестирования, в результате выработано первое требование к системе контроля знаний — система должна позволять проводить как локальное тестировании, так и телетестинг.

В пункте 2.2 предлагается кодировать вопросы тестов при помощи языка текстовой г разметки [7] и исследуются уже существующие языки разметки для« этих целей [82, 53]. Делаются выводы о том; что язык текстовой разметки должен создаваться на базе стандарта XML [3^59], рассматривается общая структура стандарта XML.

Пункт 2.3 посвящен рассмотрению аспектов; защиты данных тестирования от несанкционированного доступа: Исследуются ? уровни защиты системы автоматизированного тестирования [60, 49; 52], затем рассматриваются алгоритмы ; шифрования данных [26, 10]. В результате предлагается; для шифрования информации использовать модификацию известного алгоритма сжатия данных LZW [87].

В«пункте 2.4 рассматриваются алгоритмы оцениваниям ответов на;тестовые вопросы. Сперва выводится общая формула оценки на вопрос с.точки зрения теории множеств. Затем рассматриваются; типы тестовых вопросов и ал го-ритмы обработки ответов на вопросы открытого типа [12, 34, 23 ^ 32, 75]. Далее выводитсяI формула общей?оценки! за-прохождение тестирования как нормаль-ной^ так и адаптивной форм:

Учитывая ранее полученные результаты, в^ пункте. 2.5 формулируются требования к системе автоматизированного тестирования. На основании* этих требований возможно дальнейшее; построение: системы автоматизированного компьютерного тестирования.

Третья глава посвящена исследованию возможности автоматизации? проверки^ компьютерных программ5в системе образования; Сначала рассматриваются классические положения по испытанию компьютерных программ [3^ 14, 3 8] и опыт проверки; программ на олимпиадах по программированию ([27, 28, 29, 68, 58, 38]. Далее проводится частичная?декомпозиция'модели автоматизированного тестирования компьютерных программ (и рассматривается математическая модель испытания программ.

В пункте 3^2 предлагается метод шаблонов проверки компьютерных программ [46]. Сначала исследуется понятие шаблона компьютерной программы и приводятся г примеры листингов программ; Затем: выявляются требования, предъявляемые к разработке шаблонов, и на их основе строится! алгоритм разработки шаблонов компьютерных программ:,

Возможности обнаружения: фактов фальсификации и плагиата компьютерных программ обсуждаются, в пункте 3.3. Перед началом; исследования сдается определение терминам; фальсификации, оригинальности и плагиата в области создания программ. Рассматриваются распространенные среди студентов^ методы фальсификации кода программ и возможные пути 1 их обнаружения: Затем исследуются проблемы автоматизированного обнаружения- плагиата кода программ путем сравнения: тестируемой программы с банком данных; ранее: проверенных работ. Результатом исследования является создание общего алгоритма проверки оригинальности и нефальсифицированности тестируемой программы.

В;пункте 3.4 проводится окончательная декомпозиция>модели автоматизации проверки компьютерных программ в образовательном ? процессе на основе метода шаблонов. В результате построения данной модели становится возможным построение системы автоматизированной проверки: компьютерных программ для образования:

Четвертая; глава посвящена; практической реализации ранее полученных теоретических результатов * в виде комплекса тестирования EduCAD Controls. Вначале рассматриваются общие сведения о комплексе EduCAD, дается ее структурная схема и определяется место в нем для комплекса тестирования.

В' пункте 4.2 описывается; созданная система автоматизированной проверки компьютерных программ; EduCAD * Programs. Рассматриваются два возможных пути коммуникации тестируемой программы с системой проверки, исследуются их достоинства и недостатки; Далее перечисляются> типы данных, с которыми • работают тестируемые компьютерные программы, приводятся \ примеры шаблона данных для тестирования и набора тестовых данных

Пункт 4.3 посвящен системе автоматизированного тестирования знаний EduCAD Tests. Вначале приводится: общая структура встроенного языка: текстовой разметки EduCAD Tests,.приводится пример тестового вопроса; созданного в системе. Проводится сравнительный анализ * системы EduCAD Tests с другими популярными системами автоматизированного тестирования знаний.

В пункте 4.4 рассказано о системе генерации контрольных вопросов EduCAD Questions. Приводится структура кодирования вопросов, приводится алгоритм генерации списка вопросов в зависимости от выбранного варианта.

В' пункте 4.5 дается: краткая справка о продуктах, разработанных. в комплексе EduGAD Controls.

Автор г выражает искреннюю благодарность своему научному руководителю, Мицелю Артуру Александровичу, а также коллективу кафедры-АСУ ТУ-СУР, за помощь в работе над диссертацией; и лично Корикову А.М:, Шелестову А;А:,.Романенко В.В., Клыкову В;В:, Бойченко H.Bi, Милякову A.M., Окладникову И.Г. гх1ава1 Теоретическое обоснование целесообразности^разработки; электронных учебных пособий и автоматизации контроля знаний!

Для начала введем некоторые определения. ВI данной; главе рассматриваются ; общие принципы функционирования и создания компъютерныхучеб-ных пособий (КУП). Иногда вместо КУП используется: аналогичный термин -«электронное учебное пособие» (ЭУП). Также часто используется; термин; «электронный учебник» (ЭУ), под которым подразумевается.; «программно-методический; комплекс, обеспечивающий возможность самостоятельного или« при участии преподавателя освоения учебного курса . именно при помощи компьютера» [77]. Термины. «КУП» и «ЭУП» подразумевают более широкое толкование,, и под ними; могут подразумеваться» виртуальные лаборатории и системы автоматизированного тестирования не только в составе единого комплекса (ЭУ), но и в качестве отдельных программ.

На сегодняшний день КУП довольно широко используются как дополнительное средство обучения в школах, техникумах и вузах,.но наибольшее распространение они получили при заочной форме обучения: Более того, использование КУП преобразило сам процесс обучения- на расстоянии; так что даже появился новый термин — дистанционное обучение (ДО).

Несмотря- на то, что термин «дистанционное обучение» стал известен недавно, технология, ДО появилась, довольно давно- Отдельные исследователи: (например, [72]) вообще считают, что рождением ДО можно считать появление; письменности. На сегодняшний день во всем мире, в том числе и в России, все большее и большее число вузов * развивают системы ДО. Развивается и методическое обеспечение для ДО: каждый год на русском языке выходят десятки; электронных учебников; энциклопедий, обучающих игр.

Существует множество» трактовок термина? «дистанционное обучение; приведем только две из них.Формулируя кратко, «ДО - совокупность технологий, позволяющих реализовать образовательный процесс с удаленным пользо

17 вателем» [69]. Более полное определение приведено в [37]: «ДО - комплекс образовательных услуг, предоставляемых широкому кругу потребителей с помощью специализированной информационно-образовательной среды, базирующейся? на деятельностной; методологии обучения, интенсивных методах обучения, средствах обмена учебной информацией на расстоянии».

Под тестированием подразумевается; процесс исследования объекта тестирования на предмет наличия у него предполагаемых свойств с помощью заданных алгоритмов. Под тестированием * знаний в образовании4 подразумевается процесс проверки знаний с помощью заранее подготовленной базы тестовых вопросов. Тестовый вопрос подразумевает; наличие однозначного ■ алгоритма определения правильности ответа.

Применение дистанционных образовательных технологий« в образовательных учреждениях высшего, среднего и дополнительного профессионального образования РФ регулируется приказомI Министерства; образования РФ №4452 от 18.12.2002 г. и федеральной; целевой) программой «Развитие единой образовательной информационной среды на 2001-2005 годы» от 24.04.2001 г.

3.5 Выводы

В t результате исследования, проведенного в этой главе, можно сделать следующие выводы: автоматизированное тестирование компьютерных: программ в образовании имеет свои неоспоримые преимущества и дает существенный экономический эффект, позволяя оптимально использовать время преподавателя, выделенное на проверку программ студентов.

Автоматизированная проверка программ в образовательном процессе пригодна лишь для тех дисциплин, в которых процесс программирования вторичен, то есть для дисциплин прикладного программирования.

Метод шаблонов позволяет, во-первых, оптимизировать процесс создания студентами; прикладных программ, и,, во-вторых, благодаря унификации > процесса обмена; данных программы; с внешней средой, существенно; облегчить процесс проверки программы.

Автоматизация возможна для всего цикла проверки программы: ее тестирования на заданных примерах, проверка ее оригинальности и проверка на попытки, фальсификации студентами программ. Успешно проверенные работы добавляются; в банк данных для последующего; определения оригинальности проверки компьютерных программ.

Приведенное в этой главе; исследование завершается построением модели, отражающей структуру АТП.На основе данной модели можно создать реальную САТП, что и было сделано на примере САТП EduCAD Programs, о которой пойдет речь в четвертой главе.

Глава 4. Комплекс автоматизированного тестирования EduCAD Controls

Во второй и третей главе были выработаны требования к системе автоматизированного тестирования компьютерных программ и системе автоматизированной проверки знаний. Полученные данные позволяют практически реализовать эти системы, и на их основе были созданы программные модули, вошедшие в комплекс автоматизированного тестирования EduCAD Controls. Комплекс EduCAD Controls является частью автоматизированного комплекса? создания средств поддержки электронного обучения EduCAD.

4.1 Общие сведения о комплексе EduCAD

Структура комплекса создания средств поддержки электронного обучения EduCAD, изображенная на рис. 4.1, разработана В.В. Романенко [66].

Автоматизированный комплекс EduCAD состоит из серверной и клиентской части. Серверная часть — это среда разработки электронного обучающего комплекса (ЭОК), к клиентской, части ; относятся разработанные модули ЭОК, поставляемые студентам.

Введение центров управления предназначено для обеспечения связей между отдельными компонентами комплекса. На данный момент центром управления АК EduCAD является набор формализованных соглашений о; формате обмена данными его компонентов с хранилищами данных по текущей предметной области и друг с другом. В дальнейшем планируется создать программный центр управления без существенных изменений компонентов комплекса. Центр управления ЭОК реализуется на программном уровне, он обеспечивает удобный доступ ко всем компонентам ЭОК и предотвращает повторный запуск уже загруженных компонентов.

Среда разработки электронного обучающего комплекса

АС разработки ЭУ EduCAD Textbook 2

АС проверки знаний и навыков EduCAD Controls

-N

АС проектирования презентаций EduCAD Presentation

Динамический шаблон EduCAD Practice

С—V

Электронный учебник

Контроль знаний

Практические работы

Анимированные презентации и Е к г з X

5 я п я

К «

S ю

0 я 1

CL О

О <

О з О щ < к та н ж

L> ж о с о

Центр управления АК EduCAD

Базы данных по предметной области

Центр управления эок

Среда эксплуатации электронного обучающего комплекса

Рис. 4.1 - Серверная и клиентская части АК EduCAD

Клиентская часть представлена компонентами, входящими в сам АК EduCAD, но с урезанной функциональностью. Они обладают возможностью только просматривать предметные данные, но не редактировать их.

На рис. 4.2 изображена структура комплекса автоматизированного тестирования EduCAD Controls. Комплекс EduCAD Controls состоит из трех взаимонезависимых частей: системы автоматической генерации вопросов EduCAD

Questions, системы автоматизированного контроля знаний EduCAD Tests и системы автоматизированной проверки компьютерных программ EduCAD Programs. Все компоненты комплекса реализованы в системе визуального проектирования Borland Delphi и работают на ПК под управлением 32-разрядной ОС Microsoft Windows. Далее рассмотрим эти компоненты подробнее.

РЕДАКТОР ТЕСТОВЫХ ВОПРОСОВ

БАНК ТЕСТОВЫХ ВОПРОСОВ

МОДУЛЬ ТЕСТИРОВАНИЯ

БАНК ПРОВЕРОЧНЫХ ДАННЫХ

МОДУЛЬ ПРОВЕРКИ

ПРОГРАММ

-^^

БАНК ПРОВЕРЕННЫХ ПРОГРАММ

EduCAD Tests ь • — — - ------------------------ --------

РЕДАКТОР КОНТРОЛЬНЫХ ВОПРОСОВ

БАНК КОНТРОЛЬНЫХ ВОПРОСОВ

МОДУЛЬ ОПРОСА

EduCAD Programs

EduCAD Controls

EduCAD Questions

Рис. 4.2 - Структура комплекса EduCAD Controls

4.2: Система автоматизированной проверки; компьютерных программ EduCAD Programs

САТП EcluGAD ? Programs первоначально создавалась для? автоматизации процесса проверки компьютерных лабораторных работ по дисциплине «Вычислительная математика» на кафедре АСУ ТУСУР. В дальнейшем система развивалась в плане большей стандартизации:

Общая структура САТП EduCAD Programs представлена на рис. 3.2. Для: ее* реализации потребовалось, разработать систему интерфейса «программа; -система проверки». Таким интерфейсом обмена фактически являются формализованные правила обмена данными. В! системе EduCAD Programs предусмотрены два типа обмена данными между программой и системой тестирования:;

• Закрытое тестирование. В данном случае в шаблон программы включены все наборы данных для тестирования программы. На: вход тестируемой программы подается только номер тестового набора: Достоинством закрытого типа тестирования является удобство проверки / работоспособности программы самим студентом, недостатком — простота фальсификации программного кода. Закрытое тестирование применялось при> разработке; шаблонов: лабораторных работ «Вычислительная математика» (приложение Б);

• ^ При? открытом тестировании САТП эмулирует ввод реальных данных пользователем. Это достигается переключением стандартного устройства ввода stdin, которым по умолчанию является клавиатура, на файл с тестовыми данными. Открытое тестирование может быть применено не во всех случаях: там, где в > исходный набор входят данные нестандартного типа (например, арифметическая функция), предпочтительнее использовать закрытое тестирование. Результат работы компьютерных программ, тестируемых в САТП EduCAD Programs выводится либо на стандартное устройство вывода stdout (по умолчанию экран), либо в текстовый файл out. txt. Полученный текстовый файл обрабатывается в системе.

Для каждой задачи в банке данных САТП хранится массив входных данных и соответствующий ему массив выходных данных. При тестировании программы система сравнивает полученный в результате работы программы набор выходных данных с тестовым набором; тестирование проводится по всем наборам данных из массива. Численные данные сравниваются с учетом относительной погрешности результата, заданной разработчиком. Результат тестирования программы приведен в приложении В.

Формат наборов входных и выходных данных для каждой задачи определяется шаблоном данных: Шаблон данных представляет обычный текстовый файл, в каждой строке которого описывается один элемент набора данных. В таблице 4.1 приведены типы данных, которыми может оперировать система EduCAD Programs. Пример шаблона данных приведен на листинге 4.1.

Заключение

В результате проведенных исследований была решена актуальная научно-техническая задача автоматизации контроля знаний и навыков студентов технических вузов. Основные результаты диссертационной работы состоят в следующем::

1. впервые предложен метод, облегчающий разработку и проверку прикладных компьютерных программ для технических дисциплин («метод шаблонов»);

2. предложен оригинальный алгоритм проверки компьютерных программ с целью выяснения фальсификации и плагиата;

3. разработана модель автоматизированной проверки компьютерных программ в образовательном процессе, основанной на методе шаблонов;

4. выработаны требования, предъявляемые к языку текстовой разметки; описания тестовых вопросов;

5. на основе выработанных требований, создано формальное описание языка текстовой разметки «EduCAD Tests»;

6. разработаны формальные требования к созданию системы автоматизированного контроля знаний;

7. на; основе всей выявленной совокупности требований и проведенных исследований разработан программный комплекс для проверки знаний и навыков «EduCAD Controls», включающий систему автоматизированного тестирования, систему проверки компьютерных программ и систему выдачи заданий;

8. в рамках комплекса EduCAD Controls автоматизированным способом, быстро и качественно разработан ряд модулей тестирования и заданий, а также проведено тестирование большого количества компьютерных программ по дисциплине «Вычислительная математика»;

9. разработаны две версии компьютерного учебника «Концепции современного естествознания». В дальнейшем результаты работы могут быть использованы в различных целях:

1. Выявленная совокупность требований обеспечивает системный подход к проектированию автоматизированной системы проверки знаний.

2. По результатам исследований могут быть построены универсальные алгоритмы тестирования компьютерных пограмм.

3. Общие концепции автоматизации, положенные в основу создания всех компонентов комплекса EduCAD Controls, могут быть использованы для создания других подобных автоматизированных систем.

В заключение дадим следующие рекомендации:

1. Рекомендуется дальнейшее использование автоматизированного комплекса EduCAD Controls для осуществления проверки знаний и навыков студентов технических вузов.

2. Комплекс EduCAD Controls должен дорабатываться с целью соответствия новейшим тенденциям дистанционного обучения.

1. Ван Тассел Д. Стиль, разработка, эффективность, отладка и испытание программ; М;: Мир, 1985.

2. Веретенников М.В. Автоматизация проверки компьютерных программ в технических дисциплинах. // Дистанционные образовательные технологии. Выпуск 1: Пути реализации. Сборник научных трудов. Томск: ТУ СУР, 2004.-С. 52-61.

3. Веретенников! М.В4. Автоматизация проверки компьютерных программ» в технических дисциплинах. // Дистанционные образовательные технологии. Выпуск 1: Пути реализации. Сборник научных трудов. Томск: ТУСУР, 2004.-С. 52-61.

4. Веретенников М.В. Пакет для автоматизированного контроля1 знаний. // Материалы XXXVIII'международной научной конференции «Студент и научно-технический прогресс»: Информационные технологии. — Новосиб. Кн-т, Новосибирск, 200. С. 40.

5. Грис Д., Наука программирования. М.: Мир, 1984.

6. Демкин В .П., Можаева Г.By Технологии дистанционного обучения и анализ их эффективности // Тезисы докладов- всероссийской; научно-методической конференции «Телематика-2002». С-Пб, 2002.

7. Донской М; Интернет и пользовательский интерфейс // Мир Internet,1999, №9.

8. Д у б нищева Т. Я. Концепции современного естествознания; Новосибирск: ЮКЭА, 1997.

9. Дубнищева Т.Я., Мицель А.А, Веретенников М.В. Концепции современного естествознания: Методические указания к электронному учебнику. Томск,. 1999:36 с.

10. Дубнищева Т.Я;, Мицель А.А, Веретенников«М.В. Новая версия электронного учебника по дисциплине "Концепции современного естествознания" // Открытое и дистанционное образование, №4, 2002.

11. Дубнищева Т.Я., Мицель А.А, Веретенников М.В. Создание электронного учебника «Концепции современного естествознания»; // Высшее образование в России, №6,2000.2Г.Дубнищева Т.Я., Пигарев А.Ю. Современное естествознание. Но-^ восибирск: ЮКЭА, 1998;

12. Иванов В. JI. Электронный учебник: системы контроля знаний // Информатика и образование, №1, 2002: С. 71-79.

13. К ар п о в а И. П. Анализ; ответов обучаемого ; в автоматизированных обучающих системах. // Информационные технологии, №11,2001. С.49-55.

14. Керниган Б.В., Ричи Д.М. Язык Си.

15. Кнут Д . Искусство программирования для ЭВМ." В 3 т. М.: Мир, 1976.

16. Ковалевский В., Максимов В. Криптографические методы.// КомпьютерПресс. 1993; - N 5. - с. 31 - 34.

17. Командный чемпионат мира по программированию АСМ 1998/1999. СевероВосточный Европейский» регион / Под ред. проф. В.Н.Васильева и проф. В.Г.Парфенова. С.-Петербург: СПбГИТМО(ТУ), 1998; - 112 с.

18. Командный чемпионат мира по программированию АСМ 1999/2000. СевероВосточный Европейский регион / Под ред. проф. В.Н.Васильева и проф.

19. В.Г.Парфенова. С.-Петербург: СПбГИТМО(ТУ), 1999. - 96 с.

20. Командный чемпионат мира по программированию АСМ 2000/2001. СевероВосточный Европейский регион / Под ред. проф. В.Н.Васильева и: проф. В.Г.Парфенова. С.-Петербург: СПбГИТМО(ТУ), 2000.- 120 с.105

21. ЗО.Концепции современного естествознания, электронный учебник / Режим доступа: http://nrc.edu.ru/est/.

22. Г.Кор и ко в A.M., Сафьянов а E.H. Основы системного анализа-и теории систем: Учебное пособие. Томск: Изд-во Том; Ун-та, 1989. 207 с.

23. Кориков A.M., Сырямкин В.И., Титов. B.C. Корреляционные зрительные системы роботов. — Томск: Радио * и. связь, Томское отделение, 1990. -264 с.

24. Коровкина Н. Интеллектуальное сравнение текстовых файлов // "Молодая наука XXI веку": Тезисы докладов. Часть. VI - Иваново, 2001 г., С.61.

25. Коршунов П.Ф., Мирошниченко Е.А. Обработка естественного языка в системах с автоматизированным контролем знаний. // Открытое образование, №4; 2001. С. 30-36.

26. Кречетников K.F. Особенности проектирования интерфейса средств обучения // Информатика и образование, №4,2002. с. 65-72.36;Кручинин В.В. Генераторы в компьютерных учебных программах. Томск: Изд-во Том. Ун-та, 2003. - 200 с.

27. ЗЭ.Майерс Г. Искусство тестирования программ; М.: Финансы и статистика, 1982

28. Малкина О.И, Сошников Д.В. Создание интерактивных систем адаптивного тестирования в среде Интернет с использованием технологийискусственного интеллекта. / Режим доступа: http://nit.itsoft.ru/cgi-bin/article?id=89.

29. Манькова O.A. Некоторые проблемы компьютеризации обучения //и >

30. Высшее образование в России, №3V 1998. С. 95.43:Матюхин С.И., Фроленков К.Ю. Мультимедийный учебно-методический комплекс "концепции современного естествознания" / Режим доступа: http://www.ostu.ru/sciencer/prog/educmain/kse.html.

31. Ми х е е в а Т. И. Тестирование знаний на основе мультимедийных кроссвордов // Информационные технологии, №9, 2001. С. 49-52.45;Мицель A.A. Вычислительная математика. Учебное пособие. — Томск: ТМЦ ДО, 2001. 228 с.

32. Мицель A.A., Веретенников М.В. Электронный лабораторный практикум ? по вычислительной математике. // Доклады Томского государственного университета систем управлениями радиоэлектроники. Том 6. Сборник трудов. ТУ СУР, 2001. - С. 45.

33. Мицель A.A., Веретенников М.В., Романенко В.В. и др.*. Концепция современного мультимедийного учебника: Учебно-методическое пособие. Томск: ТМЦЦО, 2004. - 62 с.

34. М и ц е л ь А.А., Веретенников^М.В. Электронный учебник в системе 4t дистанционного обучения // Доклады: Томского государственного университета систем управления и радиоэлектроники. Том 3. Сборник трудов. ТУ-СУР, 1999.-С. 197.

35. Моисеев: В.Б., Усманов В.В., Таранцева K.P., Пятирублевый JI.Г. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы // Открытое образование, №1, 2001. С. 51-58.

36. Павличенко Ю.А, Хатьков Н.Д. Автоматическое формирование индивидуального учебного курса. // Открытое образование №5,2001. С.28-31.

37. Пантелеев Е.Р. Среда разработки программ дистанционного обучения■ РИПЕРТЕСТ: логистическая модель и архитектура // Информационные технологии, №5,2001.

38. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа. — Томск: изд-во HTJI, 2001. 396 с.

39. Петренко Д.А. Разработка системы автоматической:проверки решений задач по программированию «Олимпия 2.0» Дипломная работа.— Томск, 1999 / Режим доступа:http://www.inf.tsu.ru/Library/DiplomaWorks/CompScience/1999/Petrenko/diplo m.pdf.

40. Профессиональная оценка Ваших знаний. Тестирование OnEine. / Режим» доступа: http://tests.specialist.ru/.

41. Романова Н.И. НИТ в управлении качеством образования / Режим доступа: http://www.nerungri.edu.ru/muuo/konfnit/shl7/romanova.doc.

42. Система проведения^ соревнования EJudge / Режим доступа: http://contest.cmc.msu.ru/download/.

43. Степанов A.B., Степанов Ю.А. Дистанционное образование и производство // Технический; университет: дистанционное инженерное образование. Труды « международной научно практической конференции. Томск: Изд. Томск, политехи, ун-та. - 1998. - С. 7.

44. Т а р а с о в С. А. Автоматизированная ; система оценивания; знаний / Режим доступа: http://pomm.paneuromedia.com/DEVEL/testing.html.

45. Тихомиров В.П. Дистанционное образование в России // Дистанционное образование; 1996. - №1.

46. Т и х о м и р о в В. ГГ. Дистанционное образование: история, экономика, тенденции; //Дистанционное образование, 1997, №2.

47. Томиленко В.А., Борисов G.И. О дополнительной клавиатуре в обучающих программах. // Современное образование: качество и новые технологии. Тезисы докладов научно-методической конференции. — Томск, ТУСУР, 2000.-С. 91-92.

48. ТрояновскиЙ! В.М. Автоматизированный контроль знаний о системе взаимосвязанных понятий // Информатика и образование, №3, 2002! —С. 5456.

49. Ту Дж., Ронсалес Р. Принципы распознавания образов:.Пер. с англ;: Под ред. Журавлева Ю.И. М.:Мир, 1978; 414 с.

50. Хрущев> С.А. Технология «активный блок» для создания распределенных обучающих программных комплексов. / Автореферат диссертации на соискание ученой степени кандидата технических наук. — Омск, 2002. — 19 с.

51. Чупин H.A. Проведение олимпиад по информатике: Учебное пособие. Бийск: Изд-во БиГПИ, 1997

52. Шевелев Ю.П. Автоматизация самоконтроля в системе обучения «Символ». Томск: ТАСУР, 1996. - 111 с.

53. Яблочкин Л.Б., Андриянова М.А., Каргин А.В. «Гипертест»-новая технология для создания систем тестирования знаний. // Информационные технологии, №3,2001.- С. 25-27.

54. Brainbench The Measure of Achievement / Режим доступа: http://www.brainbench.com/.

55. Elliott С., Brezinski J. Autonomous agents as synthetic characters // AI Mag, 1998. Vol. 19 №2.

56. Extensible Markup Language (XML) 1.0. W3C Recommendation 10-February-1998 / Режим доступа: http://www.w3.org/TO1998/REC-xml-19980210.html.

57. ISO 8879. Information Processing Text and Office Systems - Standard Generalized Markup Language (SGML), 1986 / Режим доступа: http://www.iso.ch/cate/d16387.html.

58. Welch Terry A., A Technique for High Performance Data Compression// IEEE Computer, vol. 17 no. 6 (June 1984).