автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.05, диссертация на тему:Аппаратно-программное устройство для контроля и защиты ответов в системах автоматизированного обучения

ВВЕДЕНИЕ.

1. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРОБЛЕМЫ АВТОМАТИЗАЦИИ САМОКОНТРОЛЯ И ВНЕШНЕГО КОНТРОЛЯ.

1.1. Два подхода к проблеме. Их достоинства и недостатки.

1.2. Обзор публикаций о системе «Символ».

1.3. Множественный выбор в существующих системах автоматизированного обучения.

1.4. Множественный выбор в НДС «Символ».

1.5. Выводы.

2. РЕАЛИЗАЦИЯ КОНТРОЛИРУЮЩЕГО УСТРОЙСТВА НА НЕ АНТРОПОМОРФНОМ ПРИНЦИПЕ.

2.1. Новые алгоритмы распознавания правильности ответов.

2.2. Структура контролирующего устройства.

2.3. Контроллер «Символ-ISA».

2.4. Контроллер «Символ-LPT».

2.5. Алгоритм обмена данных между контроллерами и компьютером.

2.6. Служебное программное обеспечения функционирования устройства.

2.7. Новое специализированное логическое контролирующее устройство «Символ-ИДС».

2.8. Контролирующая система на базе устройства «Символ-КОМ».

2.9. Анализ защиты существующих контролирующих систем на возможность «взлома».

2.10. Защита контролирующих систем на основе устройства «Символ-КОМ».-.

2.11. Выводы.

3. МНОЖЕСТВЕННЫЙ ВЫБОР В КОНТРОЛИРУЮЩИХ СИСТЕМАХ.

3.1. Вводные положения.

3.2. Булева модель критерия дихотомической оценки ответов в системах множественного выбора.

3.3. Булевы функции одного аргумента.

3.4. Множественный выбор с двумя альтернативами.

3.5. Множественный выбор с несколькими альтернативами.

3.6. Две задачи булева моделирования критерия правильности выборочных ответов в системе «Символ».

3.7. О неоднозначности кодирования альтернатив в системах множественного выбора.

3.8. Метод нахождения булевых функций по кодам заданий и кодам альтернатив.

3.9. Табличный метод нахождения булевых функций.

3.10. Кодирование булевых функций.

3.11. Операции над булевыми функциями.

3.12. Выводы к главе 3.

4. ПРАКТИЧЕСКОЕ ИССЛЕДОВАНИЕ РЕЖИМОВ РАБОТЫ УСТРОЙСТВА «СИМВОЛ-КОМ».

4.1. Исследование работы устройства «Символ-КОМ» в режиме «Импликанта».

4.2. Кодирование заданий с учетом безразличия альтернатив.

4.3. Кодирование заданий симметрическими булевыми функциями.

4.4. Общий режим тестирования с самоконтролем.

4.5. Общий режим тестирования без самоконтроля.

4.6. Освоение таблиц сложения и умножения в начальной школе.

4.7. Бескодовое представление заданий.

4.8. Двойное кодирование усложненных заданий.

4.9. Кодирование усложненных заданий с промежуточным самоконтролем.

4.10. Кодирование с использованием пароля.

4.11. Выводы.

Традиционная система массового обучения, основанная на принципе «человек учит человека», давно отстает от потребностей практики [15, 120, 163, 173, 174]. В связи с этим многие специалисты стали разрабатывать свои индивидуальные методы обучения и создавать новые образовательные системы. Примером может служить система развивающего обучения Эльконина-Давыдова [2]. Все усовершенствования традиционной системы обычно дают неплохой эффект, но этот эффект слишком зависит от личности учителя (преподавателя), а потому массовое применение методов, разработанных новаторами, является весьма проблематичным. Проблема же образования состоит в том, что «.эффективность и качество обучения требуется повысить значительно и неотложно на всех ступенях образования в масштабах всей страны» [15, с. 17] Это относится не только к общеобразовательной школе, но и к высшему образованию со всеми его формами обучения — очной, заочной, дистанционной и др.

В общем случае учебный процесс можно разделить на несколько составляющих:

1) предъявление учебного (теоретического) материала;

2) самостоятельная (в основном практическая) работа учащихся;

3) обеспечение внешнего контроля теоретической и практической деятельности учащихся.

На каком же этапе и чем не устраивает нас традиционная — «ручная» — система обучения? Каковы ее главные недостатки? Одним из наиболее существенных ее недостатков является почти полное отсутствие возможности оперативного самоконтроля при самостоятельной работе. А это значит, что самостоятельное освоение того или иного учебного курса сопряжено со значительными трудностями, и что для успешного его изучения необходим преподаватель.

За всю историю существования традиционной системы ею выработано только одно средство для самопроверки — открытые ответы, т. е. те ответы, которые учащийся должен получить в результате решения соответствующих задач и которые, как правило, приведены в конце учебных пособий. Если открытые ответы не содержат подсказок, то они неплохо выполняют свои функции. Но таких случаев немного. Гораздо чаще открытый ответ обесценивает задачу. Особенно это относится к тем случаям, когда на пути к решению либо нет никаких логических действий, либо их немного. Полистаем школьные учебники, и мы обнаружим, что в начальной школе система открытых ответов вообще не используется, а в старших классах ответы встречаются только в учебниках математики, химии, физики и то далеко не в полном объеме: ответы даны лишь к относительно сложным задачам. Нет открытых ответов в учебниках русского и иностранного языков, географии, черчения и других школьных предметов. В вузовских учебниках также много упражнений без открытых ответов. Например, книга [14] является учебником. В ней довольно много вопросов, задач и упражнений, но нет ни одного открытого ответа. Значит, самоконтроль исключен, и работать с учебником можно лишь под прямым присмотром преподавателя. Если же преподаватель отсутствует, то некому сказать, правильно ли учащийся выполнил упражнение, следовательно, работа над упражнением почти полностью лишается смысла. И таких книг можно указать много, например: [14, 18, 32, 53, 87, 96]. В [25, 26, 27, 28] лишь часть упражнений снабжена открытыми ответами. А в [140] вообще нет ни одного упражнения, хотя и говорится, что пособие предназначено для развития навыков логически стройного рассуждения.

Если же в учебном пособии указаны открытые ответы, то это не значит, что тем самым обеспечен полноценный самоконтроль. Системы открытых ответов отличаются многими недостатками. Суть одного из них, наиболее существенного, заключается в том, что открытые ответы значительно меняют характер учебной деятельности. Учащемуся, знающему ответ, нет необходимости его искать, решая задачу. Теперь этот ответ надо обосновать, т. е. найти такие рассуждения, в результате которых получился бы заданный ответ. Ясно, что рассуждения могут быть и неверными, но обнаружить это можно лишь в результате внешнего контроля.

Из сказанного следует, что открытые ответы проблему самоконтроля решают в недостаточной степени и если получили широкое распространение, то не благодаря своим достоинствам, а просто потому, что ничего лучшего пока никем не предложено.

В настоящее время большинство специалистов возлагают надежды на современные персональные компьютеры, надеясь с их помощью существенно повысить качество обучения в массовых масштабах, особенно при организации самостоятельной работы и внешнем контроле [4, 15, 51, 52]. Но при осуществлении этой задачи возникает множество проблем, из которых главными являются следующие две.

Первая заключается в том, что в сфере образования России используется недостаточное количество персональных компьютеров, и нет оснований надеяться, что в ближайшей перспективе эффект от их применения станет заметным в массовых масштабах, особенно, в общеобразовательной школе (в гораздо лучшем положении находится только высшее и, особенно, дистанционное образование). В подтверждение этого можно сослаться на проект, в котором к 2006 году планируется «довести число компьютеров в образовательных учреждениях до соотношения: один компьютер на 80 учащихся» [136, с. 3 - 4]. При таком числе компьютеров можно проводить лишь занятия по информатике. Что же касается других учебных предметов, таких, как физика, химия, математика, русский и иностранный языки, география, природоведение, астрономия и др. — изучение их с помощью компьютера возможно лишь эпизодически. Об этом в проекте [136] говорится следующее: «Центральную роль в оснащении будет играть компьютерный класс, который предназначается для проведения занятий по информатике, а также для проведения отдельных уроков по большинству школьных дисциплин» [136, с. 3 - 4]. Это говорит о том, что вопрос о массовости остается открытым.

Проблема, обусловленная недостаточным числом компьютеров, в принципе разрешима, это вопрос времени. Вторая же является гораздо более существенной: в разработках автоматизированных обучающих систем (АОС) нет никакой системы, никакого объединяющего начала, вследствие чего все АОС являются уникальными, разрозненными, не сопрягающимися между собой ни по каким параметрам. Отсюда дублирование разработок электронных учебников, их высокая цена при не всегда гарантированном качестве, трудности организации внешнего контроля, неясность вопросов, относящихся к дидактической эффективности компьютерного обучения вообще, слабая интеграция традиционных учебников с компьютерными, и многие другие. Все эти трудности, с которыми приходится сталкиваться разработчикам любых компьютерных обучающих систем, составляют «узкое» место в компьютеризации обучения. Не устранив его, трудно надеяться на успешное выполнение программы, представленной в проекте [136], где запланировано «создание и эффективное использование единой образовательной среды на компьютерной основе», и перечислены задачи, являющиеся первоочередными в выполнении программы. Например, одна из задач сформулирована следующим образом: «Создание, распространение и внедрение в учебный процесс современных электронных учебных материалов, их интеграция с традиционными учебными пособиями, а также разработка средств поддержки и сопровождения. Обеспечение качества, стандартизация и сертификация средств информационных технологий учебного назначения» [136, с. 7]. Совершенно очевидно, что эффективность выполнения программы [136] непосредственно зависит от того, насколько успешно будут преодолены вышеперечисленные и им подобные трудности.

Решением задач программы [136] может стать создание «промежуточного звена» между традиционными и компьютерными технологиями контроля, например, в виде специализированных недорогих контролирующих приборов, доступных по стоимости широким слоям населения, и которые можно было бы применять как отдельно, так и совместно с компьютером.

Еще одной очень важной проблемой в области организации самостоятельной работы и, особенно, компьютерного внешнего контроля является слабая защищенность образовательного программного обеспечения от «взлома» с целью доступа к правильным ответам и подделки результатов контроля [46, 55, 84, 118, 145, 152, 153, 154, 170]. Эта проблема вытекает из того, что в основном современные контролирующие системы строятся на антропоморфном принципе, суть которого применительно к автоматизации обучения заключается в использовании памяти компьютера для хранения эталонных ответов вместе с заданиями. Как правило, они шифруются, но, как показывает практика, их всегда можно расшифровать. Эта проблема особенно остро встала с появлением в России дистанционных технологий обучения, где внешний контроль знаний осуществляется в основном компьютером в отсутствие преподавателя.

Очевидно, что наилучший способ защиты от «взлома» состоит в отказе от антропоморфного принципа, т.е. в удалении из компьютерной памяти всех эталонных ответов. Такой способ применен при разработке алгоритмов работы специализированного устройства «Символ-К» [86]. Суть его в том, что перед условием всякого вопроса (задачи, упражнения) указывается в виде упорядоченной последовательности нескольких букв и цифр некоторый код, называемый кодом задания. Если в устройство ввести сначала код задания, а затем набрать верный ответ, то устройство признает его правильным. По коду можно восстановить ответ, но неоднозначно: всякому коду соответствует неограниченно большое число различных сообщений (интерпретируемых как ответы на те или иные вопросы), каждое из которых устройством будет признано правильным. Но действительно правильным из них является только один, а какой именно — в коде задания такой информации нет. Этим обеспечивается «невскрываемость» эталонов, благодаря чему принцип, заложенный в основу устройства «Символ-К», может быть использован для создания высокоэффективной контролирующей системы на базе компьютера. В связи с этим в данной работе рассматривается идея реализации компьютерной контролирующей системы на основе устройства, реализующего функционально те же алгоритмы распознавания ответов, что и специализированное устройство «Символ-К». Таким образом, предлагаемое устройство будет иметь аппаратно-программную структуру, т.е. собственно оно будет осуществлять проверку правильности ответов, а функции интерфейса будут реализованы программно компьютером.

С проблемой защиты от «взлома» тесно связана задача компьютерного распознавания правильности ответов, составляющая основную трудность при разработке любых автоматизированных систем обучения. В современных АОС наибольшее распространение получил альтернативно-выборочный принцип (множественный выбор), согласно которому всякий вопрос, предъявляемый компьютером студенту, сопровождается несколькими вариантами ответов, один из которых является правильным, а все остальные — неправильными. Множественный выбор привлекает простотой его программно-технической реализации, так как во всех случаях сводится к выбору только одной альтернативы из нескольких заданных. На практике же нередки случаи, когда возникает необходимость в более сложных критериях правильности ответа (КПО), в которых используется несколько альтернатив. При использовании антропоморфного принципа эта задача решается легко: достаточно записать в компьютерную память все «правильные» сочетания альтернатив. Если студент введет в компьютер хотя бы одну из них, то ответ будет признан правильным. Но в этом случае получится принципиально «взламываемая» система. Чтобы обеспечить «невзламываемость», альтернативы из компьютерной памяти, как уже было сказано выше, необходимо удалить. Тогда информация о критерии правильности ответа может быть представлена только в коде задания и в кодах, которые можно ставить в соответствие альтернативам вместо их порядковых номеров непосредственно перед заданиями. При этом возникает вопрос, в каком виде задавать сложные КПО в случаях неоднозначности ответов. В данной работе для представления КПО предложено использовать булевы функции.

Цель работы

Создание аппаратно-программного логического контролирующего устройства, обеспечивающего распознавание правильности не только естественных (натуральных), но и любых неоднозначных (многовариантных) выборочных ответов, с повышенной защитой эталонной информации от несанкционированного доступа во всех случаях внешнего контроля учащихся, а также защитой от подделки результатов контроля, и реализующего автоматизированное кодирование всех видов заданий.

Для достижения цели диссертации необходимо решить задачи:

1) построить булеву модель для представления критериев дихотомической оценки сообщений, интерпретируемых как ответы на вопросы в системах множественного выбора;

2) разработать алгоритмы, реализующие булевы критерии правильности ответов, и исследовать их на практическую применимость;

3) реализовать логическое контролирующее устройство на базе разработанных алгоритмов;

4) разработать пакет программ, реализующих контролирующую систему на базе созданного устройства и компьютера и обеспечивающего подготовку, кодирование и проверку как естественных (натуральных) ответов, так и неоднозначных ответов в системах множественного выбора.

Актуальность работы обусловлена тем, что с развитием компьютерных технологий в образовательном процессе появилась необходимость в создании эффективных систем самоконтроля, внешнего контроля и защиты информации.

Научную новизну работы составляют:

1) структура аппаратно-программного устройства, реализующего функции контроля и защиты ответов от несанкционированного доступа в автоматизированных обучающих системах;

2) новые алгоритмы распознавания неоднозначных ответов на основе множественного выбора, а также на базе систем с натуральными (естественными) ответами, и реализующее их логическое контролирующее устройство;

3) математическая модель для представления критерия правильности неоднозначных ответов при помощи булевых функций в системах множественного выбора;

4) метод кодирования булевых функций, моделирующих критерии правильности неоднозначных ответов в выборочных системах.

Задача исследований состоит в изучении теоретических и практических возможностей аппаратно-программного логического устройства, реализующего булеву модель дихотомической оценки сообщений.

Методы исследования.

Для достижения поставленной цели использовались разделы дискретной математики, такие, как булева алгебра, теория множеств, теория графов, комбинаторика. При создании устройств использованы элементы теории электрических цепей, цифровой и микропроцессорной техники. Для программной реализации разработанных алгоритмов в виде специализированных логических устройств и микропроцессорных контроллеров использован язык программирования Ассемблер для микроконтроллеров семейства ATMEL. Для разработки программного обеспечения компьютера используется язык Borland Delphi 4.0 for Windows 95/98/NT и Microsoft Visual Basic for Applications.

Практическая ценность работы заключается в следующем:

1) новые алгоритмы распознавания правильности ответов не требуют хранения в компьютерной памяти эталонных ответов. Алгоритмы реализованы в виде специализированных контролирующих устройств, названных «Символ

ИДС» (модификация — «Символ-ВУЗ»), и обеспечивающих самоконтроль и внешний контроль по любым учебным дисциплинам в любых учебных заведениях;

2) на базе специализированных логических устройств создано аппаратно-программное логическое контролирующее устройство, предназначенное для интеграции с системами контроля существующих компьютерных АОС, и обеспечивающее для них: а) реализацию самоконтроля индивидуальной работы учащихся; б) реализацию внешнего контроля учащихся; в) защиту эталонных ответов от несанкционированного доступа, и гарантирующее достоверность результатов внешнего контроля.

Внедрение и реализация в промышленности:

1) экспериментальная партия специализированных логических устройств в малогабаритном исполнении «Символ-ИДС» и «Символ-ВУЗ» (всего 30 шт.) внедрена в школе-гимназии № 7 г. Томска в 1999 году, где в течение трех лет постоянно используется на уроках в начальных классах;

2) комплект из трех экспериментальных устройств «Символ-ИДС» в настенном исполнении внедрен и используется в филиале Московского государственного открытого университета (МГОУ) г. Прокопьевска с июня 2001 года;

3) 25 специализированных контролирующих устройств «Символ-ИДС», 20 микропроцессорных контроллеров «Символ-LPT» с программным обеспечением внедрены в компьютерном классе отделения фундаментального образования (ОФО) ТУСУРа. Томск, 2000 г.

4) 60 специализированных контролирующих устройств «Символ-ВУЗ» и 10 аппаратно-программных устройств «Символ-КОМ» внедрено в Томском государственном архитектурно-строительном университете. Октябрь, 2001 г.

Достоверность полученных результатов подтверждается строгими математическими выводами и экспериментальными данными, полученными при внедрении и практическом использовании специализированных устройств, микропроцессорных контроллеров и программных средств.

Апробация работы.

Все вопросы, относящиеся к теме диссертации, обсуждались на 22 конференциях различного уровня - от внутривузовских до международных:

1. Межвузовская научно-практическая конференция, посвященная 65-летию СибГТМА, «Проблемы гуманизации и новые методы обучения в системе инженерного образования», г. Новокузнецк, 22-25 октября 1995 г. (опубликованы тезисы);

2. Межрегиональная научно-методическая конференция, посвященная 25-летию КемТИПП, «Проблемы развития различных систем подготовки специалистов», г. Кемерово, 17-18 октября 1996 г. (опубликованы тезисы);

3. Российская научно-практическая конференция «Образование в условиях реформ: опыт, проблемы, научные исследования», г. Юрга, 24 - 25 апреля

1997 г. (опубликованы тезисы);

4. XX научная студенческая конференция, Томск, ТУСУР, 14-17 апреля 1998 г. (доклад отмечен дипломом, публикации тезисов нет);

5. Третья Международная научно-практическая конференция «Технический университет: дистанционное инженерное образование», г. Томск, ТПУ, 11-13 мая 1998 г. (опубликован доклад в сборнике трудов конференции);

6. Всероссийская научная конференция «Гуманизация и гуманитаризация математического образования в школе и вузе», г. Саранск, 27 - 30 октября

1998 г. (опубликован доклад в сборнике материалов конференции);

7. Научно-методическая конференция «Самостоятельная работа студентов. Дидактическое и программное обеспечение», Томск, ТУСУР, 28 января

1999 г. (опубликованы тезисы доклада);

8. Региональная научно-техническая конференция студентов и молодых специалистов «Радиотехнические и информационные системы и устройства», Томск, ТУСУР, 25 - 27 мая 1999 г. (опубликованы тезисы доклада);

9. Научно-методическая конференция «Современное образование: качество и новые технологии», Томск, ТУСУР, 1 февраля 2000 г. (опубликованы тезисы доклада);

10. Региональная научно-техническая конференция «Радиотехнические и информационные системы и устройства», Томск, ТУСУР, 17 мая 2000 г. (опубликованы тезисы доклада);

11. VI Международная научно-практическая конференция студентов, аспирантов и молодых ученых «Современные техника и технологии», Томск, ТПУ, 28 февраля - 3 марта 2000 г. (доклад опубликован в трудах конференции);

12. Симпозиум «Итоги и перспективы развития образования на рубеже тысячелетий», Томск, ТГПУ, 22 - 24 декабря 1999 г. (два доклада опубликовано в материалах симпозиума);

13. Научно-методическая конференция «Формы организации самостоятельной работы студентов в современных условиях деятельности вузов», Томск, ТГПУ, 26 - 28 января 2000 г. (доклад опубликован в материалах конференции);

14. Региональная научно-методическая конференция «Современное образование: массовость и качество», Томск, ТУСУР, 1 - 2 февраля 2001 г. (опубликованы тезисы двух докладов);

15. VII Международная научно-практическая конференция студентов, аспирантов и молодых ученых «Современные техника и технологии», Томск, ТПУ, 26 февраля 2001 г. (доклад опубликован в трудах конференции);

16. Региональная научно-методическая конференция «Проблемы инженерного образования», Томск, ТГАСУ, 11-12 апреля 2001 г.

17. Региональная научно-техническая конференция «Радиотехнические устройства, информационные технологии и системы управления», Томск, ТУСУР, 18 мая 2001 г. (опубликованы тезисы доклада);

18. 7-я Международная научно-практическая конференция «Природные и интеллектуальные ресурсы Сибири (СИБРЕСУРС-7-2001)», Барнаул, 17-19 сентября 2001 г. (опубликован доклад);

19. Shevelev М. Yu. SOFT HARDWARE OMPLEX FOR THE SYSTEM OF OMPUTER-ADDED IN TRU TION // MODERN ТЕ UNIQUES AND ТЕ HNOLOGY MTT '2001: VII International Scientific and Practical onference of Students, Post-graduates and Young Scientists. — Tomsk, Russia, February 26 — March 2, 2001. (Опубликован доклад);

Кроме того, ряд работ по теме диссертации прошел апробацию в виде конкурсов и выставок:

1. «Компьютеризация самоконтроля в информационно-дидактической системе СИМВОЛ». Работа была представлена на Всероссийский конкурс в 1997 г. Отмечена медалью Минобразования РФ.

2. «Автоматизация кодирования в информационно-дидактической системе СИМВОЛ». По результатам открытого Всероссийского конкурса работа отмечена дипломом Минобразования РФ за 1998-й год.

3. «Программно-аппаратная система контроля и защиты информации для компьютерных обучающих систем». По результатам открытого Всероссийского конкурса работа отмечена дипломом Минобразования РФ за 2000-й год.

4. «Научно-методическое, дидактическое и программно-техническое обеспечение самостоятельной работы в современных системах образования». Данная работа (в соавторстве) в 1998 году была представлена на конкурс проектов в Межвузовской комплексной программе «Наукоемкие технологии образования» (МКП НТО). Работа прошла конкурс и включена в МКП НТО РФ.

5. За комплекс учебных пособий и контролирующих устройств «Символ-ВУЗ» для начальной школы получен диплом конкурса «Золотая медаль

Сибирской Ярмарки» (в соавторстве) на выставке УЧСИБ-2001 по разделу «Техническое обеспечение учебного процесса в области специального образования» (Томск, Технопарк, 2001 г.).

6. На межрегиональной выставке-ярмарке «Образование, карьера, занятость» в 2001 г. (Томск, Технопарк) за совместную разработку и внедрение электронного репетитора «Символ-ВУЗ» с комплектом учебников для начальной школы получен диплом (в соавторстве) конкурса «Сибирские Афины» в номинации «Лучший экспонат».

Основные положения диссертации опубликованы в следующих печатных работах [12, 49, 50, 71-73, 84, 145-161, 164, 180].

Личный вклад

Большинство приведенных в диссертации результатов получены автором лично. В основном это относится к теоретическим вопросам, связанным с построением булевой модели критерия правильности ответов, поиску новых алгоритмов для распознавания правильности ответов, проведению экспериментальных работ (изготовление контролирующих устройств), и разработке программного обеспечения для специализированных, аппаратно-программных устройств и компьютера, что отражено в 9 публикациях без соавторов [145 — 148, 152, 153, 161, 164, 180]. Часть результатов, касающихся методики использования аппаратно-программных устройств, получены в соавторстве [10, 50, 71, 73, 84,149, 150, 155, 157, 160].

К защите представляются:

1) аппаратно-программное устройство «С им вол-КОМ», специализированные контролирующие логические устройства «Символ-ИДС» и «Символ-ВУЗ», система автоматизированного кодирования заданий, контролирующая система на базе микропроцессорных контроллеров «Символ-ISA», «Символ-LPT» и система формирования протокола результатов, исключающая подделку результатов контроля;

2) математическая модель для представления критерия правильности ответов в виде булевых функций в системах множественного выбора, и метод кодирования соответствующих булевых функций;

3) алгоритмы распознавания ответов на базе вопросов не только с множественным выбором, но и с натуральными (естественными) ответами;

Диссертация состоит из введения, 5 четырех глав, заключения и приложений.

4.11. Выводы

В данной главе были исследованы и изучены новые алгоритмы распознавания правильности ответов, разработанные в главах 2 и 3 и реализованные в виде следующих режимов работы аппаратно-программного устройства «Символ-КОМ» и специализированных устройств «Символ-ИДС» и «Символ-ВУЗ»:

1) режим «Импликанта»;

2) режим, получивший название «универсальный режим тестирования»;

3) режим «Таблицы сложения и умножения».

В целом по результатам исследований, представленных в данной главе, можно сделать следующие выводы:

1) в режиме «Импликанта» можно задавать ослабленные критерии распознавания правильности ответов. Но эта «ослабленность» относится только к правильным составляющим ответа, когда разрешается найти их не все. Если же будет указана хотя бы одна неправильная составляющая, весь ответ признается неправильным. В общем случае, в принципе, ответ можно закодировать и так, что в него могут входить и неправильные составляющие, но такие способы кодирования еще не изучены, они выходят за рамки данной работы и будут исследованы в дальнейшем;

2) симметрическими функциями можно задавать любые критерии — от дизъюнктивного, содержащего требование указать хотя бы один правильный ответ, до конъюнктивного, когда ответ признается правильным при вводе всех правильных альтернатив;

3) универсальный режим тестирования обеспечивает возможность формирования заданий путем произвольного выбора закодированных упражнений из любых учебных пособий дидактического фонда системы «Символ», что намного упрощает подготовку заданий для тестирования;

4) во многих случаях возможно «бескодовое кодирование», при котором время, затрачиваемое на самоконтроль, сокращается до теоретического предела;

5) алгоритмы, реализующие тренаж освоения таблиц сложения и умножения, обеспечивают возможность формирования сложных упражнений гораздо чаще по отношению к простым;

6) при помощи паролей можно кодировать и усложненные задания точно таким же образом, как и при обычном кодировании, если вместо кодов заданий указывать пароли;

7) в общем случае число вопросов под одним кодом задания может быть любым. Однако, с практической точки зрения, при его выборе необходимо соблюдать меру, иначе задание можно настолько усложнить, что затраты времени на поиск ошибок окажутся совершенно неприемлемыми.

5. ЗАКЛЮЧЕНИЕ

В диссертации рассмотрены различные принципы построения контролирующих систем: антропоморфный и неантропоморфный. Рассмотрены их достоинства и недостатки. Основной недостаток контролирующих систем, построенных на антропоморфном принципе, заключается в принципиально слабой их защищенности от «взлома» с целью доступа к правильным ответам и подделки протокола результатов контроля.

Было установлено, что неантропоморфный принцип, заложенный в основу устройств «Символ», позволяет исключить эталонные ответы из памяти любых устройств и записывать их в зашифрованном виде (в виде кода задания) непосредственно в учебных пособиях перед условиями заданий.

Также было установлено, что по коду задания невозможно однозначно восстановить правильный ответ. Таким образом, благодаря основным свойствам алгоритмов, реализуемых специализированным устройством «Символ», а именно:

1) невозможности восстановления ответа по известному коду задания;

2) возможности исключения кодов заданий (зашифрованных ответов) из памяти;

3) распознаванию ответов, представленных как в натуральном виде, так и альтернативно-выборочном в рамках диссертации была создана компьютерная контролирующая система, которая обладает следующими основными свойствами:

1) имеет высокую степень защищенности от «взлома» с целью доступа к правильным ответам и подделки протокола результатов контроля;

2) может распознавать любые ответы, представленные как в натуральном виде, так и в альтернативно-выборочном;

3) реализует принцип «Книга + Компьютер», когда в качестве учебных материалов могут использоваться любые учебные пособия в полиграфическом исполнении, имеющие задания, закодированные в системе «Символ», а контролирующей системой служит компьютер с подключенным к нему устройством «Символ-КОМ» без каких-либо предварительных настроек на конкретный учебник или тему.

Основой созданной контролирующей системы является аппаратно-программное устройство «Символ-КОМ», подключаемое к компьютеру, прототипом которого явилось специализированное устройство «Символ», разработанное Б.Н. Махутовым в рамках его диссертации [85]. Контролирующая система создана на базе программного пакета Microsoft Office 97. Основные

108 достоинства этой системы состоят в простоте подготовки преподавателями материалов для контроля знаний учащихся, и в том, что для проведения контрольных работ учащимся необходимо иметь на компьютере только пакет Microsoft Word и контроллер, подключенный к компьютеру.

В диссертации были продолжены исследования Махутова, связанные с поиском и реализацией новых алгоритмов распознавания правильности ответов. Была разработана булева модель для формирования различных критериев распознавания выборочных ответов, которая имеет большую практическую значимость ввиду того, что сейчас внедряется централизованное тестирование в массовых масштабах, построенное в основном на выборочных критериях ответов.

Основное значение разработанного подхода к построению контролирующих систем в обучении в том, что создано универсальное средство — устройство «Символ-КОМ», которое при внедрении его в существующие контролирующие системы позволяет создать унифицированные контролирующие системы.

Полученные результаты имеют большое практическое значение для реализации единой системы контроля и самоконтроля на всех ступенях обучения. Это единство достигается унификацией подготовки дидактических материалов и тем, что они могут быть представлены как в электронной форме, так и бумажной. Средством контроля как в школах, так и в вузах могут быть как специализированные устройства «Символ», так и компьютерные устройства «Символ-КОМ». Тем самым обеспечивается единая образовательная среда от школы до вуза.

1. Александров A.M. Дидактический материал по русскому языку: 1. кл. Пособие для учителя. — М.: Просвещение, 1980. — 272 с.

2. Александрова Э.И. и др. Программы развивающего обучения (система Д. Б. Эльконина — В.В. Давыдова): 1 этап (1 — 5 классы). Русский язык. Математика. — М.: Минобразования РФ, 1992. — 50 с.

3. Айзерман М.А. и др. Логика. Автоматы. Алгоритмы. — М.: Физматгиз, 1963, —556 с.

4. Баврин И.И., Матросов В.Л. Общий курс высшей математики. — М„: Просвещение, 1995. — 464 с.

5. Бакулев В.А. Применение ЭВМ в управлении качеством подготовки специалистов // Вопросы обучения и воспитания в вузе: Тез. докл. к межвузовскому научно-методическому семинару. — Томск, 1988. — С. 143 — 146.

6. Бедина И.Г. Сборник упражнений по природоведению. 5 класс. — Томск: КИТ, 1993, —93 с.

7. Бохманн Д., Постхоф X. Двоичные динамические системы. — М.: Энергоатомиздат, 1986. — 400 с.

8. Томск: ТУСУР, 2001. —С. 127— 128.

9. Болтовский В.М., Попов А.И. Устройство для самоконтроля знаний обучаемых и проведения экзаменов // Технические средства обучения: Тез. докл. II Всесоюзной научно-практической конференции «ТСО—91», Часть 1.

10. Челябинск: ЧГТУ, 1991. — С. 17.

11. Борисов С.Е., Кручинин В.В. Система «Фея» для ОС Windows — 95 // Дистанционное образование. Состояние, проблемы, перспективы: Тез. докл. научно-мелодической конференции. Томск, 19 ноября 1997 г. — Томск: ТУ СУР, 1997. — С. 59 — 60.

12. Н.Бродский И.Н. и др. Формальная логика. — Л.: Изд-во Ленинградского ун-та, 1977. — 357 с.

13. Брусенцов Н.П., Маслов С.П., Рамиль Альварес X. Микрокомпьютерная система «Наставник». — М.: Наука, 1990. — 224 с.

14. Вавилов Е.Н., Портной Г.П. Синтез схем электронных цифровых машин. М.: Сов. Радио, 1963. — 440 с.

15. Вентцель Е.С., Овчаров Л.А. Теория вероятностей. — М.: Наука, 1969. — 366 с.

16. Виленкин Н.Я. и др. Математика. — М.: Просвещение, 1977. — 351 с.

17. Виленкин Н.Я. Комбинаторика. — М.: Наука, 1969. — 328 с.

18. Власкин В.В., Фоминых Ю.И., Шевелев Ю.П. Методические указания и инструкции по эксплуатации контролирующего устройства «Импликанта» — Томск, ТИАСУР, 1981. — 66 с. (рукописная)

19. Власкин В.В., Шевелев Ю.П. Контролирующее устройство, основанное на моделировании булевыми функциями эталонных ответов // Научные основы разработки и внедрения технических средств обучения: Тез. докл. Всесоюзной конференции. — М.: МИФИ, 1984. — С. 157.

20. Волгин М.А. Справочник электрика. — Кемерово: Кемеровское книжное изд-во, 1983. — 238 с.

21. Волков К.Н. Психологи о педагогических проблемах. — М.: Просвещение, 1981. — 128 с.

22. Вопросы обучения и воспитания в вузе: сб. статей. — Томск: ТГУ, 1992, — 132 с.

23. Гаврилов Г.П., Сапоженко А.А. Сборник задач по дискретной математике. — М.: Наука, 1977. — 368 с.

24. Гара Н.Н., Габрусева Н.И. Сборник задач для проведения устного экзамена по химии за курс средней школы. 11 класс. — М.: Дрофа, 1999. — 64 с.

25. Гетманова А.Д. Логика. — М.: Новая школа, 1995. — 416 с.

26. Гиндикин С.Г. Алгебра логики в задачах. — М.: Наука, 1972. — 288 с.

27. Голованова И.С. Применение автоматизированных обучающих систем в учебном процессе // Компьютеризация учебного процесса в техническом вузе: Тез. докл. межвузовской научно-практической конференции. — Новокузнецк: СМИ, 1994.— С. 7.

28. Голосов Н.С. Можно ли достигнуть высокого качества подготовки специалистов в массовом образовании? // Тез. докл. конф. «Современное образование: массовость и качество». — Томск: ТУСУР, 2001. — С. 21 — 22.

29. Горбатов В.А. Основы дискретной математики. — М.: Высшая школа, 1986,— 311 с.

30. Добровольская С.К., Шевелев Ю.П. Сборник упражнений по физике. 7 класс. — Томск: ТАСУР, 1992. — 118 с.

31. Довгялло A.M., Ющенко E.JT. Программированный учебник // Энциклопедия кибернетики. Том 2. —- Киев: Главная редакция УЭС, 1975. — С. 243 — 244.

32. Довгялло A.M. Программированное обучение // Энциклопедия кибернетики. Том 2. — Киев: Главная редакция УЭС, 1975. — С. 240 —243.

33. Дреер Адам М. Преподавание в средней школе США. — М.: Прогресс, 1983. — 288 с.

34. Дьячков П.Н. Тесты. Химия. 8 — 11 класс. — М.: Олимп, Изд-во ACT, 2001, —224 с.

35. Еханин С.Г. и др. Автоматизированная обучающая система по графическим дисциплинам // Роль инженерной графики и машинного проектирования в подготовке специалистов для народного хозяйства. — JL: Изд-во ЛПИ им. М.И. Калинина, 1984. — С. 85 — 86.

36. Зайцев А.П., Митаенко А.Д. Интегрированная обучающая система по теории автоматического управления // Труды Международной научно-практической конференции «Технический университет: дистанционное инженерное образование». — Томск: ТПУ, 1998. С. 71 — 72.

37. Информатика: энциклопедический словарь для начинающих / Составитель Д.А. Поспелов. — М.: Педагогика — Пресс, 1994. — 352 с.

38. Казьмин Г.С. Вопросы организации формализованного контроля и разработка контролирующих лент для обучающих машин К-54. — М.: Изд-во МГУ, 1972,— 16 с.

39. Карякин Ю.В., Магазинников Л.И. Оптимизация лекции на основе диагностического тестирования // Оптимизация учебного процесса в вузе. — Томск: Изд-во Томск, ун-та, 1984. — С. 40 — 43.

40. Кацман Ю.Я. Применение компьютерных технологий при дистанционно обучении студентов // Тез. докладов региональной научно-методической конференции «Современное образование: массовость и качество». — Томск: ТУСУР, 2001. — С. 170 — 171.

41. Клементьев А.Д. Тренажер системы нескольких правильных ответов // Методы и средства совершенствования учебного процесса в вузе. — Томск: Изд-во Томск, ун-та, 1983. — С. 130 — 133.

42. Козик В.В., Борило Л.П., Шевелев М.Ю. Использование технологии дистанционного обучения при изучении химии // Открытое и дистанционное образование. — Томск: Изд-во ТГУ, 2001. — № 1 (3). — С. 69 — 70.

43. Козик В.В., Борило Л.П., Шевелев М.Ю. Новые образовательные технологии в научно-исследовательской деятельности и учебном процессе // Полифункциональные материалы. — Томск: Изд-во ТГУ, 2001. — С. 124 — 126.

44. Компьютеризация учебного процесса в техническом вузе: Тез. докл. межвузовской научно-практической конференции. — Новокузнецк: СМИ, 1994, —47 с.

45. Короткова Л.М., Савинцева Н.В. Геометрия: Тесты: Рабочая тетрадь. 7 класс. — М.: Рольф, 1999. — 96 с.

46. Колдуэлл С. Логический синтез релейных устройств. — М.: ИЛ, 1962.737 с.

47. Кручинин В.В., Ситникова Е.А. Проблема защиты компьютерных экзаменационных программ в ТМЦ ДО // Современное образование: массовость и качество. Тез. докл. региональной научно-методической конференции. — Томск: ТУСУР, 2001. — С. 144.

48. Кручинин В.В. Обзор методов анализа ответов в обучающих системах // Дистанционное образование. Состояние, проблемы, перспективы: Тез. докл. научно-методической конференции 19 ноября 1997 г. — Томск: ТУСУР, 1997.1. С. 56 — 58.

49. Куликов В. И., Нейман Ю.М. Тесты. Математика. 11 класс. Варианты и ответы государственного тестирования. Пособие для подготовки к тестированию. — М.: Прометей, 1998. — 40 с.

50. Левитас Г.Г. Современный урок математики — методы преподавания.

51. М.: Высшая школа, 1989. — 88 с.

52. Леонтьева Е.Г. Массовое дистанционное образование: миф или реальность? // Современное образование: массовость и качество. Тез. докл. региональной научно-методической конференции. — Томск: ТУСУР, 2001. — С. 145 — 146.

53. Лузина Н.И. Сборник упражнений по математике. 5 класс. Часть 1: Натуральные числа. — Томск: ТАСУР, 1994. — 110 с.

54. Лузина Н.И. Сборник упражнений по математике. 5 класс. Часть 2: Дробные числа. — Томск: ТАСУР, 1994. — 126 с.

55. Ляпин Е.С., Айзенштат А.Я., Лесохин М.М. Упражнения по теории групп. — М.: Наука, 1967. — 264 с.

56. Магазинников Л.И., Шевелев Ю.П. Автоматизация контроля и самоконтроля знаний студентов // Вопросы обучения и воспитания в вузе. — Томск: Изд-во Томск, ун-та, 1988. — С. 119 — 123.

57. Магазинников Л.И., Махутов Б.Н., Шевелев Ю.П. Автоматизация самоконтроля в учебном процессе // Компьютеризация учебного процесса в техническом вузе: Тез. докл. межвузовской научно-практической конференции.

58. Новокузнецк: СМИ, 1994. — С. 11.

59. Магазинников Л.И., Махутов Б.Н., Шевелев Ю.П. Информационно-дидактическая система «Символ» // Новые образовательные системы и технологии: Тез. докл. VIII государственной научно-методической конференции.

60. Самара: Самарский гос. техн. ун-т, 1993. — С. 149 — 150.

61. Магазинников Л.И., Шевелев М.Ю., Шевелев Ю.П. Информационно-дидактическая система «Символ».

62. Магазинников Л.И., Шевелев Ю.П., Белоусова В.Н. Структура методического обеспечения самостоятельной работы студентов // Вопросы обучения и воспитания студентов в вузе. — Томск: ТГУ, 1992. — С. 39 — 40.

63. Магазинников Л.И., Шевелев Ю.П. Применение информационно-дидактической системы «Символ» при тестировании. Сб. тезисов «Проблемы тестирования учащейся молодежи» 1-я Всероссийская конференция. Омск, 9-12 октября 1995 г. — Омск: Изд-во ОмГУ. — С. 29.

64. Маргулис В.Б., Лидин Р.А., Танина Н.В. и др. Химия. Тесты 11 класс. Варианты и ответы централизованного тестирования. — М.: Прометей, 2000.— 54 с.

65. Мартынов Л.Н. Устройство для контроля знаний учащихся. — Томск: ЦНТИ, 1976. — 4 с.

66. Марченко Е.К. Машины для обучения. — М.: Высшая школа, 1974. — 312 с.

67. Марченко Е.К. Психолого-информационные основы применения машин для обучения. — М.: Знание, 1976. — 38 с.

68. Математика. Тесты 11 класс. Варианты и ответы центролизованного тестирования. — М.: Прометей, 2000. — 34 с.

69. Махутов Б.Н. и др. Информационно-дидактическая система «Символ» // Деловые игры и методы активного обучения. Часть 2. — Челябинск: Челябинский гос. техн. ун-т, 1993. — С. 44 — 47.

70. Махутов Б.Н., Шевелев Ю.П. Устройство для контроля и самоконтроля знаний обучаемых // Патент на изобретение РФ № 2084962.

71. Махутов Б.Н. Разработка алгоритмов и устройств для распознавания неоднозначных сообщений в системах автоматизированного обучения // Дисс. канд. техн. наук. — Томск: ТАСУР, 1994. — 202 с.

72. Мендельсон Э. Введение в математическую логику. — М.: Наука, 1971,—320 с.

73. Методические указания по эксплуатации экзаменующего устройства «Омега-1». — Томск, ТИАСУР, каф АОИ, 1980. — 79 с.

74. Мисс М.Ю. Опыт применения системы «Символ» в начальной школе // Современное образование: массовость и качество: Тез. докл. per. науч.-метод, конф. Томск, 1 — 2 февр. 2001 г. — Томск, ТУСУР, 2001. — С. 102—104.

75. Могилев А.В. Психолого-педагогические проблемы компьютерного обучения // Университетское образование и компьютерные технологии обучения: Материалы межреспубликанской научно-методической конференции. — Томск: Изд-во Томск, ун-та, 1993. — 150 — 151.

76. Мосин Е.Ф. Статистические аспекты истории исследований в области технических средств обучения и программированного обучения // Вопросы научной организации учебного процесса в вузе. — Томск: Изд-во Томск, ун-та, 1981. —С. 139— 143.

77. Научные основы разработки и внедрения технических средств обучения: Сб. тез. докл. Всесоюзной конференции. — М.: МИФИ, 1984. — 328 с.

78. Нефедов В.Н., Осипова В.А. Курс дискретной математики. — М.: Изд-во МАИ, 1992,— 264 с.

79. Новицкий В.М., Круль З.В., Бычкова Л.Г. Совершенствование лабораторного практикума и лекционного курса на кафедре ТОЭ. — В сб.: Технические средства и ЭВМ в учебном процессе. — Челябинск: Изд-во Челябинск, политехи, ин-та, 1981. — С. 151 — 153.

80. Оптимизация учебного процесса в вузе / Под ред. A.M. Трубицына. — Томск: Изд-во Томск, ун-та, 1984. — 154 с.

81. Отчет о научно-методической работе на тему: «Научно-методическое, дидактическое и программно-техническое обеспечение самостоятельной работы в современных системах образования». Томск: ТУСУР, каф. ВМ, 2000. - 86 с.

82. Пеннер Д.И., Худайбердиев А. Программированные задания по физике для 6 — 7 классов. — М.: Просвещение, 1985. — 144 с.

83. Передовой опыт взаимодействия вузов и предприятий в рамках комплексной программы ЦИПС // Тез. докл. республиканской научно-методической конференции. Кн. 1. — Омск, 1989. — 159 с.

84. Пестова Н.Ф. Неопределенный интеграл. -— Томск: Изд-во Томск, политехи, ун-та, 1995. — 110 с.

85. Поддубная Т.Н. Компьютер — катализатор в образовании // Университетское образование и компьютерные технологии обучения: Материалы межреспубликанской научно-методической конференции. — Томск: Изд-во Томск, ун-та, 1993. — С. 122 — 133.

86. Постников А.В. Проверка знаний учащихся по физике: 6 — 7 класс.

87. М.: Просвещение, 1986. — 208 с.

88. Применение автоматизированных обучающих систем в учебном процессе: Сб. тезисов докл. межзонной научно-методической конференции. — Минск: БГУ им В.И. Ленина, 1984. —219 с.

89. Проблемы создания специализированных учебно-лабораторных и аудиторных комплексов для подготовки специалистов в высшей и средней специальной школе: Сб. тез. докладов и сообщений Всесоюзной научно-практической конференции. М.: МАИ, 1988. — 266 с.

90. Раводин О.М. Проблемы создания системы дистанционного образования в ТУСУРе // Дистанционное образование. Состояние, проблемы, перспективы. Тез. докл. научно- методической конференции, Томск, 19 ноября 1997 г. — Томск: ТУСУР, 1997. — С. 19 — 25.

91. Решетников М.Т., Магазинников Л.И. На путях становления дистанционного образования // Дистанционное образование. Состояние, проблемы, перспективы. Тез. докл. научно- методической конференции, Томск, 19 ноября 1997 г. — Томск: ТУСУР, 1997. — С. 3 — 9.

92. Розин В.М. Логико-семиотический анализ знаковых средств геометрии (к построению учебного предмета) // Сб. «Педагогика и логика» — М.: Касталь, 1992. — С. 201 — 305.

93. Роль инженерной графики и машинного проектирования в подготовке специалистов для народного хозяйства: Тез. докл. Республиканской научно-методической конференции. — Л.: Изд-во ЛПИ им. М.И. Калинина, 1984.- 145 с.

94. Симкин В.Н., Антонова С.В., Дамдинцыренова Т.Д. и др. Иностранные языки. Тесты 11 класс. Варианты и ответы централизованного тестирования. — М.: Прометей, 2000. — 74 с.

95. Симонов А.Я. и др. Система тренировочных задач и упражнений по математике. — М.: Просвещение, 1991. — 208 с.

96. Скрелин Л.И. Дидактические материалы по физике: 7 — 8 класс. — М.: Просвещение, 1989. — 143 с.

97. Совершенствование форм и методов организации учебного процесса: Тез. докл. межвузовской научно-методической конференции. Часть III. — Комсомольск-на-Амуре, Комсомольский-на-Амуре политехи, ин-т, 1990. — 135 с.

98. Совершенствование форм и методов общения преподавателей со студентами и развитие состязательности в обучении: Сб. тез. докл. республиканского научно-методического совещания. — Казань: КХТИ, 1988. — 196 с.

99. Сташин В.В., Урусов А.В., Мологонцева О.Ф. Проектирование цифровых устройств на однокристальных микроконтроллерах. — М.: Энер-гоатомиздат, 1990. — 224 с.

100. Стоуне Э. Психопедагогика. Психологическая теория и практика обучения: Пер. с англ. — М.: Педагогика, 1984. -— 472 с.

101. Технические средства обучения: тез. докл. II Всесоюзной научно-практической конференции «ТСО — 91», Часть 1. — Челябинск, 1991. — 116с.

102. Ткаченко Н.Г. Тесты по грамматике русского языка: В 2 ч. — М.: Рольф, Айрис-пресс, 1997. 4.1. — 256 с. — (Домашний репетитор).

103. Томиленко В.А., Борисов С.И. Тренажер доказательства теорем // Современное образование: массовость и качество. Тез. докладов региональной научно-методической конференции. — Томск: ТУ СУР, 2001. — С. 140.

104. Уваров А.Ф., Осипов Ю.М. Показатель конкурентноспособности вуза в области оказания образовательных услуг // Тез. докл. конференции «Современное образование: массовость и качество». — Томск: ТУСУР, 2001. — С. 12—13.

105. Универсальный учебный прибор «Репетитор». Техническое описание и инструкция по эксплуатации. —Полтава, 1979. — 16 с.

106. Университетское образование и компьютерные технологии обучения: Материалы межреспубликанской научно-методической конференции. — Томск: Изд-во Томск, ун-та, 1993. — 159 с.

107. Фистер М. Логическое проектирование цифровых вычислительных машин. — Киев: Техшка, 1964. — 382 с.

108. Федеральная целевая программа «Развитие единой образовательной информационной среды на 2002 — 2006 годы» (проект). — М.: Минобразования, 2001. — 35 с.

109. Флорин Ж. Синтез логических устройств и его автоматизация. — Мир, 1966, —375 с.

110. Фоминых Ю.П. Разработка и применение булевой модели критерия выдачи для реализации информационно-поисковых устройств // Дисс. канд. техн. наук. — Томск: ТИАСУР, 1982. — 184 с.

111. Фудзисава Т., Касами Т. Математика для радиоинженеров: Теория дискретных структур. — М.: Радио и связь, 1984. — 240 с.

112. Хоменко Е.А. Логика. — М.: Воениздат, 1971. — 192 с.

113. Чернышев А.А. Качество образования в вузе: состояние и перспективы // Тез. докл. конференции «Современное образование: массовость и качество». — Томск: ТУСУР, 2001. — С. 9 — 11.

114. Шарапов А.В. Особенности методического обеспечения дистанционного обучения // Дистанционно образование. Состояние, проблемы, перспективы. Тез. докл. научно-методической конференции. — Томск: ТУСУР, 1997. — С. 12—17.

115. Шевелев М.Ю. Компьютеризация в системе обучения СИМВОЛ // Образование в условиях реформ: опыт, проблемы, научные исследования. Материалы Российской практической конференции. 4.2. — Кемерово: КемТИПП, 1997, —С. 36.

116. Шевелев М.Ю. Кодирование заданий в системе обучения «Символ» // Радиотехнические и информационные системы и устройства. Тез. докл. региональной научно-технической конференции. — Томск: ТУСУР, 2000, — С. 142.

117. Шевелев М.Ю. Компьютерная реализация самоконтроля в ИДС «Символ» // Радиотехнические и информационные системы и устройства. Тез. докл. научно-методической конференции. — Томск: ТУСУР, 1997. — С. 125.

118. Шевелев М.Ю., Махутов Б.И., Шевелев Ю.П. Технология обучения на основе самоконтроля // Дидактика математики: сегодня и завтра. Материалысимпозиума «Итоги и перспективы развития образования на рубеже тысячелетий». — Томск: ТГПУ, 2000. — С. 103 — 104.

119. Шевелев М.Ю. Прибор для дихотомической оценки семантических сообщений в автоматизированных обучающих системах // Современные техника и технологии. Сб. статей международной научно-практической конференции. — Томск: ТПУ, 2000. — С. 152.

120. Шевелев М.Ю. Программно-аппаратная система контроля и защиты информации // Современное образование: массовость и качество. Тез. докл. научно-методической конференции 1-2 февраля 2001 г. — Томск: ТУ СУР, 2001,—С. 99— 100.

121. Шевелев М.Ю., Шевелев Ю.П. Самоконтроль в информационно-дидактической системе «Символ» // Самостоятельная работа студентов. Дидактическое и программное обеспечение. Тез. докл. научно-методической конференции. — Томск: ТУСУР, 1999. — С. 130.

122. Шевелев Ю.П. Электронный репетитор «Символ-ВУЗ». — Томск: ТАСУР, 1997. —35 с.

123. Шевелев М.Ю., Шевелев Ю.П. Электронный репетитор «Символ-ИДС»: Практическое пособие. — Томск: ТУСУР, 1998. — 16 с.

124. Шевелев М.Ю. Новое контролирующее устройство «Символ-ИДС» // Радиотехнические и информационные системы и устройства. Тез. докл. региональной научно-технической конференции. — Томск: ТУСУР, 1999. — С. 112.

125. Шевелев М.Ю., Силкина В.П. Информационно-дидактическая система «Символ». Обогащающая модель в проекте МПИ: проблемы, сомнения, ткрытия. — Томск: Изд-во Томск, ун-та, 1998. — С. 179.

126. Шевелев Ю.П. Автоматизация самоконтроля в системе обучения «Символ». — Томск: ТУСУР, 1996. — 111 с.

127. Шевелев Ю.П. Применение информационно-поисковой машины «Квантор» для оптимизации учебного процесса в вузе // Оптимизация учебного процесса в вузе. — Томск: Изд-во Томск, ун-та, 1984. — С. 88 — 92.

128. Шевелев Ю.П. Применение контролирующего устройства «Импликанта» для повышения эффективности процесса обучения // Повышение эффективности и качества обучения в вузе. — Томск: Изд-во Томск, ун-та, 1986. — С. 137 — 140.

129. Шелупанов А.А., Колыванова Е.А. Автоматизированная система контроля качества обучения // Современное образование: массовость и качество. Тез. докл. региональной научно-методической конференции. — Томск: ТУСУР, 2001, —С. 158 — 159.

130. Шелупанов А.А., Присяжнюк Н.А. Административная система поддержки учебного процесса // Современное образование: массовость и качество. Тез. докл. региональной научно-методической конференции. — Томск: ТУСУР, 2001. — С. 157 — 158.

131. Шелупанов А.А., Пряхин А.В. Анализ проблемы информации в системе дистанционного образования // Современное образование: массовость и качество. Тез. докл. региональной научно-методической конференции. — Томск: ТУ СУР, 2001, —С. 159 — 161.

132. Шидловский B.C. Специализированный процессор для поиска семантической информации. Дисс. канд. техн. наук. — Томск: ТИАСУР, 1987, —194 с.

133. Щедровицкий и др. Педагогика и логика. — М.: Касталь, 1993. —416 с.

134. Эльконин Д.Б. Психологические вопросы формирования учебной деятельности в младшем школьном возрасте // Хрестоматия по возрастной и педагогической психологии.— М.: Изд-во Моск. ун-та, 1981. — С. 84 — 85.

135. Becker H.J. USING COMPUTERS FOR INCTRUCTION. The results and implications of a national surupy may surprise you. //BYTE. — 1987, Feb. — v.12, №2,— p. 149— 162.

136. Metcalfe В. Onedirectional functions // Computer World, 1994, № 10 (118), p. 58.

137. Murphy R.T., Appel J.A. Evalution of the PLATO in computer based education system in then community college // ACM SIQCUE BULLETIN. 1978, Jan. —v.12, v.l —p.12 — 17.

138. Schiffman S.S. Software infusion: using computers to enchance instruction. 1986.

139. Weizenbaym J. Posibite computer and human mind //BYTE. — 1984, №4.125