автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Математическое обеспечение системы взаимной проверки знаний с возможностью обнаружения проблемных ситуаций

На правах рукописи

МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ СИСТЕМЫ ВЗАИМНОЙ ПРОВЕРКИ ЗНАНИЙ С ВОЗМОЖНОСТЬЮ ОБНАРУЖЕНИЯ ПРОБЛЕМНЫХ СИТУАЦИЙ

Специальность 05.13.11 - «Математическое и программное обеспечение

вычислительных машин, комплексов и компьютерных сетей» Специальность 05.13.01 - «Системный анализ, управление и обработка информации (энергетика; приборостроение; информатика; производственные

процессы)»

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва, 2009

003467878

Работа выполнена на кафедре Вычислительных машин, систем и сетей Московского энергетического института (технического университета).

Научный руководитель:

кандидат технических наук, доцент Афонин Владимир Александрович

Официальные оппоненты:

доктор технических наук Свиридов Александр Петрович

кандидат технических наук Башмаков Александр Игоревич

Ведущая организация:

Ивановский государственный энергетический университет им. В.И. Леиина

Защита состоится 19_ ^млл, 2оО$г>. в 16 час. 00 мин. на заседании диссертационного совета Д 212.157.01 при Московском энергетическом институте (техническом университете) по адресу 111250, г. Москва, ул. Красноказарменная, д. 17, аудитория Г-306.

С диссертацией можно ознакомиться в библиотеке Московского энергетического института (технического университета).

Отзывы в двух экземплярах, заверенные печатью, просим направлять по адресу: 111250, г. Москва, ул. Красноказарменная, д. 14, Ученый совет МЭИ (ТУ).

Ученый секретарь диссертационного совета

кандидат технических наук, доцент

Фомина М.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Системы электронного обучения в настоящее время развиваются достаточно динамично. Особенностью систем электронного обучения является то, что текущий контроль и диагностирование знаний учащихся должны проводиться системой автоматически либо с минимальным вмешательством преподавателя. Традиционные способы проведения контроля и диагностирования знаний уже вписались в существующую практику обучения, но их применение ограничено областью передачи конкретных знаний в определенной предметной области. Например, одним из традиционных способов контроля, характерным на этапе, когда пройдены основы и требуется приобретение и закрепление навыков, является метод стандартизированного контроля знаний, при котором тестовая задача сопровождается набором правильных и неверных ответов. Однако во многих случаях этот метод оказывается слишком ограниченным, когда невозможно задать эталонные решения для данного вопроса. В этих случаях проверка знаний перекладывается на преподавателя, но его загрузка оказывается очень большой.

В настоящее время задача оценки правильности ответов на открытые вопросы в общем виде не решена. Поэтому была поставлена задача применения и/или разработки таких математических методов и программных средств, которые ориентированы на проведение контроля знаний при помощи открытых вопросов с минимальным вмешательством преподавателя.

Другим важным аспектом обучения является взаимная проверка учащимися решений тестовых заданий. В ряде работ показано, что при проверке обучаемым решений своих коллег уровень его подготовки повышается. В то же время при проведении взаимных проверок возможно возникновение проблемных ситуаций, т.е. присутствие в системе недобросовестных учащихся (учащийся верно решил свое тестовое задание, но ответ хотя бы одного обучаемого оценил неверно). В данном диссертационном исследовании предлагается комплексное решение поставленных выше задач.

Целью диссертационного исследования является разработка математического обеспечения системы взаимной проверки знаний с использованием открытых вопросов и возможностью обнаружения недобросовестных учащихся на основе моделей и методов технической диагностики.

Отличительной особенностью предлагаемого подхода является возможность использования системы взаимной проверки знаний при отсутствии информации о подготовленности учащихся.

В диссертационном исследовании решаются следующие основные задачи.

- Разработка принципов применения моделей 1-, г/5-диагностируемых систем для организации взаимной проверки знаний.

- Развитие моделей и методов технической диагностики (/-, //¿-диагностируемые системы) с возможностью обнаружения враждебных вершин (недобросовестных учащихся).

- Разработка алгоритмов расшифровки синдрома графа взаимных проверок.

- Проведение сравнительного анализа разработанных методов и алгоритмов.

- Разработка архитектуры и программная реализация системы взаимной проверки знаний для электронного обучения на основе предложенных моделей.

Достоверность теоретических положений и полученных научных результатов подтверждена данными имитационного моделирования, а также результатами внедрения разработанной системы взаимной проверки знаний.

Научная новизна. В диссертационном исследовании конкретизированы для рассматриваемой предметной области и получили развитие известные математические методы, и предложено их новое применение в обучающих системах.

Конкретно научная новизна диссертационного исследования состоит в следующем.

- Разработано математическое обеспечение для организации взаимной проверки знаний с подключением арбитра (преподавателя) при отсутствии априорной информации о подготовленности учащихся. Разработаны методы для взаимной проверки знаний с использованием моделей i-, (/л-диагностирусмых систем и мешдика оценки их применимости.

- Разработаны методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Предложены способы, позволяющие снизить вероятность появления в графе взаимных проверок враждебных вершин и минимизировать подключения арбитра.

- Разработан метод расшифровки синдрома, представляющего результаты взаимной проверки, позволяющий уменьшить количество тестовых связей между вершинами графа без снижения уровня диагностируемости.

Практическая значимость работы определяется возможностью применения ее результатов в имеющих широкое распространение системах электронного обучения и состоит в следующем.

- Реализовано программное обеспечение системы взаимной проверки знаний с использованием открытых вопросов в соответствии с разработанными методами как для текущего, так и для итогового контроля знаний. Организован Web-доступ учащихся к системе. При помощи разработанного программного обеспечения проведен натурный эксперимент, подтверждающий теоретические положения диссертации.

- Применение системы взаимной проверки знаний позволяет повысить частоту и качество контроля знаний, объективность оценивания, уровень подготовки учащихся, развивает в них самостоятельность и ответственность за результаты проводимых ими проверок других обучаемых; при этом снижается нагрузка на преподавателя (арбитра), что позволяет повысить эффективность его труда за счет автоматизации контроля знаний учащихся. Использование системы вносит элемент соревновательности, что способствует созданию положительной учебной мотивации.

- Для обеспечения совместимости различных систем контроля знаний тестовые задания и ответы могут быть представлены в формате XML, соответствующем спецификации IMS QTI (IMS Question and Test Interoperability specification), определяющей структуру данных для представления тестовых заданий и результатов. Тестовые задания могут создаваться в любом текстовом редакторе.

- Реализованная система взаимной проверки знаний может быть интегрирована в существующие системы управления обучением LMS (Learning Management System).

Реализация результатов. Разработан программный продукт для проведения взаимной проверки знаний. Доступ к системе осуществляется при помощи интернет-браузера, что позволяет использовать ее для электронного обучения как в локальной, так и в глобальной сети.

Система взаимной проверки знаний успешно внедрена и используется в учебном процессе Муниципального общеобразовательного учреждения средней общеобразовательной школы с углубленным изучением отдельных предметов №1 им. М.ЮЛермонтова г. Пятигорска Ставропольского края и на кафедре Вычислительных машин, систем и сетей Московского энергетического института (технического университета). Акты о внедрении и использовании результатов работы прилагаются к диссертации.

Апробация работы. По основным положениям и результатам диссертации сделаны шесть докладов на международных научных конференциях.

1 «..................Л..__________1 _________________ k ЩПО 1/__________________________

- тсжд^иаридныи фирум »mi^ujj.Mai и sa.uin iviwiri-¿.uuo. тсулдунауидпол nav -H1U-техническая конференция «Информационные средства и технологии» (г. Москва, 21-23 октября, 2008 г.).

- Четырнадцатая международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (г. Москва, 28-29 февраля, 2008 г.).

- Международный форум информатизации МФИ-2007. Международная научно-техническая конференция «Информационные средства и технологии» (г. Москва, 16-18 октября, 2007 г.).

-Двенадцатая международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (г. Москва, 02-03 марта, 2006 г.).

- Вторая международная научно-практическая конференция «Исследование, разработка и применение высоких технологий в промышленности» (г. Санкт-Петербург, 07-09 февраля, 2006 г.).

- Международный форум информатизации МФИ-2005. Международная научно-техническая конференция «Информационные средства и технологии» (г. Москва, 18-20 октября, 2005 г.).

Публикации. Основные результаты, полученные при выполнении диссертационного исследования, опубликованы в 9 печатных работах, из них 1 статья в журнале из списка, рекомендуемого ВАК РФ для публикации основных результатов диссертаций.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка литературы из 76 наименований. Диссертация представлена на 153 страницах машинописного текста (без приложений и списка литературы), содержит 51 рисунок и 18 таблиц.

Результаты, выносимые на защиту:

1. Принципы применения /-, r/j-диагностируемых моделей для организации взаимных проверок в системе электронного обучения.

2. Модифицированные модели и методы технической диагностики для применения в системе взаимной проверки знаний (модель 1-, //¿-диагностируемых систем).

3. Методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся).

4. Алгоритм расшифровки синдрома графа взаимных проверок для полного

графа.

5. Алгоритм расшифровки синдрома графа взаимных проверок для оптимального графа с возможностью подключения дополнительных тестовых связей.

6. Алгоритм расшифровки синдрома графа взаимных проверок, позволяющий снизить количество тестовых связей между вершинами графа без уменьшения показателя диагностируемости.

7 А пглг\1»т»1 ичлитпЛллпут! РТ1ТТТТПЛ1Го гмо/Кп пютпттту гтпппаплс!* л

использованием модели ^-диагностируемых систем для снижения количества тестовых связей между вершинами графа.

8. Методика подключения арбитра, позволяющая исключить случаи неверного определения состояний учащихся. Правило контрольного подключения арбитра.

9. Методика оценки применимости разработанных алгоритмов.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дана общая характеристика работы, обоснована актуальность темы диссертации, ее научная новизна и практическая значимость, сформулированы цель и задачи, указаны положения, выносимые на защиту, приведены сведения о внедрении.

Раздел 1 начинается с обзора основных принципов построения систем дистанционного обучения и методик контроля знаний (использование закрытых вопросов, использование вопросов с конечным множеством решений, использование открытых вопросов). Проводится анализ преимуществ и недостатков указанных методологий. Описываются примеры систем для дистанционного обучения и проводится их аналитический обзор.

Предложено применять для контроля знаний метод взаимных проверок, что позволит использовать в системе произвольный класс тестовых задач (снятие ограничений на форму представления решений на тестовые задания). Для организации взаимной проверки знаний предлагается использовать методы и алгоритмы технической диагностики в самодиагностируемых системах, применение которых будет возможно и при отсутствии информации о подготовленности группы учащихся.

Применение методов взаимного контроля позволяет не только повысить эффективность проверки решений, но также повышает качество подготовки учащихся, поскольку проверка решений, сделанных другими обучаемыми, дает проверяющим возможность увеличить уровень усвоения материала. Известны попытки использовать модели технической диагностики для взаимной проверки знаний. Однако при этом использовалась модель р/г-диагностируемой системы, не позволяющая проводить проверку при отсутствии информации о подготовленности учащихся, а также не

учитывающая случаи присутствия в системе недобросовестных учащихся (учащийся верно решил свое тестовое задание, но ответ хотя бы одного учащегося оценил неверно).

При использовании 1-, //¿-диагностируемых моделей появляется возможность использования системы при отсутствии информации о подготовленности учащихся. Модели предполагают представление системы взаимной проверки знаний в виде направленного взвешенного графа.

При применении данных моделей в системе взаимной проверки знаний обучаемые, участвующие во взаимной проверке, соответствуют вершинам графа, а проверки - дугам графа. При этом, если учащийся V, проверяет решение учащегося то соответствующая данной проверке дуга направлена из вершины V/ в вершину у,. Вес данной дуги а у = 0, если учащийся V, признал решение обучаемого у, правильным (т.е. согласился с данным решением), и вес дуги 1, если учащийся V/ признал решение неправильным (Рис. 1).

Рис 1. Пример графа взаимных проверок Синдромом в такой системе называется множество весов дуг графа. Расшифровкой синдрома называется процесс определения множества подготовленных, неподготовленных и недобросовестных учащихся на основании синдрома.

Преподаватель (арбитр) выполняет несколько функций. Основная функция арбитра состоит в том, чтобы проверять решения учащихся в соответствии с предложенной в данной работе методикой подключения арбитра. При этом арбитр не включается в графовую модель как вершина, и предполагается, что арбитр абсолютно надежен. В данной работе проанализированы ситуации (например, когда система не может расшифровать синдром), в которых данный способ работы арбитра является единственно возможным. Вторая функция арбитра состоит в участии в системе в качестве вершины графа. При этом синдром расшифровывается по тем же правилам, как если бы эта вершина соответствовала учащемуся. Третья функция арбитра состоит в участии в системе в качестве одной или нескольких вершин, отправляющих заведомо правильные или неправильные решения задач (которые затем проверяются учащимися). По результатам оценки обучаемым такого решения можно сделать вывод о его подготовленности или неподготовленности.

В конце раздела представлен аналитический обзор моделей самодиагностируемых систем, в котором исследуются различные предположения о результатах взаимных проверок.

Приведем основные определения, касающиеся моделей Г-, //¿--диагностируемых систем, используемые в системе взаимной проверки знаний.

- г - показатель диагностируемое™ графа, равный максимальному числу неисправных вершин в графе, которое можно однозначно и правильно определить по полученному синдрому. Показатель диагностируемое™ графа определяется следующим образом.

1. Если граф не содержит ни одной пары вершин, непосредственно проверяющих друг друга, то

г= тт (Г|, гг),

где Т1 находится из соотношения

п>2т\ + 1,

где п - число вершин в графе, а тг ~ из соотношения

r2 =min(/Vi,jV2,... ,JV„)

Здесь

JVi = r(v<)|,

Г" (v,) - множество вершин, из которых идут дуги в v„ а |Г' (v/)| - число этих вершин.

2. Если граф содержит хотя бы одну пару взаимно проверяющих вершин, то т= min (Ti, t2, Гз),

где гз находится по алгоритму, основанному на подсчете числа вершин в специальных разбиениях графа (р-разбиения).

- Система называется диагностируемой, если результат расшифровки синдрома однозначно выявляет все неисправные вершины при условии, что их число не превосходит значения / < г. В модели /-диагностируемой системы неявно предполагается, что вероятности отказа всех элементов системы одинаковы.

- /-диагностируемый граф называется оптимальным, если в нем п = 2г+1 и каждая вершина имеет в точности х заходящих в нее дуг, где п - число вершин в графе. В оптимальном графе число тестовых связей равно иг.

- Дуга (ij) называется существенной, если и только если ее удаление из графа уменьшает значение т. Иначе дуга называется избыточной.

- Информативная вершина - вершина, установление состояния которой позволит определить состояние наибольшего числа вершин системы.

- Подготовленный учащийся - учащийся, правильно решивший свое тестовое задание и верно оценивший ответы других учащихся. Такому учащемуся соответствует вершина графа, называемая надежной (множество G).

- Неподготовленный учащийся - учащийся, неправильно решивший свое тестовое задание. Такому учащемуся соответствует вершина, называемая неисправной (множество F).

- Недобросовестный учащийся - учащийся, правильно решивший свою тестовую задачу, но неправильно оценивший ответ хотя бы одного другого учащегося. Такому

учащемуся соответствует вершина, называемая враждебной (множество BGP). Присутствие в системе враждебных вершин также носит название проблемы византийских генералов.

- Ненадежные вершины (учащиеся) - совокупность неисправных (неподготовленных) и враждебных (недобросовестных) вершин (учащихся), образуют множество BS.

В диссертации за основу берется симметричная ПМЧ-модель (модель предложена Preparata, Metze, Chien), при которой результаты проверок, сделанные неподготовленными учащимися, не учитываются, т.е.:

Раздел 2 посвящен разработке математического обеспечения системы взаимной проверки знаний на основе моделей и методов технической диагностики для различных конфигураций графа взаимных проверок. Предложены методы решения проблемы византийских генералов в системе взаимной проверки знаний, способы, позволяющие уменьшить число тестовых связей между учащимися. Определено место входного контроля (получение априорной информации о подготовленности учащихся) в системе.

В начале раздела даны общие положения моделей и методов технической диагностики применительно к взаимной проверке знаний.

Система является системой класса (Д^-граф) тогда и только тогда, когда для любых двух вершин v, и v,, таких, что j - i = pS mod n, (где p=l,2...i - число исходящих из каждой вершины тестовых связей, S - некоторое целое число), выполняется условие: v, проверяет v,.

Обосновано применение в системе взаимной проверки знаний, в качестве основного, оптимального графа вида Д ,.

Показано, что существующие методы расшифровки синдрома, применяемые в технической диагностике, не выявляют в графе взаимных проверок враждебные вершины (недобросовестных учащихся).

На Рис. 2 приведен случай, когда учащийся дал верный ответ на свое задание, но при проверке других обучаемых, поставил произвольные оценки: все учащиеся правильно решили тестовую задачу, но оценка а43 = 1 неверна. Следовательно, при расшифровке синдрома существующими методами технической диагностики получим, что вершина V| - ненадежна (т.к. существуют два нулевых пути с одной общей корневой вершиной, и есть единичная дуга, соединяющая эти пути). Такой результат расшифровки не является достоверным.

v, е G, v) £ G => ay - О, vt е G, VjG F=>a,j= 1, Vj e a,j = * 6 {0,1}.

Рис. 2. Пример верного ответа, но неверной оценки

Проблема византийских генералов в системе взаимной проверки знаний может возникнуть в результате следующих причин:

1) механическая ошибка (ошибочное выставление неверной оценки);

2) умышленное выставление неверной оценки (в том числе, по договоренности);

3) неверная оценка ответа (нехватка знаний проверяющего учащегося для выставления верной оценки).

Снижение вероятности возникновения механической ошибки в выставлении оценки осуществляется техническими средствами, например, подтверждением оценки.

Снижение вероятности умышленного выставления неверной оценки осуществляется, в первую очередь, путем разъяснения ответственности за неправильную оценку, так как учащийся, поставивший неверную оценку, рассматривается как ненадежный. Для выявления ситуации умышленного выставления неверной оценки перед началом проверки решений учащихся целесообразно отсылать всем тестовое задание с решением, статус которого (верное или неверное) известен системе. Тогда учащиеся, неправильно оценившие решение этого задания, сразу исключаются из дальнейшей процедуры проверки решений других обучаемых.

Неправильная оценка ответа надежным учащимся маловероятна, если исходить из структуры деятельности человека, где на первом уровне находится узнавание объектов, свойств, процессов данной области, а на втором (более высоком) -воспроизведение информации, операций, действий. Для сведения к минимуму возможности появления такой ситуации учащемуся во время проверки ответов необходимо предоставлять подробную методику проверки ответа, либо правильный ответ (на выбор арбитра).

Несмотря на то, что вероятность появления в системе взаимной проверки знаний враждебных вершин можно с помощью приведенных выше мероприятий свести к минимуму, враждебные вершины возможны. Кроме того, вершинами графа являются не вычислительные модули, а люди, которых в общем случае нельзя рассматривать как «абсолютно надежных», и, следовательно, невозможно сделать утверждение, что учащийся, верно решивший свое тестовое задание, правильно оценит ответы других обучаемых. Поэтому в системе нужно предусмотреть возможность отслеживать и распознавать рассмотренную ситуацию.

С учетом указанных особенностей системы взаимной проверки знаний предложено усовершенствовать ПМЧ-модель. В этом случае система оценок принимает следующий вид:

V/ е О, е С ау = 0, у, б в, у, е ^ => = 1, V, е О, V, е НОР => а у = 0, {0,1},

чеВвР^а^* е {0,1}.

Предложен модифицированный алгоритм для полного графа (организация тестовых связей «каждый с каждым»), основанный на мажоритарном принципе, позволяющий проводить расшифровку синдрома графа с возможностью обнаружения враждебных вершин, и сформулировано следующее утверждение:

Утверждение 1,

В полном графе системы взаимной проверки знаний с числом вершин (учащихся), равным п и числом неисправных и/или враждебных вершин (учащихся),

равным С < [-^р], возможно однозначное и правильное определение состояния вершин

без подключения арбитра.

Организация взаимных проверок на основе полного графа предполагает присутствие в системе избыточных тестовых связей, и нагрузка на каждого учащегося возрастает прямо пропорционально росту числа обучаемых в группе, что приводит к утомляемости и, кроме того, негативно влияет на правильность результатов оценивания. Следовательно, алгоритм для полного графа целесообразно применять для небольших групп с количеством учащихся п < 9.

Чтобы иметь возможность корректного определения всех состояний вершин графа и при этом снять ограничение, связанное с большой нагрузкой учащихся по проверке ответов других обучаемых, необходимо использовать вид графа с оптимальной организацией тестовых связей. В работе предложено использование оптимального графа £>1,,.

Разработанный метод расшифровки синдрома для оптимального графа О, , основан на упрощенном методе, используемом в технической диагностике (поиск нулевых контуров и нулевых путей определенной длины). При этом для обнаружения враждебных вершин проводится поиск противоречий. Противоречие в графе взаимных проверок возникает в случае, когда вершины, признанные надежными (множество (3), по-разному оценивают другую вершину (т.е. одна ставит 0, другая - 1). В этом случае, на вершину, вызывающую противоречие, необходимо подключить арбитра. В то же время, желательно прибегать к подключению арбитра только на этапе контрольного подключения либо вообще исключить вмешательство арбитра. На основании этого в работе предложено при возникновении противоречия делегировать полномочия арбитра по проверке ответов учащихся тем обучаемым, которые признаны подготовленными (множество С), путем организации дополнительных тестовых связей на учащегося, вызывающего противоречие. При этом дополнительные тестовые связи можно подключать только с тех обучаемых, которые в соответствии с конфигурацией графа не проверяли ответ учащегося, вызывающего противоречия. Пример описанного случая с подключенными дополнительными тестовыми связями (пунктирные связи) представлен на Рис. 3.

Рис. 3. Пример оптимального графа Дд с дополнительными тестовыми связями, п = 5, у3 б ВвР, б F

Показано, что при обнаружении нулевых контуров в графе существуют случаи, когда необходимо подключать дополнительные тестовые связи на вершину внутри этого контура.

На основании проведенного анализа сформулированы и обоснованы следующие утверждения. Утверждение 2.

В ситуации, когда в нулевом контуре присутствуют две (или более) вершин, чье состояние не определено (вызывают противоречия), первой для подключения дополнительных тестовых связей выбирается та вершина, которая входит в меньшее количество нулевых контуров (по всему графу). Утверждение 3.

В случае, когда в оптимальном графе D\j отсутствует нулевой контур, но присутствует нулевой путь, для расшифровки синдрома необходимо выбирать минимальный нулевой путь с г нулей подряд. Утверждение 4.

Когда в оптимальном графе А,, присутствует нулевой контур, следовательно, в графе отсутствуют г вершин подряд, принадлежащих множеству F, либо t > г. Утверждение 5.

Если в оптимальном графе А,< отсутствует нулевой контур, но присутствует нулевой путь, то существуют г вершин подряд, принадлежащих множеству BS, либо t > т.

Следствие I из утверждения 5.

Если в оптимальном графе Di , отсутствуют и нулевой контур, и нулевой путь, то, следовательно, t> г и необходимо подключать арбитра. Следствие 2 из утверждения 5.

Если в оптимальном графе D\t, отсутствует нулевой контур и t < т, то, следовательно, в графе присутствует нулевой путь.

В диссертации рассматриваются подходы к снижению нагрузки учащихся при проведении взаимных проверок. Первый подход заключается в разделении группы на подгруппы. Такой подход уменьшит количество тестовых связей между вершинами. Однако и показатель диагностируемости графа г также уменьшится. Рассмотренный подход применим в ситуации хорошей подготовленности группы и выбирается арбитром перед началом взаимного диагностирования. Как показал натурный эксперимент, применение рассмотренного подхода имеет хорошие перспективы применения совместно с разработанными алгоритмами расшифровки синдрома графа.

Второй подход заключается в разделении множества всех учащихся на два подмножества Я (high) и L (low). К подмножеству Я относятся вершины, соответствующие учащимся с высоким уровнем подготовленности, которые участвуют в контрольной проверке ответов других учащихся из подмножества L. Однако применение такого подхода затруднено отсутствием объективной информации о подготовленности учащихся.

При анализе структуры оптимального графа D\j выдвинута гипотеза, что при удалении одной тестовой дуги, выходящей из каждой вершины графа, в некоторых

случаях можно сохранить значение показателя диагностируемое™ графа г, и при этом корректно определять состояние всех вершин. Тогда значение показателя диагностируемое™ графа зависит только от количества вершин, а общее число

тестовых связей равно л(г1-1), где = Далее установлено, что неверная

расшифровка возможна лишь в ограниченном количестве случаев, когда ненадежные вершины располагаются радом. Связано это с тем, что последнюю вершину из группы ненадежных тестируют только ненадежные вершины (на Рис. 4 такой вершиной является вершина к), следовательно, расшифровка такого синдрома может привести к неверным результатам. В таблице 1 приведены случаи неверной расшифровки синдрома для п = 7.

Рис. 4. Число тестовых связей равно п(т\-\) Таблица 1. Случаи неверной расшифровки для п = 7, ц = 3.

№ случая Вершина 1 Вершина / Вершина к

1 вар ВвР вер

2 ВвР ВвР Р

3 вер Р вар

4 ВОР Р р

5 вер вер

6 р вер р

7 р вер

8 р р р

В целях недопущения неверной расшифровки разработан соответствующий алгоритм, позволяющий выявить рассмотренные случаи для однозначного и правильного определения состояний вершин графа. Разработанный алгоритм учитывает:

- нахождение характерных синдромов графа для всех случаев расположения ненадежных вершин, когда возможна неверная расшифровка синдрома;

- определение приоритетности поиска данных синдромов;

- выявление общих для всех случаев особенностей (оценки, количество единичных дуг для каждого случая);

- определение уникальности синдромов (т.е. уникальные отличия рассматриваемого случая от других для его дальнейшей однозначной идентификации) для каждого случая.

В силу того, что в рассматриваемой конфигурации графа возможны случаи, когда учащегося тестируют только ненадежные обучаемые, сформулировано следующее утверждение. Утверждение б.

Если учащегося тестируют только учащиеся, признанные ненадежными, к этому учащемуся необходимо подключить арбитра или дополнительные тестовые связи.

Кроме описанных алгоритмов и методов, основанных на модели (-диагностируемых систем и позволяющих уменьшить число тестовых связей в графе взаимных проверок, добиться снижения числа тестовых связей позволяет модель //.?-диагностируемых систем или модель неполной групповой проверки. Модель /Л-диагностирования допускает наличие в группе большего числа неподготовленных учащихся, чем модель /-диагностирования (Рис. 5).

В то же время, модель t/s имеет следующие ограничения: - модель t/s не позволяет выявлять враждебные вершины; - в модели t/s принята в качестве основной следующая система оценок:

Данная система не соответствует ПМЧ-модели и не может в таком виде применяться в системе взаимной проверки знаний. Для преодоления указанного ограничения разработан модифицированный алгоритм расшифровки синдрома графа взаимных проверок. Он позволяет находить множество подозрительных вершин, состоящее из вершин, чье состояние не может быть определено однозначно. Затем проводится подключение дополнительных тестовых связей или арбитра на вершины из указанного множества либо формируется новый граф для /-диагностируемой модели и проводится повторная расшифровка нового синдрома, используя методы расшифровки для технической диагностики. Преимущества рассмотренного алгоритма состоят в том, что даже в самом худшем случае, число тестовых связей при применении вначале t/s-диагностируемой модели, а затем /-диагностируемой модели будет меньше, чем при использовании только /-диагностируемой модели.

Рассмотрены задачи, решаемые на этапе входного контроля, основными из которых являются: -идентификация случаев, когда диагностирование невозможно

Рис. 5. Пример графа в модели /А-диагностирования, п = 15

v, е G, vy e G => ач = О, v, е G, VjG F => a,j ---1, V/ e F, VjG G => Oj, = 1, v, g F, vye F=> 0.

(например, когда у некоторых учащихся слишком низкий уровень подготовки);

- определение априорных уровней подготовленности/неподготовленности студентов. Предложены подходы к организации входного контроля с анализом их преимуществ и недостатков. Основными подходами к организации входного контроля являются:

- определение экспертом априорных уровней подготовленности студентов на основе личного опыта; - выполнение учащимися теста, заключающегося в решении задач с закрытыми наборами ответов, и определение априорного уровня подготовленности как отношения числа правильных ответов к общему числу задач. Предложены способы учета априорных данных о подготовленности учащихся в разработанных методах и алгоритмах.

Раздел 3 посвящен построению аналитической и имитационной моделей для оценки вероятностных характеристик системы взаимной проверки знаний.

Наиболее часто в системе взаимной проверки знаний применяются алгоритмы для оптимального графа Ь\, и графа с числом тестовых связей п(т\-\) в процессе работы которых происходит поиск нулевых контуров. При I > т нулевые контуры также могут существовать (возможно, с меньшим числом дуг). В связи с возможностью присутствия в системе вершин, принадлежащих множеству ненадежных, нулевой контур может содержать вершины, принадлежащие не только множеству й, но и множеству Г и/или ВОР. Следовательно, важно иметь информацию о вероятностях того, что все вершины нулевого контура принадлежат множествам й, ВвР.

Проанализировав причины появления враждебных вершин в графе взаимных проверок, а также результаты и выводы из литературы, приняты некоторые допущения и построены аналитические зависимости. Показано, что при определенном уровне подготовки группы и при наличии нулевого контура в графовой модели вероятность того, что все вершины контура принадлежат множеству й, становится очень большой. Например, при числе вершин в контуре, равном 3, уровне подготовленности группы, равном 0,7, вероятность того, что все вершины контура принадлежат множеству б равна 0,98, то есть в двух случаях из 100 возможна ошибка в принятии гипотезы о том, что все вершины нулевого контура надежны. Найдено критическое значение уровня подготовки группы учащихся, равное 0,64, при котором может потребоваться подключение арбитра или дополнительных тестовых связей.

Для оценки вероятностных характеристик системы взаимной проверки знаний на множестве испытаний разработан блок имитационного моделирования, позволяющий оценить для различных входных параметров вероятности расшифровки синдрома для разработанных алгоритмов, что позволяет перед процедурой взаимных проверок рационально выбрать конфигурацию графа для обеспечения минимальной загрузки как арбитра, так и учащихся. Рассмотрены основные условия моделирования.

При отсутствии враждебных вершин, вероятность появления неисправных вершин рассчитывается по формуле:

Рг = 1-Ра

где Ра - вероятность появления надежной вершины; Рр - вероятность появления неисправной вершины.

В случае присутствия в системе враждебных вершин, вероятность их появления и вероятность появления неисправных вершин рассчитывается по формулам:

Рвср — * к^-, Рр = РВ5 * (1 - кд

где Рвср - вероятность появления враждебных вершин; РВ5 - вероятность появления ненадежных вершин; к\ — доля враждебных вершин от ненадежных.

Пример распределения вершин по видам в имитационной модели приведен на Рис. 6, где ко - доля ненадежных вершин.

О ОД 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

<го=0,5

0 0,2 0,4 0,6 0,8 1

*i=0,3

|_G: 0,5_|_65; 0,5_|

I_С: 0,5_I BGP: 0,15 |_F: 0,35_|

Рис. 6. Пример распределения вершин по видам Построены и проанализированы графики зависимостей вероятности расшифровки синдрома графа взаимных проверок, вероятности появления нулевого контура различной длины от уровня подготовленности группы, числа обучаемых в группе для различных конфигураций графа и параметров системы взаимной проверки знаний. Проанализированы полученные результаты и даны рекомендации по применению разработанных алгоритмов. Подтверждена высокая вероятность расшифровки синдрома графа Du для разработанных алгоритмов при t < т без подключения арбитра или дополнительных тестовых связей. Показано, что при росте уровня подготовленности группы возрастает вероятность появления нулевого контура большей длины и вероятность того, что все вершины нулевого контура надежны, что увеличивает вероятность верной расшифровки синдрома без подключения арбитра. Кроме того, вероятность того, что в нулевом контуре присутствует хотя бы одна надежная вершина, является очень большой. При отсутствии в графе взаимных проверок враждебных вершин значительно возрастает вероятность расшифровки даже при уровне подготовленности 0,5.

Показано, что вероятность присутствия т ненадежных вершин подряд уменьшается с ростом числа учащихся в группе, таким образом, при увеличении группы и хорошей подготовленности учащихся целесообразно использовать для расшифровки синдрома алгоритм для графа с числом тестовых связей, равным n(ti-\).

На основании полученных результатов и рассмотренных алгоритмов разработана методика подключения к тестированию арбитра с разбивкой условий подключения на обязательные и желательные. Сформулировано и обосновано правило контрольного подключения арбитра, которое заключается в следующем.

Арбитра необходимо подключать к наиболее информативной вершине. Такой вершиной в системе взаимной проверки знаний является вершина, принадлежащая множеству F, в которую входит наибольшее количество единичных дуг и которую тестируют обучаемые, признанные подготовленными. При этом в случае, когда присутствует учащийся, верно оценивший своих коллег, но которого проверяли только обучаемые, признанные ненадежными, арбитра необходимо подключать именно на этого учащегося в целях выявления его принадлежности к множеству G или F.

Предложена методика оценки применимости алгоритмов, включающая показатели, разделенные на три основные группы, учитывающие как входные данные о группе учащихся, так и результаты, полученные при анализе входных данных и проведении моделирования. На основании данной методики сформулированы выводы и рекомендации по выбору алгоритмов.

Раздел 4 посвящен реализации системы и проведению натурного эксперимента.

LS начале раздела сформулированы основные трсоованих к системе, которые включают необходимость обеспечения Web-доступа к системе, возможность регистрации учащихся в любое время, разграничение прав доступа к системе, наличие базы данных учащихся, тестовых заданий, возможность проведения тестирования по одной теме и по нескольким в рамках одного теста, возможность учета весов темы/вопросов при проведении контроля знаний. Предложена архитектура системы, удовлетворяющая указанным требованиям, описан разработанный программный продута. Система взаимной проверки знаний реализована на языке PHP 5.0.

Составлена схема взаимодействия арбитра с учащимся в системе взаимной проверки знаний, отражающая полный процесс взаимодействия, начиная от регистрации учащегося в системе и заканчивая формированием и представлением учащемуся итоговой оценки по результатам проверки.

Описаны условия и приведены результаты натурного эксперимента. В средней общеобразовательной школе №1 г.Пятигорска проведено 66 экспериментов с учетом разделения групп на подгруппы. В каждом эксперименте участвовало от 5 до 17 учащихся (в среднем - 7 учащихся в эксперименте). На кафедре ВМСиС МЭИ (ТУ) проведен 21 эксперимент с учетом разделения групп на подгруппы. В каждом эксперименте участвовало от 5 до 9 учащихся (в среднем - 6 учащихся в эксперименте). По результатам натурного эксперимента в средней

общеобразовательной школе №1 г.Пятигорска установлено, что частота ошибок системы без подключения дополнительных тестовых связей/арбитра (полностью автоматический режим) составила 18%. Подключение дополнительных тестовых связей снизили частоту ошибок системы до 1,5%, при этом число подключений дополнительных тестовых связей в среднем за эксперимент составило 0,33 раза. По результатам натурного эксперимента на кафедре ВМСиС МЭИ (ТУ) установлено, что частота ошибок системы без подключения дополнительных тестовых связей/арбитра (полностью автоматический режим) составила 13%. Подключение дополнительных тестовых связей снизили частоту ошибок системы до 9%. Число подключений дополнительных тестовых связей в среднем за эксперимент составило 0,29 раз.

При проведении контроля знаний учащихся традиционным способом с использованием открытых вопросов загрузка преподавателя (арбитра) максимальна,

т.е. в каждом эксперименте арбитру необходимо было бы проверить ответ каждого обучаемого. В проведенном натурном эксперименте среднее число подключений арбитра (включая контрольные подключения) за эксперимент в средней общеобразовательной школе №1 г.Пятигорска составило 0,14 раз, на кафедре ВМСиС МЭИ (ТУ) - 0,62 раза. При I < г подключений арбитра не требовалось. Ошибки в определении состояний обучаемых не выявлены, т.е. вероятность верного определения всех состояний учащихся составила 100%. Данные результаты подтверждают эффективность реализованной системы взаимной проверки знаний и разработанных принципов и методов.

По результатам эксплуатации системы сформулирован ряд рекомендаций для учета при проведении контроля знаний учащихся с использованием системы взаимной проверки знаний.

В заключении приведены основные результаты диссертационного исследования.

В приложениях приведено следующее: акты о внедрении, принципы организации систем дистанционного обучения, методы организации и осуществления учебно-познавательной деятельности, условия моделирования разработанных алгоритмов, схемы алгоритмов расшифровки синдрома графа взаимных проверок для полного графа, оптимального графа О],,, графа с числом тестовых связей п(п-1), модели неполной групповой проверки, примеры работы разработанных алгоритмов, результаты оценки на основании аналитической модели, результаты имитационного моделирования, тестовые задания и результаты натурного эксперимента, руководство пользователя и исходные тексты системы взаимной проверки знаний.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработаны принципы применения ^-диагностируемых моделей для взаимной проверки знаний. Проведена модификация и адаптация методов технической диагностики для применения в системе электронного обучения с соответствующим анализом ограничений и возможностью обнаружения недобросовестных учащихся.

2. Разработаны методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Определены способы, позволяющие снизить вероятность появления в графе взаимных проверок враждебных вершин.

3. Предложено усовершенствование ПМЧ-модели для ее применения в системе взаимной проверки знаний, учитывающей присутствие в графе враждебных вершин.

4. Разработаны алгоритмы расшифровки синдрома графа взаимных проверок для различных конфигураций графа, позволяющие верно определять состояния вершин, в том числе и враждебных.

5. Исследованы различные подходы к снижению нагрузки учащихся с анализом ограничений применимости этих подходов. Показано, что при удалении в оптимальном графе Оц для каждой вершины одной выходящей из нее тестовой связи, можно сохранить значение показателя диагностируемости графа, и при этом корректно определять статусы всех вершин..

6. Предложены способы учета априорных данных о подготовленности учащихся в разработанных алгоритмах.

7. Для снижения числа тестовых связей в графе взаимных проверок при высокой подготовленности группы учащихся предложено использовать модель t/s-диагностируемых систем (модель неполной групповой проверки).

8. Исследованы свойства методов и алгоритмов диагностирования и сформулировано б утверждений, поясняющих и уточняющих работу разработанных алгоритмов.

9. Разработана аналитическая модель оценки вероятностных характеристик системы взаимной проверки знаний и проведен анализ полученных результатов. Установлено, что при уровне подготовки группы учащихся меньше 0,64, может потребоваться подключение арбитра или дополнительных тестовых связей.

10. Разработана имитационная модель, позволяющая оценить вероятностные характеристики системы взаимной прсвч.^Л\И знании uu Mii^jrvwTBw и\,пытапии. Проанализированы полученные результаты и даны рекомендации по применению разработанных алгоритмов. Подтверждена высокая вероятность расшифровки синдрома графа взаимных проверок для разработанных алгоритмов без подключения арбитра или дополнительных тестовых связей при количестве ненадежных вершин, не превышающем показателя диагностируемое™ графа.

11. Разработана методика подключения к тестированию арбитра с разбивкой условий подключения на обязательные и желательные. Сформулировано и обосновано правило контрольного подключения арбитра.

12. Разработана методика оценки применимости алгоритмов расшифровки синдрома графа взаимных проверок, включающая показатели, учитывающие как входные данные о группе учащихся, так и результаты, полученные при анализе входных данных и проведении моделирования. На основании данной методики сформулированы выводы и рекомендации по выбору алгоритмов.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Пудов В.А. Метод контроля и диагностирования знаний в образовательном процессе // Научно-технические ведомости СПбГПУ - СПб.: Издательство Политехнического университета, 2008, №5 (66) - С. 12-20.

2. Пудов В.А. Определение вероятностных характеристик системы взаимной проверки знаний // Международный форум информатизации МФИ-2008. Труды международной научно-технической конференции «Информационные средства и технологии» - М.: МЭИ, 2008, Т.2. - С. 157-165.

3. Пудов В.А., Афонин В.А. Арбитр в системе взаимной проверки знаний // Тезисы докладов четырнадцатой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» - М.: МЭИ, 2008, Т.1.-С. 342-343.

4. Пудов В.А. Возможные подходы снижения нагрузки учащихся без уменьшения показателя диагностируемости графа в системе взаимной проверки знаний // Международный форум информатизации МФИ-2007. Труды международной научно-

технической конференции «Информационные средства и технологии» - М.: МЭИ, 2007, Т.2. - С. 209-213.

5. Пудов В.А., Афонин В.А. Методы диагностирования, применяемые в системе взаимной проверки знаний // Тезисы докладов тринадцатой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» - М.: МЭИ, 2007, Т.1. - С. 397-398.

6. Пудов В.А., Афонин В.А. Ошибки, связанные с проблемой византийских генералов в системе взаимной проверки знаний // Тезисы докладов двенадцатой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» - М.: МЭИ, 2006, Т. 1. - С. 460-461.

7. Пудов В.А., Афонин В.А. Особенности архитектуры системы взаимной проверки знаний учащихся с подключением арбитра в учебном процессе // Сборник трудов Второй Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности». - СПб.: Издательство Политехнического университета, 2006. - С. 371-372.

8. Афонин В.А., Пудов В.А. Проблема византийских генералов при расшифровке синдрома в системе взаимной проверки знаний с арбитром // Международный форум информатизации МФИ-2005. Труды международной научно-технической конференции «Информационные средства и технологии» - М.: Янус-К, 2005.-С. 80-83.

9. Афонин В.А., Пудов В.А. Методика выявления ненадежных учащихся в системе взаимной проверки знаний с арбитром // Международный форум информатизации МФИ-2005. Труды международной научно-технической конференции «Информационные средства и технологии» - М.: Янус-К, 2005. - С. 84-87.

Подписано в печать fb.öЗак. 9А/ Тир. ¡00 П.л. Полиграфический центр МЭИ(ТУ) Красноказарменная ул.,д.13

ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ВВЕДЕНИЕ

1 КОНТРОЛЬ ЗНАНИЙ ПРИ ЭЛЕКТРОННОМ ОБУЧЕНИИ

1.1 ПРИНЦИПЫ ПОСТРОЕНИЯ СИСТЕМ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ

1.2 КОНТРОЛЬ ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ ЗАКРЫТЫХ ВОПРОСОВ

1.3 КОНТРОЛЬ ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ ВОПРОСОВ, ИМЕЮЩИХ КОНЕЧНОЕ МНОЖЕСТВО РЕШЕНИЙ

1.4 КОНТРОЛЬ ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ ОТКРЫТЫХ ВОПРОСОВ

1.5 ПРИМЕРЫ СИСТЕМ

1.6 КРАТКИЙ ОБЗОР МЕТОДОВ ОБУЧЕНИЯ

1.7 ЦЕЛИ ИССЛЕДОВАНИЯ

1.8 УСЛОВИЯ И ОГРАНИЧЕНИЯ

1.9 ФОРМУЛИРОВКА ЗАДАЧ НАУЧНОГО ИССЛЕДОВАНИЯ

1.10 АНАЛИТИЧЕСКИЙ ОБЗОР МОДЕЛЕЙ С AMO ДИАГНОСТИРУЕМЫХ СИСТЕМ ДЛЯ ВЗАИМНОЙ ПРОВЕРКИ ЗНАНИЙ

ВЫВОДЫ ПО РАЗДЕЛУ

2 РАЗРАБОТКА МАТЕМАТИЧЕСКОГО ОБЕСПЕЧЕНИЯ СИСТЕМЫ ВЗАИМНОЙ ПРОВЕРКИ ЗНАНИЙ

2.1 ОБЩИЕ ПОЛОЖЕНИЯ

2.2 ПРОБЛЕМА ВИЗАНТИЙСКИХ ГЕНЕРАЛОВ

2.3 АЛГОРИТМ ДЛЯ ПОЛНОГО ГРАФА

2.4 АЛГОРИТМ ДЛЯ ОПТИМАЛЬНОГО ГРАФА Di,,

2.5 ПОДХОДЫ К СНИЖЕНИЮ НАГРУЗКИ УЧАЩИХСЯ

2.6 АЛГОРИТМ ДЛЯ ОПТИМАЛЬНОГО ГРАФА С ЧИСЛОМ ТЕСТОВЫХ СВЯЗЕЙ п{ Ti-1)

2.7 МОДЕЛЬ ^-ДИАГНОСТИРУЕМЫХ СИСТЕМ В СВПЗ

2.8 ВХОДНОЙ КОНТРОЛЬ 97 ВЫВОДЫ ПО РАЗДЕЛУ

3 ОЦЕНКА ХАРАКТЕРИСТИК СВПЗ И АНАЛИЗ РЕЗУЛЬТАТОВ

3.1 НЕОБХОДИМОСТЬ АНАЛИЗА НУЛЕВЫХ КОНТУРОВ

3.2 АНАЛИТИЧЕСКАЯ МОДЕЛЬ ОЦЕНКИ ВЕРОЯТНОСТНЫХ ХАРАКТЕРИСТИК СВПЗ

3.3 ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ СВПЗ

3.4 МЕТОДИКА ПОДКЛЮЧЕНИЯ АРБИТРА

3.5 МЕТОДИКА ОЦЕНКИ ПРИМЕНИМОСТИ АЛГОРИТМОВ

РАСШИФРОВКИ СИНДРОМА ГРАФА ВЗАИМНЫХ ПРОВЕРОК

ВЫВОДЫ ПО РАЗДЕЛУ 3 133 4 МЕТОДИКА ПРОВЕДЕНИЯ ТЕСТИРОВАНИЯ. РЕАЛИЗАЦИЯ СИСТЕМЫ.

НАТУРНЫЙ ЭКСПЕРИМЕНТ

4.1 РАЗРАБОТКА АРХИТЕКТУРЫ СИСТЕМЫ

4.2 СХЕМА ВЗАИМОДЕЙСТВИЯ АРБИТРА С УЧАЩИМСЯ В СВПЗ

Одной из главных функций компьютерных обучающих программ является контроль и диагностирование знаний. Традиционные способы их проведения уже вписались в существующую практику обучения, но их применение ограничено областью передачи конкретных знаний в определенной предметной области. Например, одним из традиционных способов контроля, характерным на этапе, когда пройдены основы и требуется приобретение и закрепление навыков, является метод стандартизированного контроля знаний, при котором тестовая задача сопровождается набором правильных и неверных ответов. Однако во многих случаях этот метод оказывается слишком ограниченным, когда даже невозможно задать эталонные решения для данного вопроса. Примером одного из таких случаев может быть тестовая задача, состоящая в необходимости доказательства теоремы. В этих случаях проверка знаний перекладывается на преподавателя, однако, его загрузка при этом оказывается очень большой. К тому же, необходимо заметить, что целью образования является не столько передача знаний, сколько обучение выработке собственных суждений, принятию решений.

Для реализации таких задач применяются методы искусственного интеллекта, учебное компьютерное моделирование, телеконференции и другие. Однако во всех перечисленных методах не решена в полном объеме задача проверки знаний, так как они предназначены, главным образом, для предоставления обучаемому среды для получения необходимой информации, и лишь часть из них (компьютерное моделирование и методы искусственного интеллекта) позволяют выдвигать свои предположения и проследить за результатом их приложения к предметной области. Контроль здесь, в основном, реализуется за счет самопроверки, что не позволяет объективно оценить уровень знаний учащегося.

Дополнить приведенные методы обучения еще одной составляющей -взаимной проверкой знаний, преобразуя их в среду для осуществления плодотворного процесса обучения, в который будут вовлечены все учащиеся, позволяет метод взаимной проверки знаний с привлечением арбитра (имеется ввиду групповое диагностирование, то есть интерпретирование результатов взаимных проверок и определение фактического состояния каждого обучаемого). Данный метод является развитием идеи парного контроля, позволяющего отработать «внешнеречевую форму действия», а также помогающего сформировать самоконтроль: выполняя проверку ответа коллеги на тестовую задачу, обучаемый учится контролировать и себя. Работы психологов [24] показывают, что парный контроль способствует созданию положительной учебной мотивации.

Суть подхода, применяемого в СВПЗ, состоит в том, что решения одной определенной тестовой задачи, выданные всем обучаемым, взаимно проверяются самими учащимися (самопроверки исключаются), и по результатам этих оценок выдается заключение о состоянии каждого обучающегося (знает, не знает), используя аппарат технической диагностики. Для разрешения спорных ситуаций и выборочной подтверждающей проверки привлекается арбитр (преподаватель), то есть данная система позволяет перенести часть функций преподавателя на самих учащихся, уменьшая его нагрузку.

Подобную систему можно охарактеризовать, как гибридную или человеко-машинную, при этом на вычислительные средства возлагается задача определения хорошо и слабо подготовленных учащихся. Ее отличительная черта заключается в том, что за счет привлечения к контролю знаний самих обучаемых снимаются многие ограничения на классы тестовых задач. Это выражается в том, что задания не должны иметь эталонных ответов. При этом обеспечивается высокий уровень истинности полученных оценок.

Актуальность. Системы дистанционного обучения в настоящее время развиваются достаточно динамично. Использование дистанционного обучения по сравнению с традиционными методами имеет следующие преимущества:

- обучаемый изучает материал и выполняет тестовые задания в любое удобное для него время;

- уменьшается нагрузка на преподавателей. Работа преподавателя состоит в составлении дистанционного учебного курса и приеме экзаменов по нему;

-9- повышается доступность учебного курса.

Особенностью СДО является то, что текущий контроль и диагностирование знаний студентов должен производиться системой автоматически либо с минимальным вмешательством преподавателя. С другой стороны, желательно, чтобы тестовые задания не сводились к выбору ответов из списка. Наилучшим вариантом было бы использование открытых вопросов для контроля знаний.

В настоящее время задача оценки правильности ответов на открытые вопросы в общем виде не решена. Поэтому стоит задача применения и/или разработки таких математических методов и программных средств, ориентированных на проведение контроля знаний при помощи открытых вопросов.

Вторым важным аспектом обучения является взаимная проверка студентами решений тестовых задач. В ряде работ [26,27] показано, что при проверке обучаемым решений своих коллег, уровень его подготовки повышается. В то же время при проведении взаимных проверок возможно возникновение проблемных ситуаций, т.е. присутствие в системе недобросовестных учащихся (учащийся верно решил свое тестовое задание, но ответ хотя бы одного обучаемого оценил неверно) В данной диссертации исследуется класс систем, которые позволяют гибко настраивать схему проверки решений учащимися.

Перечислим задачи, которые требуется решить при проектировании современной системы контроля знаний при дистанционном обучении:

- Методика проверки ответов на открытые вопросы.

- Автоматизация системы контроля знаний таким образом, чтобы участие эксперта было минимальным.

- Обеспечение проверки учащимися решений своих коллег (с контролем таких проверок).

В разрабатываемой на кафедре Вычислительных машин, систем и сетей Московского энергетического института (технического университета) под руководством доцента Афонина В.А. системе взаимной проверки знаний предлагается комплексное решение поставленных выше задач.

Научная новизна. В разработанной СВПЗ учащиеся проверяют решения друг друга. Граф взаимных проверок определяется на основании разработанных в рамках диссертационного исследования алгоритмов, либо задается априорно. Для расшифровки полученного синдрома используются модифицированные и адаптированные методы технической диагностики (модели ¿/^-диагностируемых систем). Подключение арбитра используется только в том случае, если синдром невозможно расшифровать автоматически.

В диссертационном исследовании конкретизированы для рассматриваемой предметной области и получили развитие известные математические методы, и предложено их новое применение в обучающих системах.

Конкретно научная новизна диссертационного исследования состоит в следующем.

- Разработано математическое обеспечение для организации взаимной проверки знаний с подключением арбитра (преподавателя) при отсутствии априорной информации о подготовленности учащихся. Разработаны методы для взаимной проверки знаний с использованием моделей //у-диагностируемых систем и методика оценки их применимости.

- Разработаны методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Предложены способы, позволяющие снизить вероятность появления в графе взаимных проверок враждебных вершин и минимизировать подключения арбитра.

- Разработан метод расшифровки синдрома, представляющего результаты взаимной проверки, позволяющий уменьшить количество тестовых связей между вершинами графа без снижения уровня диагностируемости.

СВПЗ сама не проверяет решения студентов, а делает заключение по результатам взаимных оценок, используя аппарат технической диагностики. На основании известных методов технической диагностики разработаны алгоритмы расшифровки синдрома для различных конфигураций графа и входных параметров системы, позволяющие использовать систему даже при отсутствии априорной информации о подготовленности учащихся. Это позволяет применять в системе произвольные классы открытых вопросов без их непосредственной проверки преподавателем, что было бы невозможно при «классическом» подходе, когда система сама оценивает решения.

Практическая ценность работы определяется возможностью применения ее результатов в имеющих широкое распространение системах электронного обучения и состоит в следующем.

- Реализовано программное обеспечение системы взаимной проверки знаний с использованием открытых вопросов в соответствии с разработанными методами как для текущего, так и для итогового контроля знаний. Организован Web-доступ учащихся к системе. При помощи разработанного программного обеспечения проведен натурный эксперимент, подтверждающий теоретические положения диссертации.

- Применение системы взаимной проверки знаний позволяет повысить частоту и качество контроля знаний, объективность оценивания, уровень подготовки учащихся, развивает в них самостоятельность и ответственность за результаты проводимых ими проверок других обучаемых; при этом снижается нагрузка на преподавателя (арбитра), что позволяет повысить эффективность его труда за счет автоматизации контроля знаний учащихся. Использование системы вносит элемент соревновательности, что способствует созданию положительной учебной мотивации.

- Для обеспечения совместимости различных систем контроля знаний тестовые задания и ответы могут быть представлены в формате XML, соответствующем спецификации IMS QTI (IMS Question and Test Interoperability specification), определяющей структуру данных для представления тестовых заданий и результатов. Тестовые задания могут создаваться в любом текстовом редакторе.

- Реализованная система взаимной проверки знаний может быть интегрирована в существующие системы управления обучением LMS (Learning Management System).

Результаты, полученные лично автором. В процессе выполнения данного диссертационного исследования автором достигнуты следующие результаты:

- 12- Разработаны принципы применения //¿-диагностируемых моделей для взаимных проверок.

- Разработано математическое обеспечение для применения в системе взаимной проверки знаний на основе моделей и методов технической диагностики (модель //¿-диагностируемых систем). Разработан алгоритм расшифровки синдрома для полного графа. Проведена модификация и адаптация алгоритма для оптимального графа £>1(/ с возможностью подключения дополнительных тестовых связей.

- Предложены методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Усовершенствована ПМЧ-модель с учетом присутствия в системе враждебных вершин.

- Исследованы варианты уменьшения количества тестовых связей между вершинами графа. Разработан алгоритм, позволяющий снизить количество тестовых связей между вершинами графа без уменьшения показателя диагностируемости. Проведена модификация и адаптация алгоритма с использованием //¿-диагностируемых систем для снижения количества тестовых связей между вершинами графа.

- Исследованы свойства методов и алгоритмов диагностирования и сформулировано 6 утверждений.

- Исследованы случаи, когда ошибка слишком велика, и проведение диагностирования нецелесообразно.

- Проанализирована возможность участия арбитра в качестве вершины графа (абсолютно надежная вершина). Разработана методика подключения арбитра, сформулировано и обосновано правило контрольного подключения арбитра.

- Разработана методика оценки применимости алгоритмов. Проведена оценка разработанных алгоритмов с использованием предложенной методики.

- Разработана архитектура системы взаимной проверки знаний и программное обеспечение, предназначенное для проведения взаимной проверки знаний, успешная эксплуатация которого подтверждается актами о внедрении. С его помощью проведен натурный эксперимент, подтверждающий теоретические положения диссертации.

Внедрение. В рамках выполнения диссертации разработана архитектура системы с \УеЬ-доступом для выполнения взаимных проверок. Разработано программное обеспечение системы в соответствии с данной архитектурой. СВПЗ внедрена в учебный процесс на кафедре Вычислительных машин, систем и сетей Московского энергетического института (технического университета) г.Москвы и в средней общеобразовательной школе №1 им. М.Ю.Лермонтова г.Пятигорска Ставропольского края. Акты о внедрении представлены в Приложении 1. В разделе 4 приведены условия и основные результаты натурных экспериментов, выполненных в указанных организациях.

Публикации, участие в конференциях. Опубликовано 9 статей по теме диссертационного исследования, из них 1 статья в журнале, рекомендуемом ВАК для публикации основных результатов диссертаций. Некоторые результаты опубликованы в электронном журнале, издаваемом в МЭИ(ТУ) [73]. Автор выступал на 6-ти конференциях с докладами по теме работы:

- Международный форум информатизации МФИ-2008. Международная научно-техническая конференция «Информационные средства и технологии» (г.Москва, 21-23 октября, 2008 г.).

- Четырнадцатая международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (г.Москва, 28-29 февраля, 2008 г.).

- Международный форум информатизации МФИ-2007. Международная научно-техническая конференция «Информационные средства и технологии» (г.Москва, 16-18 октября, 2007 г.).

- Двенадцатая международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (г.Москва, 02-03 марта, 2006 г.).

- Вторая международная научно-практическая конференция «Исследование, разработка и применение высоких технологий в промышленности» (г.Санкт-Петербург, 07-09 февраля, 2006 г.).

- Международный форум информатизации МФИ-2005. Международная научно-техническая конференция «Информационные средства и технологии» (г.Москва, 18-20 октября, 2005 г.).

Основные результаты диссертационного исследования состоят в следующем:

1. Разработаны принципы применения //¿-диагностируемых моделей для взаимной проверки знаний. Проведена модификация и адаптация методов технической диагностики для применения в системе электронного обучения с соответствующим анализом ограничений и возможностью обнаружения недобросовестных учащихся.

2. Разработаны методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Определены способы, позволяющие снизить вероятность появления в графе взаимных проверок враждебных вершин.

3. Предложено усовершенствование ПМЧ-модели для ее применения в системе взаимной проверки знаний, учитывающей присутствие в графе враждебных вершин.

4. Разработаны алгоритмы расшифровки синдрома графа взаимных проверок для различных конфигураций графа, позволяющие верно определять состояния вершин, в том числе и враждебных.

5. Исследованы различные подходы к снижению нагрузки учащихся с анализом ограничений применимости этих подходов. Показано, что при удалении в оптимальном графе для каждой вершины одной выходящей из нее тестовой связи, можно сохранить значение показателя диагностируемости графа, и при этом корректно определять статусы всех вершин.

6. Предложены способы учета априорных данных о подготовленности учащихся в разработанных алгоритмах.

7. Для снижения числа тестовых связей в графе взаимных проверок при высокой подготовленности группы учащихся предложено использовать модель //¿■-диагностируемых систем (модель неполной групповой проверки).

8. Исследованы свойства методов и алгоритмов диагностирования и сформулировано 6 утверждений, поясняющих и уточняющих работу разработанных алгоритмов.

9. Разработана аналитическая модель оценки вероятностных характеристик системы взаимной проверки знаний и проведен анализ полученных результатов. Установлено, что при уровне подготовки группы учащихся меньше 0,64, может потребоваться подключение арбитра или дополнительных тестовых связей.

10. Разработана имитационная модель, позволяющая оценить вероятностные характеристики системы взаимной проверки знаний на множестве испытаний. Проанализированы полученные результаты и даны рекомендации по применению разработанных алгоритмов. Подтверждена высокая вероятность расшифровки синдрома графа взаимных проверок для разработанных алгоритмов без подключения арбитра или дополнительных тестовых связей при количестве ненадежных вершин, не превышающем показателя диагностируемости графа.

11. Разработана методика подключения к тестированию арбитра с разбивкой условий подключения на обязательные и желательные. Сформулировано и обосновано правило контрольного подключения арбитра.

12. Разработана методика оценки применимости алгоритмов расшифровки синдрома графа взаимных проверок, включающая показатели, учитывающие как входные данные о группе учащихся, так и результаты, полученные при анализе входных данных и проведении моделирования. На основании данной методики сформулированы выводы и рекомендации по выбору алгоритмов.

Практическая ценность данной работы состоит в следующем:

- Реализовано программное обеспечение системы взаимной проверки знаний с использованием открытых вопросов в соответствии с разработанными методами как для текущего, так и для итогового контроля знаний. Организован \УеЬ-доступ учащихся к системе. При помощи разработанного программного обеспечения проведен натурный эксперимент, подтверждающий теоретические положения диссертации.

- Применение системы взаимной проверки знаний позволяет повысить частоту и качество контроля знаний, объективность оценивания, уровень подготовки учащихся, развивает в них самостоятельность и ответственность за результаты проводимых ими проверок других обучаемых; при этом снижается нагрузка на преподавателя (арбитра), что позволяет повысить эффективность его труда за счет автоматизации контроля знаний учащихся. Использование системы вносит элемент соревновательности, что способствует созданию положительной учебной мотивации.

- Для обеспечения совместимости различных систем контроля знаний тестовые задания и ответы могут быть представлены в формате XML, соответствующем спецификации IMS QTI (IMS Question and Test Interoperability specification), определяющей структуру данных для представления тестовых заданий и результатов. Тестовые задания могут создаваться в любом текстовом редакторе.

- Реализованная система взаимной проверки знаний может быть интегрирована в существующие системы управления обучением LMS (Learning Management System).

Опубликованы следующие статьи и тезисы докладов, отражающие основные результаты данного диссертационного исследования:

1. Пудов В.А. Метод контроля и диагностирования знаний в образовательном процессе // Научно-технические ведомости СПбГПУ - СПб.: Издательство Политехнического университета, 2008, №5 (66) - С. 12-20. -журнал, рекомендуемый ВАК РФ для публикации основных результатов диссертаций.

2. Пудов В.А. Определение вероятностных характеристик системы взаимной проверки знаний // Международный форум информатизации МФИ-2008. Труды международной научно-технической конференции «Информационные средства и технологии» - М.: МЭИ, 2008, Т.2. - С. 157-165.

3. Пудов В.А., Афонин В.А. Арбитр в системе взаимной проверки знаний // Тезисы докладов четырнадцатой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» - М.: МЭИ, 2008, Т. 1. - С. 342-343.

4. Пудов В.А. Возможные подходы снижения нагрузки учащихся без уменьшения показателя диагностируемости графа в системе взаимной проверки знаний // Международный форум информатизации МФИ-2007. Труды международной научно-технической конференции «Информационные средства и технологии» - М.: МЭИ, 2007, Т.2. - С. 209-213.

5. Пудов В.А., Афонин В.А. Методы диагностирования, применяемые в системе взаимной проверки знаний // Тезисы докладов тринадцатой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» - М.: МЭИ, 2007, Т.1. - С. 397-398.

6. Пудов В.А., Афонин В.А. Ошибки, связанные с проблемой византийских генералов в системе взаимной проверки знаний // Тезисы докладов двенадцатой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» — М.: МЭИ, 2006, Т.1. - С. 460-461.

7. Пудов В.А., Афонин В.А. Особенности архитектуры системы взаимной проверки знаний учащихся с подключением арбитра в учебном процессе // Сборник трудов Второй Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности». - СПб.: Издательство Политехнического университета, 2006.-С. 371-372.

8. Афонин В.А., Пудов В.А. Проблема византийских генералов при расшифровке синдрома в системе взаимной проверки знаний с арбитром // Международный форум информатизации МФИ-2005. Труды международной научно-технической конференции «Информационные средства и технологии» — М.: Янус-К, 2005. - С. 80-83.

9. Афонин В.А., Пудов В.А. Методика выявления ненадежных учащихся в системе взаимной проверки знаний с арбитром // Международный форум информатизации МФИ-2005. Труды международной научно-технической конференции «Информационные средства и технологии» - М.: Янус-К, 2005. — С. 84-87.

ЗАКЛЮЧЕНИЕ

1. Афонин В. А., Ладыгин И.И. Построение отказоустойчивых вычислительных систем.- М.: МЭИ, 1987., 68 с.

2. Афонин В.А., Свиридов А.П. Организация систем диагностирования знаний на основе взаимного тестирования с арбитром // Тезисы докладов Международной конференции «Информационные средства и технологии».-М.: МЭИ, 1995. С. 143 -144.

3. Афонин В.А., Свиридов А.П., Смолко A.B. О новом классе компьютерных систем для группового обучения с арбитром // Информационные технологии, 1997, № 8.

4. Афонин В.А., Смолко A.B. Лунгулло C.B. Архитектура системы взаимной проверки знаний // Международный форум информатизации МФИ-97. Доклады международной конференции «Информационные средства и технологии», т.З.- М.: Изд-во Станкин, 1997, С.79 — 84.

5. Башмаков А.И., Башмаков И.А. Технология и инструментальные средства проектирования компьютерных тренажерно-обучающих комплексов для профессиональной подготовки и повышения квалификации // Информационные технологии 1999, №6, С. 40-43.

6. Беспалько В.П. Элементы теории управления процессом обучения. М.: Знание, 1971 132 с.

7. Димитриев Ю.К. Самодиагностика модульных вычислительных систем.-Новосибирск: ВО "Наука". Сибирская издательская фирма, 1993. 293 с.

8. Занков Л.В. Дидактика и жизнь. М.:- 1968.

9. Касьяненко М.Д. Педагопка сшвробггництва: Навч. пос1бник. // Кшв: Вища школа, 1993.

10. Крамаренко М. Б. Анализ самодиагностирования отказов вычислительной- 155системы // Электронное моделирование. 1987. №6. С. 61-64.

11. Краткий психологический словарь. // Под ред. A.B. Петровского, М.Г. Ярошевского. М.: Политиздат. 1985. -431 с.

12. Лобанов A.B., Сиренко В.Г. Распределенные методы системного диагностирования многомашинных вычислительных систем // Автоматика и телемеханика, 2000, №8. С.165-172.

13. Микеладзе М.А. Развитие основных моделей самодиагностирования сложных технических систем // Автоматика и телемеханика, 1995, № 5 .- С. 3-18.

14. Н. Нильсон Обучающиеся машины // М.:Мир, 1967

15. Пак Н.И. Нелинейные технологии обучения в условиях информатизации / Монография. Красноярск, КГПУ, 1999.

16. Пак Н.И., Симонова A.JI. Методика составления тестовых заданий // ИНФО, 1998, №5.

17. Пак Н.И., Филиппов В.В. О технологии создания компьютерных тестов // ИНФО, 1997, № 5.

18. Половникова H.A. Система воспитания познавательных сил школьников. // Казань: Изд. Казанский пед. Институт, 1975.

19. Свиридов А.П. Обучение и самообучение обучающих и контролирующих машин // М.: Издательство МЭИ, 1976.

20. Свиридов А.П. Основы статистической теории обучения и контроля знаний // М. Высшая школа 1981 г.

21. Свиридов А.П. Условные и безусловные алгоритмы диагностического контроля подготовки операторов ЭВМ М.: МЭИ, 1987. — 68 с.

22. Скворцов С. В. Применение симметричной диагностической модели при организации активной отказоустойчивости многопроцессорных систем // Вестник Рязанской государственной радиотехнической академии. 1998. Вып. 4. С. 57—64.

23. Талызина Н.Ф., Габай Т.В. Пути и возможности автоматизации учебного процесса / Серия «Педагогика и психология», 1977, N11.

24. Цыпкин Я. Э. Основы теории обучающихся систем // М.:Наука, 1970.

25. Шаталов В.Ф. Педагогическая проза М., Просвещение 1980.- 15627. Шаталов В.Ф. Точка опоры. М., Педагогика, 1987.

26. F.J.Allan, T. Kameda, S. Toida An approach to the diagnosability analysis of a system // IEEE Trans. Computers, vol. C-24, pp. 1040-1042, Oct 1975.

27. Anil K. Jain, Jianchang Mao, K.M. Mohiuddin. Artificial Neural Networks: A Tutorialï, Computer, Vol.29, No.3, March/1996, pp. 31-44.

28. Athey Т.Н. Nontraditional Universities Challenge Twenty-First-Century Higher Education // On the Horizon. Volume 6. - Number 5. 1998.-p. 1,5-7.

29. F.Barsi, F. Grandoni, P. Maestrini, A theory of diagnosability of digital systems// IEEE Trans. Computers, vol. C-25, pp. 585-593, June 1976.

30. A.T.Dahbura An efficient algorithm for identifying the most likely fault set in a probabilistically diagnosable system // IEEE Trans. Computers, vol. C-36, pp. 354-356, Apr. 1986.n с

31. A.T.Dahbura, G.M. Masson An 0(n ) fault identification algorithm for diagnosable systems // IEEE Trans. Computers, vol. C-33, pp. 486-492, June1984.

32. A.T.Dahbura, G.M. Masson Greedy diagnosis as the basis of an intermittent fault/transient-upset tolerant system design // IEEE Trans. Computers, vol. C-32, pp. 953-957, October 1983.

33. A.T.Dahbura, G.M. Masson, C.L. Yang Self-implicating structures for diagnosable systems // IEEE Trans. Computers, vol. C-34, pp. 718-723, August1985.

34. DARPA Neural Network Study // AFCEA Int'l Press, Fairfax, Va., 1988.

35. S.Even, J.E. Tarjan Network flow and testing graph connectivity// SIAM J. Computing, issue 5, pp. 507-518, August 1983.

36. L. R.Ford and D. R. Fulkerson, Flows in Networks // Princeton University Press, Princeton, NJ, 1974.

37. A.D.Friedman A new measure of digital system diagnosis// Dig. 1975 Int Symp. of fault tolerant computation, pp. 167-169, June 1975.

38. H.Fujiwara, K. Kinoshita Some existence theorems for probabilistically diagnosable systems // IEEE Trans. Computers, vol. C-27, pp. 379-384, April 1978.

39. HFujiwara, K. Kinoshita, Connection assignments for probabilisticallydiagnosable systems // IEEE Trans. Computers, vol. C-27, pp. 280-283, April1978.

40. S.L.Hakimi, A.T. Amin Characterization of connection assignment of diagnosable systems // IEEE Trans. Computers, vol. C-23, pp. 86-88, March 1974.

41. S.L.Hakimi, E.F. Schmeichel, An adaptive algorithm for system level diagnosis //J. Algorithms, pp. 526-530, 1984.

42. S.L.Hakimi, K. Nakajima On a theory of /-fault diagnosable analog systems // IEEE Trans. Computers, vol. CAS-31, pp. 946-951, November 1984.

43. S.L.Hakimi, K. Nakajima On adaptive systems diagnosis // IEEE Trans. Computers, vol. C-33, pp. 234-240, March 1984.

44. S.Haykin, Neural Networks: A Comprehensive Foundation, MacMilan College Publishing Co., New York, 1994.

45. S.H.Hosseini, J.G. Kuhl, S.M. Reddy A diagnosis algorithm for distributed computing systems with dynamic failure repair // IEEE Trans. Computers, vol. C-33, pp. 223-233, March 1984.

46. A.K.Jain and J. Mao, "Neural Networks and Pattern Recognition", in Computational Intelligence: Imitating Life, J.M. Zurada, R.J. Marks II, and C.J. Robinson, eds., IEEE Press, Piscataway, N.J., 1994, pp. 194-212.

47. Joo-Kang Lee, Jon T.Butler A Characterization of t/s-Diagnosability and Sequential t-Diagnosability in Designs // IEEE Trans, on Electronic Computers.-1990, V. 39 NO. 10- P. 1298-1304.

48. S.Karunanithi, A.D. Friedman Analysis of digital systems using a new measure of system diagnosis // IEEE Trans. Computers, vol. C-28, pp. 121-133, February1979.

49. T.Kohonen SelfOrganization- and Associative Memory, Third Edition, // Springer-Verlag, New York, 1989.

50. S.E.Kreutzer, S.L Hakimi Adaptive fault identification in two new diagnostic models // Proc. of the 21st Ann. Allerton Conf. On Comm. Cont. and Comput., pp. 353-362, Univ. of Illions, Urbana Champaign, October 1983.

51. P.V.Krothapally On fault identification in certain diagnosable systems // Master's Thesis, Dept. of Electric Engineering, Texas University, Lubbock,1. Texas, August 1983.

52. Lamport L., Shostak R., Pease M. The Byzantine Generals Problem // ACM Transactions on Programming Languages and Systems, Vol. 4, No. 3, July 1982, Pages 382-401.

53. Lippmann, "An Introduction to Computing with Neural Nets" // IEEE AS SP Magazine, Vol.4, No.2, Apr. 1987, pp. 4-22.

54. V. M.Malhotra, M. Pramodh-Kumar and S. N. Maheshwari, An 0(V3) algorithm for finding maximum flows in networks // Information processing Letters 7, (1978), 277-278.

55. W.S.McCulloch and W. Pitts, A logical Calculus of Ideas Immanent in Nervous Activity // Bull. Mathematical Biophysics, Vol. 5, 1943, pp. 115-133.

56. M.Minsky and S. Papert, Perceptrons: An Introduction to Computational Geometry // MIT Press, Cambridge, Mass., 1969.

57. M.Minsky, Logical Versus Analogical or Symbolic Versus Connectionist or Neat Versus Scruffy // AI Magazine, Vol. 65, No. 2, 1991, pp. 34-51.

58. U.S.R.Murty, J.A. Bondy Graph theory with Applications // New York: Elsevier North-Holland, 1976.

59. K.Nakajima A new approach to system diagnosis // Proc. 19th annu. Alleton Conf. Commun. Contr. And Comput. Sept. 1981, pp. 697-706.

60. K.Nakajima, P.V. Krotapalli On adaptive fault diagnosis in optimal systems // Proc. of the 21st Ann. Allerton Conf. On Comm., Cont. and Comput., pp. 373382, Univ. of Illions, Urbana Champaign, October 1983.

61. J.Narashimnah A unified approach to fault diagnosability of systems // Master's Thesis, Dept. of Electronic Engineering and Computer Science, Texas Tech University, Lubbock, Texas, August 1984.

62. J.Narasimhan, K. Nakajima An algorithm for determining the fault diagnosability of a system // IEEE Trans. Computers, vol. C-35, pp. 1004-1008, Nov. 1986.

63. J.Narasimhan, K. Nakajima System Level Fault Diagnosis: An Overview: Technical Report// Institute for Systems Research, Number: TR86-81, 1986

64. P. Werbos, Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences // Phd Thesis, Dept. of Applied Mathematics, Harvard- 159

65. University, Cambridge, Mass., 1974.

66. Preparata F.P., Metze G., Chien R.T. On the Connection Assignement Problem of diagnosible systems // IEEE Trans, on Electronic Computers.- 1967, v. EC -16.-P. 848-854.

67. D.E.Rumelhart and J.L. McClelland, Parallel Distributed Processing: Exploration in the Microstructure of Cognition, MIT Press, Cambridge, Mass., 1986.

68. R.P.S.N. Maheshwari, S.L. Hakimi On models for diagnosable systems and probabilistic fault diagnosis // IEEE Trans. Computers, vol. C-25, pp. 228-236, March 1976.

69. E.F.Schmeichel, S.L. Hakimi, M. Ohtsuka, G. Sullivan Minimizing the number of test rounds // Dig. 18lh Int. Symp. on Fault-tolerant computing. Tokyo, Japan, July 1988, pp. 266-271.

70. F.H.W.Shih, K. Nakajima Adaptive Diagnosis for Probabilistically Diagnosable System: Technical Report // Institute for Systems Research, Number: TR89-19, 1989.

71. Хл к.т.н., проф.Ладыгин И.И.к.т.н., доц.Афопин В.А.к.т.н., доц.Гольцов А.Г.- -1И

72. Управление образования ' ~ Ч Муниципальноеадминистрации г. Пятигорска общеобразовательное учреждение

73. Процесс внедрения проходил с 23 сентября по 26 декабря 2008 года.

74. Система взаимной проверки знаний внедрена в учебный процесс по дисциплинам «Математика», «Физика», «Информатика» и используется как для текущего, так и для итогового контроля знаний.

75. В ходе эксплуатации программного обеспечения было подтверждено, что оно обладает всеми заявленными возможностями, сочетая их с удобством эксплуатации и высокой скоростью работы.