автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Нейросетевые алгоритмы компьютерного контроля знаний: разработка и исследование

На правах рукописи

?0>

Титов Алексей Михайлович

НЕЙРОСЕТЕВЫЕ АЛГОРИТМЫ КОМПЬЮТЕРНОГО КОНТРОЛЯ ЗНАНИЙ: РАЗРАБОТКА И ИССЛЕДОВАНИЕ

Специальность: 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва-2008

003456558

Работа выполнена на кафедре «Интеллектуальные технологии и системы»

Государственного образовательного учреждения высшего профессионального образования «Московский государственный институт радиотехники, электроники и автоматики (технический университет)».

Научный руководитель: доктор технических наук, профессор

Свиридов Александр Петрович

Официальные оппоненты доктор технических наук, профессор

Болотова Людмила Сергеевна

кандидат технических наук, ст. н. с. Фадеев Николай Николаевич

Ведущая организация ОАО «Всероссийский научно-исследовательский

институт автоматизации управления в непромышленной сфере им. В. В. Соломатина» (ОАО «ВНИИНС»)

Защита состоится «17» декабря 200В г. в 16:30 часов, на заседании диссертационного совета Д 212.131.05 при Московском государственном институте радиотехники, электроники и автоматики (техническом университете) (МИРЭА) по адресу: г. Москва, пр-т Вернадского 78., в библиотеке.

С диссертацией можно ознакомиться в библиотеке МИРЭА.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу: 119454 г. Москва, пр-т Вернадского 78, диссертационный совет Д 212.131.05

Автореферат разослан 17.11.2008

Ученый секретарь

Диссертационного совета Д 212.131.05 — Е.Г.Андрианова

к.т.н., доцент ¿У

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Среди разнообразных отношений «человек-человек» можно выделить группу отношений, в которых один человек оценивает латентные свойства другого. К отношениям этого типа относятся, в частности, педагогические и производственные отношения.

Сходные задачи возникают:

• при моделировании процесса принятия решения о качестве подготовки обучаемых в школах и в вузах;

• при моделировании процесса принятия решения о характере личности и результатах деятельности работника;

• при сопоставлении заданий исполнителям на предприятиях.

Они состоят в оценке латентных свойств или качеств одного человека (обучаемого, пользователя, кандидата, работника) другим (педагогом, экспертом, работодателем). Различия состоят в пространстве входных и выходных признаков и шкалах измерения.

Так, при моделировании производственных отношений входными признаками являются качество выполненных заданий или поведение на работе, а при моделировании педагогических отношений — ответы обучаемого на вопросы и решения задач.

Общность различных типов оценки одного человека другим в рамках отношения «человек-человек» позволила рассмотреть их единое математическое описание как процессов обработки информации на примере сертификации качества подготовки специалистов. Впервые такое математическое описание было дано в работах А. П. Свиридова и позднее нашло отражение в работах других авторов.

В настоящее время большое число организаций (как коммерческих фирм, так и государственных образовательных учреждений) разрабатывают, приобретают и внедряют различные системы компьютерного обучения. С развитием систем компьютерного обучения развиваются также системы контроля знаний и сертификации качества подготовки специалистов. Мультимедийные технологии, развитые сегодня очень сильно, предлагают широкий спектр средств разработки и визуального представления заданий, предназначенных для обучаемых.

Разработке теоретических основ контроля знаний и реализации соответствующих методов в системах компьютерного обучения посвящены работы И. А. Башмакова, В. П. Беспалько, Л. С. Болотовой, А. А. Золотарёва, И. П. Норенкова, Б. М. Позднеева, А. П. Свиридова, Н. А. Селезнёвой, А. И. Субетто, Н. Ф. Талызиной и других отечественных и зарубежных авторов.

В современных системах компьютерного контроля знаний (ККЗ) ис-

пользуется стандартизированные (одно-, двухступенчатые и последовательные планы) и нестандартизированные методы контроля.

Несмотря на глубокую проработку тем, связанных с использованием стандартизированных алгоритмов в задаче ККЗ (работы А. Бирнбаума, К. Клауера, Ф. Лорда, М. Новика, Дж. Раша, А. П. Свиридова и других авторов), теме применения нейронных сетей (НС) для этих целей было уделено сравнительно мало внимания. Нерешёнными, в частности, остаются следующие проблемы:

1. Невозможно описать набор правил, которыми руководствуется НС при принятии решений. НС рассматривается как «чёрный ящик» — алгоритм с неясной внутренней логикой.

2. Не существует чёткого алгоритма формирования обучающей последовательности для НС, используемой в ККЗ.

3. Неясно, какая структура НС (число скрытых слоев и количество нейронов в каждом слое) наилучшим образом подходит для контроля знаний.

4. Не исследовано совместное применение НС и линейных (стандартизированных) алгоритмов контроля знаний.

На основе анализа можно утверждать, что вопросы разработки и исследования нейро сетевых алгоритмов контроля знаний являются актуальными. Вследствие этого необходима разработка алгоритма генерации обучающей последовательности для НС, механизма объяснения и анализа решений, принимаемых НС при выставлении оценки, и алгоритма поиска топологии НС, предназначенной для контроля знаний.

Цели и задачи работы. Целью данной диссертационной работы является разработка и оптимизация модели нейросетевого алгоритма ККЗ (принятия решения об уровне подготовки обучаемого) и анализ возможности его применения совместно со стандартизированным алгоритмом. Данный нейросетевой алгоритм должен обеспечить больший процент совпадений оценок, выставленных системой ККЗ и преподавателем и, в то же время, минимизировать число обучаемых (студентов), которое необходимо оценить эксперту (преподавателю) для настройки НС. Для этого требуется провести анализ состояния проблемы и решить следующие основные задачи:

1. Выявить основные функции контроля знаний, реализованные системами компьютерного обучения.

2. Проанализировать существующие методы ККЗ. Выявить их основные достоинства и недостатки.

3. Проанализировать основные системы компьютерного обучения и алгоритмы контроля знаний, используемые ими.

4. Проанализировать различные варианты совместного использования генетических алгоритмов (ГА) и НС.

5. Предложить математическое описание алгоритма генерации обучающей последовательности и алгоритма поиска топологии НС, предназначенной для ККЗ.

6. Модифицировать алгоритм генерации объяснения решений, принимаемых НС, с целью его адаптации к задаче ККЗ.

7. Практически реализовать разработанные алгоритмы и модели в виде программного продукта.

8. Провести экспериментальные исследования.

9. Оценить эффективность разработанных алгоритмов генерации обучающей последовательности, поиска топологии НС и алгоритма объяснения решений, принимаемых НС.

Положения. выносимые на защиту.

1. Генетический алгоритм генерации обучающей последовательности для нейронной сети, предназначенной для компьютерного контроля знаний.

2. Генетический алгоритм оптимизации топологии нейронной сети, используемой при компьютерном контроле знаний.

3. Алгоритм формирования объяснения решения, принимаемого нейронной сетью при компьютерном контроле знаний.

Научная новизна работы. В диссертационной работе получены следующие новые научные и практические результаты:

• разработан алгоритм генерации обучающей последовательности, при использовании которой повышается точность выставления оценок нейронной сетью;

• предложен генетический алгоритм оптимизации топологии нейронной сети, используемой при компьютерном контроле знаний, что позволяет выбрать оптимальную структуру нейронной сети, что, в свою очередь, уменьшает процент неверно выставленных оценок;

• разработан алгоритм формирования объяснения решения, которое принимает нейронная сеть о качестве подготовки обучаемого на основе показателей контекстной утилитарности и контекстной важности, что позволяет эксперту контролировать качество обучения НС и даёт обучаемому дополнительную информацию об уровне его знаний.

• предложено новое технические решение проблемы совместного использования стандартизированного и нейросетевого алгоритмов компьютерного контроля знаний, реализованное в виде диалоговой системы «ДИАНИС».

Практическая ценность работы и её реализация. Результаты, полученные б ходе настоящей диссертационной работы, могут быть использованы при разработке алгоритмов ККЗ, а также программных систем

оценки персонала, систем компьютерного обучения и систем тестирования с целью повышения точности выставления оценок и классификации испытуемых.

Результаты диссертационной работы внедрены в учебный процесс в Московском государственном институте радиотехники, электроники и автоматики (техническом университете) и в Российском государственном социальном университете как на стадии изучения отдельных дисциплин («Основы компьютерных технологий», «Надёжность, эргономика и качество АСУ» и «Надёжность информационных систем»), читаемых для студентов специальности 230102 «Автоматизированные системы обработки информации и управления», так и при проведении ККЗ (приём зачётов и лабораторных работ по указанным дисциплинам).

Разработанные автоматизированная система контроля знаний и ГА формирования обучающей последовательности студентов (обучаемых) реализованы в виде программного обеспечения и документа «Система ДИАНИС. Руководство по установке, настройке и использованию». ГА формирования обучающей последовательности обучаемых (студентов) включён в учебные дисциплины «Нейронные сети», «Нейрокомпьютеры» и «Нейро-нечёткие системы и технологии», читаемые для студентов специальности 230102 «Автоматизированные системы обработки информации и управления», о чём свидетельствуют соответствующие акты внедрения.

Диалоговая автоматизированная система анализа и синтеза стандартизированных и нейросетевых алгоритмов ККЗ «ДИАНИС» зарегистрирована в Отраслевом фонде алгоритмов и программ (свидетельство об отраслевой регистрации разработки № 11321).

Публикации. Основные положения диссертационной работы докладывались на конференциях, в том числе Всероссийских и Международных, а также опубликованы в научно-технической периодике. Всего опубликовано 6 статей [1-6], из них работы [2] и [3] опубликованы в журналах, входящих в перечень ВАК. Сделаны доклады на 8-ми научных конференциях.

Структура и объём работы. Диссертация состоит из введения, четырёх глав и списка литературы. Объём основного текста составляет 171 печатную страницу, включая 12 таблиц, 51 рисунок и список литературы из 152 наименований.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во Введении обосновывается актуальность выбранной темы, в общем виде формулируются цель работы, а также проблемы и задачи, стоящие перед исследователями нейросетевых алгоритмов ККЗ.

В первой главе на основе известных автору источников осуществлён

анализ существующих алгоритмов ККЗ и их программных реализаций, в частности систем компьютерного обучения и подсистем контроля знаний. Сделан вывод о возможности повышения качества ККЗ в случае использования НС.

Контроль знаний, сопровождающий процесс обучения, - это важная составная часть системы образования и воспитания. Сущность ее состоит в наблюдении и контроле качества подготовки и эффективности процесса обучения, а также в использовании полученных результатов для развития личности обучаемых.

Выделяют следующие основные функции контроля знаний: 1) контролирующую, 2) обучающую (образовательную), 3) диагностическую, 4) прогностическую, 5) развивающую, 6) ориентирующую, 7) воспитывающую, 8) учётную, 9) контрольно-корректирующую и др.

За последние годы было разработано и реализовано на практике немалое число алгоритмов и методик контроля знаний. Среди них можно отметить следующие: 1) метод дерева событий, 2) предметно - критериальная методика составления тестов, 3) метод определения количества образовательной информации, 4) информационно-генетические алгоритмы, 4) модели Раша и Бирнбаума, 5) абсолютная временная шкала измерения знаний, б) методика статистического анализа качества обучения, 7) модель адаптивного тестового контроля, 8) нейросетевая технология контроля знаний.

Каждая из этих методик имеет свои сильные и слабые стороны, однако, наиболее перспективной, на наш взгляд, является нейросетевая технология ККЗ.

Нейросетевой алгоритм контроля знаний предполагает использование НС для определения качества подготовки обучаемого (выставления оценки). В работах А. П. Свиридова (предложившего данный подход) отмечается, что он может быть применён не только при моделировании отношения «обучаемый-педагог», но и при рассмотрении других отношений «человек-человек». Так, при адаптации диалоговых систем предварительно выделяются классы (стереотипы, характеры) обучаемых/пользователей, которым сопоставляются соответствующие средства (например, при формировании пользовательского интерфейса в зависимости от уровня подготовки пользователя). Вопросы адаптации диалоговых систем были рассмотрены затем в работах Е. Рича (Е. Rich), Р. Виленски (R. Wilensky), Д. Чина (D. Chin) и др.

Задача проверки теста, таким образом, рассматривается как задача распознавания или классификации образов. Образ отображается вектором, компоненты которою равны шеаенмм шлшшисш omeia на вопрос и значениям иных информативных признаков обучаемого (студента). Классом

является уровень подготовки обучаемого (студента).

В работах А. П. Свиридова описаны примеры успешного применения НС в ККЗ. При этом используются: сети Кохонена, многослойные перцеп-троны, ART- и RBF-сети. Сеть Кохонена - это двухслойная сеть. Она содержит входной слой (слой входных нейронов) и слой Кохонена активных нейронов. Каждый нейрон входного слоя соединён со всеми нейронами выходного слоя. Такие сети применяются для кластеризации данных (в том числе об обучаемых).

Многослойный перцептрон - это сеть прямого распространения, состоящая из входного, выходного и нескольких скрытых слоев. Каждый нейрон предыдущего слоя связан со всеми нейронами последующего. Нейроны многослойного перцептрона используют пороговую или сигмоидаль-ную функцию активации. Многослойный перцептрон может формировать сложные границы принятия решения и аппроксимировать сложные функции. В данной работе рассматривается применение многослойных перцеп-тронов для ККЗ.

Каждый образ можно рассматривать как точку в «-мерном пространстве. Каждая такая точка принадлежит одному классу - оценке. Принадлежность точки классу (номер класса) определяется функцией F(xh ... х„), где х, - значения информативных признаков обучаемого (студента), в частности, ответы на вопросы.

Стандартизированные методы ККЗ способны разделять только линейно разделимые классы, в то время как НС являются нелинейными классификаторами.

Вместе с тем, несмотря на свой большой потенциал, нейросетевая технология ККЗ имеет ряд недостатков, в частности:

• не существует чётких правил вывода результата. Правила не закладываются в НС экспертом, а формируются самой НС по обучающей последовательности. В этом смысле НС можно рассматривать как «чёрный ящик»;

• отсутствует алгоритм, который бы позволял получить объяснение (желательно на естественном языке) выставленной оценки. Такой алгоритм улучшил бы качество обучения НС, повысил процент совпадения оценок, выставленных НС и преподавателем, и указал бы обучаемым на их наиболее существенные ошибки;

• не исследован вопрос оптимизации топологии НС, предназначенной для ККЗ;

• отсутствует алгоритм формирования обучающей последовательности студентов (обучаемых) для НС, предназначенной для ККЗ. Широкое применение ККЗ находит в системах компьютерного обучения. Такие системы обладают развитыми средствами управления обуче-

нием, организации контроля знаний, сетевого администрирования и т.д. Сравнение возможностей их подсистем контроля знаний приведено в табл.1.

Таблица 1:

Сравнение систем компьютерного контроля знаний

Показатель Lotus Learning Space eLeaming Office 3000 Прометей Батисфера ВСА Доцент Moodle

Выборочный ответ + + + + + + +

Сопоставление — + + — + + +

Анализ числа — — — — + + +

Ограничение числа попыток ответа + + — — + + +

Ограничение времени на ответ + + + + + + +

Учет веса (сложности) задания — — + — + + —

Цена, доля США 4796 500 3900 750 (20 мест) Нет данных 6000 бесплатно

Проведённый в первой главе анализ показывает, что нейросетевая технология ККЗ не используется ведущими системами компьютерного обучения. Применение весовых коэффициентов сложности вопроса также ограничено.

Вторая глава посвящена повышению надёжности нейросетевого алгоритма ККЗ. В ней предлагается ГА генерации обучающей последовательности, алгоритм формирования объяснения вывода, сделанного НС, и ГА для оптимизации топологии НС, предназначенной для ККЗ. Приведём краткое описание разработанных алгоритмов.

В алгоритме формирования обучающей последовательности (выборки) система итеративно генерирует последовательности ответов на вопросы (решений задач), а преподаватель оценивает их. За одну итерацию генерируется (и оценивается) одна последовательность ответов. Достоинство такого способа генерации обучающей выборки состоит в том, что система может создавать образы, включение которых в обучающую выборку повышает её репрезентативность. При этом гарантированно покрывается всё пространство значений признаков. В то же дремя. система должна стсе-миться минимизировать обращения к преподавателю и дать ему возможность прекратить генерацию в любой момент.

Для формирования обучающей последовательности (выборки) студентов предлагается использование ГА. Формирование обучающей выборки рассматривается при этом как задача оптимизации.

Основные преимущества ГА перед стандартными локальными (например, градиентными) и глобальными (например, случайными) алгоритмами оптимизации состоят в следующем:

• отсутствует необходимость расчёта производных от целевой функции (как в градиентных методах) или матрицы производных второго порядка (как в квазиньютоновских);

• в отличие от градиентных алгоритмов, поиск решения основан на оптимизации случайно заданного множества решений, что позволяет параллельно анализировать несколько путей приближения к экстремуму;

• в отличие от случайных алгоритмов, в ГА, помимо целевой функции, дополнительно используются «правила выживания», расширяющие разнообразие множества решений и определяющие их эволюционное развитие, что позволяет быстрее находить оптимальное решение;

• в ГА используются вероятностные (а не детерминированные) правила при операции с решениями, что позволяет решить проблему выхода из локальных экстремумов.

Известны различные способы объединения ГА и НС. Как правило, ГА применяется для обучения, оптимизации топологии и для преобразования пространства параметров, используемых НС. ГА применяется также для подбора параметров алгоритма обучения НС (коэффициента обучения и момента). Нами предлагается применение ГА не на стадии обучения НС, а на стадии формирования обучающей последовательности. При этом, обучение может производиться при помощи любого известного алгоритма, в том числе и генетического.

Для решения поставленной задачи при помощи ГА должны быть определены способ кодирования и функция приспособленности (ФП) решения. Если ответы могут быть только правильными или неправильными (т.е. невозможны частично правильные ответы), то последовательность ответов можно кодировать при помощи битовой строки, в которой бит определяет степень истинности ответа на вопрос: 0 - неправильный ответ, 1 - правильный ответ. В случае наличия частично правильных ответов на вопрос необходимо применять другой способ кодирования решения, например, с использованием целых или действительных чисел.

Для определения ФП необходимо отметить важное свойство тестирования (свойство доминирования). Оно состоит в следующем. Пусть существует две последовательности ответов на вопросы (решений задач), и первая последовательность содержит правильные ответы на все те же во-

просы, что и вторая, а также правильные ответы на некоторые другие вопросы. Для краткости будем говорить: первая последовательность доминирует над второй. Первую последовательность назовём доминирующей относительно второй. Пусть последовательности 1 и 2 имеют одинаковые оценки педагога. Тогда, если последовательность ответов 3 доминирует над последовательностью 2, а последовательность 1 - над последовательностью 3, то оценка педагога для последовательности 3 равна оценке для последовательности 2 и оценке для последовательности 1.

Таким образом, если для некоторой последовательности ответов на вопросы (решений задач) X существуют 2 последовательности Т и Z такие, что X является доминирующей относительно К, а7 - доминирующей относительно X, и оценки педагога для которых совпадают, то оценка последовательности X известна и совпадает с оценками для У и Z. Последовательность X не должна быть предъявлена педагогу для оценки (для краткости назовём её не значимой), и, следовательно, должна иметь низкое значение ФП. Однако, это значение не должно быть одинаковым для всех таких последовательностей, так как это может привести снижению эффективности работы ГА (так называемая «проблема отсутствия холма»).

Формируемая обучающая выборка должна иметь по возможности высокую репрезентативность, то есть она должна содержать образы из разных областей пространства значений признаков. ФП должна это учитывать и обеспечивать по возможности равномерное распределение образов, предъявляемых на оценку педагогу. То есть, чем дальше образ находится от других образов, тем выше должно быть значение его ФП. Расстояние между двумя образами может быть измерено как расстояние Хэмминга или евклидово расстояние.

С учётом этих фактов можно привести пример ФП для последовательности ответов на вопросы (решений задач):

, ч и - тгп если X \\Ъ существуют

\п + тт(н(Х, А,), Н(Х, А1),..., Н(Х, Ак)), в противном случае' где X - последовательность (вектор), для которой рассчитывается ФП, У - последовательность, над которой доминирует Х,2- последовательность, которая доминирует над X и оценка педагога для которой совпадает с оценкой педагога для Г, А, - последовательность, оценка для которой была получена от педагога на предыдущих шагах и включённая в обучающую выборку, к - размер обучающей выборки, п - число вопросов (задач) в тесте (размерность вектора), Н- расстояние Хэмминга. Графическое представление алгоритма приведено на рис. 1

__I_

Генерация последовательности-кандидата (У

1.1 Инициализация популяции P0={Yr ... YJ,Fmia=0

т

1.2 Оценка приспособленности особей. Расчёт F(X) для всех Ye Р0

1.3 Селекция

▼

1.4 Применение генетических операторов. Создание нового поколения Pi+=G(P^

т

1.5 Оценка приспособленности особей. Расчёт F(Y) для всех У 6 Р Если3Ке Р :F(Y.)>F ,то Г WhF =F(Y.) к j+1 ^ к' max' Канд к max v к'

Г

1.6 Был ли достигнут лимит в 100 итераций? j

2 ^^^кстд )<F ' mm

j Нет Да

3 Предъявление варианта на оценку преподавателю

1 У

4 Очистка выборки от избыточных последовательностей. Формирование новых исходных данных для расчёта ФП

I

▼

/ N

Выход J

Рис. 1. Алгоритм генерации обучающей последовательности

На данном рисунке Ушш) — это последовательность-кандидат на включение в обучающую выборку. Р0 — начальная популяция, состоящая из п последовательностей, формируемых случайным образом, Ртах — максимальное значение ФП, V) — ФП для последовательности У, С — генетические операции скрещивания и мутации, применяемые к родительским последовательностям, с целью получения нового поколения, Гтт — значение ФП, такое, что если /*( У) < /•',„,„, то последовательность У— запрещённая, либо совпадающая с последовательностью, уже содержащейся в обучающей выборке.

Входными данными для НС могут быть не только степени истинности ответов на отдельные вопросы, но и уровни знания отдельных положений (тем) курса. Уровень знания темы может быть получен по степеням истинности ответов на отдельные вопросы, в том числе с помощью нейро-сетевого метода.

Темы в тесте могут быть связаны между собой. Связь между темами А и В, направленная от Л к В, означает, что знание темы А является необходимым для знания темы В. Связь тем определяется преподавателем, осуществляющим контроль курса.

Обучающая выборка, в таком случае, состоит из последовательностей чисел, представляющих степени (коэффициенты) усвоения отдельных тем. С учётом возможности связи тем, некоторые образы (последовательности) являются запрещёнными и не должны быть включены в обучающую выборку. Запрещённые образы характеризуются числом нарушенных связей, т.е. невыполненных необходимых условий.

ГА при генерации обучающей последовательности не должен создавать запрещённые образы. Для этого ФП должна быть модифицирована таким образом, чтобы её значение для запрещённых образов было бы ниже, чем у разрешённых образов.

С учётом этих фактов можно привести следующий пример ФП для последовательности коэффициентов усвоения тем курса

Гя - тт(н(У, X), X)) + С„Гщ - С(х), если У иг существуют

^ \п + тт(н(Х, А1).....Н(Х, Ак)) + С-С{х)в противном случае'

где X - последовательность (вектор), для которой рассчитывается значение ФП, У - последовательность, над которой доминирует X, Z - последовательность, которая доминирует над X и оценка педагога для которой совпадает с оценкой педагога для У, А, - последовательность, оценка для которой была получена от педагога на предыдущих шагах и включённая в обучающую выборку, к - размер обучающей выборки, п - число тем в к,,псе (г*азмепность вектора), Ы — расстояние Х?ммингяз — общее число связей между темами в курсе, С(Х) — число связей, нарушаемых после-

довательностью.

Для анализа (объяснения работы) НС строится набор нечётких высказываний, каждое из которых содержит 2 типа лингвистических переменных: контекстная значимость и контекстная утилитарность. Приведённый алгоритм объяснения решений НС основан на алгоритме, предложенном К. Фрамлингом.

Для непрерывных нелинейных систем, какими являются НС или нечёткие системы, показатели утилитарности и важности зависят от контекста. Таким образом, должны быть введены понятия контекстной значимости (contextual importance, СГ) и контекстной утилитарности (contextual utility, CU). Контекст определяется текущими значениями входных параметров (т.е. контекст — это образ). Контекстная важность заданного входного признака j для образа i по отношению к выходному значению определятся как отношение:

_dynmaxJ(cl)-dynmin/(cl)

' absmax - absmin где CI j — это контекстная важность признака j; dynmaXj(c,) и dynmitij{c,) — максимальное и минимальное значение выходной переменной при условии, что j-й признак пробегает все возможные значения (от минимального до максимального), а значения остальных признаков остаются неизменными; с, — изучаемый образ (контекст); absmin и absmax — минимально и максимально возможные значения выходной переменной.

Контекстная утилитарность CUопределяется следующим образом: CU n-dynmin^c)

1 dyninaXj (с ) - dynminj (с, ) ' где CUj — это контекстная утилитарность признака j, а и, — выходное значение для образа г.

Контекстная важность и контекстная утилитарность для заданного образа могут быть легко найдены при помощи имитационных методов, например, метода Монте-Карло. Позднее они могут быть переведены в лингвистические переменные, из которых, в свою очередь, могут быть созданы высказывания. Эта трансформация может быть выполнена, например, путём определения функции принадлежности лингвистических значений (термов) лингвистических переменных.

Применительно к задаче контроля знаний данная технология позволяет не только давать объяснение выставлению той или иной оценки, но и давать рекомендации по первоочередному изучению той или иной темы для повышения общего уровня подготовки. Эти рекомендации даются на основании отношения контекстной важности к контекст-

ной утилитарности CI/CU. Чем больше это отношение, тем важнее повышать уровень знания данной темы для повышения общей оценки.

Данный алгоритм позволяет также выделять ключевые особенности обучения НС и устранять те из них, которые являются нежелательными. Устранение может производиться путём повторного обучения сети, либо добавления образов в обучающую последовательность.

Оптимизация топологии НС осуществляется с применением ГА.

Топология НС кодируется при помощи последовательности целых чиселX={xi, ...,*„}, где*, - число нейронов г'-м скрытом слое.

Расчёт ФП основан на тестировании предварительно обученной НС на тестирующей последовательности. При расчёте ФП учитывается также число нейронов. Две НС с одинаковой топологией, обученные на одинаковой обучающей последовательности, могут давать разное число верно классифицированных образов. Поэтому обучение проводится несколько раз, и в расчёте ФП используется минимальное значение. Окончательный вид ФП следующий:

F(x)=min{Ft{x),...,Fk{x)),

где X — последовательность, кодирующая топологию HC, F{X) — значение ФП, к — число попыток обучения и тестирования НС, a F,(X) определяется так:

В данной формуле Е{Х,Т) — число образов тестирующей последовательности Т, правильно распознанных НС с топологией, кодируемой последовательностью X, S(X) — число нейронов в сети с топологией, кодируемой последовательностью X.

Тестирующая последовательность Т может быть сформирована по обучающей последовательности, учитывая свойство доминирования.

В третьей главе рассматриваются вопросы программной реализации алгоритмов, предложенных в предыдущих главах. Они были реализованы в разработанной диалоговой системе анализа и синтеза стандартизированных и нейросетевых алгоритмов ККЗ («ДИАНИС»).

В качестве языка программирования был выбран язык Java. Для реализации НС была использована библиотека JOONE (Java Object Oriented Neural Engine — Объектно-ориентированная технология работы с НС). Это свободная библиотека, позволяющая создавать, обучать и тестировать НС. Библиотека JOONE обладает следующими преимуществами:

• поддержка широкого спектра НС;

• наличие различных алгоритмов обучения НС с поощрением;

• поддержка НС Кохонена и анализа главных компонент;

• создание модульных НС;

• наличие механизма сериализации, позволяющего передавать НС на другие компьютеры;

• подключаемые модули ввода-вывода, позволяющие работать с различными источниками данных (в том числе удалённо), в частности с текстовыми файлами, таблицами Excel, изображениями, базами данных и др.

• подключаемые модули для предобработки входных данных (нормализации, скользящего среднего и т.д.) и динамического изменения параметров обучения (имитация отжига);

• механизм событий и извещений.

Для работы с ГА была использована библиотека JGAP (Java-библиотека ГА и программ). Она предназначена для моделирования основных генетических механизмов и может быть использована для решения задач эволюционными методами. Данная библиотека была использована в ряде научных работ, дипломов и диссертаций.

Ключевым звеном ГА в JGAP является понятие «хромосома» (тип «Chromosome»), Хромосома кодирует возможное решение и состоит из множества генов (тип «Gene»). В библиотеке JGAP различные аспекты решения задачи представляются как единое целое (приблизительно так же, как человеческие гены представляют различные признаки человека, такие как цвет волос или глаз). В течение процесса эволюции, эмулируемого в JGAP, хромосомы подвергаются воздействию различных генетических операторов (скрещиванию, мутации и т.д.), а затем отбираются для создания следующего поколения согласно значения их ФП. Процесс эволюции в библиотеке JGAP был смоделирован так, чтобы максимально подрожать процессам, происходящим в живой природе, с целью получения наилучшего решения задачи.

Для решения задачи при помощи JGAP необходимо выполнить ряд шагов:

Шаг 1. Необходимо решить, как будет представляться решение при помощи последовательности генов. Необходимо также задать тип значения, которое могут принимать объекты «Gene», т.е. выбрать соответствующий тип гена. Допускается использование различных типов в генов рамках одной хромосомы.

Шаг 2. Необходимо реализовать ФП в виде программного кода. Значение ФП должно быть тем выше, чем выше качество решения задачи. Для этого необходимо реализовать подкласс класса «FitnessFunction». В подклассе необходимо переопределить метод «evaluate», принимающий в качестве аргумента хромосому и возвращающий в качестве результата число с плавающей точкой (тип «double»).

Шаг 3. Необходимо создать, скорфигурировать и инициализировать

объекты библиотеки JGAP, а именно:

1. Объект класса Configuration — содержит основные настройки ГА.

Базовая реализация, содержащая настройки по умолчанию, предоставляется классом DefaultConfiguration;

2. Объект, реализующий ФП (подкласс класса «FitnessFunction»);

3. Образец хромосомы. Образец должен содержать гены нужных типов

в правильном порядке;

4. Необходимо также установить размер популяции.

Шаг 4. Создать начальную популяцию. Начальная популяция создастся из хромосом, инициализированных случайным образом. Для большинства задач это оптимальный вариант создания начальной популяции.

Шаг 5. Запуск процесса эволюции. На каждой итерации процесса можно контролировать, найдено ли оптимальное решение.

Особенностью библиотеки JGAP является возможность расширения её функциональности. Существуют следующие возможности для расширения:

• определение собственных типов генов;

• определение собственных генетических операторов;

• реализация пользовательского механизма отбора и пр.

Важная особенность библиотек JOONE и JGAP состоит в том, что они являются свободными и могут использоваться без лицензионных отчислений. Их исходный код открыт, что позволяет лучше понять их работу.

При разработке данной системы использовалась трёхзвённая архитектура. В этой архитектуре, кроме клиентской части системы и сервера базы данных, вводится промежуточный сервер приложений. На стороне клиента выполняются только интерфейсные действия, а вся логика обработки информации поддерживается в сервере приложений.

Сервер приложений представляет собой ядро сервера приложений и набор административных утилит для управления им. Функции ядра состоят в управлении сессиями пользователя, а также сборе и предоставлении информации о состоянии процессов пользователя администратору. К задачам по управлению сессиями относятся задачи создания новой сессии, подключения к текущей сессии, отключения от неё, завершения текущей (или указанной администратором) сессии, управление аутентификацией пользователей, изменение приоритетов сессий.

Таким образом, разработанная система имеет следующую архитектуру (рис. 2).

Рабочее место обучаемого / администратора

куггы |

Осиоим »оыиыпггрнш тешит» И^Идачсп. "цнокпмики » кпмггао АСУ или гозэ» ЯП* ¡кяшпумчъ

ОПГСЦКН

мпирг-ш» !tl.lll.lil У( ГТ7J.nl!.

1сТУ.Ш1ТЬ1

1 ''тчч'5, ггуясшо».

ну г-ой юрпшаичип «уисю» I '¡ЛИЙ»: «уантш ОвМЛ ,Т¿МЛ»

Сервер приложений

Рис. 2. Трёхзвённая архитектура системы "ДИАНИС"

Важным аспектом использования трёхуровневой архитектуры является удобство администрирования и упорядочение доступа пользователей к информационной базе. В этом варианте пользователь не должен знать о физическом расположении конфигурации или базы данных.

На рис. 3 показаны основные объекты, которыми оперирует программа, и их взаимосвязь.

Рис. 3. Взаимосвязь основных объектов системы

Программа состоит из 2-х частей: системы тестирования и системы управления тестированием и имеет следующие ключевые особенности:

• трёхуровневый контроль знаний: уровень знания вопроса, темы и курса;

• наличие иерархии тем - курс чётко структурирован;

• адаптивный выбор вопросов - экономия времени при тестировании без потери качества;

• возможность применения нейросетевого и стандартизированного алгоритмов контроля на уровне курса и темы;

• ГА формирования обучающей последовательности при обучении НС;

• сохранение информации не только об уровне знания курса, но и об уровне знания отдельных тем;

• поддержка различных систем оценок (например, двухбалльной или пятибалльной системы);

• наличие механизма объяснения выводов НС.

В данной главе приведено описание основных экранных форм поль-

зовательского интерфейса и инструкция пользователя для решения основных задач с помощью системы «ДИАНИС». В этой главе также рассмотрены основные программные технологии (такие как Java, J2EE, EJB), использованные при разработке данной программной системы.

Четвёртая глава посвящена экспериментальным исследованиям алгоритмов, разработанных и реализованных в предыдущих главах. При помощи разработанных алгоритмов посредством системы «ДИАНИС» создан курс, заполнена база вопросов и создана обучающая последовательность из образов, классифицированных преподавателем. По сформированной обучающей последовательности была обучена НС. Топология сети была оптимизирована при помощи ГА. Среди студентов 5-го курса Московского института радиотехники, электроники и автоматики (технического университета) был проведён ККЗ. Произведено сравнение процента оценок, корректно выставленных нейросетевым алгоритмом, в котором НС обучалась по последовательности, созданной при помощи разработанного алгоритма, и стандартизированным алгоритмом. Было также произведено сравнение процента оценок, корректно выставленных нейросетевым алгоритмом, в котором НС обучалась по последовательности, созданной при помощи разработанного алгоритма, и нейросетевым алгоритмом, в котором НС обучалась по последовательности, созданной без применения разработанного алгоритма (созданной преподавателем или сформированной случайным образом). Результаты сравнения приведены в табл. 2.

Таблица. 2:

Процент образов, успешно распознанных различными алгоритмами

Стандартизированный алгоритм Нейросетевой алгоритм

Выборка преподавателя Случайная выборка, ср зн Разработанный алгоритм

Процент распознанных образов 74 89 83 94

Произведено также сравнение процента оценок, корректно выставленных НС с оптимизированной топологией, и НС с неоптимизированной топологией.

Был построен график обучения НС с оптимизированной топологией, обученной по последовательности, созданной при помощи разработанного алгоритма.

Приведены результаты ККЗ, а также объяснения решений, принятых НС, относительно уровня подготовки некоторых студентов.

Анализ полученных результатов показал, что предлагаемые алгоритмы оптимизации топологии НС и генерации оптимальной обучающей последовательности увеличивают процент совпадений оценок, выставленных

преподавателем и НС, и, в то же время, минимизируют число образов, оцениваемых преподавателем для настройки НС.

В заключении сформулированы основные результаты работы, которые состоят в следующем:

1. Проведён анализ работ в области компьютерного обучения и контроля знаний, а также анализ основных алгоритмов компьютерного контроля знаний (в частности нейросетевого алгоритма) и их практических реализаций. Выявлены основные функции контроля знаний, реализованные системами компьютерного обучения. На основании данного анализа были сделаны выводы о целесообразное ш совершенствования нейросетевого алгоритма компьютерного контроля знаний с целью повышения его эффективности.

2. Разработан алгоритм генерации обучающей последовательности для нейронной сети, используемой в задаче компьютерного контроля знаний, отличающийся использованием генетического алгоритма.

3. Разработан алгоритм формирования объяснения решения, принимаемого нейронной сетью, на основе показателей контекстной утилитарности и контекстной важности признаков.

4. Разработан алгоритм оптимизации топологии нейронной сети, предназначенной для решения задачи компьютерного контроля знаний, использующий генетический алгоритм.

5. Разработана система компьютерного контроля знаний «ДИАНИС», обладающая следующими отличительными особенностями:

о трёхуровневый контроль знаний; о наличие иерархии тем; о адаптивный выбор вопросов;

о возможность применения нейросетевого и стандартизированного

алгоритма контроля на уровне курса и темы; о генетический алгоритм формирования обучающей последовательности при обучении нейросети; о сохранение информации не только об уровне знания курса, но и

об уровне знания отдельных тем; о поддержка различных систем оценок; о наличие механизма объяснения выводов нейронной сети.

6. Проведены экспериментальные исследования эффективности разработанных алгоритмов.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

[1] Свиридов А. П., Титов А. М. «Генетический алгоритм формирования обучающей последовательности для нейросетевой технологии компьютерного контроля знаний» // 56-я Научно-техническая конференция, посвященная 60-летию МИРЭА. Сборник трудов. 4.1. Информационные технологии и системы. Вычислительная техника. — М.: МИРЭА, 2007. —с. 113-116.

[2] Свиридов А. П., Титов А. М. «Метод формирования обучающей последовательности для нейросетевой технологии компьютерного контроля знаний на основе генетического алгоритма» // Интеллектуальные системы: Труды Восьмого международного симпозиума — М.: РУСАКИ, 2008. — с. 647-652

[3] Титов А. М. «Генетический алгоритм формирования обучающей последовательности для нейросетевой технологии компьютерного контроля знаний» // Ученые записки Российского государственного социального университета № 5 (61) 2008. с. 155157.

[4] Титов А. М. «Метод потенциалов в теории распознавания образов» // Информационные технологии XXI века. Сборник материалов конференции. —М.: 2003. — с. 34-37.

[5] Свиридов А. П., Титов А. М. «Автоматизированная система реализации стандартизированных и нейросетевых методов контроля знаний» // Искусственный интеллект: философия, методология, инновации. Материалы Первой Всероссийской конференции студентов, аспирантов и молоды ученых — М.: ИинтеЛЛ, 2006 — с. 319-322.

[6] Свиридов А. П., Алкадарский С. А., Титов А. М. «Адаптация диалога компьютерных обучающих и поддерживающих систем к обучаемому/пользователю на основе продукционных нейро-нечетких систем» // 57-я Научно-техническая конференция МИРЭА. Сборник трудов. — М.: МИРЭА, 2008 с. 16-20

Подписано в печать 11.11.2008. Формат 60x84 1/16.

Бумага офсетная. Печать офсетная. Усл. печ. л. 1,16. Усл. кр.-отт. 4,64. Уч.-изд. л. 1,25. Тираж 100 экз. Заказ 631

Государственное образовательное учреждение высшего профессионального образования

X Г-ПЛ1 П<1Г\ЛТТ>0И1И Т Т * Т111ЛТТГТП ГТ> ПО ТГиЛТАу'ИГИ'И

электроники и автоматики (технический университет)" 119454, Москва, пр. Вернадского, 78

Введение.

Глава 1.Обзор Современных алгоритмов компьютерного контроля знаний.

1.1 .Функции контроля знаний.:.

1.2.Алгоритмы контроля знаний.

1,2.1 .Метод дерева событий.

1.2.2.Предметно - критериальная методика составления тестов.

1.2.3.Метод определения количества образовательной информации.

1.2.4.Информационно-генетические алгоритмы.

1.2.5. Модель Раша.

1.2.6.Абсолютная временная шкала измерения знаний.

1.2.7.Методика статистического анализа качества обучения.

1.2.8.Модель адаптивного тестового контроля.

1.2.9.Нейросетевая технология контроля знаний.

1.2.10.Обучение нейронной сети.

1.3.Практическое применение компьютерного контроля знаний.

1.3.1.Российский опыт применения систем компьютерного обучения.

1.3.2.3арубежный опыт.

1 АКраткий обзор существующих систем компьютерного обучения.

1.4.1.Системы с открытым исходным кодом.

1.4.2.Коммерческие системы.

1.4.3.Отечественные разработки.

1.4.4.Системы тестирования и оценки знаний.

1.4.5.Универсальные авторские среды.

1.4.6.Сетевые авторские инструментальные средства.

1.5.Краткие выводы по главе 1.

Глава 2.Методы повышения надежности нейросетевого алгоритма компьютерного контроля знаний.

2.1 .Использование генетических алгоритмов для генерации обучающей последовательности и оптимизации топологии нейронной сети, предназначенной для компьютерного контроля знаний.

2.1.1 .Представление данных для генетического алгоритма.

2.1 ^.Инициализация генетического алгоритма.

2.1.3.Методы отбора особей в генетических алгоритмах.

2.1.4.Методы создания новых особей в генетических алгоритмах.

2.1.5.Функция приспособленности в генетических алгоритмах.

2.1.6.Условия завершения работы генетического алгоритма.

2.1.7.Параллельная обработка данных в генетических алгоритмах.

2.1.8.Модификации генетического алгоритма.

2.1.9.Пути повышения эффективности работы генетического алгоритма.

2.1 ЛО.Математические методы, сходные с генетическими алгоритмами.

2.1.11 .Эволюционные алгоритмы в нейронных сетях.

2.1.12.Генетический алгоритм формировании обучающей последовательности для нейронной сети.

2.2.Алгоритм генерации объяснения результатов работы нейронной сети при помощи показателей контекстной важности и утилитарности.

2.3.Краткие выводы по главе 2.

Глава 3.Программная реализация системы анализа и синтеза стандартизированных и нейросетевых алгоритмов компьютерного контроля знаний.

3.1.Используемые программные средства и технологии.

3.1.1 .Язык программирования Java.

3.1.2.Технология Enterprise JavaBeans.

3.1.3.Библиотека реализации нейронных сетей JOONE.

3.1.4.Библиотека реализации генетических алгоритмов JGAP.

3.2.Принципы функционирования системы «ДИАНИС».

3.3.Основные экранные формы и подсистемы.

3.4.Система управления тестированием.

3.4.1.Создание систем оценок.

3.4.2.Создание курсов.

3.4.3.Создание тем.

3.4.4.Создание тестов.

3.4.5.Система тестирования.

3.5.Использование системы управления тестированием.

3.5.1.Создание теста.

3.5.2.Управление данными об обучаемых.

3.6.Прохождение тестирования.

3.7.Краткие выводы по главе 3.

Глава 4,Экспериментальные данные.

4.1 .Общие сведения о проведённом эксперименте.

4.2.Оптимизация топологии нейронной сети.

4.3.Результаты компьютерного контроля знаний.

4.4.Сравнение эффективности стандартизированного и нейросетевого алгоритмов.

4.5.Краткие выводы по главе 4.

Среди разнообразных отношений «человек-человек» можно выделить группу отношений, в которых один человек оценивает латентные свойства другого. К отношениям этого типа относятся, в частности, педагогические и производственные отношения.

Сходные задачи возникают:

• при моделировании процесса принятия решения о качестве подготовки обучаемых в школах и в вузах;

• при моделировании процесса принятия решения о характере личности и результатах деятельности работника; при сопоставлении заданий исполнителям на предприятиях. Они состоят в оценке латентных свойств или качеств одного человека (обучаемого, пользователя, кандидата, работника) другим (педагогом, экспертом, работодателем). Различия состоят в пространстве входных и выходных признаков и шкалах измерения.

Так, при моделировании производственных отношений входными признаками являются качество выполненных заданий или поведение па работе, а при моделировании педагогических отношений — ответы обучаемого на вопросы и решения задач.

Общность различных типов оценки одного человека другим в рамках отношения «человек-человек» позволила рассмотреть их единое математическое описание как процессов обработки информации на примере сертификации качества подготовки специалистов. Впервые такое математическое описание было дано в работах [29, 30, 31] и позднее нашло отражение в работах [42, 43, 44, 45] а также работах других авторов.

В настоящее время большое число организаций (как коммерческих фирм, так и государственных образовательных учреждений) разрабатывают, приобретают и внедряют различные системы компьютерного обучения. С развитием систем компьютерного обучения развиваются и системы контроля знаний. Так, в рамках систем дистанционного обучения создаются и развёртываются отдельные подсистемы, предназначенные для решения этой задачи. Мультимедийные технологии, развитые сегодня очень сильно, предлагают широкий спектр средств разработки и визуального представления заданий, предназначенных для обучаемых. Они также дают обучаемому значительный выбор средств ответа на вопросы и решения задач. Сегодня это не просто выбор одного или нескольких текстовых ответов из предложенных вариантов, но и выбор графической области на рисунке, сопоставление, конструирование выражения (например, алгебраического выражения или химической формулы) и даже свободный ответ [14].

Анализ ответа, данного обучаемым на некоторый вопрос, и сопоставление его ответа с правильным ответом, хранящимся в базе, даёт степень истинности ответа обучаемого. Степень истинности ответа имеет, как правило, два значения: правильный ответ или неправильный ответ, однако, между этими крайними степенями могут быть и промежуточные значения (напр., частично правильный ответ). По степеням истинности ответов на вопросы определяется уровень подготовки обучаемого и выставляется оценка. При выставлении оценки могут таюке учитываться и другие информативные признаки обучаемого, такие как посещаемость (если речь идёт об автоматизированном контроле знаний при обычной форме обучения), число попыток сдачи или время, затраченное на прохождение экзамена [11]. Эту зависимость можно выразить в следующем виде:

M—F{X,A) , где X={xi, Х2, ., х,:} — степени истинности ответов на вопросы 1 . п, A={ai, ci2, . , ат} — дополнительные факторы, М— уровень подготовки по дисциплине. Нахождение этой зависимости и внесение её в компьютер является ключевой задачей компьютерного контроля знаний.

Разработке теоретических основ контроля знаний и реализации соответствующих методов в системах компьютерного обучения посвящены работы [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] и ряд других работ отечественных и зарубежных авторов.

Для её решения в рамках дисциплины выделяются так называемые «единицы проверки», образующие иерархию. Например, можно предложить следующую четырёхуровневую иерархию [32, 39]:

1) положение (отдельное упражнение);

2) раздел (например, лабораторный практикум);

3) тема (фрагмент деятельности);

4) учебная дисциплина.

Таким образом, задача контроля знаний разбивается на следующие подзадачи:

1. определение степени истинности ответа на вопрос;

2. определение уровня усвоения единицы проверки по степеням истинности ответов на вопросы;

3. определение уровня усвоения вышестоящей (по иерархии) единицы проверки по уровням усвоения нижележащих единиц проверки. Предыдущая зависимость с учётом этих факторов может быть переписана в следующем виде:

M=F{MxM2r.,Mn,A) , где Mi— уровень знания i-й единицы проверки.

Например, по ответам на вопрос можно определить знание отдельных разделов, по знанию отдельных разделов — уровень знаний темы, а по уровням знания тем — уровень подготовки по учебной дисциплине.

Зависимости, используемые для вычисления степеней усвоения единиц проверки всех уровней иерархии, в большинстве систем компьютерного контроля знаний (ККЗ) являются линейными. В таких зависимостях используются баллы, отражающие значимость той или иной единицы проверки. Число баллов для каждой единицы проверки определяется экспертом. Помимо числа баллов для каждой оценки (каждого уровня) задаётся порог (стандарт), при достижении которого данная оценка может быть выставлена. В таком случае, зависимость степени усвоения единицы проверки нижнего уровня иерархии (например, темы или раздела) от степеней истинности ответов на вопросы определяется выражением: т^если]Г п т2, если^ wiyl€\tl, t

21 = 1 J i=i где т\, ., mk — оценки (например, «неудовлетворительно», «удовлетворительно», «хорошо» и «отлично»), yi — значение ьго информативного признака обучаемого (Y={y,}=XuA )5 Wl — весовые коэффициенты каждого входного признака, tj — порог (стандарт) выставления j-й оценки. Алгоритм, использующий стандарты для определения уровня усвоения, называется стандартизированным [32, 39].

Линейная зависимость, используемая в стандартизированных алгоритмах ограничивает их гибкость. Использование нелинейных или кусочно-линейных зависимостей позволяет осуществлять контроль знаний более гибко, однако на практике такие зависимости не используются из-за большой сложности настройки алгоритма.

Компромиссом между гибкостью и простотой настройки является нейросетевой алгоритм ККЗ, предложенный в [38, 39].

Нейронная сеть (НС) может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами. Можно выделить 2 класса нейронных сетей, отличающихся друг от друга архитектурой связей — это сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями [19, 20, 21].

Сети первого класса являются наиболее распространёнными. Такие сети называются «многослойный перцептрон». Нейроны в таких сетях расположены слоями и имеют однонаправленные связи между слоями. Многослойный перцептрон является статической сетью в том смысле, что на заданный вход он вырабатывает одну совокупность выходных значений, независящих от предыдущего состояния сети. В противоположность многослойному перцептрону, рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

Способность к обучению является фундаментальным свойством НС. Процесс обучения — это настройка весов связей для эффективного выполнения, специальной задачи. Обычно НС должна настроить веса связей по имеющейся обучающей выборке. Способность к обучению на примерах делает НС более привлекательными по сравнению с системами, которые следуют определенной системе правил функционирования, сформулированной экспертами.

При применении НС задача контроля знаний рассматривается как задача классификации или распознавания образов. Образом в данном случае является последовательность степеней истинности ответов на вопросы (решений задач), либо последовательность уровней усвоения единиц проверок. Классом является оценка, либо уровень усвоения единицы проверки, стоящей, выше в иерархии. Таким образом, НС может рассматриваться как нелинейный классификатор, в противоположность стандартизированному алгоритму, являющемуся, в этом смысле, линейным классификатором. Применение такого рода классификаторов способно значительно повысить гибкость ККЗ по сравнению с традиционными линейными алгоритмами.

Применение НС возможно и при определении степени истинности ответа на вопрос. В этом случае, входом являются данные, предоставленные обучаемым, а выходом — степень истинности ответа на вопрос. Например, в качестве задания обучаемому может быть предложено разместить некоторые элементы на плоскости в нужных местах. Входом являются координаты элементов, а выход определяет, на сколько данное размещение соответствует действительности.

Контроль знаний — не единственная область применения нейронных сетей. Помимо большого числа решаемых ими задач, их можно использовать при моделировании различных отношений «человек-человек», например, при психологической диагностике или при адаптации интерфейса компьютерной программы к пользователю [36, 38, 42, 43, 46].

Однако, НС имеет ряд недостатков, ограничивающих её применение, в том числе и при ККЗ. Во-первых, невозможно чётко описать набор правил, которыми руководствуется НС при принятии решении. Например, при подсчёте баллов со стороны эксперта (преподавателя), существует чёткое понимание роли каждого параметра (числа баллов за правильный ответ и порогов выставления оценок). НС же рассчитывает выход на основе весов связей и применения функций активации. Влияние этих параметров на принимаемое решение не очевидно эксперту и поэтому эти параметры не могут быть настроены вручную. Это приводит к тому, что НС рассматриваются многими исследователями как «чёрный ящик» - алгоритм с неясной внутренней логикой [91, 92, 95].

Во-вторых, НС должна быть обучена, т.е. ей должна быть предъявлена обучающая последовательность образов. Однако, неясно, какие образы должна содержать эта; последовательность. Можно предложить два подхода к решению задачи формирования; обучающей последовательности: 1) данные для обучения могут быть получены: от эксперта (например, на основе реальных данных или из личного опыта преподавателя) и 2) данные для обучения могут быть созданы автоматизированной системой совместно с экспертом.

В-третьих, не ясно, какая структура HG (число скрытых слоев и количество нейронов в каждом, слое) наилучшим образом подходит для контроля знаний. Согласно теореме Колмогорова, достаточно одного скрытого слоя для решения задачи распознавания, однако, число нейронов в этом слое неизвестно и: может быть сколь угодно велико [23, 24, 25, 74]. Возможно, что введение дополнительных скрытых слоев улучшит качество работы НС. '

Как стандартизированный, так и нейросетевеой алгоритм имеют ряд преимуществ и, след., должен быть найден способ их совместного использования.

В данной: работе предложено решение описанных проблем: разработан алгоритм генераций обучающей последовательности для НС, предложен механизм объяснения решений, принимаемых НО при ККЗ, а также представлен алгоритм оптимизации топологии НС, предназначенной для ККЗ. В основе алгоритма генерации; обучающейпоследовательности и алгоритма оптимизации топологии НС лежит генетический алгоритм (ГА). Объяснение решений, принимаемых НС, производится при помощи построения набора нечётких высказываний относительно образа на основе контекстной утилитарности и контекстной важности его отдельных признаков.

Целью данной диссертационной; работы является разработка и оптимизация,модели нейросетевого алгоритма ККЗ (принятия решения об уровне подготовки: обучаемого) и анализ возможности его применения совместно со стандартизированным алгоритмом. Данный нейросетевой алгоритм должен обеспечить больший процент совпадений оценок, выставленных системой ККЗ и преподавателем и, в то же время, минимизировать число обучаемых (студентов), которое необходимо оценить эксперту (преподавателю) для настройки НС. Для этого требуется провести анализ состояния проблемы и решить следующие основные задачи:

1. Выявить основные функции контроля знаний, реализованные системами компьютерного обучения.

2. Проанализировать существующие методы ККЗ. Выявить их основные достоинства и недостатки.

3. Проанализировать основные системы компьютерного обучения и алгоритмы контроля знаний, используемые ими.

4. Проанализировать различные варианты совместного использования генетических алгоритмов (ГА) и НС.

5. Предложить математическое описание алгоритма генерации обучающей последовательности и алгоритма поиска топологии НС, предназначенной для ККЗ.

6. Модифицировать алгоритм генерации объяснения решений, принимаемых НС, с целью его адаптации к задаче ККЗ.

7. Практически реализовать разработанные алгоритмы и модели в виде программного продукта.

8. Провести экспериментальные исследования.

9. Оценить эффективность разработанных алгоритмов генерации обучающей последовательности, поиска топологии НС и алгоритма объяснения решений, принимаемых НС.

Научная новизна работы. В диссертационной работе получены следующие новые научные и практические результаты:

• разработан алгоритм генерации обучающей последовательности, при использовании которой повышается точность выставления оценок нейронной сетью;

• предложен генетический алгоритм оптимизации топологии нейронной сети, используемой при компьютерном контроле знаний, что позволяет выбрать оптимальную структуру нейронной сети, что, в свою очередь, уменьшает процент неверно выставленных оценок; е разработан алгоритм формирования объяснения решения, которое принимает нейронная сеть о качестве подготовки обучаемого на основе показателей контекстной утилитарности и контекстной важности, что позволяет эксперту контролировать качество обучения НС и даёт обучаемому дополнительную информацию об уровне его знаний.

• предложено* новое технические решение, проблемы совместного использования стандартизированного и нейро сетевого алгоритмов компьютерного контроля знаний, реализованное в виде диалоговой системы «ДИАНИС». .

В первой главе на основе известных автору источников осуществлён анализ существующих алгоритмов компьютерного контроля знаний, а также их программных реализаций, в частности систем компьютерного и дистанционно обучения и подсистем контроля знаний. Сделан вывод о возможности повышения качества ККЗ в случае использования НС.

Контроль знаний, сопровождающий процесс обучения, - это важная составная часть системы- образования и воспитания. Сущность ее состоит в наблюдении и контроле качества подготовки и эффективности процесса обучения, а также в использовании полученных результатов для развития личности обучаемых.

За последние годы было разработано и реализовано на практике немалое число алгоритмов и методик контроля знаний. Каждая из этих методик имеет свои сильные и слабые стороны, однако, наиболее перспективной, па наш взгляд, является нейросетевая технология ККЗ. Вместе с тем, несмотря на свой большой потенциал, нейросетевая технология имеет ряд недостатков, устранение которых позволит повысить качество ККЗ. Таким образом, в первой главе осуществлена постановка задачи диссертационного исследования.

Широкое применение ККЗ находит в системах компьютерного обучения. Такие системы обладают развитыми средствами управления обучением, организации контроля знаний, сетевого администрирования и т.д. Проведённый в первойтлаве анализ показывает, что нейросетевая технология ККЗ не используется ведущими системами компьютерного обучения. Применение весовых коэффициентов сложности вопроса также ограничено.

Вторая глава< посвящена разработке и исследованию алгоритма генерации обучающей последовательности, разработке алгоритма формирования объяснения вывода, сделанного НС, и решению задачи выбора топологии НС.

Дано описание технологий, на которых базируются разрабатываемые алгоритмы. Приведены общие сведения о ГА, дано подробное описание всех стадий его работы: инициализации, отбору, созданию новых хромосом, рекомбинации, мутации и завершению работы. Приведены основные способы кодирования решений, используемых в ГА. Рассмотрены основные способы селекции и репродукции, Приведены также различные модификации стандартного ГА, предназначенные для решения тех или иных задач. Описаны сходные технологии, работающие по принципам, аналогичным ГА.

Приведены различные варианты совместного использования ГА и НС, в частности для решения задач выбора топологии и обучения НС.

Показано, что задача генерации обучающей последовательности сводится к задаче оптимизации. Сформулировано важное свойство тестирования, определяющее специфику ККЗ по сравнению с другими задачами. На основании этого свойства, а также анализа предметной области определены способ кодирования решений и функция приспособленности (ФП) для задачи формирования обучающей последовательности. Приведена общая схема работы алгоритма генерации обучающей последовательности на основе ГА.

Приведён алгоритм анализа НС, позволяющий строить систему нечётких высказываний для получения объяснений по классификации объектов.

Проведена адаптация данного алгоритма к задаче ККЗ и аналогичным задачам. Приведены примеры объяснения решений, принятых НС.

В третьей главе рассматриваются вопросы практической реализации алгоритмов, разработанных и описанных в предыдущих главах. Приведено описание программной системы компьютерного контроля знаний «ДИАНИС», имеющей следующие ключевые особенности:

• трёхуровневый контроль знаний;

• наличие иерархии тем;

• адаптивный выбор вопросов;

• возможность эффективного сочетания нсйросетевого и стандартизированного алгоритма контроля на уровне курса и темы;

• ГА формирования обучающей последовательности при обучении НС;

• сохранение информации не только об уровне знания курса, но и об уровне знания отдельных тем;

• поддержка различных систем оценок;

• наличие механизма объяснения выводов нейронной сети. Приведено описание основных экранных форм пользовательского интерфейса и инструкция пользователя для решения основных задач с помощью системы «ДИАНИС». Рассмотрены основные программные технологии (такие как Java, J2EE, EJB), использованные при разработке данной программной системы.

Четвёртая глава посвящена экспериментальным исследованиям алгоритмов, разработанных и реализованных в предыдущих главах. При помощи разработанных алгоритмов посредством системы «ДИАНИС» создан курс, заполнена база вопросов и создана обучающая последовательность из образов, классифицированных преподавателем. По сформированной обучающей последовательности была обучена НС. Топология сети была оптимизирована при помощи ГА. Среди студентов 5-го курса Московского института радиотехники, электроники и автоматики (технического университета) был проведён ККЗ. Произведено сравнение процента оценок, корректно выставленных нейросетевым алгоритмом, в котором НС обучалась по последовательности, созданной при помощи разработанного алгоритма, и стандартизированным алгоритмом. Было также произведено сравнение процента оценок, корректно выставленных нейросетевым алгоритмом, в котором НС обучалась по последовательности, созданной при помощи разработанного алгоритма, и нейросетевым алгоритмом, в котором НС обучалась по последовательности, созданной без применения разработанного алгоритма (созданной преподавателем или сформированной случайным образом). Произведено также сравнение процента оценок, корректно выставленных НС с оптимизированной топологией, и НС с неоптимизированной топологией.

Был построен график обучения НС с оптимизированной топологией, обученной по последовательности, созданной при помощи разработанного алгоритма.

Приведены результаты ККЗ, а также объяснения решений, принятых НС, относительно уровня подготовки некоторых студентов.

Анализ полученных результатов показал, что предлагаемые алгоритмы оптимизации топологии НС и генерации обучающей последовательности увеличивают процент совпадений оценок, выставленных преподавателем и НС, и, в то же время, минимизируют число образов, оцениваемых преподавателем для настройки НС.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

Настоящая диссертационная работа посвящена исследованию вопросов применения нейронных сетей в компьютерном контроле знаний и разработке алгоритмов генерации обучающей последовательности, объяснения решения, принимаемого нейронной сетью и оптимизации топологии нейронной сети, предназначенной для контроля знаний. Данные алгоритмы позволяют добиться более точного совпадения оценок между преподавателем и системой компьютерного контроля знаний.

Основными результатами проведённых в диссертационной работе теоретических и экспериментальных исследований являются:

1. Проведён анализ работ в области компьютерного обучения и контроля знаний, а также анализ основных алгоритмов компьютерного контроля знаний (в частности нейросетевого алгоритма) и их практических реализаций. Выявлены основные функции контроля знаний, реализованные системами компьютерного обучения. На основании данного анализа были сделаны выводы о целесообразности совершенствования нейросетевого алгоритма компьютерного контроля знаний с целью повышения его эффективности.

2. Разработан алгоритм генерации обучающей последовательности для нейронной сети, используемой в задаче компьютерного контроля знаний, отличающийся использованием генетического алгоритма.

3. Разработан алгоритм формирования объяснения решения, принимаемого нейронной сетью, на основе показателей контекстной утилитарности и контекстной важности признаков.

4. Разработан алгоритм оптимизации топологии нейронной сети, предназначенной для решения задачи компьютерного контроля знаний, использующий генетический алгоритм.

5. Разработана система компьютерного контроля знаний «ДИАНИС», обладающая следующими отличительными особенностями: о трёхуровневый контроль знаний; о наличие иерархии тем; о адаптивный выбор вопросов; о возможность применения нейросетевого и стандартизированного алгоритма контроля на уровне курса и темы; о генетический алгоритм формирования обучающей последовательности при обучении нейросети; о сохранение информации не только об уровне знания курса, но и об уровне знания отдельных тем; о поддержка различных систем оценок; о наличие механизма объяснения выводов нейронной сети. 6. Проведены экспериментальные исследования эффективности разработанных алгоритмов.

Для достижения этих результатов в работе было сделано следующее:

1. На основе известных автору источников осуществлён анализ существующих алгоритмов компьютерного контроля знаний, а также их программных реализации, в частности систем дистанционного обучения и подсистем контроля знаний. Сделан вывод о возможности повышения качества компьютерного контроля знаний в случае использования нейронных сетей.

2. На основании проведённого анализа были сделаны выводы о целесообразности совершенствования нейросетевого алгоритма компьютерного контроля знаний с целью повышения его эффективности.

3. Проанализированы различные варианты совместного использования генетических алгоритмов и нейронных сетей, в частности для решения задач выбора топологии и обучения нейронных сетей.

4. Предложен алгоритм генерации обучающей последовательности для нейронной сети. Данный алгоритм был разработан применительно к задачи компьютерного контроля знаний, но может быть использован и в других аналогичных задачах.

5. Предложена функция приспособленности для генетического алгоритма оптимизации топологии нейронной сети, предназначенной для компьютерного контроля знаний.

6. Проведена адаптация алгоритма построения объяснений решений, принимаемых НС, к задаче компьютерного контроля знаний и аналогичным задачам. Приведены примеры объяснений принятых решений.

7. Рассмотрены вопросы практической реализации системы компьютерного контроля знаний;

8. Посредством разработанной системы компьютерного контроля знаний «ДИАНИС» создан курс, заполнена база вопросов и создана обучающая последовательность из образов, классифицированных преподавателем. Среди студентов 5-го курса Московского института радиотехники, электроники и автоматики (технического университета) был проведён контроль знаний.

9. Произведено сравнение процента корректно выставленных оценок между стандартизированным алгоритмом компьютерного контроля знаний и различными модификациями нейросетевого алгоритма.

1. Башмаков А.И. , Башмаков И. А . Интеллектуальные информационные технологии: Учеб. пособие. — М.: Изд-во МГТУ им. Н.Э. Баумана — 2005. — 304 с. (Информатика в техническом университете).

2. Беспалько В.П., Программированное обучение (дидактические основы), М., «Высшая школа», 1970 г.

3. Болотова JI. С., Комаров М.А., Смольянинов А.А. Системы искусственного интеллекта: Теоретические основы СИИ и формальные модели представления знаний : Учеб.пособ. М.:МИРЭА, 1998. - 107с.

4. Золотарев А.А. и др. Теория и методика систем интенсивного обучения. Т. 1-4. -М.: МГТУ ГА, 1994.

5. Норенков И. П. Состояние и тенденции развития информатизации образования — М.: Изд-во МГТУ им. Н. Э. Баумана, 2007 — 43 с.

6. Позднеев Б. М. Интегрированная информационная поддержка процессов проектирования и производства высококачественных поковок М. : Янус-К, 2005 — 152 с.

7. Селезнева Н.А. Методологические основы систем управления качеством высшего образования. М.: Исследовательский центр, 1992. - 142 с.

8. Селезнёва Н. А. Качество высшего образования как объект системного исследования : лекция-доклад, М.: Исслед. центр проблем качества подгот. специалистов, 2008 95 с.

9. Субетто А. И. Основы системологии образования : монография М.: Исслед. центр проблем качества подгот. специалистов , 2006. - 249 с.

10. Талызина Н. Ф. Теоретические основы разработки модели специалиста -М. : Знание, 1986 — 108 с.

11. Панченко В.М., Шорохов М.И. Компьютерные технологии обучения. Мониторинг качества обучения в техническом вузе на основе ретроспективного экспертного комплекса: Учебное пособие — М.: МИРЭА, 2006. 156 С.

12. Емельянов В.В., Курейчик В.М., Курейчик В.В. Теория и практика эволюционного моделирования — М. : ФИЗМАТЛИТ , 2003 — 431 с. ( Проблемыискусственного интеллекта).

13. Интеллектуальные системы автоматического управления / Под ред. И. М. Макарова, В. М. Лохина — М.: Физматлит, 2001. 576 с.

14. Информатизация образования: направления, средства, технологии / С. И. Маслов (ред.) — М.: Издательство МЭИ, 2004. 868 с.

15. Нечаев В. В. Концептуальное метамоделирование структур — М.: Международное изд. "Информация", 1997. 52 с.

16. Комарцова JI. Г., Максимов А. В. Нейрокомпьютеры.: Учеб. пособие для вузов — М.: Изд-во МГТУ им. Н. Э. Баумана, 2004. 400 с.

17. Ососовский С. Нейронные сети для обработки информации / пер. с польского И. Д. Рудинского. — М.: Финансы и статистика, 2004. 344 с.

18. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечёткие системы / пер. с польск. И. Д. Рудинского. — М.: Горячая линия — Телеком, 2007. 452 с.

19. Хайкин С. Нейронные сети: полный курс.: пер. с англ. — М.: Издательский дом «Вильяме», 2006. 1104 с.

20. Тархов Д. А. Нейронные сети. Модель и алгоритмы. Кн. 18 М.: Радиотехника, 2005. - 256 с. (Научная серия «Нейрокомпьютеры и их применение», редактор А. И. Галушкин).

21. Галушкин А.И. Теория нейронных сетей. Кн.1. Сер.: «Нейрокомпьютеры и их применение» / Общ. ред. А.И. Галушкина. — М.: ИПРЖР, 2000.

22. Агапонов С. В. Средства дистанционно обучения. Методика, технология, инструментарий. / С. В. Агапонов, 3. О. Джалиашвили, Д. Л. Керчман, И. С. Никифоров, Е. С. Ченосова, А. В. Юрков / Под ред. 3. О. Джалиашвили. -СПб.: БХВ-Петербург, 2003. 336 с.

23. Головко В. А. Нейронные сети: обучение, организация .и применение. Кн. 4: Учеб. Пособие для вузов / Общая редакция А. И. Галушкина. М.: ИПРЖР, 2001. - 256 с. (Нейрокомпьютеры и их применение).

24. Головко В.А. Нейроинтеллект: теория и применение. Кн. 1 и 2. — Брест: Изд-во БПИ, 1999.

25. Горбань А. Н. Обучение нейронных сетей. — М.: СП «ParaGraph», 1990

26. Гордиенко Е. К., Лукьяница А. А. Искусственные нейронные сети: Ч. 1. Основные определения и модели. — Изв. РАН. Сер.: Техническая кибернетика, 1994, № 5, с. 79—92.

27. Калллан Р. Основные концепции нейронных сетей / Пер. С англ. М.: Издательский дом «Вильяме», 2003. - 288 с.

28. Нейроматематика. Кн. 6 : Учеб. пособие для вузов / А. Д. Агеев, А. Н. Балухто, А. В. Бычков и др.; Общая редакция А. Н. Галушкина. — М.: ИПРЖР, 2002. 448 с. (Нейрокомпьютеры и их применение)

29. Свиридов А.П.: О методах программированного контроля знаний с численным и результативным способами ответа. В: Доклады научн.-метод. конф. за 1966/67, Секция "Новые методы и средства обучения". М.: Моск. энерг. инст., 1967.-е. 40-51.

30. Свиридов А.П.: Программированный контроль знаний с выборочным способом ответа. В: Симпозиум N 15 Пятой Всероссийской конференции по программированному обучению и применению технических средств. М.: Педагогика, 1968. — с. 7—16

31. Свиридов А. П. Основы статистической теории обучения и контроля знаний-М.: Высшая школа, 1981. 262 с.

32. Свиридов А. П. Ведение в статистическую теорию обучения и контроля знаний. 4.1. Стандартизированные методы контроля знаний.- М.:Моск. энерг. Инст., 1974.-134 с.

33. Свиридов А. П. Ведение в статистическую теорию обучения и контроля знаний. 4.2. Элементы статистической динамики знаний.- М.:Моск. энерг. инст., 1974.-152 с.

34. Свиридов А. П. Обучение и самообучение обучающих и контролирующих машин.- М.: Моск. энерг. инст., 1976.- 182 с.

35. Свиридов А. П. Применеие методов планирования эксперимента приобучении обучающих и контролирующих машин.- М.: Моск. энерг. инст., 1976.-65 с.

36. Свиридов А. П. Разработка и исследование систем автоматизированного обучения на базе статистических моделей.- М,: Моск. энерг. инст,, докт. дисс., 1984.-427 с.

37. Свиридов А. П. Условные и безусловные алгоритмы диагностического контроля знаний операторов ЭВМ.- М.: Моск. энерг. инст., 1987.-89 с.

38. Свиридов А. П. Нейросетевые статические и динамические модели педагогических отношений. В: Мульти- и телемедийные средства в образовании.-М.: Изд-во МГСУ, 2002,- с.8-16

39. Панченко В. М. Теория систем. Методы иммитационного моделирования.: Учебное пособие М.: МИРЭА, 1999. - 94 с.

40. Chin D. User Modeling in UC, the UNIX Consultant. In: M. Mantei, P. Orbeton (Hrsg.) CHI-86 Conference Procedings, Human Factors in Computing, Systems, Boston,, SS. 24-28, ACMM SIGCHI/HFS, New York, April 1988.

41. Rich E. Users are Individuals: Individualizing User Models. In: Int. J. Man-Machine Studies, Academic Press, London, 1983.

42. R. Wilensky, Y. Arens, D. Chin. Talking to UNIX in English: An Overview of UC Communications of the ACM, 27(6); 574-594, Juni 1984.

43. Bodendorf F. Computer in der betrieblichen Weiterbildung. (Handbuch der Informatik);15.2). -Miinchen: Oldenbourg, 1993.

44. Rusch G. Probabilistic models for some intelligence and attainment tests,

45. Kopenhagen, 1960. Nielsen and Lydiehe The Danisch Institute for Educational Research.

46. Сысоева JI. А., Толстоусова В. Г. Предметно-критериальная методика составления тестов Электронный ресурс. / Режим доступа —http://ito.edu.ru/2001/ito/VI/VI-0-19.html

47. Моисеев В. Б., Пятирублевый Л. Г., Таранцева К. Р. Методы определения количества образовательной информации в тестах Электронный ресурс. / Режим доступа — http://ito.edu.ru/2001/ito/VI/VI-0-27.html

48. Моисеев В. Б., Усманов В.В., Таранцева К. Р., Пятирублевый Л. Г. Оценивание результатов тестирования на основе экспертно-аналитических методов. Журнал «Открытое образование», №3, 2001, с.32-36.

49. Моисеев В. Б., Усманов В.В., Таранцева К. Р., Пятирублевый Л. Г. Применение информационно-генетических алгоритмов в процедурах образовательного тестирования Электронный ресурс. / Режим доступа — http://ito.edu.rn/2001/ito/VI/VI-0-12.html

50. Маслак А.А., Анисимова Т.С., Осипов С.А. Исследование точности модели Раша на основе имитационного моделирования // Сборник трудов участников XI конференции-выставки «Информационные технологии в образовании». Часть V. М.: МИФИ, 2001. - С. 38-40.

51. Крылов Ю. Н. Абсолютная временная шкала измерения знаний, динамика результатов тестирования во времени Электронный ресурс. / Режим доступа — http://ito.edu.ru/2001/ito/VI/VI-0-32.html

52. Журавлев В. Б. Методика статистического анализа учебного процесса Электронный ресурс. / Режим доступа — http://ito.edu.ru/2001/ito/VI/VI-0-2.html

53. Алексахин С. В., Николаев А. Б., Строганов В. Ю. Модели адаптивного тестового контроля в системе дистанционного образования Электронный ресурс. / Режим доступа — http://ito.edu.ru/2001/ito/VI/VI-0-17.html

54. Шаймарданова Т. В. Формы и методы контроля знаний учащихся Электронный ресурс. / Режим доступа — http://festival.lseptember.ru/articles/501269/

55. Амонашвили Ш. А. Обучение. Оценка. Отметки. — М: Знание, 1980.

56. Холланд Дж. X. Генетические алгоритмы / Журнал «В мире науки» (Scientific American) 1992. - СЕНТЯБРЬ-ОКТЯБРЬ, с. 32

57. Barricelli N. A. Esempi numerici di processi di evoluzione — Methodos, 1954: 45-68.

58. Fraser A. Simulation of genetic systems by automatic digital computers. I. Introduction. Aust. J. Biol. Sci. 10: 484-491.

59. Crosby J. L. Computer Simulation in Genetics London: John Wiley & Sons.492 p.

60. Evolutionary Computation: The Fossil Record / Fogel D. B. (editor) New York: IEEE Press, 1998 - 656 p.

61. Fraser A., Burnell D. Computer Models in Genetics New York: McGraw-Hill, 1970. - 192 p.

62. Holland J. H. Adaptation in Natural and Artificial Systems University of Michigan Press: 1975 - 206 p.

63. Markoff J. What's the Best Answer? It's Survival of the Fittest / New York Times 1989

64. Вороновский Г. К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. / Г. К. Вороновский, К. В1. Махотило, С. Н. Петрашев, С. А. Сергеев. -Хаысов: Основа, 1997.

65. Сергеев С. А., Махотило К. В. Генетические алгоритмы в синтезе прямонапрвленных нейронных сетей.: Труды XIII межд. конф. «Новыеинформационные технологии в науке, образовании и бизнесе». Украина, Крым, Ялта — Гурзуф, 15 — 24 мая 1996 г. сс. 338 — 342.

66. Горбань А., Россиев Д. Нейронные сети па персональном компьютере. — Новосибирск: Наука, 1996.

67. Нейроипформатика и ее приложения.: Мат. 3-го Всерос. сем., 6—8 октября 1995 г. / Под ред. А.Н. Горбаня. — Красноярск: КГТУ, 1995

68. Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика / Пер с англ. —М.: Мир, 1992.

69. Chester D. Why two hidden layers are better than one / IEEE Int. Joint. Conf. Neural Networks, IJCNN'90. 1990, pp. 265—268

70. Юдин Д. Б. Алгоритмы обучения нейронной сети (алгоритмы пополнения знаний) / Автоматика и телемеханика 1996, №11, с 148—158

71. Шарапов В.М., Снитюк В. Е. Биокибернетический метод определения оптимума целевой функции в условиях неопределенности / Научно-теоретический журнал «Искусственный интеллект» — 2002. — №.4

72. Промыслов В.Г. Генетический алгоритм для восстановления радиоастрономических изображений по методу максимальной энтропии М. : ФИАН, 1997— 13 с.

73. Юрьев А. Г., Клюев С. В. Эволюционные и генетические' алгоритмы оптимизации строительных конструкций Белгород : Изд-во БГТУ им. В. Г. Шухова, 2006 — 133 с.

74. Андрейчиков А. В. , Белобров Н. В., Андрейчикова О. Н. Модели и инструментальные средства для синтеза и планирования оптимального портфеля проектов на основе эволюционных методов Волгоград: Политехник, 2006 - 151 с.

75. Матвеев М. Г. , Свиридов А. С. , Алейникова Н. А. Модели и методы искусственного интеллекта. Применение в экономике : учебное пособие. М. : Финансы и статистика : ИНФРА-М, 2008 — 446 с.

76. Панченко Т. В. Генетические алгоритмы: учебно-методическое пособие / под ред. Ю. Ю. Тарасевича. — Астрахань : Издательский дом «Астраханский университет», 2007. — 87 с.

77. Введение в Генетическое Программирование Электронный ресурс. /

78. Режим доступа — http://www.gotai.net/documents/doc-ga-004.aspx83. http://www.gotai.net/documents/doc-ga-005.aspx Электронный ресурс. / Режим доступа Введение в обучающиеся системы классификаторов

79. Пример ГА: Решение Диофантова уравнения Электронный ресурс. / Режим доступа — http://algolist.manual.ru/ai/ga/dioph.php

80. Оптимизация многоэкстремальных функций с помощью генетических алгоритмов Электронный ресурс. / Режим доступа — http://algolist.manual.ru/ai/ga/ ga2.php

81. Ненадович Д. М. Методологические аспекты экспертизы телекоммуникационных проектов. М.: Горячая линия-Телеком, 2008. - 280 с.

82. Goldberg D. Е. Genetic Algorithms in Search, Optimization, and Machine learning. Addison - Wesley, 1989 — 603 p.

83. Jain L. C., Martin N. M. Fusion of neural networks, fuzzy sets, and genetic algorithms : industrial applications CRC press, Cop. 1999 — 354 p.

84. Luke S. Issues in Scaling Genetic Programming: Breeding Strategies, Tree Generation, and Code Bloat. PhD thesis University of Maryland, 2000. - 178 p.

85. Syed O. Applying genetic algorithms to recurrent neural networks for learning network parameters and architecture. Case Western Reserve University, 1995 - 114 p.

86. Framling K. Explaining Results of Neural Networks by Contextual' Importance and Utility.: Proceedings of the AISB'96 conference UK, Brighton - 1-2 April 1996.

87. Sima J., Orponen P. General-Purpose Computation with Neural Networks: A Survey of Complexity Theoretic Results / Neural Computation 2003. - December

88. Settles M., Rylander B. Neural network learning using particle swarm optimizers / Advances in Information Science and Soft Computing WSEAS Press, 2002.-pp. 224-226.

89. Koza J. R. Genetic Programming: On the Programming of Computers by Means of Natural Selection MIT Press, 1992. - 519 p.

90. Lozowski A., Cholewo T. J., Zurada J. M. Symbolic Rule Representation in Neural Network Models.: In Proceedings of the Second Conference on Neural Networks and Their Applications, volume 2 Poland, Szczyrk, April 1996 - pages 300-305.

91. Прокофьева H.O. Алгоритмы оценки знаний при дистанционномобучении.: Сборник научных трудов 5-н Международной научно-методической конференции «ОБРАЗОВАНИЕ И ВИРТУАЛЬНОСТЬ (ВИРТ)». Харьков - Ялта: УАДО,2(Ю1,- с.82-88.

92. Комарцова Л. Г. Двухэтапный алгоритм обучения нейронной сети на основе генетического поиска / Нейрокомпьютеры. Разработка и применение. — М.: Радиотехника. 2001 -№1.

93. Комарцова Л. Г., Голубин А. В. Исследование свойств генетических алгоритмов оптимизации / Методы исследования и проектирования сложных технических систем: Сборник статей. М.:Изд-во МГТУ им. Н.Э. Баумана. 2001. (Труды МГТУ №580)

94. Комарцова Л. Г., Голубин А. В. Использование Конструктора для определения параметров генетического алгоритма / Труды Пятого Международного симпозиума «Интеллектуальные системы» (INTELS'2002). М.:МГТУ им. Н.Э. Баумана. 2002.

95. Курсйчик В. М. Генетические алгоритмы. Состояние. Проблемы. Перспективы / Известия РАН. Теория и системы управления. — 1999. №1.

96. Струнков Т. Что такое генетические алгоритмы / PC Week Russian edition 1999.- №19(193).

97. Еремеев A.B. Разработка и анализ генетических и гибридных алгоритмов для решения задач дискретной оптимизации: дисс. канд.физ.-мат.наук. Омск, 2000

98. Genetic algorithm Электронный ресурс. / Режим доступа — http://cn.wikipedia.org/wiki/Geneticalgorithms

99. Генетический алгоритм Электронный ресурс. / Режим доступа — http:// ш. wikipedia.org/wiki/Гeнeтичecкийaлгopитм

100. Baudry В., Fleurey F., Jezequel J.-M., Le Traon Y. Automatic Test Case Optimization: A Bacteriologic Algorithm / IEEE Software — 2005. — March/April №22 pp. 76-82.

101. Rohlfshagen P., Bullinaria J. A., A genetic algorithm with exon shuffling crossover for hard bin packing problems.: Proceedings of the 9th annual conference on Genetic and evolutionary computation — London, England— 2007, 1365 — 1371 pp.

102. Bull S., Kay J. Student Models that Invite the Learner In: The SMILI Open1.arner Modelling Framework. / International Journal of Artificial Intelligence in Education — 2007, 89-120 pp

103. Mitrovic A., Martin В., Evaluating the Effect of Open Student Models on Self-Assessment. International Journal of Artificial Intelligence in Education:— 2007. — 121-144 pp.

104. Lazarinis F., Retalis S., Analyze Me: Open Learner Model in an Adaptive Web Testing System. / International Journal of Artificial Intelligence in Education — 2007. 255-271 pp

105. HOI Vizcaino A. A Simulated Student Can Improve Collaborative Learning / International Journal of Artificial Intelligence in Education — 2005, 3-40 pp.

106. Conejo R., Guzman E., Millan E., Trella M., Perez-de-la-Cruz J. L., Rios A. SIETTE: A Web-Based Tool for Adaptive Testing / International, Journal of Artificial Intelligence in Education — 2004 29-61 pp.

107. Хуторской А. В. Типы дистанционного обучения Электронный ресурс. / Интернет-журнал "Эйдос". — 1999. — 8 декабря Режим доступа — http://www.eidos.ru/journal/1999/1208-01.htm

108. ATutor Learning Content Management System Электронный ресурс. / Режим доступа — http://www.atutor.ca/

109. Home of the Bodington open-source project Электронный ресурс. / Режим доступа — http://www.bodington.org/115. dokeos — The open source e-learning suite Электронный ресурс. / Режим доступа — http://www.dokeos.com/

110. E-Learning at the University of the Western Cape Электронный ресурс. / Режим доступа — http://kewl.uwc.ac.za/117. .LRN Project Site Электронный ресурс. / Режим доступа — http ://www.openacs .org/projects/dotlrn/

111. The LearningOnline Network with САРА Электронный ресурс. / Режим доступа — http://www.lon-capa.org/

112. Moodle A Free, Open Source Course Management System for Online Learning Электронный ресурс. / Режим доступа — http://www.moodle.org120. sakaiproject.org — Collaboration and Learning Environment for Education

113. Электронный ресурс. / Режим доступа — http://sakaiproject.org/

114. ANGEL Learning — Learning Management Suite for K-12 and Higher Education Электронный ресурс. / Режим доступа — http://www.angellearning.com/

115. Macromedia Authorware : Features Электронный ресурс. / Режим доступа — http://www.adobe.com/products/authorware/

116. Blackboard Academic Suite Электронный ресурс. / Режим доступа — http://www.blackboard.com/products/AcademicSuite/index

117. About Desire2Learn Inc Электронный ресурс. / Режим доступа — http ://www. desire21earn. com/ about/

118. Edumate Электронный ресурс. / Режим доступа — http: //www. edum ate .com. au/

119. FirstClass Division, Open Text Corporation Электронный ресурс. / Режим доступа — http://www.firstclass.com/

120. О системе дистанционного обучения STELLUS Электронный ресурс. / Режим доступа — http://www.stel.ru/do/about/

121. АС ДО "ДОЦЕНТ" Электронный ресурс. / Режим доступа — http://www.uniar.ru/dt-docadd.html

122. СДО Прометей Электронный ресурс. / Режим доступа — http://www.prometeus.ru/actual/0 lproducts/lms/opisanie.html

123. COMPETENTUM e-learning, системы дистанционного обучения, корпоративные информационные системы Электронный ресурс. / Режим доступа — http://www.competentum.ru/

124. База и Генератор Образовательных Ресурсов Электронный ресурс. / Режим доступа — http://bigor.bmstu.ru/

125. E-SESS Online Assessment SystemЭлeктpoнный ресурс. / Режим доступа ■—■ http://www.esess.org/

126. Ciad Acomplete service for e-assessment Электронный ресурс. / Режим доступа — http://www.derby.ac.uk/ciad/

127. Distance education Электронный ресурс. / Режим доступа — http://en.wikipedia.org/wiki/Distanceeducation

128. Дистанционное обучение Электронный ресурс. / Режим доступа —http://ru.wikipedia.0rg/wiki^HcraHUH0HH0e06y4eHHe

129. Learning management system Электронный ресурс. / Режим доступа — http ://en.wikipedia. org/wiki/Learningmanagementsystem

130. History of virtual learning environments Электронный ресурс. / Режим доступа — http://en.wikipedia.org/wiki/Histoiyofvirtuallearningenvironments

131. Electronic learning Электронный ресурс. / Режим доступа — http://en.wikipedia.org/wiki/Onlinelearning

132. Зайцева Ж. Н., Рубин Ю. Б., Титарев Л. Г., Тихомиров В. П., Хорошилов А. В., Усков В. Л., Филиппов В. М. Открытое образование стратегия XXI века для России/ Под общей редакцией Филиппова В.М. и Тихомирова В.П. -М.: Изд-во МЭСИ, 2000.

133. E-assessment Электронный ресурс. / Режим доступа — http://en.wikipedia.org/wiki/E-assessment

134. Heaton J. Т. Introduction to Neural Networks with Java. — Heaton Research, be., 2005. —380 p.

135. Gurney K. An Introduction to Neural Networks.— CRC — 1997. — 234 p.

136. Подиновский В. В., Ногин В. Д. Парето-оптимальные решения многокритериальных задач. М.: Наука, 1982 — 255 с.

137. Dorigo М., Stutzle Т. Ant Colony Optimization. MIT Press, 2004 - 319 p.

138. Ryu S., Duggal A. S., Heyl C. N., Geem Z. W. Mooring cost optimization via harmony search / Proceedings of OMAE07, 26thh International Conference on Offshore Mechanics and Arctic Engineering , June 10-15, 2007, San Diego, California, USA .

139. Takagi H. Interactive Evolutionary Computation: Fusion of the Capacities of EC Optimization and Human Evaluation / Proceesings of the IEEE 89, pp. 1275-1296

140. Докинс P. Эгоистичный ген. — M.: Мир, 1993. — С. 318. — ISBN 5-03-002531-6 (русск.)

141. Хорстманн К. С., Корнелл Г. С. Библиотека профессионала. Java 2. Том 2. Тонкости программирования.: пер. с англ. М.: Издательский дом «Вильяме», 2004. - 1120 с.

142. Хорстманн К. С., Корнелл Г. С. Библиотека профессионала. Java 2. Том 1. Основы.: пер. с англ. М.: Издательский дом «Вильяме», 2003. - 848 с.

143. Шилдт Г. Полный справочник по Java, 7-е издание.: Пер. с англ. М.: ООО «И. Д. Вильяме», 2007. - 1040 с.

144. Иванова Е. Б., Вершинин М. М. Java 2, Enterprise Edition. Технологии проектирования и разработки. СПб.: БХВ-Петербург, 2003. - 1088 с.

145. JGAP: Java Genetic Algorithms Package Электронный ресурс. / Режим доступа — http://jgap.sourceforge.net