автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка и исследование интеллектуальных контролирующих систем с настраиваемой нечеткой экспертной подсистемой выставления оценок

На правах рукописи

ИВЛЕВА Елена Владимировна

РАЗРАБОТКА И ИССЛЕДОВАНИЕ ИНТЕЛЛЕКТУАЛЬНЫХ КОНТРОЛИРУЮЩИХ СИСТЕМ С НАСТРАИВАЕМОЙ НЕЧЕТКОЙ ЭКСПЕРТНОЙ ПОДСИСТЕМОЙ ВЫСТАВЛЕНИЯ ОЦЕНОК

Специальность 05.13.11. -«Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Рязань 2004

Работа выполнена в Рязанском филиале Военного университета связи

Научный руководитель:

заслуженный деятель науки и техники РФ, доктор технических наук, профессор Коричнев Леонид Павлович

Научный консультант:

кандидат технических наук, доцент Цуканова Нина Ивановна

Официальные оппоненты: Доктор технических наук, профессор

Пылькин Александр Николаевич

Кандидат технических наук, доцент Миловзоров Александр Владимирович

Ведущая организация: Московская государственная

академия приборостроения и информатики

Защита состоится «/3 » А-Сб^РС- 2004 г. в н часов на заседании диссертационного совета Д 212.211.01 в ГОУВПО «Рязанская государственная радиотехническая академия» по адресу: 390005, Рязань, ул. Гагарина, 59/1.

С диссертацией можно ознакомиться в библиотеке ГОУВПО «Рязанская государственная радиотехническая академия».

Автореферат разослан « » С^У^ЛА ¿'С, 2004 г.

Ученый секретарь диссертационного совета

В.Н. Пржегорлинский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЬЬ

Актуальность исследований. Обучение является древнейшим процессом человеческой деятельности. Необходимость значительного повышения эффективности обучения привела к тому, что ряд функций преподавателя передается компьютеру. Внедрение новых информационных технологий в обучение открывает широкие возможности к более качественной подготовке специалистов и индивидуализации обучения.

Анализ работ в области создания автоматизированных обучающих систем (АОС) показал, что развитие систем идет по пути интеллектуализации управления процессом обучения, а механизм контроля плавно перетекает в механизмы анализа высказываний обучаемого. В настоящее время наиболее перспективным является развитие АОС, применяющих методы искусственного интеллекта для управления процессом обучения, — интеллектуальных обучающих систем (ИОС). ИОС способны «понимать» преподаваемый. предмет и обучаемого, адаптироваться к его знаниям и особенностям, обеспечивать гибкий процесс обучения.

Анализ работ в области создания ИОС позволил выявить следующие недостатки:

- использование только определенной предметной области;

- стратегия управления не зависит от логической структуры курса;

- все системы используются в основном только для обучения или диагностики знаний обучаемых;

- контроль знаний используется чаще всего для выбора следующего управляющего воздействия или задачи;

- при оценивании знаний не учитываются нечеткость, неопределенность данных о результате контроля.

Два последних недостатка особенно значимы, так как контроль знаний учащихся является одним из важных этапов обучения и средством обратной связи между преподавателем и обучаемым. Так как насыщенность занятий новым материалом не позволяет проводить опрос всех учащихся в течение одного занятия и оценивать уровень освоения ими материала, то решить эту проблему помогут интеллектуальные контролирующие системы. Использование интеллектуальных систем проверки знаний позволяет поддерживать нужный образовательный уровень обучаемых, увеличивает возможности преподавателя при проверке знаний. Программный контроль требует от студента кратких ответов, что позволяет сократить время,

ни подготовки. В свою очередь, оперативная проверка знаний дает возможность немедленно скорректировать и восполнить знания, что ведет к увеличению объема и улучшению качества знаний.

Применение интеллектуальных систем проверки знаний, предназначенных для проведения адаптивных опросов, сложность задания в которых изменяется в зависимости от ответов обучаемых, позволяет:

- значительно сократить временные рамки, отводимые на обработку результатов проверки знаний;

- автоматизировать процесс обработки ответов;

- свести к минимуму субъективное мнение преподавателя о результатах контроля.

Цель диссертационной работы состоит в разработке методики, алгоритмов и инструментальных программных средств для проведения адаптивного контроля знаний в условиях неопределенности данных о состоянии знаний обучаемого с использованием логической структуры курса.

Для достижения цели необходимо решить следующие задачи:

- разработка моделей представления знаний о процессе контроля;

- разработка алгоритмов управления контролем на основе моделей представления знаний;

- разработка алгоритма оценивания знаний;

- разработка структуры подсистемы приобретения знаний;

- определение архитектуры контролирующей системы и функционального назначения ее компонент;

- реализация компонент интеллектуальной системы контроля знаний и подсистемы приобретения знаний.

Методы исследования Разработка и исследования проводились на основе теории сетей Петри, теории нечетких множеств и нечеткой логики, теории принятия решения, теории экспертных систем; теории генетических алгоритмов, теории структур и баз данных, технологий модульного и объектно-ориентированного программирования.

Научная новизна заключается в следующем:

1) для решения задач оценивания качества знаний предложено вместо статистических методов обработки ответов применять методы искусственного интеллекта, которые позволяют при построении математической модели оценки качества знаний использовать логический опыт квалифицированных преподавателей, принимающих оценочные решения;

2) предложено в структуру интеллектуальной обучающей системы помимо экспертных систем (ЭС) по решению задач, диагностике

ошибок и управлению обучением включать ЭС по выставлению оценок;

3) предложена структура построения экспертной системы, использующей для выставления оценки нечеткую базу знаний;

4) предложена методика настройки ЭС с помощью генетического алгоритма;

5) разработаны алгоритмы управления процессом контроля, позволяющие проводить контроль в различных предметных областях и адаптироваться к уровню знаний каждого обучаемого.

Практическая ценность - работы Осуществлена программная реализация интеллектуальной контролирующей системы с настраиваемой экспертной подсистемой выставления оценок, использующая указанные выше алгоритмы и методы. Для представления знаний в моделях предметной области, обучаемого и управления процессом контроля использовалась модифицированная нечеткая сеть Петри. В Рязанском филиале Военного университета связи с помощью разработанной системы был создан контролирующий курс по дисциплине «Вычислительная техника». Проведенный с помощью данного курса контроль знаний показал, что предложенные алгоритмы и методы могут использоваться:

- для проектирования ЭС, т.е. такого управления частными показателями, при которых интегральным показатель качества будет принимать желаемое значение;

- при построении экспертных систем, которые способны оценить качество интеллектуальной деятельности;

- для управления процессом адаптивного контроля знаний, при этом могут использоваться различные стратегии выбора контролирующего воздействия;

- для поддержания различных форм контроля: текущего, промежуточного, итогового.

Достоверность полученных в диссертационной работе результатов подтверждается использованием положений и понятий теории экспертных систем, нечеткой логики, генетических алгоритмов; разработкой действующего программного обеспечения и внедрением полученных результатов.

Реализация и внедрение результатов

В рамках диссертационной работы разработана и внедрена интеллектуальная система контроля знаний, которая имеет свидетельство об официальной регистрации программы для ЭВМ в РОСПАТЕНТ. Разработанные алгоритмы и инструментальные программные средства управления процессом контроля использовались в НИР «Исследова-

ние возможностей современных компьютерных технологий и инструментальных средств для проведения лабораторных работ по дисциплине «ВТ и ИТ», шифр «Средства», выполненной на кафедре «Автоматизированных систем управления войсками и связи» Рязанского филиала Военного университета связи, и внедрены в учебный процесс Рязанского филиала Военного университета связи (дисциплина «Вычислительная техника и информационные технологии») и Рязанского военного автомобильного института (дисциплина «Информатика»).

Апробация работы Материалы докладывались и обсуждались на 4 конференциях:

- межвузовской научно-методической конференции «Творческий подход к реализации государственного образовательного стандарта высшего профессионального образования. VIII Рязанские педагогические чтения», РГПУ, 2 февраля 2001г., г. Рязань;

- 13-й межвузовской научно-практической конференции, РВАИ, 24-25 февраля, 2002 г., г. Рязань;

- 14-й межвузовской научно-практической конференции, РВАИ, 27-28 февраля, 2003 г., г. Рязань;

- 12-й международной научно-технической конференции, РГРТА, 13-14 января, 2004 г., г. Рязань;

На защиту выносятся:

- алгоритмы управления процессом контроля на основе используемых модели предметной области и модели обучаемого;

- методика построения экспертной подсистемы, использующей для выставления оценки нечеткую логику;

- методика и алгоритм настройки нечеткой подсистемы выставления оценки с помощью генетического алгоритма.

Публикации По материалам диссертации опубликовано 18 работ, из них 5 в соавторстве. В их числе 3 статьи, 12 тезисов докладов на конференциях, 3 свидетельства об официальной регистрации программ в РОСПАТЕНТ.

Структура II объем работы Диссертация состоит из введения, 4 глав, заключения, списка литературы и 4 приложений. Содержит 181 страницу, 11 таблиц, 37 рисунков. Список литературы состоит из 134 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цель и задачи работы, представлены основные положения диссертационной работы, выносимые на защиту.

В первой главе проводится анализ состояния работ в области создания • интеллектуальных обучающих систем, дается их многоаспектная классификация. Делается вывод о том, что наиболее перспективной является разработка интеллектуальных обучающих систем (ИОС). Рассматриваются архитектура ИОС, функциональное назначение ее компонент. Проводится анализ существующих ИОС, определяются их недостатки и нерешенные проблемы. Проводится анализ про-' блем в области контроля знаний. По результатам анализа ставятся цели и задачи диссертационной работы. В качестве разрабатываемой выбирается система управляющего типа.

Во второй главе разрабатываются структура интеллектуальной контролирующей системы (ИКС) и функциональное назначение ее компонент. Архитектура строится по тем же принципам, что и любая интеллектуальная система (рис. 1).

В состав ИКС входят блок адаптивного управления • контролем знаний, учебная база знаний с моделями обучаемого, предметной области и управления контролем, сервис преподавателя и обучаемого.

Для представления знаний в моделях обучаемого, предметной области и управления процессом контроля используются нечеткие сети Петри. Введем следующие понятия.

Под контролирующим воздействием (КВ) будем понимать вопросы или задачи (множество V) для контроля и ответы и решения (множество О) для них, касающиеся каких-то определенных понятий предметной области (множества

'Т.е. каждое КВ характеризуется следующим набором: итп=<т, п, V, О, Х5>,

где т — номер уровня опроса и п - номер вопроса в уровне образуют для каждого КВ уникальное имя.

Все контролирующие воздействия занесены в базу знаний и составляют множество КВ:

и={итп},

где 171=1,..., М (число уровней)

п=1,... , N (число вопросов в каждом уровне).

Множество X, состоит из подмножества понятий (ХВ1, которые уже должны быть усвоены до ответа на вопрос 'знания данных вопросов проконтролированы), и подмножества понятии (XI, которые контролируются данным КВ (рис. 2 ):

Х5=Х.х+Х„.

Эти подмножества задаются, преподавателем при заполнении базы знаний. Под Х1 будем понимать множество всех понятий предметной области. Как Х2 обозначим нечеткое подмножество необходимых для контроля понятий:

Элемент х^к е [1.03 характеризует степень принадлежности понятия х^ к множеству необходимых знаний.

Как.Хз обозначим нечеткое подмножество проконтролированных понятий:

*з=-М*1>=1>з*/*1* * х3*е[0,1].

¿=1 •

Элемент соответствует степени познания обучаемым поня-

тия х^ и называется коэффициентом уверенности в знаниях обучаемого. Его можно определить как

х3к= МкЛЧк,

где - количество правильных ответов на вопросы, касающиеся к-го понятия;

Ык - задано вопросов к к-му понятию;

- сложность заданного к Ыму понятию i-ro вопроса.

Коэффициент задается преподавателем при создании контролирующего курса либо его можно определить как

где V) — количество обучаемых, правильно ответивших на ьй вопрос; У( - число, показывающее, сколько раз задавался ьй вопрос.

При представлении предметной области с помощью сети Петри множество понятий отображается во множество позиций, а множество контролирующих воздействий - во множество переходов. Так как позиции сети связаны с нечеткими подмножествами Х и Х3, а переходы - с нечеткими отношениями, то мы имеем нечеткую сеть Петри.

Начальная маркировка сети Цо показывает, что должен знать обучаемый до начала контроля.

. Текущая маркировка сети показывает степень знания обучаемым к-го понятия в данный момент времени (коэффициент уверенности).

Для определения маркировки позиций осуществляется переход от нечеткой сети Петри к обычной. Для этого для каждой позиции определяется порог характеризующий, какого уровня знания данного понятия должен достичь обучаемый. Если значение коэффициента уверенности Хз^ больше порога то ^ю позицию сети Петри можно считать маркированной, а соответствующее понятие — усвоенным, т.е.

Переход сети Петри запускается (подается О) в том случае, если все входные позиции помечены (понятия проконтролированы), а среди выходных есть хотя бы одно непомеченное (понятие не проконтролировано). После запуска перехода меняется маркировка сети:

- маркировка входных позиций не меняется (понятия уже проконтролированы) ;

- выходные позиции маркируются;

- меняются коэффициенты уверенности в знаниях обучаемого.

Данная модель предметной области может быть использована:

- для управления процессом контроля;

- для идентификации знаний обучаемого в любой момент времени, т.е. в качестве модели обучаемого.

В диссертационной работе проектируется модель обучаемого оверлейного типа, так как данная МО позволяет в каждый момент времени представлять знания обучаемого как подмножество знаний эксперта. Оверлейная модель предполагает, что все знания по курсу обучения разбиты на некоторые независимые элементы - понятия. Каждому понятию ставится в соответствие коэффициент уверенности х3, в знаниях обучаемого, отражающий меру знаний обучаемого. Будем считать понятие усвоенным (позиция помечена), если коэффициент уверенности болыпе установленного для каждого понятия порога, т.е.

Хз. >Е„.

Множество составляет маркировку сети Петри,

являющуюся моделью обучаемого.

Как было сказано выше, каждое контролирующее воздействие содержит множества входных и выходных понятий (позиций). В соответствии со стратегией управления программа выдает обучаемому определенное КВ. Данное О контролирует определенные понятия, к примеру ^е и Тогда для этих понятий число заданных вопросов увеличивается на 1, т.е. N N 1

Если обучаемый отвечает правильно, то счетчик правильных ответов для понятий к и 1 увеличивается на I:

Мк=М,+1,

В противном случае счетчик остается без изменения или уменьшается на I в зависимости от стратегии управления контролем.

Также в зависимости от стратегии управления могут уменьшаться и счетчики правильных ответов входных понятий.

В результате пересчета Хз, меняется маркировка сети, т.е. происходит изменение модели обучаемого.

Цель контроля знаний < может быть выражена в виде следующих критериев:

1. Определить уровень состояния знаний обучаемого Хз по всем понятиям предметной области или по некоторым, составляющим нечеткое подмножество

где у - коэффициент пропорциональности, N - количество заданных вопросов.

2. Обеспечить максимальное значение коэффициента уверенности в знаниях опрашиваемого:

N

/= шах Ех2*(Ю-*щл')

и(п)м=1.....Л'

при заданных ограничениях на время или число шагов контроля (задаваемое количество вопросов):

Ъ"1»№Тзад ™

н=1

При моделировании процесса контроля с помощью сетей Петри цели контроля можно сформулировать следующим образом:

- добиться маркировки определенного числа позиций;

- добиться маркировки всех позиций.

В соответствии с целями контроля разработаны методы управления контролем. В разрабатываемой системе управления контролем используется смешение двух методов управления. Как и в реактивных системах, контролирующее воздействие выдается после изменения модели обучаемого. Как и в системах с агенда-механизмом, создается список задач (контролирующих воздействий) для выдачи обучаемому (в терминах теории сетей Петри - конфликтный набор переходов).

Для разрешения конфликтного набора переходов применяются стратегии:

- стратегия наиболее информативного контролирующего воздействия. Из очереди выдается ^ с наибольшим числом выходных понятий;

- стратегия, при которой из списка выдается выбранное случайным образом КВ.

Проверить знания обучаемого преподаватель может двумя способами:

1) задать обучаемому несколько вопросов по теме и считать, что обучаемый знает всю тему;

2) досконально спрашивать обучаемого по всем понятиям темы.

В соответствии с данными способами автором диссертационной работы разработаны два алгоритма процесса контроля. Первый алгоритм - «Краткий контроль» - реализует ситуацию, когда обучаемому задается К вопросов по теме, содержащей L понятий (К<Ь), и оценивание знания темы ведется по результатам ответов. При реализации данного алгоритма не используются моделирующие свойства сети Петри. Сеть служит только для представления логики курса.

Второй алгоритм - «Полный опрос» - использует сеть Петри для управления процессом контроля. Программа опрашивает обучаемых до тех пор, пока не выяснит меру знания ими каждого понятия каждой темы. При работе второго алгоритма возможно «зацикливание» программы, когда при контроле знания выясняется, что опрашиваемый не знает какое-либо понятие (маркировка позиции равна «0»), а программа постоянно выдает вопросы для контроля данного понятия. Для устранения «зацикливания» предложена следующая методика. При традиционном опросе преподаватель в случае затруднения обучаемого задает ему вопросы попроще. В разрабатываемой системе преподаватель при заполнении базы знаний задает значение К. Для каждого понятия устанавливается счетчик правильных ответов - Как только обучаемый К раз не отвечает на вопрос по какому-либо понятию, программа выдает помощь по данному понятию и снижает уровень сложности и значение порога усвоения

В третьей главе рассмотрена методика создания экспертной системы, использующей для выставления оценки нечеткую логику. Использование методов искусственного интеллекта, в частности нечеткой логики, для решения задач оценки качества знаний позволяет при построении математической модели оценки качества знаний использовать логику рассуждений квалифицированных преподавателей, принимающих оценочные решения. Автором диссертационной работы предлагается помимо экспертных систем по диагностике ошибок, решению задач и управлению учением использовать экспертную систему выставления оценки. При формализации знаний экспертов удобно рассматривать входы и выходы экспертных правил как лингвистические переменные. Адекватность таких экспертных правил не изменяется при незначительных изменениях значений переменных. Совокупность экспертных правил составляет нечеткую базу знаний. Входы и выходы

формализуются в виде нечетких множеств, заданных на соответствующем универсальном множестве с помощью функций принадлежности. Совокупность экспертных правил ЕСЛИ-ТО можно рассматривать как набор экспертных точек в пространстве «входы-выход». Применение аппарата нечеткого логического вывода помогает восстанавливать по этим точкам многомерную поверхность, которая позволяет получать значения выхода при различных значениях входных переменных. Однако никто не может гарантировать совпадение результатов нечеткого вывода (теории) и экспериментальных данных. Поэтому необходима настройка системы путем обучения по экспертным данным. Суть настройки состоит в подборе таких весов правил ЕСЛИ-ТО и таких параметров функций принадлежности, которые минимизируют различие между желаемым (экспериментальным) и модельным (теоретическим) поведением системы. Настройка формулируется как задача нелинейной оптимизации, решаемая различными методами, в частности с применением генетических алгоритмов. Построение нечетких экспертных систем, которые основаны на данной методике, не только дает возможность оценить качество интеллектуальной деятельности, но и создает условия для ее проектирования, т.е. такого управления частными показателями, при которых интегральный показатель качества будет принимать желаемое значение.

Процесс построения экспертной системы с нечеткой логикой следующий:

1. Определение характеристик системы. Определяются входные и выходная переменные идентифицируемого объекта (с непрерывным или дискретным выходом). В качестве переменных могут использоваться и лингвистические переменные.

2. Формирование дерева логического вывода. Определяется структура зависимости выходной переменной от входных.

3. Определение функций принадлежности лингвистических термов. На этом шаге определяются модели функции принадлежности, используемые для формализации термов - оценок переменных.

4. Определение экспертных правил ЕСЛИ-ТО, описывающих поведение объекта. Экспертные правила ЕСЛИ-ТО вносятся в соответствующие матрицы (таблицы) знаний.

5. Настройка экспертной системы с нечеткой логикой путем решения задач оптимизации с использованием обучающей выборки.

В результате нечеткого логического вывода получаются функции принадлежности выходной переменной каждому из классов решений и интерпретированный результат.

В данной диссертационной работе считаем, что оценка качества знаний (Б) базируется на трех параметрах (лингвистических переменных):

- КОЛИЧЕСТВО ПРАВИЛЬНЬГХ ОТВЕТОВ НА ОЦЕНКУ (х,);

- ВРЕМЯ ОТВЕТА (х3);

- КОЛИЧЕСТВО ОБРАЩЕНИЙ К ПОМОЩИ (х2).

Лингвистические переменные оцениваются нечеткими термами:

КОЛИЧЕСТВО ПРАВИЛЬНЫХ ОТВЕТОВ НА ОЦЕНКУ- х, -отлично (5), хорошо (4), удовлетворительно (3) и неудовлетворительно (2).

ВРЕМЯ_ОТВЕТА - X} - малое (м), среднее (с), большое (б), очень большое (об).

КОЛИЧЕСТВО ОБРАЩЕНИЙ К ПОМОЩИ - х2 - отсутствует (о), мало (мл), много (мн).

ОЦЕНКА_КАЧЕСТВА_ЗНАНИЯ - Б - отлично (о), хорошо (х), удовлетворительно (у), неудовлетворительно (ну).

Дерево логического вывода, отвечающее соотношению D=fd(Xl, показано на рис. 3. -

Экспертные правила характеризуют зависимость выходной величины от входных и определяются преподавателями. Примеры экспертных правил:

ЕСЛИ количество правильных ответов 5 И количество обращений к помощи отсутствует И время ответа небольшое, ТО оценка качества знания - отлично.

ЕСЛИ количество правильных ответов 5 И количество обращений к помощи мало И время ответа среднее, ТО оценка качества знания - хорошо.

Экспертные правила формулируются для всех значений выходной переменной в зависимости от всех комбинаций входных переменных.

Экспертные правила выставления оценки сведем в матрицу знаний (таблицу).

Таблица.

xl *2 х3 D

5 Отсутствует Мало Отлично (d.)

5 Отсутствует Среднее

5 Отсутствует Большое

5 Отсутствует Очень большое

5 Мало Мало Хорошо (d2)

5 Мало- Среднее

5 Мало Большое

5 Мало Очень большое

5 Много Мало

5 Много Среднее

4 Отсутствует Мало

4 Отсутствует Среднее

4 Отсутствует Большое

4 Отсутствует Очень большое

4 Мало Мало

4 Мало Среднее

4 Мало Большое

5 Много Большое Удовлетворительно (dj)

5 Много Очень большое

4 Мало Очень большое

4 Много Мало

4 Много Среднее

4 Много Большое

4 Много Очень большое

Окончание таблицы

Х| XI Хз D

3 Отсутствует Мало

3 Отсутствует Среднее Удовле-

3 Отсутствует Большое твори-

3 Отсутствует Очень большое тельно (d,)

3 Мало Мало

3 Мало Среднее

3 Мало Большое

3 Мало Очень большое

3 Много Мало

3 Много Среднее

3 Много Большое

3 Много Очень большое Неудовлетворительно

2 Отсутствует Мало

2 Отсутствует Среднее («W

2 Отсутствует Большое

2 Отсутствует Очень. большое

2 Мало Мало

2 Мало Среднее

2 Мало Большое

2 Мало Очень большое

2 Много» Мало

2 Много Среднее

2 Много Большое

2 Много Очень большое

Используя таблицу и операции • (И — min) и V (ИЛИ — max), можно записать следующую систему нечетких логических уравнений, связывающих функции принадлежности оценки и параметров ответа, являющуюся математической моделью выставления оценки:

vwi3[AS(*1)-/f-(x2).Afe(*3)lvwk4Ui5(xI).Af"(x2).Ai"e{a3)l

^Л/Лт,) р°(Х2) Ц "(Х} )] V №:8[//4 (X, ) • у ) • А* (■*! )] V

/3="'Э|1"5(*1) Я ""(*2) Я6)]* "згЬ»' )• Я ""(^2)• Моб(х3)]V

V «-33 {// и,) • /У (*, ) - //'^(ДГЗ )] V ^з4[я4 и,) • й "" (*2 )• М " С^з )1 V VI,,[//"(Г,) //""(.Г,) /Лхз)]™эД/Лх1>-/'ш'(х,)/Л*з)]^

V „•„[//(*,) //"Ч^.^'Сх,)■м^х'гУц'Чх^

V »'39(>3 (х,) • р"(х2) • /Л*э И ^ »-31о[Р3 ) м" (х2) • М6(*з)] *

,[/!'(*,) р"(х2) V и312[/Л*,)• Яи'(>гг)■ я и(х3)1 V

/'""(V,) /'"(-Тз^н^Г/Лп) р""(л2) ^н-«^'^,) /|-<дг2) ^ V,)•//""(х2).М"б(х3)]V •

^„[/Л*,) /""'(*,) Я 'Чх3 )] V ,,[//-(X, ) • Я '"(^2) • ЯЧХз)] V

Каждый из нечетких термов представляет нечеткое множество, заданное с помощью функции принадлежности.

где Ь - координата максимума функции принадлежности, т.е. ц(Ь) = 11 с - коэффициент растяжения.

Параметры Ь и с задаются экспертами.

Выбор таких функций обусловлен тем, что они являются хорошими аппроксиматорами. Параметры грубых функций принадлежности определяются экспертами (преподавателями) и задаются для каждого терма каждой лингвистической переменной.

Весовые коэффициенты логических уравнений принимаются равными 1.

Нечеткие логические уравнения вместе с функциями принадлежности нечетких термов позволяют принимать решение об оценке по следующему алгоритму:

1. Зафиксируем значения параметров, влияющих на оценку

2. Используя модель и параметры Ь и с, заданные экспертами, определяем значение функций принадлежности при фиксированных значениях параметров

3. Используя логические уравнения, вычисляем значения функции принадлежности

fj"J{xl,x2,Xi) при векторе

принадлежности ния(х] , х-), Х-;) для всех оценок d|, di, dj, d*. При этом.

логические

операции И(Л) и ИЛИ(\/) над функциями принадлежности заменяются функциями min и max:

jj(a) V 'i(b) = max

4. Определим решение dj, для которого:

Р1 (дг*.Х2-*з)= max^^ (дг*..г2.хз^.

Настройка подсистемы выставления оценок производится в том случае, если преподаватель не согласен с оценкой, выставленной системой. Задача настройки, состоит в подборе таких параметров Ь и с функций принадлежности лингвистических оценок, которые обеспечат минимум расхождения между теоретическими и экспериментальными данными. Задачу оптимизации можно провести с помощью генетического алгоритма (ГА). Выбор генетических алгоритмов для настройки был обусловлен тем, что ГА осуществляет одновременный поиск по многим направлениям путем использования популяции возможных решений. Переход от одной популяции к другой позволяет избежать попадания в локальный оптимум. Кроме того, ГА позволяет находить оптимум функции многих переменных. В разработанной системе оптимизировались значения 70-и переменных.

В качестве параметров настройки выбирались:

вероятность мутации - 0.1; вероятность скрещивания - 0.9; вероятность инверсии - 0.05.

Схема применения генетического алгоритма для настройки подсистемы выставления оценок (нечеткой базы знаний) следующая.

1. Провести контроль знаний в нескольких группах. Желательно, чтобы в этих группах были разные преподаватели - данное требование повышает в дальнейшем объективность настройки подсистемы.

2. Ввести выставленные преподавателем оценки в базу знаний.

3. Задать вероятности мутации, скрещивания и инверсии, число особей в популяции и размерность (число бит на каждую настраиваемую величину). Также задается количество эпох - если в течении этого количества эпох приспособляемость популяции не менялась, то алгоритм заканчивает работу.

4. Запустить настройку подсистемы с помощью генетического алгоритма.

4.1. В начальный момент времени 1=0 генерируется начальная

¡Г

популяция - . В качестве генов хромосомы выступают подлежащие настройки величины - параметры Ь и с для функций принадлежности лингвистических переменных Х1-Х3 и весовые коэффициенты .

4.2. Вычисляются приспособленность каждой особи:

В качестве функции, соответствия выбран метод наименьших квадратов:

/(^) = E(/V„-/V)2->min)

где ^лрел - оценка, выставленная преподавателем, Рпр — оценка, выставленная программой по методике, изложенной выше

Приспособляемость популяции в целом:

Г-Х к-11

eval(vt)~ min {eval(v,)} J'IN )

вероятность отбора для каждой хромосомы:

eval{vk ) - min [eval(vj )} «--^-;

совокупная вероятность отбора:

4.3. По правилу рулетки отбирается особь:

- генерируется случайное число г из интервала [0,1 ];

если г<Ц|, то выбирается хромосома V), иначе выбирается хромосома такая, что Ч|,_|< Г й Чк.

4.4. С заданной вероятностью выполняется операция скрещивания.

4.5. С заданной вероятностью выполняется операция мутации.

4.6. С заданной вероятностью выполняется операция инверсии.

4.7. Полученная хромосома помещается в популяцию.

4.8. Операции 4.3-4.7 выполняются N раз.

4.9. Увеличивается номер текущей эпохи £=1+1.

4.10. Если выполняется условие останова, то завершается работа, иначе - шаг 4.2.

5. Полученные значения являются оптимальными, т.е.

обеспечивают минимальное расхождение между оценками, выставляемыми преподавателем и системой.

В четвертой главе рассматриваются требования к программной реализации системы. Основные требования - выполнение всех функций управления контролем знаний; объективное выставление оценки; максимально удобный, "дружественный" интерфейс пользователя. Рассматриваются технические и программные средства для создания и функционирования интеллектуальной контролирующей системы и ее подсистем. Приведены результаты исследования работы интеллектуальной системы контроля знаний и результаты внедрения системы в учебный процесс. Проведенные эксперименты по использованию разработанных алгоритмов и методов позволили сделать сравнительный анализ работы алгоритмов и дать рекомендации по их применению. Проанализирована работа подсистемы выставления оценки. Полученные в результате контроля данные показали эффективность применения на практике разработанных алгоритмов и программных средств контроля знаний и достоверность работы нечеткой подсистемы выставления оценки.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ РАБОТЫ

Данная диссертационная работа содержит теоретические и экспериментальные исследования, направленные на разработку моделей, алгоритмов и инструментальных средств управления и проведения процесса контроля знаний с учетом нечеткости, неопределенности и субъективности данных о предметной области курса и о результатах

контроля знаний обучаемых. В диссертационной работе рассмотрены и решены следующие вопросы.

1. В качестве разрабатываемой выбрана,ИОС управляющего типа, так как именно эти системы способны адаптивно управлять процессом контроля. Определены архитектура интеллектуальной системы контроля знаний и функциональное назначение ее компонент. Для моделирования процесса контроля используются нечеткие модифицированные сети Петри.

2. Разработанные алгоритмы управления контролем, использующие модели представления знаний (МПО, МО), позволяют адаптироваться к индивидуальным особенностям обучаемого. Первый алгоритм не использует моделирующие свойства сети Петри. Сеть служит только для представления логики курса. Второй алгоритм использует сеть Петри для управления процессом контроля. Программа опрашивает обучаемых до тех пор, пока не выяснит меру знания ими каждого понятия каждой темы. Адаптация к индивидуальным особенностям обучаемого помогает предотвратить «зацикливание» программы.

3. Для выставления оценки использовались методы искусственного интеллекта, которые позволяют при построении математической модели оценки качества знаний использовать логический опыт квалифицированных преподавателей, принимающих оценочные решения.

4. Разработанные алгоритм построения экспертной системы с нечеткой логикой и алгоритм принятия решений об оценке знаний позволяют учитывать нечеткость знаний об уровне подготовки обучаемых, а также удовлетворять требованиям (критериям) выставления оценки, предъявляемым преподавателями.

5. Для настройки экспертной системы выставления оценок предложено использовать генетический алгоритм. Применение данного метода поиска оптимального решения позволяет избежать трудностей, связанных с проблемой локального экстремума и «проклятия размерности». Выбор генетического алгоритма обусловлен тем, что эволюционные операции генетических алгоритмов позволяют эффективно отыскивать глобальный оптимум. Кроме того, ГА не имеет значительных математических требований к видам целевых функций и ограничений. Исследователь не должен упрощать модель объекта, теряя ее адекватность и искусственно добиваясь возможности применения доступных математических методов.

6. Выполнена программная реализация данной системы. С помощью разработанных инструментальных программных средств был реализован автоматический контролирующий курс по теме «Логиче-

ские основы ЭВМ» дисциплины «Вычислительная техника и информационные технологии».

7. Были проведены эксперименты по использованию разработанных алгоритмов и методов, которые позволили сделать сравнительный анализ работы алгоритмов и дать рекомендации по их использованию. Проанализирована работа подсистемы выставления оценки.

8. Полученные в результате контроля данные показали эффективность применения на практике разработанных алгоритмов и программных средств контроля знаний: 1) значительное снижение времени, затрачиваемом преподавателем на контроль знаний ВСЕХ обучаемых в группе; 2) объективность и достоверность оценивания системой знаний обучаемых.

ПУБЛИКАЦИИ ПО ОСНОВНЫМ РЕЗУЛЬТАТАМ ДИССЕРТАЦИИ.

1. Ивлева Е.В Дистанционное обучение в военном учебном заведении //Перспективы развития средств и комплексов связи и особенности подготовки специалистов связи в современных условиях: Материалы межвузовской научно-методической конференции. Часть 2. Новочеркасский военный университет связи. С. 317 -3 \ 8.

2. Ивлева Е.В. Применение интеллектуальных обучающих систем для индивидуализации образования //Современные педагогические технологии в военном вузе: Материалы межвузовской научно-методической конференции. 18 апреля 2002 г. Часть 1. Новочеркасский военный университет связи. С. 42

3. Ивлева Е.В. Автоматизированная система контроля знаний. // Вестник РГРТА. Выпуск 12. Рязань, 2003. с.129-133.

4. Ивлева Е.В. Ивлева Л.А., Курашин В.Н. Автоматизированное обучение курсу математики и его роль в индивидуализации учебного процесса //Современные педагогические технологии в военном вузе: Материалы межвузовской научно-методической конференции. 18 апреля 2002 г. Часть 1. Новочеркасский военный университет связи. С. 46.

5. Ивлева Е.В. Использование автоматизированных обучающих систем в обучении // Профессионально-педагогическая и специальная подготовка студентов как социокультурная деятельность: Тезисы докладов межвузовской научно-методической'конференции-«УИ Рязанские педагогические чтения», 1 февраля 2000 г. Часть 2. Рязань, 2000. С. 145-146.

6. Ивлева Е.В. Использование компьютерных технологий в обучении // ВМИРЭ им. А.С. Попова, Петродворец, 10 межвузовская на-

учно-техническая конференция «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов», 1999. С. 97.

7. Ивлева Е.В. Автоматизированный контроль знаний // Повышение качества подготовки офицеров автомобильной службы в условиях реформирования военного образования: Тезисы докладов XXXIII научно-методической конференции. 26-27 февраля 2003 года, Рязань, РВАИ. С. 98-100.

8. Ивлева Е.В. Модели обучаемого //Сборник научных трудов. Вып. 13. Военный автомобильный институт. Рязань, 2002. С. 99-107.

9. Ивлева Е.В. Применение новых информационных технологий в образовании // ВМИРЭ им. А.С. Попова, Петродворец, 11 межвузовская научно-техническая конференция «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов», 2000. С. 131.

10. Ивлева Е.В. Применение элементов дистанционного обучения в образовании // Творческий подход к реализации государственного образовательного стандарта высшего профессионального образования.: Тезисы докладов межвузовской научно-методической конференции «VIII Рязанские педагогические чтения», 1 февраля 2001 г. Рязань, 2001. С. 131-132.

П.Ивлева Е.В., Ивлева Я.А., Курашин В.Н. Компьютерный курс высшей математики в военном учебном заведении // Перспективы развития средств и комплексов связи и особенности подготовки специалистов связи в современных условиях: Материалы межвузовской научно-методической конференции, 2001 г. Часть 2. Новочеркасский военный университет связи..С. 331.

12. Ивлева Е.В., Ивлева Л.А., Курашин В.Н. Обучающие и контролирующие программы по математике в высшем военном учебном заведении // Труды 27 научно-практической конференции. Рязань, РФВУС, 2000. С. 87-90.

13. Ивлева Е.В., Ивлева Л.А., Курашин В.Н. Особенности программированного обучения в военном учебном заведении // ВМИРЭ им. А.С. Попова, Петродворец, 11 межвузовская научно-техническая конференция, «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов», 2000. С. 98.

14. Ивлева Е.В., Ивлева Л.А., Курашин В.Н., Дидактическое программирование. Особенности разработки обучающих и контролирующих программ при изучении математики в военном учебном заведении // Тезисы 36 научно-технической конференции. Рязань: РГРТА, 2000. С. 72.

15. Ивлева Е. В. Нечеткая экспертная система выставления оценок // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Материалы 12 межд. научн.-техн. конф. Рязань: РГРТА, 2004. С. 166-168.

16. Свидетельство об официальной регистрации программ для ЭВМ № 2002611150. 3яре1 истрировано в Реестре программ для ЭВМ

10.07.2002. Авторы: Ивлева Е.В., Трушин А.С. Программа для ЭВМ. Изучение логических схем.

17. Свидетельство об официальной регистрации программ для ЭВМ № 2003612097. Зарегистрировано в Реестре программ для ЭВМ

08.09.2003. Автор: Ивлева Е.В. Программа для ЭВМ. Программа контроля знаний.

18. Свидетельство об официальной регистрации программ для ЭВМ № 2003612098. Зарегистрировано в Реестре программ для ЭВМ 08.09.2003. Автор: Ивлева Е.В. Программа для ЭВМ. Создание контролирующих курсов.

Ш - 7 2 2 1

ИВЛЕВА Елена Владимировна

РАЗРАБОТКА И ИССЛЕДОВАНИЕ ИНТЕЛЛЕКТУАЛЬНЫХ КОНТРОЛИРУЮЩИХ СИСТЕМ С НАСТРАИВАЕМОЙ НЕЧЕТКОЙ ЭКСПЕРТНОЙ ПОДСИСТЕМОЙ ВЫСТАВЛЕНИЯ ОЦЕНОК

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Подписано в печать Дб^ ^Уг. Формат бумаги 60x84 1/16 Бумага газетная. Печать трафаретная. Усл. печ. л. 1,5 Уч.-изд. л. 1,5. Тираж 100 экз. Заказ Рязанская государственная радиотехническая академия. 390005, Рязань, ул Гагарина, 59/1. Редакционно-издательский центр РГРТА.

ВВЕДЕНИЕ.

ГЛАВА 1. ИНТЕЛЛЕКТУАЛЬНЫЕ АВТОМАТИЗИРОВАННЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ: ЭТАПЫ РАЗВИТИЯ, КЛАССИФИКАЦИЯ И ПРОБЛЕМЫ СОЗДАНИЯ.

1.1. Основные теории, лежащие в основе построения автоматизированных систем обучения.

1.2. Этапы развития АОС.

1.3. Классификация АОС.

1.4. Структура интеллектуальной обучающей системы и функциональное назначение ее элементов.

1.5. Классификация интеллектуальных обучающих систем.

1.6. Примеры ИОС.

1.8. Программный контроль знаний.

1.9. Проблемы, возникающие при проверке знаний.

1.10. Задача автоматизированного проектирования контролирующих курсов.

1.11. Цели и задачи диссертационной работы.

Выводы.

ГЛАВА 2. МОДЕЛИРОВАНИЕ И АЛГОРИТМЫ РАБОТЫ ПРОЦЕССА УПРАВЛЕНИЯ КОНТРОЛЕМ ЗНАНИЙ.

2.1. Структура системы проверки знаний.

2.2. Основные понятия сетей Петри.

2.3. Моделирование процесса контроля знаний.

2.4. Цели контроля.

2.5. Модель обучаемого.

2.6. Методы управления контролем.

2.7. Алгоритм управления процессом контроля.

2.7.1. Алгоритм «Краткий опрос».

2.7.2. Алгоритм «Полный опрос».

2.7.3. Адаптация процесса контроля к индивидуальным особенностям опрашиваемого.

2.7.4. Алгоритм создания множества входных (выходных) элементов.

2.7.5. Алгоритм проверки перехода на активность.

Выводы.

ГЛАВА 3. ПРОГРАММНЫЙ КОНТРОЛЬ ЗНАНИЙ.

3.1. Статистические методы обработки ответов.

3.2. Использование методов искусственного интеллекта.

3.3. Грубые функции принадлежности.

3.4. Алгоритм принятия решения.

3.5. Тонкая настройка нечеткой базы знаний.

3.6. Генетические алгоритмы.

3.7. Применение генетического алгоритма для настройки подсистемы выставления оценок.

Выводы.

ГЛАВА 4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ КОНТРОЛЯ ЗНАНИЙ.

4.1. Требования к программе.

4.2. Технические и программные средства для создания и функционирования интеллектуальной контролирующей системы.

4.3. Структура данных.

4.4. Программная реализация системы управления контролем знаний.

4.4.1. Описание структуры.

4.4.2. Используемые методы.

4.4.3. Алгоритм программы.

4.4.4. Используемые технические средства.

4.4.5. Вызов и загрузка.

4.4.6. Входные данные.

4.4.7. Выходные данные.

4.5. Архитектура подсистемы приобретения знаний.

4.6. Программная реализация подсистемы создания контролирующих курсов.

4.6.1. Описание структур.

4.6.2. Используемые методы.

4.6.3. Алгоритм программы.

4.6.4. Функциональные ограничения.

4.6.5. Используемые технические средства.

4.6.6. Вызов и загрузка.

4.6.7. Входные данные.

4.6.8. Выходные данные.

4.7. Система автоматизированного контроля знаний.

4.8. Исследование работы программы контроля.

4.8.1. Настройка системы выставления оценок.

4.8.2. Характеристики процесса контроля.

4.8.3. Статистика по вопросам.

4.9. Применение автоматизированной системы контроля знаний к реализации учебной темы "Логические основы ЭВМ". Результаты внедрения в учебный процесс.

Выводы.

Актуальность исследований. Обучение является древнейшим процессом человеческой деятельности. Необходимость значительного повышения эффективности обучения привела к тому, что ряд функций преподавателя передается компьютеру. Внедрение новых информационных технологий в обучение открывает широкие возможности к более качественной подготовке специалистов и индивидуализации обучения. Анализ работ в области создания автоматизированных обучающих систем (АОС) [3, 5, 7-11, 14, 15, 20, 4648, 62, 66, 68, 72, 75, 77, 79, 80, 90-92, 107, 112-114, 125, 127-134] показал, что развитие систем идет по пути интеллектуализации управления процессом обучения, а механизм контроля плавно перетекает в механизмы анализа высказываний обучаемого. В настоящее время наиболее перспективным является развитие АОС, применяющих методы искусственного интеллекта для управления процессом обучения, - интеллектуальных обучающих систем (ИОС). ИОС способны «понимать» преподаваемый предмет и обучаемого, адаптироваться к его знаниям и особенностям, обеспечивать гибкий процесс обучения.

Анализ работ в области создания ИОС [3, 5, 7-11, 14, 15, 20, 46-48, 62, 66, 68, 72, 75, 77, 79, 80, 90-92, 107, 112-114, 125, 127-134] позволил выявить следующие недостатки:

- использование только определенной предметной области;

- стратегия управления не зависит от логической структуры курса;

- все системы используются в основном только для обучения или диагностики знаний обучаемых;

- контроль знаний используется чаще всего для выбора следующего управляющего воздействия или задачи;

- при оценивании знаний не учитываются нечеткость, неопределенность данных о результате контроля.

Два последних недостатка особенно значимы, так как контроль знаний учащихся является одним из важных этапов обучения и средством обратной связи между преподавателем и обучаемым. Насыщенность занятий новым материалом не позволяет проводить опрос всех учащихся в течение одного занятия и оценивать уровень освоения ими материала. Решить эту проблему помогут интеллектуальные контролирующие системы. Использование интеллектуальных систем проверки знаний позволяет поддерживать нужный образовательный уровень обучаемых, увеличивает возможности преподавателя при проверке знаний. Программный контроль требует от студента кратких ответов, что позволяет сократить время, необходимое для оценки степени подготовки. В свою очередь, оперативная проверка знаний дает возможность немедленно скорректировать и восполнить знания, что ведет к увеличению объема и улучшению качества знаний. Применение интеллектуальных систем проверки знаний, предназначенных для проведения адаптивных опросов, сложность задания в которых изменяется в зависимости от ответов обучаемых, позволяет:

- значительно сократить временные рамки, отводимые на обработку результатов проверки знаний;

- автоматизировать процесс обработки ответов;

- свести к минимуму субъективное мнение преподавателя на результаты контроля.

Цель диссертационной работы состоит в разработке методик, алгоритмов и инструментальных программных средств для проведения адаптивного контроля знаний в условиях неопределенности данных о состоянии знаний обучаемого с использованием логической структуры курса.

Для достижения цели необходимо решить следующие задачи:

- разработать модели представления знаний о процессе контроля;

- разработать алгоритмы управления контролем на основе моделей представления знаний;

- разработать алгоритм оценивания знаний;

- разработать структуру подсистемы приобретения знаний;

- определить архитектуру контролирующей системы и функциональное назначение ее компонент;

- реализовать компоненты интеллектуальной системы контроля знаний и подсистемы приобретения знаний.

Методы исследования. Разработка и исследования проводились на основе теории сетей Петри, теории нечетких множеств и нечеткой логики, теории принятия решения, теории экспертных систем, теории генетических алгоритмов, теории структур и баз данных, технологий модульного и объектно-ориентированного программирования.

Научная новизна заключается в следующем:

1) для решения задач оценивания качества знаний предложено вместо статистических методов обработки ответов применять методы искусственного интеллекта, которые позволяют при построении математической модели оценки качества знаний использовать логический опыт квалифицированных преподавателей, принимающих оценочные решения;

2) предложено в структуру интеллектуальной обучающей системы помимо экспертных систем (ЭС) по решению задач, диагностике ошибок и управлению обучением включать ЭС по выставлению оценок;

3) предложена структура построения экспертной системы, использующей для выставления оценки нечеткую базу знаний;

4) предложена методика настройки ЭС с помощью генетического алгоритма;

5) разработаны алгоритмы управления процессом контроля, позволяющие проводить контроль в различных предметных областях и адаптироваться к уровню знаний каждого обучаемого.

Практическая ценность работы. Осуществлена программная реализация интеллектуальной контролирующей системы с настраиваемой экспертной подсистемой выставления оценок, использующая указанные выще алгоритмы и методы. Для представления знаний в моделях предметной области, обучаемого и управления процессом контроля использовалась модифицированная нечеткая сеть Петри. В Рязанском филиале Военного университета связи с помощью разработанной системы был создан контролирующий курс по дисциплине «Вычислительная техника». Проведенный с помощью данного курса контроль знаний показал, что предложенные алгоритмы и методы могут использоваться:

- при проектировании ЭС, т.е. такого управления частными показателями, при которых интегральный показатель качества будет принимать желаемое значение; - для построения экспертных систем, которые способны оценить качество интеллектуальной деятельности;

- для управления процессом адаптивного контроля знаний, при этом могут использоваться различные стратегии выбора контролирующего воздействия;

- для поддержания различных форм контроля: текущего, промежуточного, итогового.

На защиту выносятся:

- алгоритмы управления процессом контроля на основе используемых модели предметной области и модели обучаемого;

- методика построения экспертной подсистемы, использующей для выставления оценки нечеткую логику;

- методика и алгоритм настройки нечеткой подсистемы выставления оценки с помощью генетического алгоритма.

Достоверность полученных в диссертационной работе результатов подтверждается использованием положений и понятий теории экспертных систем, нечеткой логики, генетических алгоритмов; разработкой действующего программного обеспечения и внедрением полученных результатов.

Реализация и внедрение результатов. В рамках диссертационной работы разработана и внедрена интеллектуальная система контроля знаний, которая имеет свидетельство об официальной регистрации программы для

ЭВМ в РОСПАТЕНТ. Разработанные алгоритмы и инструментальные программные средства управления процессом контроля использованы в НИР «Исследование возможностей современных компьютерных технологий и инструментальных средств для проведения лабораторных работ по дисциплине «ВТ и ИТ», шифр «Средства», выполненной на кафедре «Автоматизированных систем управления войсками и связи» Рязанского филиала Военного университета связи, и внедрены в учебный процесс Рязанского филиала Военного университета связи (дисциплина «Вычислительная техника и информационные технологии») и Рязанского военного автомобильного института (дисциплина «Информатика»).

Апробация работы. Материалы докладывались и обсуждались на 4 конференциях:

- межвузовской научно-методической конференции «Творческий подход к реализации государственного образовательного стандарта высшего профессионального образования. VIII Рязанские педагогические чтения», РГПУ, 2 февраля 2001 г., г. Рязань;

- 13-й межвузовской научно-практическая конференции, РВАИ, 24-25 февраля, 2002 г., г. Рязань;

- 14-й межвузовской научно-практическая конференции, РВАИ, 27-28 февраля, 2003 г., г. Рязань;

- 12-й международной научно-технической конференции, РГРТА, 13-14 января, 2004 г., г. Рязань.

По материалам диссертации опубликовано 18 работ, из них 5 в соавторстве. В их числе 1 статья в межвузовском сборнике, 2 статьи в вузовских сборниках, 12 тезисов докладов на конференциях, 3 свидетельства об официальной регистрации программ в РОСПАТЕНТ.

В первой главе проводится анализ состояния работ в области создания интеллектуальных обучающих систем, дается их классификация. Рассматриваются архитектура ИОС, функциональное назначение ее компонент. Проводится анализ существующих ИОС, определяются их недостатки и нерешенные проблемы. Проводится анализ проблем в области контроля знаний. Ставятся цели и задачи диссертационной работы. В качестве разрабатываемой выбирается система управляющего типа.

Во второй главе разрабатываются структура интеллектуальной контролирующей системы и функциональное назначение ее компонент. Рассматриваются модели обучаемого, предметной области и управления процессом контроля. Для представления знаний использовалась нечеткая сеть Петри. На основе разработанных моделей разработаны алгоритмы управления процессом контроля. Предложен алгоритм адаптации к уровню знаний обучаемых.

В третьей главе рассматриваются имеющиеся методы контроля знаний. Предложена методика построения нечеткой системы выставления оценки. Рассмотрена настройка данной системы с помощью генетического алгоритма. Рассмотрена задача автоматизированного проектирования контролирующих курсов. Определена структура и функции подсистемы приобретения знаний. Рассмотрена возможность увеличения числа вопросов за счет генерации условий.

В четвертой главе рассматриваются требования к программной реализации системы. Основные требования - выполнение всех функций управления контролем знаний; объективное выставление оценки; максимально удобный, «дружественный» интерфейс пользователей. Рассматриваются технические и программные средства для создания и функционирования интеллектуальной контролирующей системы и ее подсистем. Приведены результаты исследования работы интеллектуальной системы контроля знаний и результаты внедрения системы в учебный процесс.

Выводы

1. Были определены требования к интеллектуальной системе контроля знаний и подсистеме приобретения знаний.

2. Выполнена программная реализация данной системы.

3. С помощью разработанных инструментальных программных средств был реализован автоматический контролирующий курс по теме «Логические основы ЭВМ» дисциплины «Вычислительная техника и информационные технологии».

4. Были проведены эксперименты по использованию разработанных алгоритмов и методов, которые позволили сделать сравнительный анализ работы алгоритмов и дать рекомендации по их использованию. Проанализирована работа подсистемы выставления оценки.

5. Полученные в результате контроля данные показали эффективность применения на практике разработанных алгоритмов и программных средств контроля знаний.

ЗАКЛЮЧЕНИЕ

Данная диссертационная работа содержит теоретические и экспериментальные исследования, направленные на разработку моделей, алгоритмов и инструментальных средств управления и проведения процесса контроля знаний с учетом нечеткости, неопределенности и субъективности данных о предметной области курса и о результатах контроля знаний обучаемых.

В диссертационной работе рассмотрены и решены следующие вопросы.

1. В качестве разрабатываемой выбрана ИОС управляющего типа, так как именно эти системы способны адаптивно управлять процессом контроля. Определены архитектура интеллектуальной системы контроля знаний и функциональное назначение ее компонент. Для моделирования процесса контроля используются нечеткие модифицированные сети Петри [44, 56, 66, 76].

2. На основе используемой модели представления знаний разработаны два алгоритма управления контролем. Первый алгоритм не использует моделирующие свойства сети Петри. Сеть служит только для представления логики курса. Второй алгоритм использует сеть Петри для управления процессом контроля. Программа опрашивает обучаемых до тех пор, пока не выяснит меру знания им каждого понятия каждой темы. Для предотвращения «зацикливания» программы предусмотрена адаптация к индивидуальным особенностям обучаемого.

3. Для выставления оценки предложено использовать методы искусственного интеллекта, которые позволяют при построении математической модели оценки качества знаний использовать логику рассуждений квалифицированных преподавателей, принимающих оценочные решения.

4. Разработан алгоритм построения нечеткой экспертной системы.

5. Определены критерии выставления оценки и параметры грубых функций принадлежности.

6. Разработан алгоритм принятия решения об оценке знаний обучаемых, учитывающий нечеткость знаний об уровне подготовки обучаемых.

8. Для настройки нечеткой системы выставления оценок предложено использовать генетический алгоритм. Применение данного метода поиска оптимального решения позволяет избежать трудностей, связанных с проблемой локального экстремума и «проклятия размерности». Выбор генетического алгоритма обусловлен тем, что эволюционные операции генетических алгоритмов позволяют эффективно отыскивать глобальный оптимум функции многих переменных (в данной диссертационной работе оптимизируется 70 переменных). Кроме того, ГА не имеет значительных математических требований к видам целевых функций и ограничений. Исследователь не должен упрощать модель объекта, теряя ее адекватность, и искусственно добиваясь возможности применения доступных математических методов.

9. Выполнена программная реализация данной системы. С помощью разработанных инструментальных программных средств был реализован автоматический контролирующий курс по теме «Логические основы ЭВМ» дисциплины «Вычислительная техника и информационные технологии».

10. Были проведены эксперименты по использованию разработанных алгоритмов и методов, которые позволили сделать сравнительный анализ работы алгоритмов и дать рекомендации по их использованию. Проанализирована работа подсистемы выставления оценки.

11. Полученные в результате контроля данные показали эффективность применения на практике разработанных алгоритмов и программных средств контроля знаний.

Разработанный с помощью данных алгоритмов и инструментальных программных средств контролирующий курс используются при проведении занятий по дисциплине «Вычислительная техника».

Разработанные алгоритмы и инструментальные программные средства управления процессом контроля внедрены в НИР «Исследование возможностей современных компьютерных технологий и инструментальных средств для проведения лабораторных работ по дисциплине «ВТ и ИТ», шифр «Средства», выполненной на кафедре «Автоматизированных систем управления войсками и связи» Рязанского филиала Военного университета связи.

Разработанное программное обеспечение зарегистрировано в Российском агентстве по патентам и товарным знакам. Свидетельство об официальной регистрации и акты реализации результатов диссертационной работы приведены в приложении 4.

1. Аверкин А.Н. Нечеткие множества в моделях искусственного интеллекта //Вопросы кибернетики. Проблемы искусственного интеллекта. -М.: ВИНИТИ, 1980. С. 79-86.

2. Агапов О.И., Кривошеев А.О., Ушаков А.С. О трех поколениях компьютерных технологий обучения // Информатика и образование. 1994. №2. С. 34-40.

3. Андреев А.Н. Разработка универсальной оболочки для компьютерной обучающей системы. Измерительная техника. 2001. №9. С. 67-68.

4. Архангельский А.Я. Программирование в Delphi 5 2-е изд., перераб. и дополн. М.: ЗАО «Издательство БИНОМ», 2000 г. 1072 е.: ил.

5. Башкатова Ю.В. О принципах построения автоматизированных обучающих систем. // Педагогическая информатика. 2001. №1. С. 49-52.

6. Беспалько В.П. Стандартизация образования: Основные идеи и понятия. //Педагогика. 1993. №5. С. 18-25.

7. Брусиловский П.Л. Информационное ядро экспертно-обучающих систем. // Разработка и применение экспертно-обучающих систем: Сб. науч. тр. -М.: НИИВШ, 1989. С. 18-25.

8. Брусиловский П.Л. Модели предметной области и обучаемого для управления обучением // Методы и средства кибернетики в управлении учебным процессом /В.Ш. Рига, Рижский политех., 1989. вып. 5.

9. Брусиловский П.Л. Построение и использование моделей обучаемого в ИОС //Техническая кибернетика. Известия РАН. 1992. №5. С. 97-11.

10. Брусиловский П.Л., Зырянов М.И. Интеллектуальная учебная среда «Остров» // Сб. трудов 3-й конф. По искусственному интеллекту, Тверь, 1992. т.2. С. 33-35.

11. П.Васильев В.Н., Стафеев С.К. Единая система компьютерного тестирования: состояние и перспективы. // Открытое образование. 2002. №2. С. 4255.

12. Вентцель Е.С. Теория вероятности. М.: Наука, 1964, 576 с.

13. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Вороновский Г.К., Махотило К.В., Петраше С.Н., Сергеев С.А. Харьков: Основа, 1997. 212 с.

14. Гиркин И.В. Новые подходы к организации учебного процесса с использованием современных компьютерных технологий. II Информационные технологии. 1998. №6. С. 44-47.

15. Головишников К.В. Компьютерная реализация информационно-педагогической модели тестирования в школе. // Педагогическая информатика. 2001. №2. С. 31-35.

16. Гофман В.Э. Хомоненко А.Д. Работа с базами данных в Delphi. СПб.: . БХВ-Петербург, 2001. 656 с.

17. Дегтярева Т.Д., Спешилова Н.В. Информационные технология организации педагогического контроля в ВУЗах // Компьютерные учебные программы и инновации. 2002. №2(6). С. 60-68.

18. Демушкин А.С., Кириллов А.И., Сливина Н.А„ Чубров Е.В., Кривощеев А.О., Фомин С.С. Компьютерные обучающие программы //Информатика и образование. 1994. №3. С. 15-22.

19. Дмитренко В. Дистанционное образование кому это надо? // Компьютер пресс. 1999. № 9. С. 20-22.

20. Ежова Т.В. Программный инструментарий педагога средство повышения эффективности компьютерных программ учебного назначения в компьютерных технологиях обучения. // Компьютерные учебные программы и инновации. 2002. №4(8). С. 67-74.

21. Епанешников A.M. Епанешников В.A. DELPHI. Проектирование СУБД. М.: ДИАЛОГ-МИФИ, 2001. 528 с.

22. Загидуллин P.P., Зориктуев В.Ц. Концептуальные вопросы дистанционного образования. // Информационные технологии. 1999. №5. С. 33-36.

23. Заде JI. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. 167 с.

24. Зайцева JI.B. Оценка знаний обучаемых в АОС. //Методы и средства кибернетики в управлении учебным процессом высшей школе: Сб. науч. тр. Рига: Риж.политехн.ин-т, 1987. вып. 3. С. 86-92.

25. Ибрагимов О.В. Инструментальная экспертная система, основанная на байесовом методе принятия решений. // Разработка и применение экс-пертно-обучающих систем: Сб. науч. тр. М.: НИИВШ, 1989. С. 94-103.

26. Ивлева Е.В. Использование компьютерных технологий в обучении // ВМИРЭ им. А.С. Попова, Петродворец, 10 межвузовская научнотехническая конференция «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов», 1999. С. 97.

27. Ивлева Е.В. Модели обучаемого //Сборник научных трудов. Вып. 13. Военный автомобильный институт. Рязань, 2002. С. 99-107.

28. Ивлева Е.В. Применение новых информационных технологий в образовании // ВМИРЭ им. А.С. Попова, Петродворец, 11 межвузовская научно-техническая конференция «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов», 2000. С. 131.

29. Ивлева Е.В., Ивлева JI.A., Курашин В.Н. Обучающие и контролирующие программы по математике в высшем военном учебном заведении // Труды 27 научно-практической конференции. Рязань, РФВУС, 2000. С. 87-90.

30. Ивлева Е. В. Нечеткая экспертная система выставления оценок // Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Материалы 12 межд. научн.-техн. конф. Рязань: РГРТА, 2.

31. Колос В.В. Методы параметрического представления методики обучения в адаптивных обучающих системах // Управляющие системы и машины, 1994. №3. С. 48-54.

32. Колос В.В. Разработка и реализация семейства интеллектуальных обучающих систем на основе учебных структур данных. // Техническая кибернетика. Известия РАН, 1993. №2. С. 190-198.

33. Колос В.В., Кудрявцева С.П. ПАЛЕВАС/И: технология создания адаптивных обучающих систем. // Управляющие системы и машины. 1995. №3. С.46-51.

34. Коротеева Е., Беляев А. Обучение, компьютеры, Internet. // Компьютер Пресс. 1997. №9. С. 56-59.

35. Котов B.C. Сети Петри. М.: Наука, 1990. 325 с.

36. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982. 432 с.

37. Кречетников К.Г. Организационные аспекты использования информационных технологий в ВУЗе. // Компьютерные учебные программы и инновации. 2003. №2. С. 64-71.

38. Кривошеев А.О. Проблема развития компьютерных обучающих программ //Высшее образование в России. 1994. №3. С. 12-20.

39. Кривошеев А.О. Разработка и использование компьютерных обучающих программ//Информационные технологии. 1996 г. №2. С. 14-18.

40. Крыжановский Г.А., Санников В.А. Организация процедуры управления и контроля в обучающей системе. // Методы и средства кибернетики в управлении учебным процессом высшей школе: Сб. науч. тр. Рига: Риж.политехн.ин-т, 1987. вып. 4. С.38-44.

41. Курашин В.Н., Ивлева Е. В., Ивлева Л.А. НИР «Составление обучающих и контролирующих программ по курсу математики». Шифр «Урок». РФВУС, Рязань. 2001. 71 с.

42. Курашин В.Н., Ивлева Е. В., Ивлева JI.A. НИР «Составление обучающих и контролирующих программ по курсу математики». Шифр «Урок1». РФВУС, Рязань. 2002. 29 с.

43. Курашин В.Н., Ивлева Е. В., Ивлева JI.A. НИР «Составление обучающих и контролирующих программ по курсу математики». Шифр «Урок2». РФВУС, Рязань, 2003 . 122 с.

44. Леннон Д., Маурер Г. Применение систем мультимедиа. // Программирование. 1995. №3. С. 17-34.

45. Лескин А.А., Мальцев П.А., Спиридонов A.M. Сети Петри в моделировании и управлении. Л.: Наука, 1989. 133 с.

46. Лобанов Ю.И. Структура рефлексивного автоматизированного учебного курса. // Исследование и применение автоматизированных обучающих систем в учебном процессе. Сборник научных трудов. М.: НИИВШ, 1985. С. 27-38.

47. Лобанов Ю.И., Брусиловский П.Л., Съедин В.В. Экспертно-обучающие системы. М. НИИВШ, 1991. 56 с. (Новые информационные технологии в образовании: обзор, информ. /НИИВО; Вып. 2).

48. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения. М.: Педагогика, 1989. 333 с.

49. Молибог А.Г. Вопросы научной организации педагогического труда в высшей школе. М.: Высшая школа, 1971. 396 с.

50. Немного истории. // Компьютер-Пресс. 1999. №9. CD-ROM.

51. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А. Поспелова. М.: Наука. 1986. 312 с.

52. Никичкин Б. В., Цуканова Н.И. Управление процессом обучения с использованием нечетких сетей Петри // «Микросистема-93»: Тезисы докладов научно-техн. конф., Москва, МГИЭМ, 1993. С. 8-11.

53. Никичкин Б.В. Разработка и исследование интеллектуальных обучающих систем на основе нечетких сетей Петри. Диссертационная работа на соискание ученой степени канд. техн. наук. 214 с.

54. Никичкин Б.В., Цуканова Н. И. Представление знаний сетями Петри в обучающей системе // Обработка и передача данных в информационно-вычислительных сетях; Межвузовский сб. науч. тр. Рязань, РРТИ, 1992. С. 97-106.

55. Новицкий Л.П. Структура экспертной обучающей системы. // Методы и средства кибернетики в управлении учебным процессом высшей школе: Сб. науч. тр. Рига: Риж.политехн.ин-т, 1987. вып. 4. С. 26-37.

56. Новичков B.C. Подход к оцениванию качества знаний. // Методы обучения и организации учебного процесса в вузе: Труды IX научно-методической конференции РГРТА / Рязан. гос. радиотехн. акад.: Рязань, 1999. С. 42-44.

57. Российские образовательные CD-ROM: сегодня и вчера. // КомпьютерПресс. 1998. №9. С. 74-93.

58. Осуга С. Обработка знаний: Пер. с япон. М.: Мир, 1989. 293 е., ил.

59. Петрушин В.А. Архитектура экспертно-обучающих систем // Разработка и применение экспертно-обучающих систем: Сб. науч. тр. М.: НИИВШ, 1989. С. 7-18.

60. Петрушин В.А. Интеллектуальные обучающие системы. Архитектура и методы реализации //Техническая кибернетика. Известия РАН. 1993. № 2. С. 164-189.

61. Питерсон Дж. Теория сетей Петри и моделирование систем: Пер. с англ. М.: Мир, 1984. 264с., ил.

62. Потопахин В.В. О технологиях разработки системы автоматизированного контроля знаний. // Компьютерные учебные программы и инновации. 2002. №1(5). С. 52-57.

63. Представление и использование знаний: пер. с япон. / Под ред. X. Уэно,• М. Исидзука. М.: Мир, 1989. 220 е., ил.

64. Прикладные программные средства для решения организационно-экономических задач в системе образования. // Компьютерные учебные программы и инновации. 2003. №1. С. 7-16.

65. Прохоров А. Новинки крупномасштабных медиа-проектов. // КомпьютерПресс. 2002. №4. С. 186-188.

66. Растригин JI.A. Обучение как управление -// Методы и средства кибернетики в управлении учебным процессом высшей школе: Сб. науч. тр. j Рига: Риж.политехн.ин-т, 1987.- вып. 1, 216 с. С. 16-36.

67. Растригин JI.A. Адаптивные компьютерные системы. М.: Знание, 1987. 64 с. (Новое в жизни, науке, технике. Сер. "Радиоэлектроника и связь"; № 10).

68. Растригин JI.A., Эренштейн М.Х. Адаптивное обучение с моделью обучаемого. Рига: Зинатне, 1988. 160 с.

69. Ретинская И. В. Шугрина М.В. Характеристики качества инструментальных систем для создания компьютерных обучающих программ. //Информатика и образование. 1994. №5. С. 69-77.

70. Ретинская И.В. Отечественные системы для создания компьютерныхучебных курсов // Мир ПК. 1993. №7. С. 55-60.

71. Ротштейн А.П. , Кательников Д.И. Идентификация нелинейных объектов нечеткими базами знаний // Кибернетика и системный анализ. 1998. №5. С. 53-61.

72. Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткие множества, генетические алгоритмы, нейронные сети. Винница: «УШВЕРСУМ-Вшниця», 1999. 320 с.

73. Савельев А.Я, Новиков В.А., Лобанов Ю.И. Подготовка информации для автоматизированных обучающих систем. Метод, пособие для преподавателей и студентов вузов / Под ред. А.Я. Савельева. М.: Высшая школа. 1986. 176 е., ил.

74. Савельев А.Я., Токарева B.C., Кольцова Н.Е. Представление учебной информации в ЭОС // Разработка и применение экспертно-обучающих систем: Сб. науч. тр. М.: НИИВШ, 1989, С. 29-36.

75. Савин К. А. Роль компьютерного тестирования в повышении качества обучения. // Стандарты и качество. 2000. №10. С. 107-109.

76. Садовничий В.А. Компьютерная система проверки знаний студентов // Высшее образование в России. №3. 1994. С. 20-26.

77. Саранцев Г.И. Теория, методика и технология обучения. // Педагогика. 1999. №1. С. 19-23.

78. Свидетельство об официальной регистрации программ для ЭВМ № 2002611150. Зарегистрировано в Реестре программ для ЭВМ 10.07.2002. Авторы: Ивлева Е.В., Трушин А.С. Программа для ЭВМ. Изучение логических схем.

79. Свидетельство об официальной регистрации программ для ЭВМ №2003612097. Зарегистрировано в Реестре программ для ЭВМ 08.09.2003. Автор: Ивлева Е.В. Программа для ЭВМ. Программа контроля знаний.

80. Свидетельство об официальной регистрации программ для ЭВМ №2003612098. Зарегистрировано в Реестре программ для ЭВМ 08.09.2003. Автор: Ивлева Е.В. Программа для ЭВМ. Создание контролирующих курсов.

81. Свиридов А.П. Основы статической теории обучения и контроля знаний: Метод. Пособие. М.:Высш. Школа, 1981. 262 е., ил.

82. Скиннер В.Ф. Наука об учении и искусство обучения. // Программированное обучение за рубежом. М., 1958. С. 32-45.

83. Старов М.И., Чванов М.В., Вислобокова М.В. Психолого-педагогические аспекты дистанционного образования. // Педагогическая информатика. 1999. №1. С. 38-45.

84. Съедин В.В. Задачи планирования в ЭОС // Разработка и применение экспертно-обучающих систем: Сб. науч. тр. М.: НИИВШ, 1989, С. 37-42.

85. Талызина Н.Ф. Управление процессом усвоения знаний. М.: издательство МГУ, 1975. 344 с.

86. Терещенко Л.Я. , Панов В.П., Майоркин С.Г. Управление обучением с помощью ЭВМ. / Л.: Изд-во Ленингр. ун-та, 1981, 168 с. Ил. 31, табл. -19, библиогр. - 81 назв.

87. Тестовый контроль знаний. Проблемы педагогического тестирования. -Научно-методические материалы. Москва: Издание ВИУ, 1999. 29 с.

88. Толковый словарь по искусственному интеллекту / авторы-составители А.Н. Аверкин, М.Г. Гаазе-Рапопорт, Д.А. Поспелов М.: Радио и связь, 1992. 256 с: ил.

89. Усков В.Л., Ускова М. Дистанционное образование: организационные, технологические и финансовые аспекты. // Информационные технологии. 1999. №1. С. 31-37.

90. Федосенко М.Ю. Выбор средств представления знаний в экспертно-обучающей системе // Разработка и применение экспертно-обучающих систем: Сб. науч. тр. М.: НИИВШ, 1989. С. 43-54.

91. Швец В., Бурляев В., Ралеев Н. Экспертно-обучающие системы. // Высшее образование в России. 1997. №2. С. 108-113.

92. Щеглов Н.Н., Богомолов А.В., Печатнов Ю.А. Интенсификация разработки автоматизированной системы обучения на основе нейросетевых технологий. // Информационные технологии. 2003. №4. С. 31-36.

93. Экспертно-обучающие системы. М.: НИИВШ, 1991. 52 с. (Обзор. Инф./ НИИ пробл. Высш. Школы. Сер. «Средства обучения в высш. и сред, спец школе»: вып. 2).

94. Экспертные системы. М.: Знание, 1990. 48 с. (Новое в жизни, науке, технике. Сер. "Вычислительная техника и ее применение"; № 10).

95. Экспертные системы. Принципы работы и примеры: Пер. с англ./ А.Брукинг, П. Джонс, Ф. Кокс и др.: Под ред. Р Форсайта. М.: Радио и связь, 1987. 224 е.: ил.

96. Элти Ж., Кумбс М. Экспертные системы: концепции и примеры. /Пер. с англ. и предисл. Б.И. Шитикова. М.: Финансы и статистика, 1987. 191 е.: ил.

97. Atapov G.A. Моделирование учебной предметной области или предметная модель обучаемого. // Educational Technology & Society. 2001. №4(1) . С. 111-121.

98. Bennet F. Education & Future. // Educational Technology & Society. 1999. V2(l). P.57-60. Англ.

99. Brusilovsky P., Karagiannidis С and Sampson D. A Case for layered Evalu-tion of adaptive Application of Adaptive Application and Services. Submitted for Publication, 2000.

100. Chen S.M. An Improved Algorithm for inexact reasoning based on extended fuzzy production rules //Cybernetics & Systems. 1992. v. 23. №5. P.463-481. Англ.

101. Gen M., Cheng R. Genetic Algorithms and Engineering design. John Wiley & Sons, 1997. 352 p. Англ.

102. Gilbert J. and Han C. Adapting Instruction in Search of 'A Significant Difference' //Journal of Network and Computing Applications. 1999. 22(3). P. 149-160.

103. Hauph R., Hauph S. Practical Genetic Algorithms. John Wiley & Sons. 1998. 177 p. Англ.

104. Kardel A Fuzzy Expert System. CRC Press, Boca-Raton, FL, 1992. 314 p.

105. Kasprzyk J. Multistage Fuzzy Control: A model-based approach to fuzzy control and decision making. John Wiley & Sons, 1997. 327 p. Англ.

106. Kent T. & McMergney R. Will Technology Really Change Education: From Blackboard to Web? Thousand Oaks, CA: Corwin Press, 1999. 204 p.

107. Nauck D., Klawonn F., Kruse R. Foundation of Neuro-Fuzzy Systems. John Wiley & Sons, 1997. 305 p. Англ.

108. Rotshtein A.P., Kafelnikov D.I. Tuning of Fuzzy Rules for Nonlinear Objects j-L1.entification with Discreet and Continuous Output. EUFIT'98 6 European

109. Congress of Intelligent Techniques and Soft Computing in Aachen, Germany, 1998. P. 929-934. Англ.

110. Schneider M., Kandel A., Langholz G., Chew G. Fuzzy Expert System Tools. John Wiley & Sons. 1996. 198 p. Англ.

111. Shute V. and Psotka J. Intelligent Tutoring Systems: Past, Present and Future. In Jonassen D(Ed) Handbook of Research for Educational Communications and Technology, New York, MacMillan Publishers. 1996. P 570-600.

112. Tang K.S., Man K.F., Known S. and Q. He Genetic Algorithms and their Applications // IEEE Signal Processing Magazine. 1996. Nov. P. 22-36. Англ.