автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Исследование и разработка технологии автоматизации изучения положений нормативных правовых актов

003490089

На правах рукописи

Беляев Константин Владимирович

ИССЛЕДОВАНИЕ И РАЗРАБОТКА ТЕХНОЛОГИИ АВТОМАТИЗАЦИИ ИЗУЧЕНИЯ ПОЛОЖЕНИЙ НОРМАТИВНЫХ ПРАВОВЫХ АКТОВ

Специальность 05.13.17 - Теоретические основы информатики

Автореферат диссертации на соискание ученой степени кандидата технических наук

14ЕН3 20;

Москва 2009

003490089

Работа выполнена на кафедре №714 факультета прикладной математики Института криптографии, связи и информатики (ИКСИ) Академии ФСБ России.

Научный руководитель: кандидат технических наук, доцент, профессор

Академии ФСБ России Колобашкин С.М.

Официальные оппоненты: доктор физико-математических наук, доцент,

профессор Российского государственного гуманитарного университета Аншаков О.М.

кандидат физико-математических наук, доцент, заведующий кафедрой, профессор

Московского государственного университета леса Рыбников К.К.

Ведущая организация: Открытое акционерное общество «Научно-

производственная корпорация «Системы прецизионного приборостроения»

Защита состоится 18 января 2010 года в 13 часов на заседании диссертационного совета Д 212.198.13 при государственном учреждении Российский государственный гуманитарный университет (РГГУ) по адресу г. Москва, Миусская пл., д. 6 (Профессорский зал).

С диссертацией можно ознакомиться в библиотеке Российского государственного гуманитарного университета.

Автореферат разослан 11 декабря 2010 года.

Ученый секретарь диссертационного совета

к.т.н., с.н.с. у^/ ) £ ^ Д.Б. Халяпин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. В современных условиях принципиальное значение для большинства организаций приобрело качество правового обеспечения их деятельности. Пробелы в правовой квалификации сотрудников ведут к игнорированию или ненадлежащему исполнению ими своих обязанностей, что зачастую приводит к возникновению серьезных проблем для всей организации, вплоть до судебных разбирательств. Помимо этого, наличие в организации необходимых нормативных правовых актов1 и соблюдение их положений сотрудниками являются одним из основных требований группы стандартов менеджмента качества ISO 9000.

Ситуацию существенно осложняет тот факт, что действующая правовая база подвержена регулярным изменениям. В таких условиях традиционные средства и методы обучения (вузовское обучение, повышение квалификации) оказываются недостаточно эффективными, так как, с одной стороны, не всегда обеспечивают обучение актуальному состоянию действующей правовой базы; с другой - требуют отрыва сотрудников от трудовой деятельности, а в отдельных случаях - и поездок в командировки.

Одним из путей решения указанной проблемы является применение современных автоматизированных информационных технологий в сфере повышения правовой квалификации. Использование средств автоматизации обучения позволяет существенно повысить его доступность, однако оставляет открытым вопрос о качестве полученных таким путем знаний. В настоящее время контроль качества обучения осуществляется посредством педагогического тестирования, что обеспечивает адекватную оценку знаний только при условии глубокой научной проработки тестов, подтверждения их надежности и валидности; кроме того, тестирование в большинстве случаев не позволяет проконтролировать работу обучающегося с текстами нормативных правовых актов (иными словами, обучающийся может получить удовлетворительную оценку, не изучая текстов нормативных правовых актов и выполняя тестовые задания «из общих соображений»). Таким образом, применение современных автоматизированных информационных технологий в процессе изучения нормативных правовых актов требует особого подхода для обеспечения необходимого качества обучения.

1 Под нормативными правовыми актами в рамках настоящего исследования понимаются письменные официальные документы, принятые (изданные) в определенной форме правотворческими органами в пределах их компетенции и направленные на установление, изменение или отмену правовых норм (Большой юридический словарь. 3-е изд., доп. и перераб. / Под ред. проф. А.Я, Сухарева. — М.: ИНФРА-М, 2007. — VI, 858 е.), а также иные официальные документы, регламентирующие либо упорядочивающие деятельность организаций, подразделений и отдельных сотрудников.

Современный подход к организации процесса обучения с использованием автоматизированных информационных технологий основан на применении методов, обеспечивающих адаптацию системы автоматизации обучения к информационным потребностям и уровню знаний конкретного обучающегося. Такая адаптация достигается, прежде всего, за счет разработки автором учебного курса гибкого сценария обучения, ориентированного на дидактическую структуру курса и особенности изучаемого материала. Продуманный сценарий обучения, содержащий необходимые контрольные задания, обеспечивает своевременное выявление и локализацию пробелов в знаниях обучающегося, а также автоматизированную коррекцию последовательности обучения. Однако, такой подход в сфере изучения нормативных правовых актов обладает существенным недостатком: на разработку качественного сценария уходит значительное время (обычно - несколько месяцев), а изменение правовой базы зачастую вызывает необходимость серьезной переработки этого сценария. Присутствует даже обратная зависимость: чем большее значение имеет правовой акт (и чем больше востребовано его изучение), тем чаще он изменяется, что приводит к необходимости непрерывной переработки соответствующих учебных материалов. В результате своевременное и качественное изучение положений нормативных правовых актов без применения специализированных методов и средств, позволяющих заменить детальный сценарий обучения последовательностью занятий, рассчитанных на эффективные психологические механизмы запоминания и обучения, становится затруднительным.

В сфере решения проблемы обеспечения необходимого качества обучения за счет создания специализированных (в том числе -интеллектуальных) систем автоматизации обучения работает ряд специалистов, однако, к настоящему времени разработаны преимущественно исследовательские прототипы подобных систем, размещенные на сайтах образовательных учреждений, в которых трудятся разработчики. Среди разрабатываемых в настоящее время средств автоматизации обучения не удалось обнаружить систем, ориентированных на использование в качестве учебных материалов структурированной текстовой информации, к которой относятся нормативные правовые акты. Следует отметить, что доступные средства автоматизации обучения ориентированы на повышение его качества за счет выбора индивидуальной траектории обучения и практически не ориентированы на использование психологических механизмов запоминания. Кроме того, такие средства являются фрагментарными, т.е. их применение для автоматизации обучения не упорядочено единой технологией.

Таким образом, решение задачи разработки специализированной технологии автоматизации обучения в сфере изучения положений нормативных правовых актов, обеспечивающей контроль качества работы обучающегося с учебными материалами, контроль полученных в результате

обучения знаний, а также управление индивидуальной траекторией обучения, является актуальным и востребованным. Актуальность разработки специализированных средств индивидуализации обучения для оперативного повышения квалификации в области правового обеспечения также подтверждается широким интересом кадровых служб государственных организаций.

Цель работы. Целью исследования является разработка эффективной технологии автоматизации обучения в сфере повышения правовой квалификации.

Основные задачи исследования. Достижение поставленной цели опирается на решение следующих задач:

1. Анализ особенностей процесса обучения в сфере повышения правовой квалификации, определение основных недостатков существующих технологий автоматизации обучения, формирование требований к специализированной технологии обучения и определение ее основных этапов.

2. Разработка математической модели электронного учебного пособия и метода автоматизированной оценки качества работы обучающегося с текстовыми учебными материалами пособия.

3. Разработка математической модели представления знаний о предметной области и обоснование утверждений о ее наиболее существенных свойствах.

4. Разработка на основе предложенной модели представления знаний о предметной области метода автоматизированной генерации массива контрольных заданий для предварительного контроля знаний обучающегося.

5. Разработка технологии автоматизации изучения положений нормативных правовых актов, основанной на применении предложенных методов, практическое применение технологии и оценка ее педагогической и экономической эффективности.

Объект и предмет исследования. Объектом настоящего исследования являются системы автоматизации обучения в сфере повышения правовой квалификации. Предмет исследования - технологии автоматизации обучения в таких системах.

Методы исследования. В процессе проведения исследования широко применялись следующие методы исследования: общенаучные (анализ, синтез), общематематические (алгебраические методы, методы математической логики, теории отношений, методы математического моделирования), прикладные (методы математической статистики, методы агрегирования).

На защиту выносятся следующие результаты:

1. Метод автоматизированного контроля качества работы обучающегося с текстовыми учебными материалами на основе конспектирования учебных материалов и поиска ответов на контрольные вопросы.

2. Метод предварительного контроля знаний обучающегося на основе автоматизированной генерации массива контрольных заданий.

3. Технология автоматизации изучения положений нормативных правовых актов, реализованная виде специализированного программного комплекса.

Научная новизна настоящего исследования состоит в следующем:

1. Определены специфические особенности процесса изучения нормативных правовых актов, включая психолого-педагогические и экономические факторы, влияющие на эффективность обучения, что позволило сформулировать требования к эффективной технологии автоматизации обучения.

2. Разработан и обоснован метод автоматизированного контроля качества работы обучающегося с текстовыми учебными материалами, существенно отличающийся от традиционных методов контроля работы обучающегося, что позволило автоматически контролировать самостоятельную работу обучающегося без участия преподавателя.

3. Предложены онтологическая и контекстная модели представления знаний о предметной области, ориентированные, в отличие от общепринятых моделей, на формализацию содержания нормативных правовых актов, что позволило разработать алгоритмы автоматического формирования массива утверждений о предметной области.

4. Разработан метод автоматизированной генерации массива закрытых тестовых заданий для предварительного контроля знаний обучающегося на основе предложенных моделей, что позволило контролировать умение обучающегося применять полученные им знания в конкретной ситуации.

Теоретическая значимость настоящего исследования состоит в разработке и теоретическом обосновании специализированных моделей представления учебных материалов и формализации знаний о предметной области, а также методов автоматизации работы обучающегося с этими учебными материалами и формализованными знаниями.

Практическая значимость исследования заключается в применении разработанной технологии в учебном процессе факультета подготовки руководящих кадров (ФПРК) Академии ФСБ России в форме

специализированного программного комплекса, что позволило повысить уровень усвоения учебного материала в экспериментальной группе на 13% по сравнению с традиционной технологией гипертекстовых учебников в контрольной группе. Таким образом, решена задача, имеющая существенное значение для соответствующей области знаний.

Апробация работы. О результатах, полученных в процессе выполнения работы, были сделаны доклады на XXXIII Международной конференции «Информационные технологии в науке, образовании, социологии и бизнесе»; VI Всероссийском симпозиуме по прикладной и промышленной математике; IV, V и VII Межведомственных конференциях; межведомственной научно-практической конференции «Организация дополнительного профессионального образования в учебных заведениях ФСБ России, других правоохранительных органов и специальных служб»; совместном заседании кафедры информационных технологий управления и связи в пограничных органах и кафедры правовых основ пограничной деятельности и борьбы с трансграничной преступностью Пограничной академии ФСБ России; заседании кафедры №53 факультета подготовки руководящих кадров Академии ФСБ России; научно-технических семинарах кафедры №714 института криптографии, связи и информатики Академии ФСБ России.

Публикации. По результатам исследований опубликовано 12 печатных работ, из которых статей - 7 (из них 5 статей опубликованы в изданиях из числа рекомендованных ВАК для опубликования результатов докторских диссертаций), тезисов докладов - 4 и одно учебно-методическое пособие.

Реализация и внедрение. Полученные в процессе настоящего исследования результаты внедрены в 2004 - 2008 годах на ФПРК Академии ФСБ России в рамках потоков повышения квалификации и профессиональной переподготовки преподавателей образовательных учреждений ФСБ России.

Структура и объем работы. Настоящая диссертационная работа включает введение, три главы, заключение, список литературы и 5 приложений. Основная часть работы составляет 220 страниц, 17 рисунков и 15 таблиц. Список литературы включает 111 источников.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования, сформулированы его цель и задачи, дана общая характеристика выполненной работы, приведены основные положения, выносимые на защиту.

В первой главе определены особенности процесса изучения положений нормативных правовых актов, рассмотрены традиционные технологии автоматизации обучения в этой области, перечислены основные проблемы,

связанные с применением традиционных технологий, и сформулированы частные задачи исследования.

В параграфе 1.1 рассмотрены особенности процесса изучения нормативных правовых актов, определенные в результате анализа литературы, посвященной вопросам разработки средств автоматизации обучения:

- особенности, связанные с целями обучения (в результате обучения обучающийся должен, во-первых, хорошо знать и уметь применять те положения правовой базы, которые непосредственно влияют на его профессиональную деятельность; во-вторых, научиться ориентироваться в правовой базе в целом и находить положения, расширяющие сферу его непосредственной профессиональной деятельности, когда в этом возникает необходимость);

- особенности, связанные с характером контроля знаний (мероприятия, связанные с контролем знания обучающимися положений нормативных правовых актов, являются трудоемкими и требуют высокой квалификации лица, осуществляющего контроль; по этой причине необходимой представляется организация предварительного контроля знаний обучающихся в целях сокращения нагрузки на преподавателя);

- особенности, определяемые структурой учебных материалов (с одной стороны, нормативные правовые акты представляют собой структурированные документы, положения которых - правовые нормы - находятся в тесной логической взаимосвязи, а с другой -учебные материалы, как правило, включают помимо исходных текстов нормативных правовых актов комментарии, примеры и другие дополнительные сведения).

В параграфе 1.2 рассмотрены технологии автоматизации обучения, применяемые в сфере изучения положений нормативных правовых актов, и указаны их основные преимущества и недостатки. Такими технологиями являются:

- использование электронных версий печатных учебных пособий (в этом случае при создании электронного учебника сохраняется структура и наполнение печатного издания);

- использование гипертекстовых учебников (структура и наполнение в этом случае разрабатываются, как правило, целенаправленно; гипертекстовый учебник может формироваться на основе специализированного сценария);

- использование мультимедийных обучающих программ (в этом случае в основу обучающей программы в обязательном порядке закладывается специально разработанный адаптивный сценарий,

что обуславливает высокую трудоемкость разработки таких программ);

- использование справочно-поисковых систем (в этом случае изучение нормативных правовых актов выполняется обучающимся самостоятельно, что существенно снижает качество обучения).

На основе результатов анализа особенностей процесса изучения положений нормативных правовых актов и возможностей традиционных технологий автоматизации обучения в параграфе 1.3 перечислены основные проблемы, возникающие при автоматизации обучения в сфере повышения правовой квалификации. Такие проблемы определяются тремя группами факторов:

- факторы, связанные с особенностями обучения (в первую очередь, необходимость контроля как качества работы обучающегося с предоставленными ему учебными материалами, так и итогового контроля полученных знаний);

- психолого-педагогические факторы (положения нормативных правовых актов воспринимаются тем лучше, чем больше различных психологических механизмов запоминания применяется, а традиционные технологии обучения ориентированы преимущественно только на произвольное осмысленное запоминание);

- экономические факторы (разработка учебного курса в сфере изучения правовой базы и его обновление требуют высокой квалификации разработчика и являются значительными по трудоемкости процедурами; в то же время, в силу постоянного обновления действующей правовой базы эти процедуры должны выполняться регулярно).

На основе выявленных факторов, определяющих основные проблемы автоматизации изучения нормативных правовых актов, в параграфе 1.4 определены требования к специализированной технологии автоматизации изучения нормативных правовых актов и сформулированы частные задачи исследования.

Вторая глава настоящего исследования посвящена разработке технологии автоматизации изучения нормативных правовых актов, основанной на активизации различных психологических механизмов запоминания в целях повышения качества обучения.

Параграф 2.1 посвящен общему описанию процесса изучения нормативных правовых актов, подразделяемого на три основных этапа:

- самостоятельная работа обучающегося с предоставленными ему учебными материалами, сопровождающаяся автоматическим контролем качества такой работы;

- предварительный контроль знаний, полученных обучающимся, позволяющий принимать решение о его допуске к итоговому контролю знаний;

- итоговый контроль знаний традиционными методами (например, методом педагогического тестирования - подробно в рамках настоящего исследования не рассматривается).

Параграф 2.2 посвящен подробному описанию специализированного метода контроля качества самостоятельной работы обучающегося с текстовыми учебными материалами, включающего две процедуры:

- самостоятельное конспектирование обучающимся текстов нормативных правовых актов и комментариев к ним и автоматическая оценка качества полученного таким образом конспекта;

- самостоятельный поиск обучающимся в текстах учебных материалов ответов на подготовленные преподавателем контрольные вопросы и автоматическая оценка качества полученных таким образом ответов.

Рассмотрим перечисленные процедуры более подробно. Анализ организации учебного процесса в высших учебных заведениях показывает, что уровень усвоения учебного материала значительно повышается, если в процессе работы с источником (учебным пособием, лекцией) обучающийся конспектирует наиболее важные положения и тезисы. Педагогическая практика свидетельствует, что конспектирование является неотъемлемым атрибутом эффективной работы студентов по усвоению учебного материала на лекционных и семинарских занятиях и самостоятельной работы с научными источниками. По этой причине предлагаемые процедуры контроля качества работы обучающегося с учебными материалами также основаны на принципе конспектирования.

Будем полагать, что учебный материал представлен в виде гипертекста, элементами которого являются произвольные объекты, технологически включаемые в текст электронного учебного пособия: слово, изображение, мультимедийный элемент и т.д. В этом случае под фрагментом учебного материала будем подразумевать непустую непрерывную последовательность таких элементов.

Для реализации процедуры автоматического контроля качества составленного обучающимся конспекта учебного материала необходимо предварительно отметить в тексте учебного пособия фрагменты, содержащие наиболее важную информацию, которую обучающийся обязан найти и включить в конспект. Такое выделение (категорирование) фрагментов должно осуществляться экспертом-преподавателем (разработчиком учебного материала). Кроме того, для каждого фрагмента учебного материала, который подлежит включению в конспект, может быть определена

подсказка, предоставляемая обучающемуся в случае, если этот фрагмент не будет им занесен в конспект; для каждой страницы учебного материала заданы константы, определяющие минимальный и максимальный объем конспекта этой страницы соответственно.

В процессе изучения материала каждой страницы обучающийся в автоматизированном режиме самостоятельно конспектирует ее, помечая при помощи элементов пользовательского интерфейса (например, цветовым выделением) фрагменты, которые он считает необходимым включить в конспект. При попытке перехода к последующим страницам составленный им конспект проверяется в первую очередь на выполнение ограничений на минимальный и максимальный объем конспекта, т.е. не составлен ли конспект «вслепую» - например, включением в него всех элементов страницы - в этом случае обучающемуся предлагается уточнить конспект; дальнейшая оценка качества конспекта и переход к последующим страницам не осуществляются. Если конспект удовлетворяет ограничениям на минимальный и максимальный объем, выполняется оценка его качества.

Качество конспекта учебного материала оценивается путем вычисления коэффициентов полноты и точности конспекта относительно эталона, разработанного преподавателем (автором учебных материалов). Качество работы с учебными материалами по определенной теме (набору страниц) считается удовлетворительным, если значения коэффициентов полноты и точности конспекта равны 1. В этом случае осуществляется переход к следующему блоку либо, если блок последний, к этапу контроля знаний. В противном случае проводится процедура уточнения конспекта -выбираются фрагменты, которые должны быть включены в конспект, но отсутствуют в нем, и обучающемуся задаются вопросы (подсказки) для уточнения конспекта (возможность выбора соответствующей подсказки обоснована утверждением 2.2.3.5 в тексте диссертации). В результате добавления обучающимся фрагментов в конспект и удаления из него ошибочно включенных фрагментов получается новый конспект, качество которого оценивается повторно. Процедура повторяется до тех пор, пока обучающимся не будет составлен удовлетворительный конспект учебного материала.

В свою очередь, процедура контроля качества усвоения обучающимся предложенного ему учебного материала основана на предусмотренных преподавателем контрольных вопросах. Процесс ответа обучающегося на каждый контрольный вопрос представляет собой поиск и выделение при помощи элементов пользовательского интерфейса фрагмента конспекта учебного пособия, содержащего ответ на этот вопрос. Такой подход позволяет не только проконтролировать понимание обучающимся положений, которые он включил в конспект, но и продемонстрировать ему важность этих сведений. Для каждого ответа рассчитываются коэффициенты полноты и точности, которые в дальнейшем рассматриваются как

независимые случайные величины, а их характеристики оцениваются аналогично методике, принятой в IRT (Item Response Theory), что иллюстрирует, в частности, утверждение 2.2.4.2 в тексте диссертации.

Подробное описание моделей и алгоритмов, применяемых для контроля качества работы обучающегося с текстовыми учебными материалами, а также рекомендации по выбору используемых в них констант и ограничений не приводятся вследствие ограниченного объема автореферата.

В параграфе 2.3 рассмотрен метод предварительного контроля знаний, полученных обучающимся в результате изучения предложенных ему нормативных правовых актов, основанный на автоматизированной генерации тестовых контрольных заданий. Предложены онтологическая и контекстная модели представления знаний о предметной области, приведены основные утверждения об их свойствах и рассмотрены процедуры преобразования естественноязыкового описания предметной области в фрагменты онтологической модели (контексты), формирования тестовых контрольных заданий на основе этой модели и преобразования полученных заданий в естественноязыковую форму.

Кратко разработанный в рамках настоящего исследования метод можно охарактеризовать следующим образом: преподаватель формирует адаптированные (структурированные) текстовые учебные материалы (тексты нормативных правовых актов и примеров), имеющие сокращенный словарный запас, упрощенную синтаксическую структуру и однозначно интерпретируемые формулировки. Адаптированные тексты в автоматическом режиме анализируются программным обеспечением, а на их основе строится контекстная модель знаний о предметной области, включающая все исходные утверждения, заимствованные из текста, и все утверждения, логически выводимые из исходных. Полученная модель знаний о предметной области является основой для формирования контрольных заданий: для генерации задания достаточно выбрать содержательное высказывание модели и, сформулировав его на естественном языке в случайным образом выбранной форме - позитивной или негативной, -предложить обучающемуся определить, верно или ошибочно такое утверждение.

Необходимо отметить, что решение задачи автоматизированного формирования массива контрольных заданий существенно облегчается за счет особенностей рассматриваемой предметной области: нормативные правовые акты являются хорошо формализованными документами; отдельные правовые нормы обладают четкой структурой (гипотеза -диспозиция - санкция) и представляют собой разрешения, рекомендации или запреты, что значительно облегчает их автоматизированную обработку. Однако, применение для решения поставленной задачи традиционных моделей представления знаний на основе логики предикатов представляется

затруднительным ввиду неполноты и частичной противоречивости сведений о предметной области, используемых в качестве исходных данных.

Иллюстрацией этой проблемы применительно к области изучения нормативных правовых актов являются встречающиеся в их текстах логические конструкции вида «право на <действие> предоставляется учащимся, пенсионерам и другим лицам», «все постановления -«должностное лицо> должны быть зарегистрированы; незарегистрированные постановления подлежат...», «физические лица обязаны <действие>; от исполнения <действие> освобождаются...» и т.д.

В рамках настоящей работы предложен подход, обеспечивающий возможность решения этой проблемы в ряде практически значимых случаев, что подтверждается результатами исследования его программной реализации. В основе рассматриваемого подхода лежит специализированная онтологическая модель представления знаний о предметной области. Заметим, что в настоящее время существует несколько подходов к определению понятия «онтология»; общим для всех определений является понимание онтологической модели как системы базовых правил и ограничений предметной области, фиксирующих ее допустимые состояния. В соответствии с этим принципом предлагаемая онтологическая модель инкапсулирует базовые теоретико-множественные взаимосвязи классов объектов предметной области, что существенно ограничивает круг допустимых состояний и облегчает выполнение логического вывода за счет специализированной структуры высказываний модели.

Базовой конструкцией рассматриваемой онтологической модели является словарь предметной области, устанавливающий соответствие между понятиями (обозначениями классов объектов предметной области) и самими объектами. Часть понятий словаря определяется в процессе формализации предметной области, остальные формируются в результате детализации исходных понятий в соответствии со сведениями о предметной области -утверждениями, содержащимися в адаптированных текстах нормативных правовых актов.

Формально словарь предметной области определяется как упорядоченная пара (С2,¥), где О - непустое множество понятий, а Ч':П->Св\0) - некоторое сюръективное отображение интерпретации понятий (здесь 0 - множество объектов предметной области, 2е - множество всех подмножеств 0).

Утверждения о свойствах предметной области представляются в предложенной модели в форме высказываний специального вида, построенных на основе согласованных предикатов, которые в рамках настоящего исследования определяются следующим образом.

Пусть Я - некоторое отношение предметной области. Под предикатом, согласованным с отношением /?, будем понимать ненулевой предикат

Рк^к.<РДЬ {Н,ПГ, принимающий значение

рк^к(>с1,м'2,...,и'„)=1 тогда и только тогда, когда существует Г = (Г1,Г2,...,Г„)бГД?Л^(и'1,^2,...,11'„), для которого справедливо, что, если 1 = 1,п и х,еТ„ то найдутся х1еТ1,...,хмеТм,хмеТм,..л„еТп такие, что (х1,х2,...>х„')е Я. Здесь

Твдл*.^,,.....«'„) = {<ГЛ,.,ТЖ = Ч'(»'Д если К, = П, и Т, с ЧЧм-Д 7] * 0, если К, = Н}

- множество всевозможных комбинаций образов понятий -и>1,ч:2,...,м>„ еП при их интерпретации с помощью отображения Ч* с ограничениями, определяемыми значениями параметров КХ,К2,..., К„.

Заметим, что, во-первых, предикаты, согласованные с различными отношениями предметной области, также различны; во-вторых, для любого отношения предметной области Я размерности п существует единственное согласованное с ним семейство предикатов

Р'К)= -» р,11(К,К2...К„)е {Н,ПГ) (см. утверждения 2.3.2.3 и 2.3.2.5 в

тексте диссертации соответственно).

Содержательно согласованные предикаты позволяют переходить от рассмотрения отношений между объектами к рассмотрению высказываний о классах объектов, характеризуемых понятиями словаря. При этом параметр К, высказывания показывает, относится оно ко всему классу объектов, обозначаемому понятием и», при интерпретации У, или только к его некоторому подклассу. Будем в дальнейшем считать, что предикат Ркл-к. ("рЧ'г>■••."'„) относится ко всему классу объектов Ч^и7,), если = П, и к его некоторому непустому подклассу Т, с Ч-*(\у,), если К, = Н, / = 1,2,..., п.

Предикат, согласованный с отношением Я, в дальнейшем будем обозначать р'1')-г (и1,,,..., »■„).

В свою очередь, предикат рТ^ ,^ (н',,«^,...,»'„) на множестве понятий О словаря (0,4*) предметной области будем называть сильно согласованным с отношением Я при интерпретации Ч*, если р"*,"..,^(и',,»;,,...,п'„)= 1 тогда и только тогда 7' = (7"1)Г2,...,Г„)еГ^>гЛД._ (и>„ лс2,. ..,№„) такое, что при всех х, еТ:, х2 еТ2,...,хп еТ„ (х1,х2,...,х„*)£ Л.

Определенные таким образом сильно согласованные предикаты соответствуют таким отношениям, для которых среди объектов предметной области можно выделить классы, в рамках которых объекты неразличимы с точки зрения этих отношений. В предельном случае, когда множество объектов предметной области разбивается на классы, внутри которых объекты неразличимы с точки зрения существующих в этой предметной области отношений, все предикаты становятся сильно согласованными. В этом случае, обозначив классы объектов символами констант, и определив

предикаты на множестве этих констант обычным образом, получим модель представления знаний в терминах традиционной логики предикатов.

Несложно показать, что предикат, являющийся сильно согласованным с некоторым отношением предметной области, является согласованным с этим отношением. Обратное утверждение в общем случае неверно. Тем не менее, предикаты, обладающие свойством сильной согласованности, обеспечивают возможность логического вывода в рамках онтологической модели. В частности, справедливо следующее утверждение.

Пусть Л - некоторое отношение предметной области размерности п, и Я не является отношением равенства. Пусть, далее, (ЛГ,,ЛГ2,...,ЛГ„)е {Н,П}", б П, Рк"" к, ~ сильно согласованный с Л предикат и к. <и,1>и,2>-.м,„)=1. Пусть, далее, существует к, 1 <к<п, такое, что К„- П и V е П такое, что Тогда р^л-.С»',,^,...,«'*-].(см.

утверждение 2.3.3.9 в тексте диссертации).

Справедливость приведенного утверждения обеспечивает возможность логического вывода в согласованной онтологии в наиболее распространенном случае: наследовании свойств класса «'<. его произвольным подклассом V. Иными словами, если в некотором отношении состоит каждый объект более широкого класса 1с* (об этом свидетельствует свойство сильной согласованности предиката ), то это утверждение справедливо также и

для всех объектов более узкого класса, несмотря на то, что предикат пересечения понятий (V, ы1г) свойством сильной согласованности может не обладать (см. утверждение 2.3.3.5 в тексте диссертации).

Проблема непосредственного использования предложенной онтологической модели для представления знаний о сфере применения некоторого нормативного правового акта состоит в том, что большинство предикатов, которые можно построить, выбирая в качестве объектов предметной области термины, употребляемые в этой сфере, а в качестве отношений - взаимосвязи этих терминов, не являются сильно согласованными и, следовательно, не могут напрямую использоваться для выполнения логического вывода. Решение этой проблемы заключается в выделении ограниченных фрагментов онтологической модели (контекстов), в рамках которых соответствующие предикаты приобретают свойство сильной согласованности, и определении правил логического преобразования таких фрагментов. Полученную таким образом модель предметной области будем называть контекстной.

1.1.1. Формально контекст в рамках настоящего исследования определяется как непустое, замкнутое относительно включения классов объектов и операций л, V множество высказываний, заданных на некотором ограниченном множестве понятий словаря IV с: П:

с= .....у,,)], где/ е К,

s¡ е К для всех 1 < / < /, и Ку е {Н, П} и Уу е И7для 1 <у < 5,. В определение контекста включается также индикатор идентификации - специальным образом заданное отображение 1С: С х И7-» {0,1}.

В рамках определенного таким образом фрагмента онтологической модели большинство предикатов приобретают свойство сильной согласованности вследствие того, что объекты классов, соответствующих понятиям Уу б IV, неразличимы в рамах контекста с точки зрения отношений, с которыми согласованы эти предикаты. Более того, если Уи- е IV 11,г]2 е = г;2, то любой предикат согласованный с

некоторым отношением Л, является сильно согласованным с этим отношением в контексте С (см. утверждение 2.3.4.3 в тексте диссертации).

Предикат, являющийся сильно согласованным с отношением Л в контексте С, будем обозначать ■ Для таких предикатов справедливы

все утверждения, сформулированные ранее для предикатов, являющихся сильно согласованными в онтологической модели в целом. В частности, справедливо утверждение о том, что для любого предиката '/,- , сильно согласованного в контексте С с некоторым отношением Я размерности и, для любых мим>2, е Этаких, что р^.^кщ,и'2,...,м'л)=1 и для некоторого

к:\<к<п, такого, что Кк = П и Рпн ) ='> справедливо, что

(см. утверждение 2.3.4.1 в тексте

диссертации).

Рассмотрим теперь логическую взаимосвязь между различными фрагментами предметной области (контекстами). Для этого введем определения лексической и логической подстановок.

Лексической подстановкой контекста Сь заданного на понятиях IV с П в контекст С2, заданный на понятиях Ус О, при интерпретации Ч* будем называть произвольное непустое с IV х V такое, что (IV, у) е 5401 => => Ч'(и') с У(у) и (1С, у),(и, у) € 5<0) IV = и. Иными словами, лексическая подстановка задает отношение включения между понятиями различных контекстов в соответствии с теоретико-множественными ограничениями онтологической модели.

Логической подстановкой контекста Сь заданного на понятиях IV с £1, в контекст С2, заданный на понятиях УсС1, будем называть упорядоченную пару = (б, 5*°'), где

¿О»

- лексическая подстановка С1 в Сг, а (2 с С\хС2 включает все пары высказываний (р^.х.Оудля которых одновременно выполняются следующие условия: (1) у0, (1у2, у2), ..., (\у„,у„) е Ъ<0>', (2) для всех /', 1 < / < и, либо = ¿¡, либо = а £, = Н; (3) (4) для любых

¡ = 1,к если х>(^,у2,...,у„1у,>1, то существует

такое, что

Иными словами, логическая подстановка задает отношение между высказываниями различных контекстов в соответствии с теоретико-множественными ограничениями онтологической модели. Логическая подстановка контекстов позволяет определить на ее основе результат и эффект этой логической подстановки - специальные множества понятий /<" и высказываний С, Еи Е2, получаемые путем совмещения понятий и высказываний исходных контекстов в соответствии с выбранной подстановкой. Формальные определения результата и эффекта логической подстановки, а также соответствующие примеры не приводятся ввиду ограниченного объема автореферата.

Пусть = (2,3<0}) - логическая подстановка контекста С\, заданного на понятиях IV ей2, в контекст С2, заданный на понятиях V с О, (/•", С) -результат подстановки , (Е\, Е2) - эффект подстановки 5(1>. Агрегирующим контекстом для С1 и Сг на основе логической подстановки $' будем называть контекст С, заданный на множестве понятий (/сП, такой, что: (I) и = 5<0)}и € У\ V™ е IV (№,у)г5т)и ""З; (2) С = [С],

где С' = £,<{р е С, IV«? е Сг (р,д)е 2})и £г(& е С21 Мр е С, (р,9)е 2});

(3) VреС, V;/е£У 1({г, и) определяется в результате выполнения специального алгоритма.

Здесь [С] представляет собой замыкание базового множества высказываний С относительно отношения включения классов объектов предметной области и операций д, V (все построенные при таком замыкании высказывания принадлежат согласованной онтологии вследствие справедливости утверждений 2.3.3.1 и 2.3.3.2, приведенных в тексте диссертации). Содержательно агрегирующий контекст представляет собой новый контекст - результат применения процедуры агрегирования, состоящей в объединении исходных контекстов на основе некоторой логической подстановки. Базовым множеством высказываний агрегирующего контекста является совокупность результата и эффекта выбранной логической подстановки. Это базовое множество расширяется за счет замыкания относительно отношения включения классов объектов и операций л, V; кроме того, для агрегирующего контекста определяется индикатор идентификации таким образом, что в агрегирующем контексте идентифицирующими являются те высказывания, которые построены на основе высказываний, являвшихся идентифицирующими хотя бы в одном из исходных контекстов.

Например, в результате агрегирования контекстов С\, соответствующего утверждению «Кражей является тайное хищение, чужого имущества», и контекста С2, соответствующего утверждению «Хищение2

является уголовным преступлением» на основе логической подстановки {(«хищение!», «хищение2»)}, будет получен контекст С3, соответствующий как приведенным выше утверждениям, так и утверждению «Кража является уголовным преступлением».

Для предикатов, включенных в агрегирующий контекст, сохраняется свойство сильной согласованности (см. утверждение 2.3.5.3 в тексте диссертации), что позволяет применять к построенному ранее агрегирующему контексту процедуру построения нового агрегирующего контекста повторно. Таким образом, возможно предложить итеративный алгоритм построения онтологической модели предметной области путем последовательного агрегирования ее отдельных фрагментов (контекстов) до тех пор, пока не будут получены контексты верхнего уровня, которые в результате применения к ним процедуры агрегирования уже не изменяются.

Для полноты изложения в параграфе 2.3 приведены описания процедур анализа и синтеза адаптированных естественноязыковых текстов, применяемых для преобразования текстовых учебных материалов в контексты нижнего уровня, на основе которых в дальнейшем формируются контекстная и онтологическая модели предметной области, и обратного преобразования высказываний контекстов верхнего уровня в тексты контрольных заданий. Тем не менее, следует отметить, что подробное исследование этих процедур не входило в круг задач настоящего исследования.

Далее, на основе рассмотренных онтологической и контекстной моделей, итеративного алгоритма построения онтологической модели, а также процедур анализа текстов учебных материалов и синтеза текстов контрольных заданий, возможно предложить метод предварительного контроля знаний обучающихся, основанный на автоматизированной генерации контрольных заданий с использованием подготовленных преподавателем адаптированных текстов учебных материалов, который упрощенно можно представить следующим образом:

1. На этапе автоматизированной подготовки массива контрольных заданий выполняются следующие действия:

- анализируются адаптированные тексты общего описания предметной области, изучаемого нормативного правового акта и описаний конкретных ситуаций (примеров), в терминах которых формулируются контрольные задания. Для каждого логически обособленного утверждения строится соответствующий ему контекст нижнего уровня;

- контексты всех утверждений последовательно агрегируются до тех пор, пока не будут построены контексты верхнего уровня, отражающие как исходные сведения о предметной области, заимствованные из адаптированных текстов, так и новые сведения,

полученные в процессе агрегирования. Полученное множество контекстов верхнего уровня рассматривается в качестве приближения к полной онтологической модели предметной области;

- в контекстах верхнего уровня случайным образом выбираются декларирующие (с нулевым значением индикатора идентификации) высказывания, которые равновероятно формулируется в позитивной (истинной) или негативной форме (логическом отрицании) - тем самым создается массив контрольных заданий.

2. В процессе контроля знания обучающимся положений нормативного правового акта выполняются следующие действия:

- в массиве контрольных заданий случайным образом равновероятно (без повторений) выбирается набор заданий, индивидуальный для каждого обучающегося;

- контрольные задания выводятся в интерфейсе обучающегося, выбранные им варианты ответов («Утверждение верно» или «Утверждение ошибочно») фиксируются и автоматически оцениваются (начисляется 1 или 0 баллов соответственно);

- на основании сравнения результатов предварительного контроля знаний с заранее заданными пороговыми значениями делается вывод о целесообразности перехода обучающегося к изучению следующего раздела или итоговому контролю знаний.

В параграфе 2.4 приведено описание специализированной технологии автоматизации изучения нормативных правовых актов, основанной на последовательном применении разработанных в рамках настоящего исследования методов и традиционных методов итогового контроля знаний. Разработанная технология подразумевает участие в учебном процессе двух сторон: преподавателя (обобщенная роль, включающая функции автора-разработчика учебного пособия, методиста, контролера, тьютора) и обучающегося (лицо, изучающее положения нормативных правовых актов в соответствии с предложенной технологией) и включает следующие основные этапы:

- разработка учебного контента (учебных материалов). На первом этапе преподаватель определяет структуру учебных материалов и разрабатывает их на основе предназначенных для изучения нормативных правовых актов;

- подготовка текстовых материалов для конспектирования. На втором этапе преподаватель категорирует учебные материалы (т.е. составляет эталонный конспект);

- подготовка контрольных вопросов по текстовым учебным материалам. На третьем этапе преподаватель формулирует

контрольные вопросы, ответы на которые содержатся в отдельных фрагментах эталонного конспекта;

- формализация знаний о предметной области. На этом этапе преподаватель определяет перечень наиболее важных объектов и отношений предметной области;

- настройка программного обеспечения на предметную область. Этот этап заключается в адаптации в текстов нормативных правовых актов и других материалов для их последующей автоматической обработки и описании необходимой лексической и лексико-семантической информации в виде файлов формата XML;

- генерация массива контрольных заданий, выполняющаяся автоматически программным обеспечением на основе подготовленных преподавателем данных;

- работа с учебным контентом. На этом этапе обучающийся должен самостоятельно ознакомиться с предложенными ему учебными материалами (аналогично технологии гипертекстовых учебников);

- формирование и оценка конспекта. На этом этапе обучающийся а автоматизированном режиме составляет конспект текстовых учебных материалов, который затем автоматически оценивается. Процедура повторяется до тех пор, пока конспект обучающегося не станет достаточно близок к эталонному;

- оценка ответов на контрольные вопросы. На этом этапе обучающийся самостоятельно выделяет в составленном им конспекте фрагменты текста, содержащие ответы на предусмотренные преподавателем контрольные вопросы. Если полнота и точность ответов обучающегося не удовлетворяют заданным преподавателем ограничениям, то обучающемуся предлагается повторно изучить предложенные материалы;

- предварительный контроль знаний. Такой контроль осуществляется в форме компьютерного тестирования на основе сформированного ранее массива контрольных заданий;

- анализ предварительных результатов обучения. На этом этапе преподаватель получает информацию о результатах работы обучающегося с учебными материалами и предварительного контроля его знаний. На основании полученных сведений преподаватель определяет целесообразность проведения итогового контроля знаний;

- итоговый контроль знаний, проводимый традиционными методами (например, в форме педагогического тестирования).

Подробное описание технологии и ее этапов приведено в тексте диссертационной работы.

Третья глава настоящего исследования посвящена анализу предложенной специализированной технологии и сравнительной оценке ее возможностей по сравнению с традиционными технологиями автоматизации обучения.

В параграфе 3.1 приведено описание программного комплекса, разработанного на основе предложенной технологии автоматизации изучения нормативных правовых актов. В качестве технологической основы этого программного комплекса использована система дистанционного обучения WebTutor, выбранная в качестве базовой системы автоматизации обучения на основе сетевой технологии в рамках реализации ведомственной Целевой программы «Дистанционное образование» в 2001 -2004 годах. В целях применения разработанной в рамках настоящего исследования технологии в состав системы WebTutor были включены три дополнительных программных компонента (модуля):

- модуль автоматизированного контроля работы обучающегося с текстовыми учебными материалами на основе конспектирования и ответов на контрольные вопросы;

- модуль формирования массива контрольных заданий для предварительного контроля знаний на основе метода автоматизированной генерации контрольных заданий;

- модуль предварительного контроля знаний обучающегося на основе сформированного массива контрольных заданий.

Доработанная таким образом система дистанционного обучения в дальнейшем получила название WebTutor/Hiron.

Также в параграфе 3.1 приведены примеры применения предложенной технологии при изучении нормативных правовых актов (статья 158 Особенной части Уголовного кодекса Российской Федерации) и организационно-технических стандартов (международного стандарта в сфере обеспечения информационной безопасности ISO/IEC 17799).

В параграфах 3.2 и 3.3 рассмотрены вопросы оценки педагогической и экономической эффективности предложенной технологии соответственно. Оценка педагогической эффективности показала, что предложенная технология обладает педагогической эффективностью, сравнимой с эффективностью изучения нормативных правовых актов на основе использования мультимедийных обучающих программ. О педагогической эффективности предложенной технологии также свидетельствуют результаты применения разработанного программного комплекса на потоке профессиональной переподготовки преподавателей образовательных учреждений ФСБ России ФПРК Академии ФСБ России, позволившего повысить средний балл, полученный обучающимися в процессе итогового контроля знаний, на 13% по сравнению с традиционной технологией гипертекстовых учебников. Сравнительная оценка экономической

эффективности предложенной технологии, в частности, показала, что она обладает большей экономической эффективностью, чем традиционная технология мультимедийных обучающих программ, за счет автоматизации этапа формирования банка контрольных заданий для предварительного контроля знаний при разработке и обновлении учебных материалов.

Параграф 3.4 посвящен косвенной оценке эффективности предложенной технологии за счет сравнительной оценки качества разработанного на ее основе программного комплекса WebTutor/Hiron с существующими аналогичными системами автоматизации обучения. Сравнение программного комплекса с аналогичными программными продуктами показало, что в сфере автоматизации изучения нормативных правовых актов он превосходит по качеству другие системы автоматизации обучения, а применение нескольких методов агрегирования значений показателей позволяет утверждать, что полученная оценка является устойчивой.

В параграфе 3.5 приведены результаты итоговой комплексной оценки предложенной технологии, позволившей объединить результаты всех выполненных ранее оценок. Итоговая оценка разработанной технологии автоматизации изучения положений нормативных правовых актов с использованием аддитивного комплексного основного показателя эффективности показывает, что значение этого показателя эффективности для традиционных технологий находится в диапазоне от 1,25 до 2, а для разработанной технологии оно составляет 2,375. Следовательно, разработанная технология является более эффективной, чем традиционные технологии автоматизации обучения. Таким образом, достигнута цель исследования, состоящая в разработке эффективной технологии автоматизации изучения нормативных правовых актов.

В заключении сформулированы основные научные и практические результаты и определены направления дальнейших исследований.

В приложениях приведены примеры конфигурационных файлов для процедур анализа и синтеза адаптированных естественноязыковых текстов, а также исходные данные и результаты применения разработанной технологии при изучении нормативного правового акта (статья 158 Особенной части Уголовного кодекса Российской Федерации) и организационно-технического стандарта (международного стандарта в сфере обеспечения информационной безопасности ISO/IEC 17799).

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Проведен анализ существующих технологий автоматизации изучения положений нормативных правовых актов, определены их основные недостатки и сформулированы требования к специализированной технологии автоматизации обучения в сфере повышения правовой квалификации.

2. Разработан метод контроля качества работы обучающегося с учебными материалами, основанный на выделении и конспектировании им наиболее важных фрагментов учебного материала с последующей автоматической оценкой качества выполненного конспекта, а также самостоятельном поиске в тексте лекции фрагментов, содержащих ответы на контрольные вопросы.

Основными преимуществами предложенного метода являются:

- возможность гибкой настройки процедуры оценки качества конспекта в зависимости от характеристик учебного материала за счет выбора ее параметров;

- возможность локализовать пробелы в знаниях обучающегося и оперативно устранить их уже на этапе работы с текстовыми учебными материалами.

3. Разработаны специализированная онтологическая модель представления знаний о предметной области, позволяющая формализовать положения нормативных правовых актов, и контекстная модель представления знаний, позволяющая выполнять логическое преобразование отдельных фрагментов онтологической модели (контекстов) в целях последовательного построения полной онтологической модели знаний о предметной области, а также доказан ряд утверждений о свойствах этих моделей.

4. Разработан метод предварительного контроля знаний обучающегося посредством автоматической генерации тестовых заданий закрытого типа на основе адаптированных текстов нормативных правовых актов, использующий контекстную модель представления знаний о предметной области, а также процедуры анализа и синтеза адаптированных естественноязыковых текстов. Предложенный метод позволяет обеспечить необходимое разнообразие контрольных заданий за счет их автоматизированной генерации.

Основными преимуществами предложенного метода являются:

- возможность контролировать знание положений, не включенных в учебные материалы в явном виде (получаемых в результате логического вывода);

- возможность в автоматизированном режиме изменять набор заданий при изменении текста изучаемого нормативного правового акта (при традиционном подходе это необходимо выполнять вручную);

- возможность формулировать контрольные задания в терминах профессиональной деятельности обучающегося (т.е. в терминах понятных обучающемуся примеров).

5. На основе предложенных методов и традиционных методов итогового контроля знаний (очного экзамена, педагогического тестирования) разработана специализированная технология автоматизации изучения нормативных правовых актов.

Основными преимуществами предложенной технологии являются:

- активизация различных психологических механизмов запоминания в процессе самостоятельной работы обучающегося с учебными материалами за счет выполнения заданий, связанных с изучаемыми положениями;

- сокращение трудозатрат преподавателя на разработку и обновление учебных материалов за счет применения специализированных методов автоматизированного контроля работы обучающегося и предварительного контроля его знаний.

6. Выполнена сравнительная оценка предложенной технологии с точки зрения ее педагогической и экономической эффективности с традиционными технологиями автоматизации обучения, а также проведена оценка качества программной реализации разработанной технологии, показывающие, что разработанная технология при изучении положений нормативных правовых актов является более эффективной, чем традиционные технологии.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ИССЛЕДОВАНИЯ

Основное содержание диссертации опубликовано в следующих печатных работах:

1. Колобашкин С.М., Беляев К.В. Методика контроля качества работы пользователя с электронным учебным пособием // Сборник статей по специальной тематике, вып. 2 (12). - М.: Академия ФСБ России, 2001. -С. 49-64.

2. Колобашкин С.М., Беляев К.В. Оценка качества понимания пользователем учебного материала // IV Межведомственная конференция: Тез. докл. - М., Академия ФСБ России, 2002. - Т. 2, с. 78--81.

3. Беляев К.В. Модель представления знаний о предметной области для системы автоматической проверки результатов выполнения открытых тестовых заданий // Сборник статей по специальной тематике, вып. 4 (14). - М.: Академия ФСБ России, 2003. - С. 259-278.

4. Колобашкин С.М., Беляев К.В. Организация функционирования в учебных заведениях ФСБ России автоматизированного контура системы непрерывного профессионального образования: Методическое пособие для преподавателей. - М.: Академия ФСБ России, 2003, №6776. -48 с.

5. Беляев К.В. Методы семантико-синтаксического анализа и синтеза высказываний для системы автоматизации обучения // V Межведомственная конференция: Тез. докл. - М.: Академия ФСБ России, 2004.-Т. 4, с. 177-182.

6. Беляев К.В. Средства индивидуализации дистанционного профессионального обучения // Дополнительное профессиональное образование. 2005, №6. - С. 28-33.

7. Беляев К.В. Об автоматической генерации закрытых тестовых заданий // Обозрение прикладной и промышленной математики, т. 12. 2005, № 4. -С. 912-913.

8. Беляев К.В. Программные средства повышения качества обучения в сфере изучения действующей нормативно-правовой базы // Открытое образование. 2005, №5 (52). - С. 72-76.

9. Беляев К.В. Метод формирования тестовых заданий для системы оценки знаний при изучении нормативных правовых актов // XXXIII Международная конференция «Информационные технологии в науке, образовании, социологии и бизнесе» 1Т+8Е'2005 (осенняя сессия): Тез. докл.-М., 2005.-С. 36-37.

10.Колобашкин С.М., Беляев К.В. Оценка знаний обучаемого о предметной области в системе автоматизации профессионального обучения // Вестник Московского государственного университета леса - Лесной вестник. 2006, №1. - С. 156-164.

11.Беляев К.В. Онтологическая модель представления знаний о предметной области в системе дистанционного обучения // Сборник статей по специальной тематике, вып. 8 (18). - М.: Академия ФСБ России, 2008. -С. 217-251.

12.Беляев К.В. Метод автоматизированной генерации контрольных заданий для предварительного контроля знаний при изучении положений нормативных правовых актов // VII Межведомственная конференция: Тез. докл. - М., Академия ФСБ России, 2008. Т. 3, с. 23-25.

13.Беляев К.В. Основные свойства модели представления знаний о предметной области на основе согласованных онтологии // Вестник Московского государственного университета леса - Лесной вестник. 2009 (готовится к изданию).

Подписано в печать: 10.12.09 Объем: 1,5 усл. печ. л. Тираж: 100 экз. Заказ № 270 Отпечатано в типографии «Реглет» 119526, г. Москва, пр-т Вернадского, 39 (495) 363-78-90; www.reglet.ru

ВВЕДЕНИЕ.

ГЛАВА 1. ЗАДАЧА АВТОМАТИЗАЦИИ ИЗУЧЕНИЯ ПОЛОЖЕНИЙ НОРМАТИВНЫХ ПРАВОВЫХ АКТОВ.

1.1. Особенности процесса изучения положений нормативных правовых актов.

1.1.1. Особенности, связанные с целями обучения.

1.1.2. Особенности, связанные с характером контроля знаний.

1.1.3. Особенности, определяемые структурой учебных материалов.

1.2. Традиционные технологии автоматизации изучения положений нормативных правовых актов.

1.2.1. Электронные версии печатных учебных пособий.

1.2.2. Гипертекстовые учебники.

1.2.3. Мультимедийные обучающие программы.

1.2.4. Справочно-поисковые системы.

1.3. Проблемы автоматизации изучения положений нормативных правовых актов на основе традиционных технологий.

1.3.1. Факторы, связанные с особенностями обучения.

1.3.2. Психолого-педагогические факторы.

1.3.3. Экономические факторы.

1.4. Постановка задачи исследования.

1.5. Выводы.

ГЛАВА 2. ТЕХНОЛОГИЯ АВТОМАТИЗАЦИИ ИЗУЧЕНИЯ ПОЛОЖЕНИЙ НОРМАТИВНЫХ ПРАВОВЫХ АКТОВ.

2.1. Этапы изучения положений нормативных правовых актов.

2.2. Метод контроля качества работы обучающегося с учебными материалами.

2.2.1. Общее описание метода.

2.2.2. Модель электронного учебного пособия.

2.2.3. Модель конспекта учебного материала.

2.2.4. Модель контрольных заданий по учебному материалу.

2.2.5. Алгоритм контроля качества работы обучающегося.

2.3. Метод предварительного контроля знания положений нормативных правовых актов.

2.3.1. Общее описание метода.

2.3.2. Согласованные онтологии предметной области.

2.3.3. Основные утверждения о свойствах согласованных онтологий.

2.3.4. Контекстная модель знаний о предметной области.

2.3.5. Логический вывод на основе контекстной модели представления знаний о предметной области.

2.3.6. Процедуры анализа и синтеза адаптированных текстов.

2.3.7. Алгоритм генерации закрытых контрольных заданий.

2.4. Технология автоматизации изучения положений нормативных правовых актов.

2.5. Выводы.

ГЛАВА 3. РЕАЛИЗАЦИЯ И ОЦЕНКА ЭФФЕКТИВНОСТИ СПЕЦИАЛИЗИРОВАННОЙ ТЕХНОЛОГИИ АВТОМАТИЗАЦИИ ИЗУЧЕНИЯ ПОЛОЖЕНИЙ НОРМАТИВНЫХ ПРАВОВЫХ АКТОВ.

3.1. Программная реализация технологии.

3.1.1. Средства контроля качества работы с текстовыми учебными материалами.

3.1.2. Средство автоматизированной генерации контрольных заданий

3.1.3. Средства предварительного контроля знаний.

3.1.4. Примеры применения разработанной технологии.

3.2. Оценка педагогической эффективности технологии.

3.3. Оценка экономической эффективности технологии.

3.4. Оценка качества программной реализации технологии.

3.4.1. Показатели качества систем автоматизации обучения.

3.4.2. Сравнительная оценка систем автоматизации обучения.

3.4.3. Результаты оценки и сравнения систем автоматизации обучения

3.5. Итоговая оценка эффективности технологии.

3.6. Выводы.

В современных условиях принципиальное значение для большинства организаций приобрело правовое обеспечение их деятельности. Пробелы в правовой квалификации сотрудников ведут к игнорированию или ненадлежащему исполнению ими своих обязанностей, что зачастую приводит к возникновению серьезных проблем для всей организации, вплоть до судебного разбирательства. Помимо этого, наличие в организации необходимых нормативных правовых актов1 и соблюдение сотрудниками их положений является одним из основных требований группы стандартов менеджмента качества ISO 9000 [93].

Ситуацию существенно осложняет тот факт, что действующая нормативно-правовая база подвержена регулярным изменениям. В таких условиях традиционные средства и методы обучения (вузовское обучение, повышение квалификации) оказываются недостаточно эффективными, так как либо не позволяют поддерживать в актуальном состоянии знания обучающихся (при повышении квалификации 1 раз в 5 лет), либо требуют отрыва сотрудников от трудовой деятельности, а в отдельных случаях — и поездок в командировки.

Одним из путей решения проблемы повышения правовой квалификации сотрудников является применение современных автоматизированных информационных технологий [90], что позволяет существенно повысить доступность обучения, однако оставляет открытым вопрос о его качестве. В настоящее время контроль качества обучения

1 Под нормативными правовыми актами в рамках настоящего исследования понимаются письменные официальные документы, принятые (изданные) в определенной форме правотворческими органами в пределах их компетенции и направленные на установление, изменение или отмену правовых норм [21], а также иные официальные документы, регламентирующие либо упорядочивающие деятельность организаций, подразделений и отдельных сотрудников. осуществляется посредством педагогического тестирования, что, с одной стороны, позволяет применять современные педагогические методики контроля, а с другой - требует существенных трудозатрат преподавателей на разработку тестов и обоснование их надежности и валидности [1, 43]. Кроме того, при педагогическом тестировании многие обучающиеся оказываются неподготовленными к контрольным мероприятиям просто потому, что не могут самостоятельно оценить уровень своей подготовки к ним. Сочетание этих факторов приводит к возникновению ситуаций, когда значительные усилия преподавателей по разработке педагогических тестов (анализ текстов нормативных правовых актов, разработка банка контрольных заданий, формирование индивидуальных тестов, оценка их надежности и валидности) оказываются неэффективными из-за недостаточного качества самостоятельной работы обучающихся.

Поскольку самостоятельная работа обучающихся является ключевым компонентом системы повышения профессиональной квалификации, ее качество является определяющим фактором качества системы повышения квалификации в целом [90]. Традиционным методом повышения качества самостоятельной подготовки обучающихся при использовании средств автоматизации обучения является контроль качества их работы с текстовыми учебными материалами1 (прежде всего - с каноническими текстами нормативных правовых актов и комментариями к ним). Основой такого контроля служат интерактивные сценарии обучения, обеспечивающие

1 Под текстовыми учебными материалами в рамках настоящего исследования понимаются текстовые документы, содержащие описание положений нормативного правового акта, пригодное для самостоятельного изучения этого нормативного правового акта обучающимся. Примерами учебных материалов могут служить тексты лекций и учебных пособий по соответствующей тематике, а также комментарии к текстам нормативных правовых актов. Следует отметить, что текстовые учебные материалы могут не соответствовать тексту изучаемого нормативного правового акта буквально, уделяя наибольшее внимание его наиболее важным положениям и значительно меньшее - наименее существенным и редко используемым. адаптацию процесса обучения к информационным потребностям и уровню знаний конкретного обучающегося [29]. Продуманный сценарий обучения, включающий элементы предварительного контроля знаний, обеспечивает своевременное выявление и локализацию пробелов в знаниях обучающегося, а также автоматизированную коррекцию последовательности обучения. Однако, такой подход в сфере изучения нормативных правовых актов обладает существенным недостатком: на разработку качественного сценария уходит значительное время (до нескольких месяцев), а любое изменение правовой базы, как правило, вызывает необходимость серьезной переработки этого сценария. Присутствует даже обратная зависимость: чем большее значение имеет нормативный правовой акт (и чем больше востребовано его изучение), тем чаще он изменяется, что приводит к необходимости непрерывной переработки соответствующих учебных материалов. В результате своевременное и качественное изучение положений нормативных правовых актов становится затруднительным.

Таким образом, применение традиционных подходов к автоматизации обучения и контролю его качества [2,30,44,85,96, 101] в сфере изучения положений нормативных правовых актов оказывается недостаточно эффективным, а решение задачи разработки специализированной технологии автоматизации изучения положений нормативных правовых актов, учитывающей специфику обучения в этой предметной области, является актуальным и востребованным [49]. Актуальность разработки технологии автоматизации обучения для оперативного повышения квалификации персонала в области нормативного правового обеспечения также подтверждается широким интересом кадровых служб как государственных организаций, так и коммерческих предприятий. Следует подчеркнуть, что в контексте настоящей работы рассматриваются только вопросы, связанные с обеспечением качества изучения нормативных правовых актов, исключая сравнительно хорошо изученные вопросы контроля знаний посредством педагогического тестирования [1, 29, 43, 44, 66, 91].

Объектом настоящего исследования являются системы автоматизации профессионального обучения в сфере повышения правовой квалификации. Предмет исследования - технологии автоматизации обучения в таких системах. Целью исследования является разработка эффективной технологии автоматизации обучения в сфере повышения правовой квалификации.

Основными задачами настоящего исследования являются:

1. Анализ особенностей процесса обучения в сфере повышения правовой квалификации, определение основных недостатков существующих технологий автоматизации обучения, формирование требований к специализированной технологии обучения и определение ее основных этапов.

2. Разработка математической модели электронного учебного пособия и метода автоматизированной оценки качества работы обучающегося с текстовыми учебными материалами пособия.

3. Разработка математической модели представления знаний о предметной области и обоснование утверждений о ее наиболее существенных свойствах.

4. Разработка на основе предложенной модели представления знаний о предметной области метода автоматизированной генерации массива контрольных заданий для предварительного контроля знаний обучающегося.

5. Разработка технологии автоматизации изучения положений нормативных правовых актов, основанной на применении предложенных методов, практическое применение технологии и оценка ее педагогической и экономической эффективности.

В процессе проведения исследования применены следующие методы исследования: общенаучные (анализ, синтез), общематематические (алгебраические методы, методы математической логики, теории отношений, методы математического моделирования), прикладные (методы , математической статистики, методы агрегирования).

Настоящая диссертационная работа включает введение, три главы, заключение, список литературы и приложения.

Результаты исследования апробированы на XXXIII Международной конференции «Информационные технологии в науке, образовании, социологии и бизнесе» [16], VI Всероссийском симпозиуме по прикладной и промышленной математике [14], IV, V и VII Межведомственных научных конференциях [12, 18, 48], межведомственной научно-практической конференции «Организация дополнительного профессионального образования в учебных заведениях ФСБ России, других правоохранительных органов и специальных служб», опубликованы в ряде научных работ [11, 13, 15, 17, 46, 47, 49, 50].

Основными направлениями дальнейших исследований являются:

1. Совершенствование разработанной технологии в целях снижения ее чувствительности к ошибкам, возникающим в процессе разработки учебных материалов.

2. Развитие предложенной технологии для обеспечения необходимого качества обучения в других сферах повышения профессиональной квалификации.

ЗАКЛЮЧЕНИЕ

Выполненный в рамках настоящего исследования анализ существующих технологий автоматизации обучения показывает, что их возможности в силу ряда особенностей процесса изучения положений нормативных правовых актов не в полной мере обеспечивают необходимое качество самостоятельной работы обучающегося. Таким образом, для повышения качества самостоятельной работы обучающегося в процессе повышения правовой квалификации необходимо применять технологии автоматизации обучения, удовлетворяющие ряду специфических особенностей.

В диссертационной работе предложено решение проблемы разработки эффективной технологии автоматизации изучения нормативных правовых актов. В основе предложенного решения лежит применение специализированных методов автоматизации процесса изучения положений нормативных правовых актов, ориентированных на особенности процесса обучения в этой области. Для обоснования таких методов разработаны математические модели и алгоритмы, позволяющие обеспечить автоматизированный контроль самостоятельной работы обучающегося и предварительный контроль полученных им знаний. Таким образом, центральное место в диссертации занимает решение проблемы повышения качества автоматизированного обучения за счет активизации самостоятельной работы обучающегося с учебными материалами и контрольными заданиями.

В процессе проведения исследования разработаны методы, обеспечивающие повышение интенсивности самостоятельной работы обучающегося при сравнительно невысоком увеличении трудоемкости разработки и обновления учебных материалов: метод контроля качества работы обучающегося с учебными материалами на основе конспектирования и поиска ответов на контрольные вопросы, а также метод предварительного контроля знаний на основе автоматизированной генерации контрольных заданий. В работе приведено подробное описание математических моделей и алгоритмов, лежащих в основе предложенных методов; сформулированы и доказаны утверждения, обосновывающие корректность предложенных моделей и алгоритмов.

Разработанная технология автоматизации обучения реализована в форме специализированного программного комплекса системы автоматизации обучения WebTutor/Hiron, применяющейся в настоящее время в учебном процессе факультета прикладной математики ИКСИ Академии ФСБ России и факультета подготовки руководящих кадров Академии ФСБ России. Исследование разработанного программного комплекса и его сравнение с доступными аналогами показало, что по своим возможностям в сфере автоматизации изучения положений нормативных правовых актов этот программный комплекс превосходит большинство существующих систем автоматизации обучения.

В работе получены следующие основные научные и практические результаты:

1. Определены специфические особенности процесса изучения нормативных правовых актов, включая психолого-педагогические и экономические факторы, влияющие на эффективность обучения, и сформулированы требования к специализированной технологии автоматизации обучения в этой предметной области.

2. Разработан метод контроля качества работы обучающегося с учебными материалами, основанный на конспектировании им наиболее важных фрагментов учебного материала с последующей автоматической оценкой качества выполненного конспекта, а также на самостоятельном поиске обучающимся фрагментов текста, содержащих ответы на контрольные вопросы, с последующей автоматической оценкой полноты и точности ответов.

3. Разработаны специализированная онтологическая модель представления знаний о предметной области, позволяющая сформулировать основные положения нормативных правовых актов, и контекстная модель представления знаний, позволяющая осуществлять логическое преобразование этих положений, а также доказан ряд утверждений об основных свойствах этих моделей.

4. Разработан метод предварительного контроля знаний обучающихся посредством автоматической генерации тестовых заданий закрытого типа на основе текстов нормативных правовых актов, использующий предложенные модели и алгоритм контекстного логического вывода. Разработанный метод позволяет обеспечить необходимое разнообразие контрольных заданий за счет их автоматической генерации.

5. На основе предложенных методов и традиционного метода педагогического тестирования разработана специализированная технология автоматизации изучения нормативных правовых актов.

6. Выполнена сравнительная оценка предложенной технологии с точки зрения ее педагогической и экономической эффективности с традиционными технологиями автоматизации обучения, а также проведена оценка качества практической реализации разработанной технологии, показывающие, что предложенная технология автоматизации обучения является при изучении положений нормативных правовых актов более эффективной, чем традиционные технологии.

Таким образом, достигнута цель исследования, состоящая в разработке эффективной технологии автоматизации профессионального обучения в сфере повышения правовой квалификации, и решена задача, имеющая существенное значение для соответствующей области знаний. Основными преимуществами разработанной технологии являются:

- активизация различных психологических механизмов запоминания в процессе самостоятельной работы обучающегося с учебными материалами за счет выполнения заданий, связанных с изучаемыми положениями;

- сокращение трудозатрат преподавателя на разработку и обновление учебных материалов за счет применения специализированных методов автоматизированного контроля работы обучающегося и предварительного контроля полученных им знаний.

Предложенная технология внедрена в форме специализированного программного обеспечения на потоках профессиональной переподготовки и повышения квалификации преподавателей образовательных учреждений ФСБ России факультета подготовки руководящих кадров Академии ФСБ России. Методические рекомендации по разработке учебных материалов для применения разработанной технологии сформулированы в соответствующем учебно-методическом пособии [49].

1. Аванесов B.C. Научные проблемы тестового контроля знаний. - М.: Учебный центр при исследовательском центре проблем качества подготовки специалистов, 1994. - 90 с.

2. Агапонов C.B. Средства дистанционного обучения. Методика, технология, инструментарий. СПб.: BHV, 2003. - 336 с.

3. Автоматизация анализа научного текста: Сб. ст. / Ред. Марченко Л.П., Артемьевой JI.K. Киев, 1984. 127 с.

4. Андреев A.A. Дидактические основы дистанционного обучения в высших учебных заведениях: Дис. . д-ра пед. наук. М., 1999. 132 с.

5. Ахо A.B., ХопкрофтДж., Ульман Дж.Д. Структуры данных и алгоритмы. М.: Вильяме, 2001. - 384 с.

6. Ахо А., Хопкрофт Дж., Ульман Дж. Построение и анализ вычислительных алгоритмов. — М.: Мир, 1979. 535 с.

7. Бакулов А.Д., Леонтьева H.H. Теоретические аспекты машинного перевода // Искусственный интеллект. Кн. 1: Системы общения и экспертные системы. М.: Радио и связь, 1990. С. 155.

8. Белоногов Г.Г., Богатырев В.М. Автоматизированные информационные системы. М.: Сов. радио, 1973. - 328 с.

9. Белоногов Г.Г., Кузнецов Б.А. Языковые средства автоматизированных информационных систем. -М.: Наука, 1983. — 287 с.

10. Ю.Беляев К.В. Исследование и разработка автоматизированных средств проведения занятий в системе повышения квалификации сотрудников органов федеральной службы безопасности: Дипломная работа. М.: Академия ФСБ России, 2002. - 124 с.

11. П.Беляев К.В. Модель представления знаний о предметной области для системы автоматической проверки результатов выполнения открытых тестовых заданий // Сборник статей по специальной тематике, вып. 4 (14). -М.: Академия ФСБ России, 2003. С. 259-278.

12. Беляев К.В. Методы семантико-синтаксического анализа и синтеза высказываний для системы автоматизации обучения // V Межведомственная конференция: Тез. докл. М.: Академия ФСБ России, 2004. - Т. 4, с. 177-182.

13. З.Беляев К.В. Средства индивидуализации дистанционного профессионального обучения // Дополнительное профессиональное образование. 2005, №6. С. 28-33.

14. И.Беляев К.В. Об автоматической генерации закрытых тестовых заданий// Обозрение прикладной и промышленной математики, т. 12. 2005, №4.-С. 912-913.

15. Беляев К.В. Программные средства повышения качества обучения в сфере изучения действующей нормативно-правовой базы // Открытое образование. 2005, №5 (52). С. 72-76.

16. Беляев К.В. Онтологическая модель представления знаний о предметной области в системе дистанционного обучения // Сборник статей по специальной тематике, вып. 8 (18). М.: Академия ФСБ России, 2008. - С. 217-251.

17. Беляев К.В. Метод автоматизированной генерации контрольных заданий для предварительного контроля знаний при изучении положений нормативных правовых актов // VII Межведомственная конференция: Тез. докл. М., Академия ФСБ России, 2008. Т. 3, с. 2325.

18. Беляев К.В. Основные свойства модели представления знаний о предметной области на основе согласованных онтологий // Вестник Московского государственного университета леса Лесной вестник. 2009 (готовится к изданию).

19. Богомолов Ю.П. Комплексный подход к профессиональной подготовке и переподготовке кадров в России. // Проблемы теории и практики управления. 1993, №2. С. 62-67.

20. Большой юридический словарь. 3-е изд., доп. и перераб. / Под ред. проф. А.Я. Сухарева. — М.: ИНФРА-М, 2007. — VI, 858 с.

21. Боэм Б., Браун Дж., Каспар X. и др. Характеристики качества программного обеспечения / Пер. с англ. Е.К.Масловского. М.: Мир, 1981.-296 с.

22. Василенко Л.А. Интернет в информатизации государственной службы России. Социологические аспекты. М.: Изд-во РАГС, 2000. - 216 с.

23. Гладкий A.B. Синтаксические структуры естественного языка в автоматизированных системах общения. М.: Наука, 1985. - 144 с.

24. Главацкий С.Т., Адрианов Н.М., Иванов А.Б. Архитектура сервера дистанционного обучения МГУ // Конференция «Ломоносовские чтения-2002»: Тез. докл. М., 2002. Т. 4, с. 12.

25. Глас Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. - 495 с.

26. Глухов М.М. Математическая логика: Учебное пособие. Т. 1. М.: Академия ФСБ России, 1981. - 232 с.

27. Гречихин A.A., Древе Ю.Г. Вузовская учебная книга: типология, стандартизация, компьютеризация (учебно-методическое пособие). -М.: Логос Московский государственный университет печати, 2000. -255 с.

28. Григорьев В.К. Технология создания компьютерных обучающих систем для массовых профессиональных пользователей // Банковские технологии. 2001, №6. С. 72-80.

29. Зайцева Ж.Н., Рубин Ю.Б., Титарев Л.Г., Тихомиров В.П. и др. Открытое образование объективная парадигма XXI века: Сб. ст. / Под общей редакцией Тихомирова В.П. М.: Изд-во МЭСИ, 2000. - 178 с.

30. Закон Российской Федерации «Об образовании» от 10 июля 1992 г. №3266-1 с изменениями и дополнениями на 28 февраля 2008 г. // Собрание законодательства Российской Федерации, 03.03.2008, №9.

31. Ивченко Г.И., Медведев Ю.И. Математическая статистика. -М.: Высшая школа, 1984. 248 с.

32. Инструктивное письмо Минобразования РФ от 3 июля 1998 г. №41 «О дистанционном обучении в среднем и высшем профессиональном образовании».

33. ИсаевГ.Н. Оценка качества информационных систем в сфере образования // XII Международная конференция-выставка «Информационные технологии в образовании» («ИТО-2002»): Тез. докл. М., Изд-во МИФИ, 2002. Т. 3, с. 152.

34. Искусственный интеллект. В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова. - М.: Радио и связь, 1990.-464 с.

35. Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А.Поспелова. - М.: Радио и связь, 1990. -304 с.

36. Искусственный интеллект. В 3-х кн. Кн. 3. Программные и аппаратные средства: Справочник / Под ред. В.Н. Захарова, В.Ф. Хорошевского. - М.: Радио и связь, 1990. - 368 с.

37. Каплан Р. С., Нортон Д.П. Сбалансированная система показателей. От стратегии к действию. 2-е изд., испр. и доп. / Пер. с англ. - М.: Олимп-Бизнес, 2003. - 304 с.

38. Караушев В.Ф., Терентьева JI.B., ТягуноваТ.Н. Введение в разработку банков программно-дидактических тестовых заданий. Руководство. -М.: МГУП, 2005.-52 с.

39. Карпова И. П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах // Дис. . канд. тех. наук. М., МГИЭМ, 2002. 200 с.

40. Клещев A.C., Артемьева И.JL Математические модели онтологий предметных областей. Часть 1. Существующие подходы к определению понятия «онтология»; Часть 2. Компоненты модели. // НТИ. Сер. 2 «Информационные процессы и системы». 2001, № 2. — С. 20-27.

41. Колобашкин С.М., Беляев К.В. Исследование и разработка метода контроля работы пользователя с текстовыми материалами в процессе обучения: Отчет по целевой программе по проблеме «Дистанционное обучение» за 2002 г. М.: Академия ФСБ России, 2003. - С. 36.

42. Колобашкин С.М., Беляев К.В. Методика контроля качества работы пользователя с электронным учебным пособием // Сборник статей по специальной тематике, вып. 2 (12). — М.: Академия ФСБ России, 2001. С. 49-64.

43. Колобашкин С.М., Беляев К.В. Оценка качества понимания пользователем учебного материала // IV Межведомственнаяконференция: Тез. докл. М., Академия ФСБ России, 2002. - Т. 2, с. 78-81.

44. Колобашкин С.М., Беляев К.В. Оценка знаний обучаемого о предметной области в системе автоматизации профессионального обучения // Вестник Московского государственного университета леса Лесной вестник. 2006, №1. - С. 156-164.

45. Комаров С.А. Общая теория государства и права: Учебник для ВУЗов. 7-е издание СПб.: Питер, 2006. - 512 с.

46. Кравец О.Я., Лейкин М.А., Подвальный С.Л. и др. Организация локально-дистанционного обучения по специальности обучения «Вычислительные машины, комплексы, системы и сети» // Дистанционное образование. 2000, №4. С. 41.

47. Кудинов Д.М. Базы данных и экспертные системы: Учебное пособие. -М.: Академия ФСБ России, 2002. 436 с.

48. Лингвистическая прагматика и проблемы общения с ЭВМ: Сборник / Под ред. Марчука Ю.Н. Москва, 1989. 142 с.

49. Липаев В.В. Качество программного обеспечения. — М.: Финансы и статистика, 1983. — 263 с.

50. Лорьер Ж.-Л. Системы искусственного интеллекта. — М.: Мир, 1991. 568 с.

51. Макаров ЭЛ., Наумов Ю.А., Никулин С.П., Хафизуллин Р.И., Чолах С.О. Виртуальная информационно-образовательная среда «физическая электроника» // XI Всероссийская научно-методическая конференция «Телематика-2004» : Тез. докл. СПб., 2004. С 212.

52. Малюк A.A., Пазизин С.В., Погожин Н.С. Введение в защиту информации в автоматизированных системах / Учебное пособие для ВУЗов. М.: Горячая линия - Телеком, 2001. - 148 с.

53. Математическая лингвистика / Под ред. Ю.А. Шрейдера, И.И. Ревзина, Д.Г. Лахути, В.К. Финна. М.: Мир, 1964. - 312 с.

54. Новиков Д.А. Закономерности итеративного научения. М.: Институт проблем управления РАН, 1998. -11 о,.

55. Новые педагогические и информационные технологии в системе образования / Под ред. Е.С. Полат. М.: Академия, 2003. - 272 с.

56. Коротеев Г.И., КотляровВ.П. О структуре системы дистанционного обучения // Конференция «Новые Информационные Технологии в университетском образовании»: Тез. докл. Новосибирск: Изд-во НГУ, 2002. С. 178.

57. Пидкасистый П.И., Фридман JI.M., Гарунов М.Г. Психолого-дидактический справочник преподавателя высшей школы. -М.: Педагогическое общество России, 1999. 354 с.

58. Плотников В.Н., СузановВ.А., Жигулевцев Ю.Н. Речевой диалог в системах управления. М.: Машиностроение, 1988. — 224 с.

59. Полат Е.С. Теория и практика дистанционного обучения // Информатика и образование. 2001, №5. С. 47.

60. Полат Е.С., Бухаркина М.Ю., Моисеева М.В. Теория и практика дистанционного обучения: Учебн. пособие для студ. высш. пед. учеб. заведений / Под ред. Е.С. Полат. М.: Академия, 2004. - 415 с.

61. Полат Е.С., Петров А.Е. Дистанционное обучение: каким ему быть? // Педагогика. 1999, №7. С. 29-34.

62. Положение о дистанционном обучении в сфере высшего профессионального образования Российской Федерации (проект) // Дистанционное образование. 2000, №4. С. 52.

63. Попов Э.В. Общение с ЭВМ на естественном языке. М.: Едиториал УРСС, 2004. - 360 с.

64. Попов Э.В., Фоминых И.Б., Кисель Е.Б., ШапотМ.Д. Статические и динамические экспертные системы. М.: Финансы и статистика, 1996. -320 с.

65. Потехин Н.В., Смирнова А.Н. Информационная Интернет-система «Образование» // Информатика и образование. 2004, №3. С. 125-126.

66. Прокофьева Н.О., Зайцева Л.В., Куплис У.Г. Компьютерные системы в дистанционном обучении // VIII Всероссийская научно-методическая конференция «Телематика-2001»: Тез. докл. СПб., 2001. С. 53.

67. Рамеев O.A. Оценка качества и агрегирование в многоуровневых системах организационного управления: Учебно-методические материалы. М.: Академия ФСБ России, 1998. - 223 с.

68. Рамеев O.A., Коваленко А.П. Методы анализа многомерных данных: Учебно-методические материалы. М.: Академия ФСБ России, 1988. -619 с.

69. Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы, перспективы использования. М.: Школа-Пресс, 1994.-205 с.

70. Романов А.Н., Торопцов B.C., Григорович Д.Б. Технология дистанционного обучения в системе заочного экономического образования. М.: Юнити-Дана, 2000. - 303 с.

71. Российская педагогическая энциклопедия. В 2-х т. - М.: Большая Российская энциклопедия, 1993. - 608 с.

72. Рубашкин В.Ш. Представление и анализ смысла в интеллектуальных информационных системах. М.: Наука, 1989. - 192 с.

73. Рубинштейн С.Л. Основы общей психологии. СПб.: Питер, 2007. -720 с.

74. Сборник нормативных правовых и методических документов в сфере послевузовского профессионального образования. М.: Государственная академия инноваций, 1999. - 329 с.

75. Смирнов A.A. Избранные психологические труды. Том II. М.: Педагогика, 1987. - 344 с.

76. Смолкин A.M. Методы активного обучения. М.: Высшая школа, 1991. - 176 с.

77. Соловов A.B. Об эффективности информационных технологий обучения // Высшее образование в России. 1997, №4. С. 24.

78. Стрикелева Л.В., Пискунов М.У., Тихонов И.И. Организация учебного процесса с помощью АОС. Педагогические основы. Мн.: Университетское, 1986. - 94 с.

79. Тимофеев A.B. Дистанционное обучение в системе управления учебным процессом Lotus LearningSpace 5.x. СПб.: Изд-во СПбГЭТУ (ЛЭТИ), 2003. - 252 с.

80. Уголовное право: Учебник для юридических вузов / Под ред. заслуженного деятеля науки РФ, д.ю.н., проф. Н.И. Ветрова, заслуженного деятеля науки РФ, д.ю.н., проф. Ю.И. Ляпунова. 2-е изд., испр. и доп. - М.: Юриспруденция, 2001. - 640 с.

81. ФайнВ.С., Рубанов Л.И. Машинное понимание текстов с ошибками. -М.: Наука, 1991.-151 с.

82. ФиннВ.К. Логические проблемы информационного поиска. М.: Наука, 1976.- 152 с.

83. Формирование и развитие системы подготовки, переподготовки и повышения квалификации государственных служащих: Уч. пособие / Под ред. Иванова Ю.И., Забродина Ю.М. М.: Магистр, 1998. 118 с.

84. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1995. 32 с.

85. Чень Ч., Ли Р. Математическая логика и автоматическое доказательство теорем. М.: Мир, 1983. 359 с.

86. Шмелев А.Г., Чумаков А.А., Ларионов А.Г., Серебряков А.Г. Методические рекомендации по рпзрпботке и внедрению системы оценки качества обучения по инновационным образовательным программам. М.: Изд-во МГУ, 2007. - 64 с.

87. Wong, Man Leung and Leung, Kwong Sak: Data Mining Using Grammar Based Genetic Programming and Applications. Kluwer Academic Publishers, Amsterdam, 2000. 244 p.

88. Beer M., EisenstatR., BiggadikeR.: Developing an Organization Capable of Strategy Implementation and Reformulation, in Organization Learning and Competitive Advantage. In: Moingon, В., Edmonson, A. (eds.) — MIT Press, 2001.435 р.

89. Brusilovsky, P.: Adaptive and Intelligent Technologies for Web-based Education. In Rollinger, C., Peylo, C. (eds.): Special Issue on Intelligent Systems and Teleteaching. Konstliche Intelligenz. Vol.4, p. 19-25.

90. Burns, H.L., Capps, C.G.: Foundations of intelligent tutoring systems: An introduction. In: Poison, M.C. and Richardson, J.J. (eds.): Foundations of intelligent tutoring systems. Lawrence Erlbaum Associates, Hillsdale, 1988. P. 115-137.

91. Burton, R., Sleeman, D., Brown, J.S.: Intelligent Tutoring Systems. In: Gaines, B.R. (ed.): Computers and People Series. Academic Press, 1998. P. 74—82.

92. Callear, D.H.: A Student AssessmentModel Using Probabilities, RADICAL {Research and Development in Computer Assisted Learning). internal journal of the PACE Research Group at University of Portsmouth, 1998. Vol 6, p. 103.

93. Gruber, T.R.: Towards Principles for the Design of Ontologies Used for Knowledge Sharing. In Inter. Journal of Human-Computer Studies, 1994. Vol. 43, p. 5-6.

94. Jackson, P.: Introduction to Expert Systems. 3th edition. Addison-Wesley, 1998. 560 p.

95. Liu, H., MotodaH.: Feature Selection for Knowledge Discovery and Data Mining. Kluwer International Series in Engineering and Computer Science, Sees 454. Vol. 1, p.202.

96. Mark, B.: Ontologies as the Representation (and Re-Representation) of Agreement. http ://www-ksl. Stanford. edu/KR96/BillMarkPositionPaper.html

97. Owsten, R.D.: The World Wide Web: a Technology to Enhance Teaching and Learning? Educational Researcher, 1997. Vol. 26, p. 27-34.

98. Philippine, Arnal: E-learning: l'enseignement supérieur, un marché prometteur II JDNet, Vendredi 27 février 2004.

99. Salton, G.: Automatic Text Processing: The Transformation, Analysis, and Retrieval of Information by Computer. Addison-Wesley, 1988. 543 p.

100. Studer, R., Benjamins, V.R., Fensel, D.: Knowledge Engineering: Principles and Methods. In: Data & Knowledge Engineering, 1998. Vol. 25, p. 53.

101. Uschold, M.: Knowledge Level Modeling: Concepts and Terminology. In: The Knowledge Engineering Review, 1998. Vol. 13:1, p. 14.