автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Образовательные комплексы распределенных систем дистанционного обучения для специалистов предприятий железнодорожного транспорта

кандидата технических наук
Немцов, Александр Борисович
город
Санкт-Петербург
год
2008
специальность ВАК РФ
05.13.01
Диссертация по информатике, вычислительной технике и управлению на тему «Образовательные комплексы распределенных систем дистанционного обучения для специалистов предприятий железнодорожного транспорта»

Автореферат диссертации по теме "Образовательные комплексы распределенных систем дистанционного обучения для специалистов предприятий железнодорожного транспорта"

На правах рукописи

Немцов Александр Борисович

Образовательные комплексы распределенных систем дистанционного обучения для специалистов предприятий железнодорожного транспорта

05 13 01 Системный анализ, управление и обработка информации

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

□ОЗ172473

Санкт-Петербург 2008

003172473

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Петербургский государственный университет путей сообщения»

Научный руководитель кандидат технических наук,

доцент Иванова Наталия Васильевна

Официальные оппоненты: доктор технических наук,

профессор Чистякова Тамара Балабековна

кандидат технических наук,

доцент Румянцев Николай Константинович

Ведущая организация:

Санкт-Петербургский Государственный Университет Гражданской Авиации

Защита диссертации состоится «,26 » tltOk? 2008 года в ^ часов на заседании совета по защите докторских и кандидатских диссертаций Д 212 230 03 при государственном образовательном учреждении высшего профессионального образования «Санкт-Петербургский государственный технологический институт (технический университет)» по адресу 190013, Санкт-Петербург, Московский пр ,26 (ауд 61)

С диссертацией можно ознакомиться в библиотеке института Отзывы на автореферат, заверенные печатью, просим направлять по адресу 190013, г. Санкт-Петербург, Московский пр , д 26, СПбГТИ (ТУ), Ученый Совет, тел (812) 49575-75, факс (812) 712-77-91, e-mail dissovet@lti-gti ru

Автореферат разослан 2008 года

Ученый секретарь совета по защите докторских и кандидатских диссертаций

дтн, доцент

В И Халимон

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы На железной дороге в настоящее время идет глубокая реформа, связанная с появлением новых образцов высокоскоростного транспорта, быстрой модернизацией подвижного состава и всех служб его сопровождения Поэтому постоянная подготовка и переподготовка специалистов становится более необходимой, чем прежде

Среди многочисленных категорий персонала железной дороги ведущее место занимают специалисты хозяйства перевозок, чья деятельность непосредственно направлена на обеспечение движения транспорта (начальники станций и их заместители, ревизоры по безопасности движения, поездные, маневровые, станционные диспетчеры, дежурные по паркам, станциям, горке)

На всей железной дороге действуют Учебные Центры со своими филиалами на отделениях и крупных узлах Учитывая специфику железнодорожного транспорта (ж т), особое развитие получили системы дистанционного обучения (СДО) Развитие вычислительных сетей и телекоммуникационных технологий позволило СДО выйти на качественно новый уровень путем создания распределенных систем дистанционного обучения (РСДО) Однако, имеющиеся РСДО применяются в основном для тестирования, что крайне ограниченно использует их возможности

Организация РСДО нового поколения требует создания общих принципов построения систем контроля знаний, проработки сетевых аспектов работы системы, связанных с предоставлением удаленного доступа к системе, поддержкой распределенных данных и объединением сетевых ресурсов для стоящих перед системой задач Одной из таких важнейших задач является организация контроля знаний, а именно их измерения и оценки Большинство существующих СДО и систем контроля знаний имеют конечное количество форм представления ответов и двухбалльную систему оценки Это обусловлено простотой анализа выборочных ответов и отсутствием формальных методов измерения и дифференцированной оценки ответов обучаемых на контрольные вопросы, что ограничивает возможности разработчика курса в отношении

\

использования различных вариантов тестовых вопросов и анализа ответов обучаемых, и впоследствии может привести к неверным решениям о соответствии специалиста занимаемой должности Создание СДО, лишенных этих недостатков, требует перехода к новому способу управления обучением

Работа выполнена в рамках утвержденной Правительством РФ Федеральной целевой программы «Модернизация транспортной системы России 2002 - 2010 годы», подпрограмма «Железнодорожный транспорт»

Цель работы На основе использования дистанционных и распределенных технологий обучения создать автоматизированную систему управления процессом повышения квалификации специалистов предприятий ж т, в котором вместе с преподавателем участвует интеллектуальная учебная среда

Задачи исследования Для реализации поставленной цели необходимо создать следующие составляющие автоматизированной системы управления

логическую структуру обучающей системы, включающую модель предметной области, модель обучаемого, сведения о стратегии обучения, - методы измерения и оценки знаний персонала,

-методику проведения анализа и дифференцированной оценки эффективности управления знаниями специалистов Научная новизна

Предложена логическая структура РСДО нового поколения, позволяющая формировать произвольный набор параметров и задавать алгоритм поведения системы в зависимости от значения этих параметров, а также включать в нее готовые модели обучаемого без предварительной настройки

На основе положений нечеткой логики и нечетких продукционных моделей разработана автоматизированная система управления знаниями специалистов, деятельность которых непосредственно связана с движением ж т Суть процесса управления заключается в том, что в управлении вместе с преподавателем участвует интеллектуальная учебная среда, адаптирующаяся к уровню знаний, навыкам и способности конкретного обучаемого

С использованием принципов комбинаторики и нечеткой логики предложен алгоритм создания индивидуальной программы обучения специалистов различного уровня квалификации предприятий ж т

Разработана концепция программного комплекса оценки знаний обучаемых на основе объектно - ориентированного программирования Практическую ценность исследования составляют

-методика оценки и измерения знаний специалистов в рамках технологии дистанционного обучения, основанная на положениях комбинаторики и нечеткой логики,

-программный продукт «Эксперт- тестирование», разработанный на основе концепции комплекса оценки знаний обучаемых

Реализация результатов Разработанный программный продукт «Эксперт-тестирование» внедрен в дистанции вагонного хозяйства ВЧ-8 третьего отделения Октябрьской железной дороги и в Международном центре подготовки и переподготовки кадров в области переработки пластмасс при Санкт-Петербургском государственном технологическом институте (техническом университете)

Апробация работы Основные положения и результаты диссертации докладывались и обсуждались на Межвузовских научно-технических конференциях студентов, аспирантов и молодых ученых (ПГУПС, 2003, 2005, 2006)

Публикации По теме диссертации опубликовано 8 работ Структура и объем работы Диссертационная работа изложена на 152 страницах, состоит из введения, четырех глав, общих выводов, списка литературы и двух приложений, содержащих методику работы с программным продуктом «Эксперт-тестирование» и сведения о реализации работы

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы основные цели и задачи исследования, дана общая характеристика разработанных организационных механизмов управления повышением квалификации, а также основных полученных результатов

В первой главе приводится аналитический обзор СДО и экспертно-аналитических систем в России и за рубежом Рассмотрены теоретические вопросы описания РСДО и систем управления обучением, проанализированы функции дистанционного обучения и возможности совместного использования различных технологий обучения

Проведенный анализ показал, что систем, осуществляющих полную подготовку обучаемого специалиста хозяйства перевозок даже по одной дисциплине, практически не существует В большинстве программных продуктов не предусмотрена настройка системы на предметную область и требования преподавателя, отсутствует модель обучаемого, т е. индивидуализация процесса обучения осуществляется только за счет индивидуальной работы обучаемого с программой (системы, в состав которых входит модель обучаемого, построены на основании жестко запрограммированных алгоритмов и наборов параметров), отсутствует модель знаний о предметной области, структура информации в них линейна или, в лучшем случае, определяется гиперссылками

В связи с этим основное внимание данной работы обращено на индивидуализацию курса обучения для каждого специалиста, выполняющего конкретные задачи, на основе методики измерения и оценки знаний, внедренной в экспертную систему

Во второй главе рассмотрены вопросы создания РСДО На основе основных принципов системного анализа разработана общая структура системы управления качеством обучения специалистов хозяйства перевозок ж т

Основными составляющими данной системы являлись действующая на железнодорожном транспорте РСДО (объект изучения) и специалисты хозяйства

6

перевозок (объект обучения) Каждый из данных объектов обладает определенными характеристиками и признаками, связи между которыми объединяют их в единую систему (рисунок 1)

Центральным блоком данной системы является сервер, который включает серверную часть экспертной системы (сервер приложений) и БД (IBM DB2) Разработчики создают экспертную систему и формируют БД В данном исследовании экспертная система создана с использованием конструктора нечетких моделей (см Главу 4) Функционирование БД обеспечивают админисграторы БД Эксперты курсов хозяйства перевозок в диалоговом режиме создают перечень контрольных вопросов (тестов), присваивая каждому вопросу количественную (количество баллов) и качественную характеристику (важность, сложность и тд) Обе характеристики являются основой для принятия экспертной системой решений о соответствии обучаемого занимаемой должности Окончательное решение принимается ревизорами хозяйства перевозок на основании данных о каждом обучаемом, находящихся в БД Связь между обучаемыми структурных подразделений (станций, вагонных участков и тд) и сервером осуществляется через СПД (железнодорожная сеть передачи данных)

Основными свойствами описанной выше системы являются открытость (возможность постоянного внесения изменений в модель обучаемого и в систему контроля знаний, чувствительность (возможность проводить обучение независимо от уровня подготовки обучаемых и их специализации), развертываемость (возможность осуществлять повышение квалификации большого числа обучаемых без отрыва от производства)

л

Серверная часть «Эксперт-тестирование»

СУБД 1ВМ пи?

Клиентская часть «Эксперт-тестирование»

Сервер приложений «Эксперт-тестирование»

Разработчики Администраторы Ревизоры Эксперты

Линейное подразделение ОАО РЖД

Клиентская часть «Эксперт-тестирование»

Линейное подразделение ОАО РЖД

Клиентская часть «Эксперт-тестирование»

ТГ

Обучаемые (проходящие повышение квалификации) хозяйства перевозок начальники станций и их заместители, ревизоры по безопасности движения, поездные, маневровые, станционные диспетчеры, дежурные по паркам, станциям, горке

Рисунок 1 - Общая структура системы управления повышением квалификации

Предложена логическая структура обучающей системы, основанная на общих и специальных знаниях трех видов

- о предметной области (модель предметной области) Она может быть использована при определении последовательности изучения тем и проведения контрольных занятий,

-об учащемся (модель обучаемого) Модель включает динамически обновляемый набор параметров, отражающих общие характеристики обучаемого, и проекцию его знаний на знания системы (на модель предметной области),

- о стратегии обучения, которая определяет последовательность изучения тем (на основе модели предметной области) и формирует задания для контроля знаний обучаемого (на основе модели обучаемого)

Основное отличие предлагаемой обучающей системы от известных состоит в том, что в ней предусмотрена возможность формирования произвольного набора параметров и задания алгоритма поведения системы в зависимости от значений этих параметров Система позволяет включать в нее некоторые готовые модели обучаемого, предоставляя преподавателю использовать любой из подходов к организации управления взаимодействия с обучаемым — либеральный, консервативный или адаптивный, каждый из которых можно использовать без предварительной настройки Таким образом, система является автоматизированной Это облегчает работу с системой неподготовленным пользователям (преподавателям) и сокращает время на подготовку системы к использованию При подобном подходе исключаются недостатки традиционных систем обучения (низкая гибкость системы и ограничения в возможности ее настройки, что сужает круг пользователей)

Для обеспечения обратной связи с обучаемым были выбраны стандартизированные методы контроля знаний, обладающие следующими свойствами кратковременностью проверки, стандартностью проведения проверки и анализа результатов, возможностью представления результатов проверки в числовой форме и математической обработки результатов

Контроль осуществляется за несколько сеансов С„ каждый из которых строится на основе модели обучаемого Результаты сеансов в свою очередь вызывают (могут вызвать) изменение модели Отдельный сеанс состоит из

подготовки задания для контроля (с учетом модели обучаемого), опроса обучаемого, оценки результатов опроса и внесения изменений в модель обучаемого (рисунок 2)

Рисунок 2 - Общая схема проведения контроля знаний Для формирования контрольного задания из множества вопросов С> выбирается подмножество вопросов (выборка) — актуальное множество С?А, (}А:э <3 Изначально это множество зависит от модели обучаемого М° и параметров вопросов Р^ В процессе опроса это множество, как правило, претерпевает изменения Изменение <3А на основании ответа А1 обучаемого на очередной вопрос может осуществляться через модификацию модели обучаемого или задание других параметров вопросов Наличие обратной связи (}Л и ответа обучаемого обеспечивает адаптацию (}А к обучаемому во время проведения контроля При реализации более примитивных форм контроля знаний одна или обе обратных связи могут отсутствовать

В третьей главе рассмотрены технологии модульного обучения и предложена функциональная схема дистанционного обучения (рисунок 3), отличающаяся от существующей тем, что в нее введен новый блок «Эксперт-Тестирование», предложенный автором, который позволяет оценить знания обучаемого как количественно, так и качественно Добавление нового блока позволяет протестировать знания специалиста на соответствие должности удаленно, без прямого участия ревизора

Рисунок 3 - Функциональная схема дистанционного обучения

Блоки Подсистема «Самостоятельное обучение» и Подсистема «Обучение с преподаватечем или экспертом» реализованы в данной диссертационной работе

На сегодняшний день можно выделить ряд математических теорий предназначенных для формализации неопределенной информации

1 многозначная логика,

2 теория вероятности,

3 теория ошибок (интервальные методы),

4 теория интервальных средних,

5 теория субъективных вероятностей,

6 теория нечетких множеств

Условные рейтинги рассмотренных подходов, полученные на основании обработки данных, приведены на рисунке 4

Рисунок 4 - Условные рейтинги подходов Таким образом, всесторонний анализ показал, что для создания технологии оценки знаний с учетом качественной (нечеткой) информации целесообразно применение именно теории нечетких множеств.

В четвертой главе приводится методика оценки знаний и составления индивидуальной программы обучения персонала на предприятиях ж.т.

В основу методики оценки знаний положено Риггу-моделирование. Исходя из того, что необходимо оценить знания и составить курс повторного обучения, для реализации эффективной системы оценки знаний было разработана (встроена в программный продукт) нечеткая продукционная модель, позволяющая учитывать, обрабатывать и выдавать одновременно количественную и качественную информацию. На выходе система обеспечивает итоговую оценку знаний в традиционном виде = {"не зачтено", "зачтено"} или = {"неудовлетворительно", "удовлетворительно", "хорошо", "отлично"). Согласно постановке задачи на вход системы поступает вектор

О - {аиа2,...,а„}^ характерИЗующий правильные ответы на задания, где а, -оценка за выполнение 1-го задания (I = 1..п), п- количество заданий. Экспертной системой должно быть реализовано отображение:

О» =/(О) = £/(»,.',,«/)

Оу

где ъ - итоговая рейтинговая оценка, Si - характеризует сложность 1-го задания, а ^ — приоритетность ¡-го вопроса темы. Таким образом, каждый вопрос

снабжается определенной оценкой, который вычисляется с помощью нечеткой модели.

При составлении курса заполняется таблица, содержащая вопрос, его сложность s и приоритетность t. Причем характеристики вопроса могут описываться как количественно (например, по 10-балльной шкале), так и качественно (например, «сложный», «необязательный»).

Далее была создана Fuzzy- модель оценки знаний обучаемого. Были сконструированы 4 лингвистические переменные (ЛП) - «результат», «важность», «сложность» и «оценка». ЛП определены на искусственной числовой шкале [0; 1]. Функции принадлежности термов ЛП задаются Pi-функцией.

ЛП «Результат» в зависимости от вида шкалы может иметь два варианта -«не зачтено», «зачтено» удовлетворительно», «удовлетворительно», «хорошо», «отлично».

ЛП «Важность» характеризует значимость темы в процессе обучения и состоит из трех термов {«средняя», «высокая», «приоритетная»} (рисунок 5)

ЛП «Сложность» характеризует сложность вопроса и состоит из трех термов {«низкая», «средняя», «высокая»} (рисунок 6).

Рисунок 5- Этап конструирования ЛП Рисунок 6- Этап конструирования ЛП «Важность» «Сложность»

ЛП «Оценка» характеризует общую оценку вопроса (с учетом сложности и важности) и состоит из трех термов {«низкая», «средняя», «высокая»}.

Основой функционирования нечеткого логического вывода итоговой оценки знаний является работа машины вывода. Используемый в экспертной

системе механизм нечеткого логического вывода в своей основе имеет базу знаний, формируемую специалистами предметной области в виде совокупности правил-продукций

ЕСЛИ (х, = А,') 1 (х2 = Аг) 1 1(хп = Ап'), ТО (у, = В,к) И (у2 = В/) И И (уп = Вгак) где х, - входная переменная, i е{1,2, ,n}, yj - выходная переменная,] е{1,2, ,m},

А,' - 1-й терм 1-й входной ЛП, возможно с функцией модификатором > (больше), < (меньше) или 1 (отрицание),

Bjk - k-й терм j-й выходной ЛП, возможно с функцией модификатором 1 (отрицание),

J. - лингвистический оператор (И, ИЛИ) или у-оператор Конструирование и настройка нечеткой продукционной модели проводилась в программном комплексе «Конструктор нечетких моделей» в соответствии с руководством пользователя и методиками Прототип модели был создан в программе Fuzzy Expert, а затем проходило его тестирование в программе FSViewer Тестирование проходило во взаимодействии с экспертами данной предметной области - ревизорами ОАО РЖД В процессе тестирования были собраны данные о неправильных действиях модели с добавлением верной экспертной оценки ситуации Собранные таким образом данные использовались для настройки параметров модели (весов правил и форм функций принадлежности ЛП) в программе Fuzzy Expert

Примеры оценок вопросов приведены на рисунке 7 В левой части рисунка приведен вопрос с высокой общей оценкой, в правой — с достаточно низкой общей оценкой Итоговая модель, генерируемая автоматически, для теста из шести тем приведена на рисунке 8 Квадратами здесь обозначены лингвистические переменные, кругами—БП (база знаний), треугольником— вычислительные блоки (блоки нечеткой алгебры)

Рисунок 8- Сгенерированная нечеткая модель для задания с шестью темами

Рисунок 7- Выходная ЛП «Оценка» Вертикальная линия - рассчитанное наиболее предпочтительное числовое значении (дефаззифицированное). Огибающая кривая - результирующая кривая

ВЫХОДНОЙ Jill

В четвертой главе предложена также общая структура системы «Эксперт-тестирование», разработанной автором. Она состоит из следующих укрупненных модулей База данных (хранилище информации), Автоматизированное рабочее место (АРМ) «Преподаватель», АРМ «Обучаемый», АРМ «Администратор»

Таблица 1

Проверка адекватности работы системы «Эксперт-тестирование»

№п/п Баллы Эксперт-тестирование Ревизор

Оценка Вес

1 68 Удовлетворительно 1 Удовлетворительно

2 75 Удовлетворительно 0,8 Удовлетворительно

3 42 Неудовлетворительно 1 Неудовлетворительно

4 21 Неудовлетворительно 1 Неудовлетворительно

5 54 Удовлетворительно 0,9 Удовлетворительно

6 82 Хорошо 0,9 Хорошо

7 96 Отлично 1 Отлично

8 38 Неудовлетворительно 1 Неудовлетворительно

9 65 Удовлетворительно 0,9 Удовлетворительно

10 75 Хорошо 0,8 Удовлетворительно

11 48 Неудовлетворительно 1 Неудовлетворительно

12 88 Хорошо 1 Хорошо

13 92 Отлично 0,9 Отлично

14 84 Хорошо 1 Хорошо

Было проведено сравнение количества набранных баллов и результирующих оценок обучаемых при их опросе с помощью пяти групп экспертов (за результат принят средний балл) и с помощью системы «Эксперт-тестирование» Результаты сходимости представлены в таблице 1

Результаты оценки знаний представлены на рисунке 9 (одно из окон АРМ «Преподаватель»). В левой части окна расположен список участников тестирования (обучаемых) с количеством набранных баллов и результирующей

оценкой. При выборе конкретного обучаемого из списка в правой части

показывается качественная оценка его последнего теста.

Следует обратить внимание, что обучаемые, набравших одинаковое количество баллов (поз. №2 и поз.№10), получили разные результирующие оценки. Различие результатов связано с тем, что при одинаковом количестве правильных ответов один из обучаемых отвечал на более «простые» вопросы. Тем самым достигнута цель - более объективная оценка знаний обучаемых в процессе тестирования. Качественная оценка результатов тестирования данных

обучаемых приведена на рисунках 10 и 11, соответственно.

■ ■ ....... .. ........' . / ] .......................... • • -. •1

1 ■ •

<¡3 1 : [-\ : /

ш с/ м г -

Рисунок 10- Результаты Петриченко И.А. Рисунок 11- Результаты Пашенковой М.С.

Определена целевая функция обучения. В предлагаемой постановке задачи необходимо оптимизировать процесс усвоения материала. Можно описать данную целевую функцию обучения:

^(Удг-Ут) Ä fT

> --- m> --->max

j=ti' Ут Ъ/Э

при ш » 1 и ограничениях

F mm ^ F ^ F тах

t min — ^ — ^ шах

Где т - максимальное число обучаемых,

t - время на обучения специалиста хозяйства перевозок,

Уд1 - достигнутый уровень знаний i-того обучаемого специалиста хозяйства перевозок,

Уш - начальный уровень знаний i-того обучаемого специалиста хозяйства перевозок (уровень знаний до повышения квалификации),

fT - затраты на обучение при старой системе повышения квалификации,

£Э - затраты на обучение при использовании экспертной системы «Эксперт-тестирование»

Выводы

1 Создана логическая структура РСДО нового поколения, позволяющая формировать произвольный набор параметров и задавать алгоритм поведения системы в зависимости от значения этих параметров, а также включать в нее готовые модели обучаемого без предварите чьной настройки

2 На основе положений нечеткой логики и нечетких продукционных моделей разработана автоматизированная система управления знаниями специалистов, деятельность которых непосредственно связана с движением ж т (начальники станций и их заместители, ревизоры по безопасности движения, поездные, маневровые, станционные диспетчеры, дежурные по паркам, станциям, горке) Суть процесса управления заключается в том, что в управлении обучением вместе с преподавателем участвует интеллектуальная

учебная среда, адаптирующаяся к уровню знаний, навыкам и способностям конкретного обучаемого.

3 Предложена целевая функция системы обучения, параметрами которой являются число обучаемых специалистов хозяйства перевозок, финансовые затраты, плановое время и качество обучения Показана как автоматизированная система управления знаниями специалистов позволяет минимизировать затраты на обучение при повышении его качества

4 С использованием принципов комбинаторики и нечеткой логики предложена методика оценки и измерения знаний специалистов в рамках технологии дистанционного обучения и алгоритм создания индивидуальной программы обучения специалистов различного уровня квалификации предприятий ж т

5 Разработан комплекс оценки знаний обучаемых на основе объектно-ориентированного программирования, позволивший создать программный продукт «Эксперт- тестирование», внедренный на Октябрьской железной дороге (филиал ОАО РЖД) и в Международном центре подготовки и переподготовки кадров в области переработки пластмасс при Санкт-Петербургском государственном технологическом институте (техническом университете)

Основные работы, опубликованные по теме диссертации

1 Иванова Н В , Немцов А Б Управление знаниями в области управления и организации производства / Межвузовский сборник научных трудов Шаг в будущее (неделя науки-2003), СПб ПГУПС-С 115-117

2 Иванова Н В , Немцов А Б Управление обучением на основе технологий знаний / Межвузовский сборник научных трудов Шаг в будущее (неделя науки-2003), СПб ПГУПС-С 148-151

3 Немцов А Б , Немцов JIБ Информационно-Техническая поддержка принятия управленческих решений / Материалы 1-ой Междун Конф » «Экономика Управление Логистика» СПб, 2005 - С 79-80

4 Иванова Н В , Немцов А Б Разработка базы знаний и модуля анализа результатов обучения/ Материалы 1-ой Междун Конф » «Экономика Управление Логистика» СПб, 2005-С 121-123

5 Немцов А Б. Использование автоматизированных обучающих систем на железнодорожном транспорте/Сб научн тр Ш'УПС « Современные проблемы информатизации в непромышленной сфере и экономике» - Вып 10 Непромышленная сфера и экономика, СПб, 20005 - С 53-54

6 Иванова Н В , Немцов А Б «Понимание знания как стратегического ресурса / Сб научн тр ПГУПС «Актуальные проблемы железнодорожного транспорта на современном этапе» СПб, 2005.-С 49-50

7 Немцов А Б Методика разработки системы оценки и исследования знаний в процессе дистанционного обучения на предприятиях железнодорожного транспорта / Современные технологии Системный анализ Моделирование Иркутск, 2006 -Вып №4(12) -С 194-197

8 Немцов А.Б Оценка результатов дистанционного обучения» / Автоматика, связь,информатика М,2007.-Вып2 -С44

Подписано в печать с оригинал-макета 22 05 2008 г Формат 60*84 1/16 Бумага для множ апп ризография Уел Печ л 1,25 Тираж 100 Заказ Ч£5

Петербургский государственный университет путей сообщения 190031, СПб, Московский пр, 9 Типография ПГУПС 190031, СПб, Московский пр ,9.

Оглавление автор диссертации — кандидата технических наук Немцов, Александр Борисович

СПИСОК СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1 СОСТОЯНИЕ ПРОБЛЕМЫ И ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ.

1.1 Общие положения.

1.2 Системы дистанционного обучения и экспертно-аналитические системы в России и за рубежом.

1.3 Распределенные системы дистанционного обучения.

1.4 Распределенные автоматизированные обучающие системы дистанционного обучения, использующиеся на железнодорожном транспорте.

1.5 Функции системы дистанционного обучения.

1.6 Схема процесса обучения.

1.7 Преимущества распределенных систем дистанционного обучения.

ВЫВОДЫ И ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ.

2 СОЗДАНИЕ РАСПРЕДЕЛЕННЫХ СИСТЕМ ДИСТАНЦИОННОГО ОБУЧЕНИЯ.

2.1 Организация распределенных систем дистанционного обучения.

2.1.1 Особенности функционирования программного обеспечения.

2.1.2 Протокол обмена данными между ядром системы дистанционного обучения и вспомогательным программным обеспечением.

2.2 Основные характеристики распределенной системы дистанционного обучения как программного комплекса.

2.3 Пользователи системы дистанционного обучения.

2.4 Логическая структура обучающей системы.

2.4.1 Общая структура.

2.4.2 Взаимодействие с обучаемым.

2.4.3 Подсистема управления обучением.

2.4.4 Модель предметной области.

2.4.5 Требования к модели предметной области.

2.4.6 Семантическая связь.

2.4.7 Анализ модели предметной области.

2.4.8 Модель обучаемого.

2.4.9 Преобразование модели обучаемого.

2.4.10 Дополнительные возможности.

2.5 Организация контроля знаний.

2.5.1 Общие положения.

2.5.2 Схемы проведения контроля.

2.5.3 Параметры проведения контроля.

2.5.4 Способы формирования актуального множеств вопросов.

3 МОДУЛЬНЫЕ ТЕХНОЛОГИИ ОБУЧЕНИЯ.

3.1 Описание технологий.

3.2 Функциональная схема дистанционного обучения.

3.3 Математический аппарат учета неопределенности в системе оценки знаний.

4 ОЦЕНКА ЗНАНИЙ И РАЗРАБОТКА ИНДИВИДУАЛЬНОЙ ПРОГРАММЫ ОБУЧЕНИЯ ПЕРСОНАЛА НА ЖЕЛЕЗНОДОРОЖНОМ ТРАНСПОРТЕ.

4.1 Оценка знаний на основе Fuzzy- моделирования.

4.2 Конструирование Fuzzy- модели оценки знаний.

4.3 Структура системы «Эксперт-тестирование».

4.4 Минимизирование затрат при повышении качества обучения.

ВЫВОДЫ.

Введение 2008 год, диссертация по информатике, вычислительной технике и управлению, Немцов, Александр Борисович

Обоснована актуальность темы, сформулированы основные дели и задачи исследования, дана общая характеристика разработанных организационных механизмов управления повышением квалификации, а также полученных основных научных результатов

В постиндустриальном обществе знания становятся главным ресурсом экономики, поэтому требования к профессиональной подготовке специалистов постоянно растут.

В организации реформировании обучения, связанного с повышением квалификации персонала, необходимо учитывать следующие основные тенденции, обусловленные условиями рыночной экономики: человек выступает активным субъектом на рынке труда, свободно распоряжающимся своим главным капиталом — знаниями. Сегодня для значительной части трудоспособного населения, да и части молодежи, крайне трудно преодолеть психологический барьер перехода из позиции наемного государственного работника к позиции активного субъекта рынка труда; в силу чрезвычайно высокой подвижности ее конъюнктуры каждому человеку приходится не только часто менять место работы, но и в среднем на протяжении трудовой жизни 5-6 раз менять профессию.

В настоящее время в РФ идет глубокая реформа железнодорожного транспорта, поэтому общая теоретическая и техническая подготовка специалистов становится более необходимой, чем прежде. Среди многочисленных категорий персонала ведущее место занимают специалисты, чья деятельность непосредственно связана с движением транспорта (начальники станций и их заместители; ревизоры по безопасности движения; поездные, маневровые, станционные диспетчеры; дежурные по паркам, станциям, горке). На железнодорожном транспорте сложилась система подготовки, переподготовки и повышения квалификации кадров. Она включает высшее профессиональное образование в вузах , средне профессиональное — в техникумах и колледжах железнодорожного транспорта, структуры дополнительного образования и повышения квалификации при учебных заведениях, таких, например, как Российская академия путей сообщения. На всей железной дороге действуют Учебные Центры со своими филиалами на отделениях и крупных узлах. Учитывая специфику железнодорожного транспорта, особое развитие получили системы дистанционного обучения (СДО). Развитие вычислительных сетей и телекоммуникационных технологий позволило СДО выйти на качественно новый уровень путем создания распределенных систем дистанционного обучения (РСДО). Однако имеющиеся РСДО используются в основном для тестирования, что крайне ограниченно использует их возможности.

Организация РСДО нового поколения требует создания общих принципов построения систем контроля знаний, проработки сетевых аспектов работы системы, связанных с предоставлением удаленного доступа к системе, поддержкой распределенных данных и объединением сетевых ресурсов для стоящих перед системой задач. Одной из важнейших задач при создании РСДО является организация контроля знаний, а именно их измерения и оценки. Большинство существующих СДО и систем контроля знаний имеют конечное количество форм представления ответов и двухбалльную систему оценки. Причина этого заключается в простоте анализа и отсутствии формальных методов измерения и дифференцированной оценки ответов обучаемых на контрольные вопросы. Это существенно ограничивает возможности разработчика курса в отношении использования различных вариантов тестовых вопросов и анализа ответов обучаемых, и впоследствии может привести к неверным решениям о соответствии специалиста занимаемой должности. Создание СДО, лишенных этих недостатков, требует перехода к новому способу управления обучением.

Целью настоящей работы явилось: на основе использования дистанционных и- распределенных технологий обучения создать автоматизированную систему управления процессом повышения квалификации специалистов предприятий железнодорожного транспорта, в котором вместе с преподавателями участвует интеллектуальная учебная среда, адаптирующаяся к уровню знаний, навыкам и способностям конкретного обучаемого.

Задачи исследования. Для реализации поставленной цели необходимо создать следующие составляющие автоматизированной системы управления:

1. логическую структуру обучающей системы, включающую модель предметной области, модель обучаемого и сведения о стратегии обучения.

2. методы измерения и оценки знаний специалистов в распределенной системе дистанционного обучения персонала железнодорожного транспорта;

3. методы измерения и оценки знаний персонала железнодорожного транспорта;

4. методику проведения анализа и дифференцированной оценки эффективности управления знаниями специалистов.

Основные положения, выносимые на защиту: логическая структура РСДО нового поколения; автоматизированная система управления знаниями специалистов; алгоритм создания индивидуальной программы обучения; методика измерения и оценки знаний специалистов в рамках технологии дистанционного обучения; программный продукт «Эксперт- тестирование», разработанный на основе концепции комплекса оценки знаний обучаемых.

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на Межвузовских научно-технических конференциях студентов, аспирантов и молодых ученых ( ПГУПС- 2003, 2005, 2006).

Публикации. По теме диссертации опубликовано 8 работ, из них две— в «Перечне» ВАК РФ.

Внедрение. Разработанный программный продукт «Эксперт- тестирование» внедрен в дистанции вагонного хозяйства ВЧ-8 и в вагонном депо ВЧД-10 третьего отделения Октябрьской железной дороги.

Работа выполнена в рамках утвержденной Правительством РФ Федеральной целевой программы «Модернизация транспортной системы России 2002-2010 годы», подпрограмма «Железнодорожный транспорт».

Заключение диссертация на тему "Образовательные комплексы распределенных систем дистанционного обучения для специалистов предприятий железнодорожного транспорта"

ВЫВОДЫ

1. Создана логическая структура РСДО нового поколения, позволяющая формировать произвольный набор параметров и задавать алгоритм поведения системы в зависимости от значения этих параметров, а также включать в нее готовые модели обучаемого без предварительной настройки.

2. На основе положений нечеткой логики и нечетких продукционных моделей разработана автоматизированная система управления знаниями специалистов, деятельность которых непосредственно связана с движением ж.т. (начальники станций и их заместители; ревизоры по безопасности движения; поездные, маневровые, станционные диспетчеры; дежурные по паркам, станциям, горке). Суть процесса управления заключается в том, что в управлении обучением вместе с преподавателем участвует интеллектуальная учебная среда, адаптирующаяся к уровню знаний, навыкам и способностям конкретного обучаемого.

3. Предложена целевая функция системы обучения, параметрами которой являются число обучаемых специалистов хозяйства перевозок, финансовые затраты, плановое время и качество обучения. Показана как автоматизированная система управления знаниями специалистов позволяет минимизировать затраты на обучение при повышении его качества.

4. С использованием принципов комбинаторики и нечеткой логики предложена методика оценки и измерения знаний специалистов в рамках технологии дистанционного обучения и алгоритм создания индивидуальной программы обучения специалистов различного уровня квалификации предприятий ж.т.

5. Разработан комплекс оценки знаний обучаемых на основе объектно-ориентированного программирования, позволивший создать программный продукт «Эксперт- тестирование», внедренный на Октябрьской железной дороге (филиал ОАО РЖД) и в Международном центре подготовки и переподготовки кадров в области переработки пластмасс при Санкт-Петербургском государственном технологическом институте (техническом университете).

Библиография Немцов, Александр Борисович, диссертация по теме Системный анализ, управление и обработка информации (по отраслям)

1. -Т. 18. - С.236.

2. Гиркин И.В. Новые подходы к организации учебного процесса с использованием современных компьютерных -технологий // Информационные технологии, 1998.- № 6.- С. 44-47.

3. Карпов В.Э., Карпова И.П. К вопросу о классификации систем // Информационные технологии, 2002.-№2.- С.35-38.

4. Котус Р., Влейминк И. Интерфейс «человек-компьютер»: Пер. с англ. -М: Мир, 1990.-501с.

5. Булгаков М.В., Якивчук Е.Е. Инструментальные системы для разработки обучающих программ / В кн. «Компьютерные технологии в высшем образовании». // Ред. кол.: А.Н. Тихонов, В.А. Садовничий и др. -М.: Изд-во Моск. ун-та., 1994. С. 153-162.

6. Васин Б.И., Галаев Д.А., Лаптев B.C. Инструментальные программные средства. М.: Наука, 1996.- 155 с.

7. Bloom В.S. The sigma Problem: The search for Methods of Group Instruction as Effective as One-to-One Tutoring // Education Researcher, 1984.-№13. -P.3.

8. Афанасьев B.B., Афанасьева И.В., Тыщенко О.Б. Основные компоненты компьютерных технологий обучения // НИИВО 23.04.98, № 8698, деп. Муром. Ин-т, фил-л Владим. гос. Ун-та. Муром: 1998. -8 с.

9. Растригин Л.А. Адаптивное обучение с моделью обучаемого. Рига: Зинатне, 1988. 160с.

10. Проблемы создания автоматизированных обучающих систем и тестирующих систем. Сборник науч. трудов Новочеркасского гос. ун-та / Редколл. Иванченко А.И. и др. Новочеркасск, 2001. — 199с.

11. Мартынов Д.В., Смольникова И.А. Искусственный интеллект и образование. // Тезисы научно-метод. конф.«Информационные технологии в обучении», Москва, 1999. http://ito.bitpro.ru/.

12. Основы эксплуатационной работы железных дорог: Учеб. Пособие для студентов сред. проф. образования / В.А. Кудрявцев, В.И. Ковалев, А.П. Кузнецов и др.; Под ред. В.А. Кудрявцева. М.: ПрофОбрИздат, 2002. -352с.

13. Джалалуддин А.К. Применение компьютеров для целей непрерывного образования // Перспективы, 1991.- №2. С. 72-89.

14. Каперко А.Ф., Карпов В.Э., Королев А.В. Система управления сложным техническим объектом на основе распределенной операционной системы реального времени // Датчики и системы, 2001- №2. С. 18-21.

15. Малышев Ю.А., Нежурина М.И., Шатровский В.А. Технологии представления учебных курсов для дистанционной формы обучения в среде WWW. // Информационные технологии, 1997.- №6. — С. 39-42.

16. Мильнер Б.З. Управление знаниями. М.: ИНФРА-М, 2003. - T.XIV.-С. 178.

17. Ronald G. Ragsdale. Effective Computing in éducation: tools and training // Education and Computing, 1991.- V.7. P. 157-166.

18. Ретинская И.В. Системы и методы поддержки принятия решений по оценке качества и выбору компьютерных средств учебного назначения (Обзор). // Информационные технологии, 1997.- №6. С. 42-44.

19. Искусственный интеллект : В 3-х кн. Кн. 1. Системы общения и экспертные системы: Справочник / Под ред. Э.В. Попова. М.: Радио и связь, 1990.-464 с.

20. Лукас В.А. Теория автоматического управления. М.: Недра, 1990. -416с.

21. Управление знаниями: Пер.с англ./ М.К.Румизен.- 000 «Издательство АСТ»: 000 «Издательство Астрель»; 2004. T.XVIII.-312 с.

22. Баринова С.Н. Автоматизированные учебные курсы и их влияние на качество процесса обучения / Материалы конференции «Информационные технологии в образовании», 1999. — http://ito.bitpro.ru.

23. Карлащук В.И. Обучающие программы. М.: «СОЛОН-Р», 2001. -528с.

24. Wenger Etienne. Artificial Intelligence and Tutoring Systems (Computational and Cognitive Approaches to the Communication of Knowledge) // Morgan Kaufman Publishers. Los Altos, California, USA, 1987. - 487p.

25. Hebenstreit J. Computers in education — The next step // Education and Computing, 1995.-V.l. -P.37-43.

26. Джалиашвилли 3.O., Николаев Д.Г. Сетевые технологии как эффективное средство поддержки дистанционного обучения // Материалы конференции «Информационные технологии в образовании», 2001. — http://www.bitpro.ru/.

27. Кулешов В.К. О дистанционном обучении специальности. «Радиотехника» в МЭИ. // Радиотехнические тетради, 1994.- №6. С. 65-66.

28. Орехов В.Д. Дистанционная технология переподготовки руководителей для работы в рыночных условиях // Машиностроитель, 1995.-№4-5.- С.12-13.

29. Кибернетика и проблемы обучения: Сборник переводов / Ред. и предисл. А.И. Берга. М.: Прогресс, 1970. - 389 с.

30. Coulson J.E. Computers in research and development on automated instruction.// "Proceedings of the IV-th international congress of cybernetic medicine", Nice, 1996. P. 241-257.

31. Зайцева Ж.Н., Солдаткин В.И. Генезис виртуальной образовательной среды на основе интенсификации информационных процессов современного общества // Информационные технологии, 2000.- №3. — С. 44-48.

32. Морозевич А.И., Комличенко В.H., Гедранович В.В. Стратегия автоматизации управления познавательной деятельностью на основе информационной модели образовательного процесса // Информационные технологии, 2000.- №5. -С. 47-52.

33. Attel U. Обучающая вычислительная машина: моделирование в истинном масштабе времени обучающего диалога / В сб. «Кибернетика и проблемы обучения» / Ред. и предисл. А.И. Берга. М.: Прогресс, 1970. - С. 206-228.

34. Домрачев В.Г., Ретинская И.В. О классификации образовательных информационных технологий //Информационные технологии, 1996.- №2. С. 10-13.

35. Сивохин А.В. Представление знаний в интеллектуальных системах обучения / Уч. пос. Пенза: ППИ, 1990. -86 с.

36. Грибкова В.А., Зайцева JI.B., Новицкий Л.П. Управление адаптивным диалогом в автоматизированных обучающих системах. Методические указания. Рига: РПИ, 1988.- 52с.

37. Журавлева И.И. Интеллектуальные обучающие системы в дистанционном образовании // Материалы конференции «Информационные технологии в образовании», 2001. http://www.bitpro.ru/

38. Немцов А.Б, Немцов Л.Б. Информационно-техническая поддержка принятия управленческих решений/ Материалы 1-ой Междун. научно-практ.конф. «Экономика. Управление.Логистика».М.:2005.- С.79-80.

39. Немцов А.Б. Оценка результатов дистанционного обучения // Автоматика, связь, информатика, 2007. -Вып.2. -С.44.

40. Bork A. Computer and Information Technology as a learning Aid // Education and Computing, 1985.- V. 1№1P. 29-34

41. Иванова H.B., Немцов А.Б. Управление обучением на основе технологий знаний / Межвузовский сборник научных трудов. Шаг в будущее (неделя науки 2003), СПб.: ПГУПС.- С. 148-151.

42. Wenger Etienne. Artificial Intelligence and Tutoring Systems (Computational and Cognitive Approaches to the Communication of Knowledge)// Morgan Kaufmann Publishers. Los Altos, California, USA, 1987. - 487p.

43. W Intelligent Tutoring Systems: Proceedings of Second International

44. Conference // University de Montreal. Canada, 1988, - 578 p.

45. Тезисы докладов Международной конференции-выставки «Информационные технологии в непрерывном обучении» Петрозаводск: 59 июня 1995г. - http://petrsu.karelia.ru/psu/general/conferences/data/19950605

46. Тезисы докладов уч.-мет. конференции «Современные информационные технологии в учебном процессе» Ростов: РГУ, 25-26 апреля 2000 г. - http://www.uic.rsu.ru/~nprohoro/DO/

47. Использование сети ISDN в системе дистанционного обучения // НПЦ Инфосфера http://www.infosfera.ru/

48. Рудинский И.Д. Принципы интеллектуального автоматизированного тестирования знаний // Материалы конференции «Информационные технологии в образовании», 2001. — http://www.bitpro.spb.ru/

49. Обработка нечеткой информации в системах принятия решений / А.Н. Борисов, A.B. Алексеев, Г.В. Меркурьева и др. М.: Радио и связь, 1989. -304с.

50. Волкова В.Н. Денисов A.A. Основы теории систем и системного анализа. СПб. Изд.: СПбГТУ, 1999.- 184 с.

51. Гайдышев И. Анализ и обработка данных: специальный справочник -СПб: Питер, 2001 г. 752с.

52. Кручинин В.В., Ямпольский С.З. Инструментальные системы для создания электронных учебников, практикумов // Материалы конференции «Новые информационные технологии в обучении» Новосибирск: 1995. -http://src.nsu.ru/conf/nit/95/

53. Марселлус Д. Программирование экспертных систем. Пер. с англ. / Предисл. C.B. Трубицына. М.: Финансы и статистика, 1994. - 256с.

54. Оцуки С. Приобретение знаний и обучение в диалоге // В кн. «Приобретение знаний»: Пер. с япон. / Под ред. С. Осуги, Ю. Саэки. М.: Мир, 1990.-304с.

55. Представление и использование знаний: Пер. с япон./ Под ред. X. Уэно, М. Исудзука. М.: Мир, 1989. - 220 с.

56. Горюнов Ю.П. Логическая структура курса и обучающий алгоритм курса. /В сб.: Программированное обучение и кибернетические обучающие машины. / Под ред. Шестакова А.И. -М.: Сов. Радио, 1963. С. 24-31.

57. Александров Г.Н. Программированное обучение и новые информационные технологии обучения // Информатика и образование, 1999.-№5.-с.7-19.

58. Соловов А.В. Проектирование компьютерных систем учебного назначения: Учебное пособие. Самара: СГАУ, 1995. — 137 с.

59. Приобретение знаний: Пер. с япон. / Под ред. С. Осуги, Ю. Саэки. — М.: Мир, 1990.-304с.

60. Брусиловский П.Л. Адаптивные обучающие системы в Word Wide Web: обзор имеющихся в распоряжении технологий http://ifets.ieee.org/russian/depository/WWWITS.html

61. Мазурина С.М. Разработка моделей представления и обработки знаний в продукционных экспертно-обучающих системах // Дисс. канд. техн. наук -М.: МГИЭМ, 1995.-147 с.

62. Лорьер Ж.-Л. Системы искусственного интеллекта./ Пер. с франц. -М.: Мир, 1991. 568с. (Алгоритм унификации - с. 116-161.)

63. Логический подход к искусственному интеллекту: от классической логики к логическому программированию / Пер. с франц. М.: Мир, 1990. -432с.

64. Поспелов Д.А. Семиотические модели в управлении. / В кн. «Кибернетика. Дела практические». М.: Наука, 1984. - С. 70-87.

65. Лекции по теории графов / Емиличев В.А., Мельников О.И., Сарафанов В.И., Тышкевич Р.И. М: Наука (Гл. ред. физ-мат. лит.), 1990.384 с.

66. Маминков А.Г. Принятие решений и информация. М.: Наука, 1983. - 184с.

67. Иванова Н.В., Немцов А.Б. Разработка базы знаний и модуля анализа результатов обучения/ Материалы 1-ой Междун. конф.» «Экономика. Управление. Логистика». СПб, 2005.- С. 121-123.

68. Агеев В.Н. Электронные учебники и автоматизированные обучающие системы. -М.: 2001.- 79с.

69. Аванесов B.C. Научные проблемы тестового контроля знаний / Монография.-М.: Исследовательский центр проблем качества подготовки специалистов, 2004. 135с.

70. Карпов В.Э., Карпова И.П. Язык описания системы контроля знаний // Компьютеры в учебном процессе, 2000.- №4.- С.147-155.

71. Карташева О.В. Использование адаптивной системы тестирование АСТ-Тест для контроля знаний при дистанционном изучении темы «Базы данных» //Материалы конференции «Информационные технологии в образовании», 2001. http://www.bitpro.ru/

72. Уотерман Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989.-388 с.

73. Ивахненко А.Г. Долгосрочное прогнозирование и управление сложными системами. — Киев: Техника, 1975.-311с.

74. Проблемы прогнозирования и оптимизации работы транспорта. / Под ред. JI.B. Канторовича, В.Н. Лившица-М.: Наука, 1982.—328с.

75. Растригин JI.A. Адаптация сложных систем.-Рига: Зинатне, 1981.-375с.

76. A.c. 2000610208 (Россия). Конструктор нечетких моделей / В.Н.Гиляров, Л.Б.Немцов, и др. Опубл. в Б.И., 2000, № 2.-4с.

77. Немцов Л.Б. Инструментарий для разработки нечетких (fuzzy) автоматизированных систем прогнозирования и диагностики // Автоматизация и современные технологии. 2004. - № 9 - С. 3 - 5

78. Руденко А.П. Системно-структурный подход в химии / Вестник Московского университета.- М.: Химия.-1973.- Т.-14.- №6.- С.751-752.

79. Емельянов С.В., Наппельбаум Э.Л. Системы, целенаправленность, рефлексия / Системные исследования. Методологические проблемы. Ежегодник.- М.: Наука.- 1981.- С. 7-38.

80. Юдин Э.Г. Системный подход и принцип деятельности. М.: Наука.-1978.- 392 с.

81. Петрушин В.А. Экспертно-обучающие системы. Киев: Наукова думка, 1991.- 196 с.

82. Вебер A.B., Данилов А.Д., Шифрин С.И. Knowledge-технологии в консалтинге и управлении предприятием СПб: Наука и Техника, 2003. -176 с.

83. Колесников А.О. Реализация авторской системы в сетевой среде // http://www.ulstu.ru/conf/NMK99/2-14.htm.

84. Березин Н.В. Перспективы создания системы адаптированного тестирования как элемента централизованного тестирования / Научный вестник МГТУ ГА, серия «Информатика», 2001, № 38. с.26-30.

85. Гради Буч. Объектно-ориентированное программирование.!^.: АСТ:АСТРЕЛЬ, 2004.-318 с.

86. Искусственный интеллект.- В 3-х кн. Кн.1. Системы общения и экспертные системы: справочник / Под ред. Э.В. Попова.-М.:Радио и связь, 1990.- 464 с.

87. Иванова Н.В., Немцов А.Б. Управление знаниями в области управления и организации производства / Межвузовский сборник научных трудов. Шаг в будущее (неделя науки 2003), СПб.: ПГУПС.- С. 115-117.

88. Немцов А.Б. Методика разработки системы оценки и исследования знаний в процессе дистанционного обучения на предприятиях железнодорожного транспорта / Современные технологии. Системный анализ. Моделирование. Иркутск, 2006.-Вып.№4 (12).-С.194-197.