автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Комплексная автоматизация и управление процессами аттестации персонала промышленных предприятий

На правах рукописи

ПОПОВ Дмитрий Иванович

КОМПЛЕКСНАЯ АВТОМАТИЗАЦИЯ И УПРАВЛЕНИЕ ПРОЦЕССАМИ АТТЕСТАЦИИ ПЕРСОНАЛА ПРОМЫШЛЕННЫХ ПРЕДПРИЯТИЙ

Специальность 05.13.06 - Автоматизация и управление технологическими процессами и производствами (промышленность)

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

ииз!75215

Москва-2007

003175215

Работа выполнена на кафедре Информационных технологий в

Государственном образовательном учреждении высшего

профессионального образования Московском государственном университете печати

Официальные оппоненты:

доктор технических наук, профессор СУВОРОВ Дмитрий Наумович, МАДН (ГТУ)

доктор технических наук, профессор БАЛДИН Александр Викторович, МГТУ им.Баумана

доктор технических наук, профессор ГОРБУНОВ Владимир Леонидович, ФГУ НИИ РИНКЦЭ

Ведущая организация: Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования (РосНИИ ИТ и АП), г. Москва.

Защита состоится 13 ноября 2007 г. в 10 00 на заседании диссертационного совета Д212 126 05 Московского автомобильно-дорожного института (государственный технический университет) по адресу

125319, ГСП А-47, г Москва, Ленинградский просп, д 64

С диссертацией можно ознакомиться в библиотеке МАДИ (ГТУ)

Текст автореферата размещен на сайте Московского автомобильно-дорожного института (государственного технического университета) www madi ш и на сайте ВАК РФ vak.ed gov ru

Автореферат разослан " " октября 2007 г.

Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института

Ученый секретарь диссертационного совета, кандидат технических наук, доцент ~ Михайлова Н В

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы.

В современном обществе информационные технологии, профессиональные навыки и знания представляют собой важнейший ресурс дальнейшего развития человечества Одним из важнейших условий, влияющих на переход мирового сообщества от индустриального этапа к информационному этапу, является информатизация процессов в промышленности, в образовании, смена и усовершенствование концепции профессионального образования Этим объясняется то внимание, которое уделяют в последние годы правительства, национальные и международные организации использованию новых информационных и коммуникационных технологий в промышленности и образовании.

В последние годы в области информационных и коммуникационных технологий наблюдается значительный прогресс, в результате которого поколения компьютерного оборудования и программного обеспечения быстро приходят на смену друг другу, появляются различного рода новые информационные технологии. Совершенно очевидными стали тенденции, ведущие к формированию информационного общества. Все это требует критического пересмотра состояния и перспектив развития системы подготовки и аттестации кадров для предприятий промышленности

Повсюду в мире отмечается тенденция к увеличению потока данных. Цифровая технология произвела своего рода революцию, она позволяет объединить в цифровой форме текст, графическое и видеоизображение, речевое и музыкальное сопровождение, на основе этой технологии создаются мощные новые средства представления и передачи знаний, а также средства тренинга профессионалов, повышения уровня их обученности, аттестация их знаний Относительно низкая стоимость современных технических устройств и их большая мощность в значительной степени способствуют их распространению Неуклонный процесс распространения компьютеров в сферах промышленности и транспорта способствует росту понимания потенциала стратегий компьютеризации в качестве экономически выгодного решения целого ряда проблем, связанных с обучением и аттестацией персонала предприятий и повышением их квалификации, в идеальном случае, - безотрывно от работы на производстве

Тем более все это имеет большую важность для промышленных предприятий на современном этапе развития общества, когда внедрение информационных технологий охватывает практически все технологические и производственные процессы в этих отраслях К сожалению, существующая традиционная система образования уже не всегда способна удовлетворить все возникающие потребности Поэтому очень актуальным является решение вопросов, связанных с автоматизацией процессов аттестации и обучения персонала предприятий промышленности В настоящее время существует множество направлений, где требуются подобного рода образовательные и аттестационные услуги Это и привычное среднее, и высшее, и профессиональное образование, и переподготовка кадров в связи с использованием на рабочих местах новейшей техники и технологий, и различные образовательные программы для персонала предприятий, и аттестационные комиссии на предприятиях Очевидна при этом и сложность организации процессов обучения и аттестации по всем направлениям на предприятиях промышленности Компьютеры и

информационные технологии являются одновременно самым популярным средством организации процесса аттестации и обучения

Решением многих существующих проблем на данном этапе может стать автоматизированная система аттестации и обучения персонала, которая позволит, во-первых, объединить знания и опыт лучших профессионалов в данной области, во-вторых, сделать эти знания доступными для тысяч желающих научиться посредством интернет-технологий Профессионалы получат возможность более широкого распространения ценных знаний и методик, а пользователи и персонал предприятий получат возможность учиться когда, где и как им удобно Подобная концепция организации информационно-образовательных услуг способствует повышению уровня образованности персонала на предприятиях промышленности, и, как следствие, экономическому росту и улучшению благосостояния в различных отраслях народного хозяйства.

Важнейшей особенностью систем нового поколения является возможность индивидуализации процессов обучения и аттестации за счет использования интеллектуальных средств и методов Поэтому разработка интеллектуальных методов и средств автоматизации процессов аттестации и обучения персонала промышленных предприятий является важной и актуальной задачей на современном этапе Именно решению таких задач посвящена данная работа. Следует заметить, что существующие методы и разработки в автоматизированных системах аттестации персонала, а также используемые программные и технические средства достигли определенной степени развития и могут рассматриваться, как стартовый уровень для реализации таких технологий Однако вопросы, связанные с методологией и технологией проектирования таких систем, а также задачи обеспечения качества, мониторинга обучения и аттестации остаются по-прежнему в большей степени открытыми

Все вышесказанное подчеркивает актуальность проблем автоматизации и управления процессами аттестации персонала предприятий промышленности, решению которых и посвящена настоящая диссертационная работа

В работе рассматриваются методики и технологии комплексной автоматизации управления процессами аттестации персонала предприятий промышленности, анализируются и исследуются существующие подходы в этом направлении, предлагаются теоретические выкладки, приводятся примеры реализации различных модулей автоматизированной системы аттестации и обучения персонала предприятий промышленности

Цели и задачи. Целью настоящей диссертационной работы является разработка теоретических и методологических основ комплексной автоматизации и управления процессами аттестации персонала предприятий промышленности на основе моделей и алгоритмов представления и оценки знаний, методов нечеткой логики и непараметрической статистки

Для достижения указанной цели в диссертации решены следующие задачи

1 Создана методология и технология проектирования автоматизированных систем аттестации персонала предприятий промышленности

2 Разработана типовая архитектура образовательной среды повышения квалификации и аттестации персонала предприятий, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения.

3 Разработаны усовершенствованные модели и алгоритмы представления и оценки знаний на основе пространств знаний, позволяющие оптимизировать структуры хранения знаний в образовательном процессе и минимизировать время анализа существующих знаний

4 Разработан метод адаптивной аттестации на основе механизмов нечеткой логики, позволяющий имитировать контроль знаний на устном экзамене, что сокращает время аттестации и повышает точность оценки знаний

5 Разработаны методы экспертной оценки характеристик аттестационных материалов на основе методов непараметрической статистики и кластерного анализа, которые сокращают время экспертизы и адаптированы на реализацию в интернет-системах

6 Проведена оценка эффективности предлагаемых методов и алгоритмов на основе моделирования и расчетного исследования

Научная новизна работы заключается в следующем

1 Разработаны усовершенствованные методы представления и оценки знаний на основе пространств знаний, позволяющие оптимизировать структуры хранения знаний в автоматизированных системах аттестации персонала промышленного предприятия и минимизировать время построения пространств знаний

2 Разработан новый метод адаптивной оценки уровня аттестации знаний на основе нечеткой логики, повышающие верность оценки знаний

3 Для повышения качества экспертизы аттестационных материалов и верности оценки знаний, предложены математические методы и алгоритмы экспертной оценки характеристик аттестационных материалов

4 Предложена новая методология и технология проектирования автоматизированных систем аттестации персонала промышленного предприятия, основанная на методах нечеткой логики, пространств знаний и непараметрической статистки

5 Предложена типовая архитектура автоматизированной системы повышения квалификации и аттестации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения и аттестации

6 Разработано новое математическое и программное обеспечение с использованием методов представления и оценки знаний для автоматизации и управления процессами аттестации и повышения квалификации персонала промышленного предприятия

Новизна некоторых из предложенных технических решений защищена

авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ

№№2004612524, 2004612525, 2007612281, 2007613720

Практическая ценность результатов состоит в следующем

1 Разработанные алгоритмы представления пространств знаний позволяют при определенных условиях увеличить скорость обработки пространств знаний от 10 до 30%

2 Практическая реализация метода адаптивной аттестации позволяет сократить время проведения аттестации и получить более точные результаты аттестации

3 Методы и модели расчета рассекречивания банков аттестационных материалов, вероятности случайного угадывания ответов на аттестационные задания и адаптивной аттестации на основе нечеткой логики позволяют устанавливать

практические рекомендации по своевременному обновлению, изменению тестовых материалов

4 Методы и алгоритмы обработки экспертной оценки характеристик аттестационных материалов, на основе непараметрической статистики и кластерного анализа, позволяют повысить качество аттестационных материалов

5 Предложенный выборочный метод позволяет сократить время экспертизы и сертификации аттестационных материалов при определенных условиях от 7 до 27,5%

6 На основе предлагаемой методологии и технологии проектирования автоматизированных систем аттестации персонала предприятий промышленности осуществлена разработка следующих автоматизированных систем

• система автоматизированной экспертизы качества аттестационных материалов,

• система повышения квалификации и обучения персонала предприятия без отрыва от производства.

Практическая значимость диссертационной работы подтверждается соответствующими актами о внедрении результатов исследований, авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ, документами о присвоении номеров государственной регистрации программным продуктам в фонде алгоритмов и программ, почетным дипломом выставки ВВЦ, приказами об объявлении благодарности Министерства РФ работникам сферы образования №13-60 от 18 03.2002 и № 4702 от 30 12 02

Предложенные методы легли в основу технологии проведения экспертизы и сертификации тестовых материалов Органом сертификации (аттестат аккредитации № РОСС RU.0001 11СП13 от 17 12 03) и испытательной лаборатории (аттестат аккредитации № РОСС RU 0001 21СП41 от 17 07 07)

Внедрение результатов. Результаты диссертации внедрены и применяются Федеральной службой по надзору в сфере образования и науки для экспертизы тестовых материалов Методология и технология оценки качества аттестационных материалов внедрены в Московском государственном университете печати, Донском государственном техническом университете, Таганрогском государственном радиотехническом университете, в AHO «Центр образовательных коммуникаций и тестирования профессионального образования», в ООО «Независимый центр тестирования качества обучения (АСТ-Ценгр)», на предприятии ЗАО «НПВФ «СВАРКА» Результаты работы также использованы при выполнении госбюджетных НИР в 2001-2003 гг (регистрационные номера отчетов ВНТИЦ 02200206551, 02200300381, 02200206550, 02200300383, 02200204937, 02200300382, 02200201029), а также при выполнении государственного контракта НИР № 1070 (2003-2004гг) Обоснованность и достоверность результатов.

Обоснованность результатов диссертационной работы, полученных с использованием признанных научных положений и апробированных методов исследования, подтверждается корректным применением математического аппарата и согласованностью этих новых результатов с известными теоретическими положениями

Достоверность результатов подтверждается согласованностью расчетных данных, полученных с помощью математического моделирования, алгоритмов и программ моделирования и научных выводов

На защиту выносятся следующие положения

1 Методология и технология проектирования автоматизированных систем аттестации персонала промышленного предприятия, ориентированные на математическое и программное обеспечение, разработанное в данной диссертации

2 Разработанные математические методы организации и обработки знаний на основе пространств знаний, позволяющие повысить эффективность структуры хранения знаний в автоматизированных системах и минимизировать время построения пространства знаний

3 Методы и модели расчета рассекречивания банков аттестационных материалов, вероятности случайного угадывания ответов на аттестационные задания и адаптивной аттестации на основе нечеткой логики

4 Методика классификации форм аттестационных материалов на основе функции оценки ответа.

5 Методология и технология автоматизации и управления процессов экспертизы и сертификации качества аттестационных материалов

6 Разработанные математические методы и алгоритмы обработки экспертной оценки характеристик аттестационных материалов, на основе непараметрической статистики и кластерного анализа, повышающие качество аттестационных материалов

7 Архитектура автоматизированной системы повышения квалификации и аттестации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения и аттестации с соответствующим математическим обеспечением

Авторский вклад Все выносимые на защиту результаты и положения диссертационной работы получены и разработаны лично автором, или при его непосредственном участии

Апробация результатов работы. Основные научные результаты, полученные в ходе диссертационного исследования, докладывались и обсуждались на следующих конференциях, выставках и конгрессах- международной научно-методической конференции «Новые информационные технологии в преподавании электротехнических дисциплин» (Астраханский государственный технический университет, 1998), Первой Всероссийской научной конференции молодых ученых и аспирантов (Таганрогский государственный радиотехнический университет, 1998), Третьей Всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии Разработка и аспекты применения» (Таганрог, ТРТУ,

2000), V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» (Таганрог, ТРТУ, 2000), Восьмой международной конференции «Открытое образование в России XXI века» (Москва, МЭСИ, 2000), конгрессе «Искусственный интеллект в XXI веке» (Москва,

2001), 2-ой Всероссийской конференции «Электронные учебники и электронные библиотеки в открытом образовании» (Москва, МЭСИ, 2001), международной научно-методической конференции Телематика (Санкт-Петербург, 2001), III Научно-

методической конференции «Развитие системы тестирования в России» (Москва, Центр тестирования Министерства образования РФ, 2001), 1-й Международной научно-практической конференции «Проблемы регионального управления, экономики, права и инновационных процессов в образовании» (Таганрог, ТИУиЭ, 2001), четвертой Всероссийской научной конференции с международным участием молодых ученых и аспирантов «Новые информационные технологии Разработка и аспекты применения» (Таганрог, ТРТУ, 2001), седьмой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (Москва, МЭИ, 2001); IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002, Divnomorskoe), Всероссийской научно-методической конференции Телематика'2002 (Санкт-Петербург, 2002), Международных конференциях «Искусственные интеллектуальные системы» (IEEE AIS'02) и «Интеллектуальные САПР» (CAD-2002) (Дивноморское, 2002), ХП конференции-выставки «Информационные технологии в образовании» (Москва, МИФИ, 2002), Всероссийской конференции-выставке «Современная образовательная среда» (Москва, Всероссийский выставочный центр, 2002, 2003гг), Всероссийской научной конференции «Управление и информационные технологии» (Санкт-Петербург, 2003), X Всероссийской научно-методической конференции «Телематика-2003» (Санкт-Петербург, 2003), 1 конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2003), Второй и Третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2004, 2005гг ), Научно-методической конференции «Инновационные методы и средства оценки качества образования» (Москва, МГУП, 2006г ), Второй международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, СПб гос политехнич ун-т, 2006) и др

По теме диссертации опубликована 71 научная работа, в том числе 3 монографии, статьи в реферируемых журналах (в том числе 10 публикаций, из перечня, утвержденного ВАК), 5 отчетов по НИР в рамках программы Министерства образования Российской Федерации «Создание системы открытого образования», а также в рамках государственного контракта НИР № 1070

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения и 10 приложений, списка использованной литературы из 165 наименований В работе содержится 28 таблиц, 41 рисунок Объем работы без учета приложений составляет 278 страниц

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цели и задачи диссертационного исследования, приведены положения, выносимые на защиту, обсуждены научная новизна и практическая значимость работы

В первой главе проводится анализ задач автоматизации и управления процессами аттестации и повышения квалификации персонала предприятий промышленности, анализируются научные школы и направления в этой области

Начало основных и важнейших исследований в области автоматизации процессов аттестации и повышения квалификации персонала промышленного предприятия можно отнести к последним двум десятилетиям прошлого столетия К

концу 90-х г Минобразования РФ подготовило несколько научно-методических программ, объединенных под названием «Создание системы открытого образования», целью которых была разработка базы для развития технологий непрерывного обучения и повышения квалификации, в том числе и для промышленных предприятий В результате этого были образованы несколько направлений и исследовательских групп, преобразовавшихся позднее в научно-исследовательские центры и институты Так, важнейшие результаты были реализованы группой специалистов во главе с Федоровым И Б, Коршуновым С В, Поляковым А А, Вержбицким В В и другими учеными по программе «Научно-методическое обеспечение дистанционного обучения», которые были положены в основу методического и нормативно-правого открытого образования Другая группа специалистов была интегрирована вокруг Российского государственного института открытого образования (РГИОО) во главе с Солдаткиным В И, Андреевым А А., Лобачевым С Л и другими учеными, получившими результаты в области разработки основ и концепций Открытого образования, а также в области технологий разработки образовательных порталов К технологиям разработки образовательных порталов также можно причислить и работы направления Государственного научно-исследовательского института информационных технологий и телекоммуникаций «Информика» Во главе исследований по этому направлению можно вьщелиггь работы таких ученых, как А Н Тихонов, А.Д Иванников, Ю Л Ижванов, К С Кованов, А.Б Козлов и другие Важный вклад в развитие системы Открытого образования в России был внесен специалистами Государственного научно-исследовательского института системной интеграции (ГОСНИИСИ) во главе с ЮМ Кузнецовым, Г Ф Филаретовым, Ю В Костиковым, С Д Белушкиным и другими Их исследования связаны с развитием информатизации образования, обеспечением комплексной поддержки создания и использования новых информационных технологий в сфере образования и науки Нельзя обойти вниманием важнейшие работы в области открытого образования одного из первопроходцев этого направления, ректора Московского государственного университета экономики, статистики и информатики (МЭСИ) - В П Тихомирова, а также его учеников и последователей, чьи работы исходят ко второй половине 90-х г прошлого века и по настоящее время раскрывают основные концепции, принципы и технологии открытого образования

Другим важнейшим направлением в области автоматизации процессов аттестации персонала являются интеллектуальные методы и системы В этом направлении следует выделить научную школу зарубежных авторов, внесших первоочередной вклад в развитие этого направления Это, прежде всего, Л Заде, А Кофман, Д Дюбуа, А.Прад, П Брусиловский, Д Капка, С Осуга, Ю Саэки, X Судзуки и др, которые положили основу научным направлениям в области теории нечетких множеств, интеллектуальных систем, искусственного интеллекта. Отечественные научные школы в этом направлении представлены главным образом учеными Москвы и Санкт-Петербурга, но имеются отдельные группы ученых и в других городах России Так Санкт-Петербургская научная школа представлена трудами ученых Гавриловой Т А, Полякова АО , Лачинова В М, Ерофеева А А и др в области интеллектуальных нечетких технологий управления Московская научная школа представлена исследованиями и трудами в области искусственного интеллекта и методов приобретения и формализации знаний следующими учеными Поспелов Д А., Попов Э В, Кузьмицкий АА., Кузнецов О П, Аверкин А.Н,

Фоминых И Б, Емельянов В.В и другими В первой главе проводится критический анализ технологий аттестации и повышения квалификации без отрыва от производства. Проводится анализ и исследование существующих автоматизированных систем аттестации и обучения на основе интернет-технологий, интеллектуальных систем обучения, математического и программного обеспечения и возможности таких систем с точки зрения наличия интеллектуальных характеристик Делается заключение о типовой структуре таких систем, учитывающих специфику подготовки персонала промышленных предприятий, в которую в частности входят следующие компоненты модуль просмотра материала, модуль редактирования материала - инструментарий для создания структуры курса, модуль регистрации и администрирования, модуль тестирования, модуль редактирования тестов, модуль контекстной помощи, модуль предоставления дополнительного учебного материала, модуль защиты, модуль поиска информации, модуль осуществления обратной связи Показано, что в современных системах автоматизации процессов аттестации персонала промышленных предприятий отсутствуют или слабо представлены такие компоненты как методы мониторинга в процессе обучения, способы адаптации обучения, интеллектуальная поддержка образовательного процесса и методов аттестации, адаптивные алгоритмы тестирования, оценки знаний и умений, разнообразие видов аттестационных материалов Делается вывод о необходимости разработки методологии и технологии автоматизации управления процессов аттестации персонала предприятий промышленности нового поколения с элементами искусственного интеллекта, с возможностью использования эффективных методов представления и оценки знаний

Во второй главе рассматривается и разрабатывается теоретический аппарат по автоматизации процессов представления и оценки аттестационных знаний Приводятся классические модели представления знаний, рассматриваются методы на основе пространств знаний Вводятся понятия состояния, структуры, базы пространства знаний Доказываются теоремы о наличии и единственности базы для пространства знаний. На основании теоретических выкладок приводятся алгоритмы построения базы пространства знаний и обратного - построения пространства знаний на основе базы пространства. Развиваются эти алгоритмы с целью повышения эффективности в смысле сокращения количества шагов для получения базы пространства знаний Показывается, что полученные методики и алгоритмы повышают быстродействие построения базы пространства знаний до 30% Далее в этой главе разрабатываются методы оценки ответов на тестовые задания, методы адаптивного контроля знаний на основе нечеткой логики и правдоподобных рассуждений Предлагаются модель адаптивного тестирования для автоматизированной системы аттестации персонала, модели расчета вероятности угадывания на тестовые задания и расчета рассекречивания банков тестовых материалов

Пространства знаний позволяют описать в машинном виде знания и опыт преподавателя и обеспечить программный доступ к этим знаниям Такое представление позволяет отразить структуру знаний по преподаваемому предмету, зависимости различных тем, последовательность изучения материала При этом система может работать с гораздо большим количеством вопросов, чем преподаватель, и реализовать более быстрый и эффективный способ оценки знаний

Состояние знаний индивидуума представлено набором тестовых заданий в определенной области, на которые он способен ответить в идеальных условиях Это означает, что он работает не под давлением времени или эмоционального стресса любого вида и т д Следует также учитывать, что субъект, не имеющий реального знания заданного вопроса, может угадать правильный ответ Состояние знаний индивидуума, таким образом, не является непосредственно наблюдаемым, и должно быть выведено из ответов на тестовые задания

Для любой нетривиальной области число осуществимых состояний знаний может быть весьма большим Коллекция всех состояний знаний описывает организацию знаний Она играет центральную роль и будет упомянута как «структура знаний» Пример структуры знаний для области 2 = {а, Ь, с, с1, е} приведен на рис 1

Граф на рис 1 представляет структуру знаний

К= {0, {а}, {Ь}, {а, Ь}, {а, й), {Ь, с}, {а, Ь, с}, {а,М}, {Ь,с,а}, {а, Ь, с, <!}, (}}

Эта структура содержит 11 состояний Область Q и пустое множество 0, последнее, символизирующее полное невежество, включаются в неё Рёбра графа представляют отношение покрытия на множестве ребро, связывающее состояние К и состояние К', расположенное справа на графе, означает, что К с: К' (где с обозначает строгое включение), и что не существует состояния К" такого, что К с. К" с. К' Это графическое представление используется очень часто Когда граф просматривается слева направо, то повторяется процесс изучения, сначала субъект не знает ничего относительно области и находится, таким образом, в состоянии 0, которое представлено пустым квадратом слева на рисунке Обходя граф слева направо, знание постепенно прогрессирует от состояния к состоянию, следуя одному из путей на графе (рис 1), пока знание темы в совершенстве не достигнуто в состоянии 0

Рис 1 Пример структуры знаний для области Q

Из рис 1 видно, что семейство состояний удовлетворяет интересному свойству если К и 1С являются любыми двумя состояниями в К, то К и К является также состоянием Таким образом, можно сделать вывод, что семейство К замкнуто относительно объединения Структура знаний, удовлетворяющая этому свойству,

называется пространством знаний Концепция замкнутости относительно объединения играет центральную роль в пространствах знаний

Как упомянуто ранее, структуры знаний могут иметь большое количество состояний, что ставит проблему описания таких структур экономно (например, для хранения информации в памяти компьютера) В случае конечного пространства знаний только некоторые из состояний должны быть определены, остальные получаются путём объединения базовых

Перекрытие семейства множеств ^ - это семейство всех множеств, которые являются объединением некоторых членов ^ В таком случае говорится, что Р перекрывает />* База структуры знаний (0, К) - это минимальное семейство В состояний, перекрывающих К (где минимальное означает минимальное относительно включения множеств, удовлетворяющее свойству если Рс^В - любое семейство состояний, перекрывающих К, то Р = В) В соответствии со стандартным соглашением, пустое множество - объединение пустого подсемейства В Таким образом, пустой набор никогда не принадлежит базе Очевидно, структура знаний имеет базу только в том случае, если она является пространством знаний Более того, состояние к, принадлежащее к некоторой базе В, для К не может быть объединением других элементов В, таким образом, к не может быть объединением других состояний К

В работе доказан ряд теорем о единственности базы для пространства знаний,

0 наличии базы в конечном пространстве знаний, о том, что состояние К в пространстве знаний (£), К) — атом, если К е ^ для любого подсемейства состояний удовлетворяющих условию К = <иР, а также о том, что если пространство знаний имеет базу, то эта база является объединением всех атомов

В диссертации описаны два алгоритма составления базы пространства знаний.

Будем говорить, что область б - конечна, подразумевая, что \<2\ = т и 1-К) = п По доказанной в работе теореме, база пространства знаний является объединением атомов По определению атома, атом на некотором элементе -минимальное состояние знаний, содержащее этот элемент Простой алгоритм для задания базы основан на этом определении атома и сформулирован Доулингом следующим образом

Алгоритм 1. Пронумеруем список элементов, как д2, , цт Также перечислим состояния как Ки К2, ., К„ таким образом, что А", с. К] подразумевает I <7 для 1,} € {1, 2, , п} Это достигается внесением в список состояний согласно не уменьшающемуся размеру и произвольно для состояний одинакового размера. Сформируем массив Т размерностью яхт с рядами и колонками, представляющими состояния и элементы соответственно, т е ряды индексированы от 1 до и и колонки от

1 до т. На любом шаге алгоритма ячейка Т содержит один из символов «*», «+» или «-» Первоначально установим Ту в «*», если состояние К, содержит элемент д„ иначе установим Ту равным «-» Алгоритм просматривает ряды 1=1, 2, , п и преобразовывает в «+» каждое значение «*», содержащееся в ячейке Тф удовлетворяющее следующему условию существует индекс р такой, что 1 <р<1, состояние Кр содержит элемент ¿¡у и Кра. К, Когда это будет выполнено, атомами будут являться состояния К„ для которых ряд г все еще содержит по крайней мере одну «*»

Пример. Возьмём пространство К = {0, {а}, {а, Ь}, {Ь, с}, {а, Ь, с}},

рассмотренное выше. Начальное множество Т показывается слева в табл. 1. Из конечных значений Г справа можно заключить, что база - {{а}, {а, Ь}, {Ь, с}}.

Легко проверить, что Алгоритм 1 также работает на перекрывающем подсемействе, а не только на самом пространстве.

Описание, данное для этого алгоритма, предназначено для начального кодирования пространства или перекрывающего семейства ^ как матрицы размерностью пхт, каждая ячейка (г, у) которого указывает, содержит ли состояние К\ элемент Нетрудно перепроектировать поиск атомов на случай отличного способа кодирования пространства (например, как список состояний, представленных списком элементов).

Таблица 1

а Ь с а Ь

0 - - - 0 - -

{а} * - - {«} * -

{а,Ь} * * - {а,Ь} + *

{Ь, с} - * * {Ь, с} - *

{а, Ь, с} * * * {а, Ь, с} + +

Алгоритм для восстановления пространства из его базы

Предположим, что база В содержит р состояний, В = {Вь В2, ..., Вр}. Состояния получены в соответствии с последовательной процедурой, основанной на рассмотрении все более и более возрастающего подсемейства базы. Пусть О0 = {0}, и для 1= 1, 2, ..., р определим С, как пространство, перекрываемое Ом и {В,}. Это -общая схема, но необходимо позаботиться об эффективности. Очевидно, что на любом шаге I алгоритма новые состояния, созданные взятием перекрытия и {В,}, имеют вид б и В,- , где О 6 Однако некоторые состояния, сформированные объединением В, с некоторыми состояниями из 0,_ь могут уже существовать в С1. Прямое применение этой схемы требовало бы проверки для каждого сгенерированного состояния, было ли оно получено прежде. Поскольку вообще число п состояний может расти по экспоненте как функция р, такие проверки могут быть затруднительны. Соответственно, нужно формировать только тогда, когда это

объединение даёт состояние, ранее не полученное (или на предыдущем шаге, или на текущем). Имеется критическое замечание: среди всех состояний й из производящих К = О и В(, имеется единственное максимальное, которое обозначим М. Таким образом, имеем К = М и В„ и, кроме того, К = й и В, для О е подразумевает бсМ Существование и единственность М следует из того факта, что замкнуто относительно объединения. Ключ к алгоритму — условие (2), которое будет рассмотрено ниже и которое обеспечивает управляемую характеристику М Рассматривается ситуация, в которой произвольный поднабор В области Q добавлен к базе О пространства знаний С на ().

В работе доказано утверждение, согласно которому для пространства знаний (2, б) с базой Л и при М б й , В е 2° следующие два условия эквивалентны:

VgeG: МиВ = £иВ=>£сМ; (1)

\ZdeD: £/сЛ/иВ=></сМ (2)

На основании этого можно получать на главном цикле ; только уникальные

элементы В, следующим образом необходимо брать такое объединение только тогда, когда й из удовлетворяет условию

УДе {В„В2, ,В,_,} ВсОиД=>ВсС (3)

Необходимо также избегать получения состояния С и В„ принадлежащего к С7,_1 (т е состояние, которое было произведено на более ранней стадии цикла) С этой целью для б е удовлетворяющего условию (3), имеем СиДе (5,-ь при 5, с О

Алгоритм 2. Пусть # = {Вь В2> , 5р} - база некоторого пространства знаний К на которое будет произведено алгоритмом Проинициализируем О в {0} На каждом шаге /=1,2, ,/> выполним следующее.

1) Инициализируем Я в 0

2) Для каждого£6 О проверим

Если условие выполняется, добавим gu В, к Н

3) Когда все g из О будут рассмотрены, заменим ^ на б и Я Это заканчивает

шаг г

Семейство О, полученное после шагар, - искомое пространство К Пример. Для базы В - {{а}, (а, Ь}, (Ь, с}} табл 12 показывает последовательные значения в

Таблица 2

Главная стадия Базовый элемент Состояния в G

Инициализация 0

1 {а} 0, (а)

2 {а,Ь} 0, {а}, (а, Ь}

3 {Ь, с} 0, {a}, (a, b}, {Ь, с}, {а, Ь, с}

Пример. Приведём другой пример, с В = {{а}, (Ь, <1}, {а, Ь, с}, {Ь, с, е}} В табл 3 в каждой строке показывается только базовый элемент, рассматриваемый на

этом главном шаге вместе с вновь полученными состояниями

_Таблица 3

Базовый элемент Состояния в H

Инициализация 0

{а} {а}

{b,d} {b,d}, {a, b,d}

(а, Ь, с} (а, Ь, с}, (а, Ь, с, d}

(Ь, с, е} (b, с, е}, (Ь, с, d, е}, {а, Ь, с, е}, (а, Ь, с, d, е}

Алгоритм 2 может применяться к любому перекрывающему подсемейству Г пространства знаний АГдля получения этого пространства. В случае перекрывающего подсемейства которое не является базой, рекомендуется сначала построить базу В для К по алгоритму 1, применённому к Р Алгоритм 2 может тогда применяться к В для получения К

Несколько слов относительно эффективности алгоритма 2 Эксперименты показывают, что время выполнения программы на Паскале, осуществляющей этот алгоритм, зависит от порядка, в котором элементы базы (или перекрывающие элементы) внесены в список Пока что нет идеального правила относительно

оптимального кодирования элементов базы С другой стороны, усовершенствование получено на многих наборах данных, изменив Алгоритм 2 следующим образом. На каждом шаге / находится объединение U всех B¡ с 0 </</ и BjCzBt Когда рассматривается ge G, сначала проверяем Uеg Если Uctg, проверку шага (2) в алгоритме 2 можно пропустить, потому что условие заведомо не выполняется Для оригинального алгоритма Доулинга используют множество U очень интенсивно Этот алгоритм также чувствителен к выбранному порядку

С теоретической точки зрения, эффективность алгоритма 2 хорошая. Поскольку количество элементов п семейства К множеств, покрываемых базой В с р элементами из области Q мощностью т, может расти по экспоненте р, сложность анализируется в зависимости от т, р и п Алгоритм 2 имеет время выполнения 0(пр2т) Другими словами, существуют натуральные числа то, р0 и щ и положительное действительное число с, такие, что на области мощностью т> то, с мощностью базы р> ро создание пространства мощностью п> щ будет всегда требовать шагов, меньше чем спр2т

Разработка усовершенствованного алгоритма построения базы пространства знаний

Поскольку практическое применение понятий пространства и структуры знаний имеет определённые особенности, в частности продвижение слева направо по графу, описывающему пространство знаний, то применение указанных выше алгоритмов в чистом виде в некоторых случаях может быть малоэффективным Например, реализация системы, основанной на пространствах знаний в сети Интернет, предполагает отсутствие такого понятия, как сессия, и сервер не имеет возможности сохранить какие-то данные между двумя последовательными запросами, соответственно, при каждом новом запросе необходимо восстанавливать информацию о пространстве знаний из базы Уменьшения количества информации, которое необходимо восстанавливать, можно достичь путём отсечения уже пройденных состояний Для этого можно из базы убрать те элементы, которые включаются в текущее состояние.

Отсечение пройденных состояний

Пусть В = {Вь В2, , Вр) - база некоторого пространства знаний К на Q, Кс - текущее состояние Тогда элементы базы, удовлетворяющие условию B¡czKc, входят в текущее состояние и могут быть заменены на К,. После этого строится пространство знаний, описывающее возможные пути развития знаний обучаемого (или опроса его знаний)

Более общее применение имеет ситуация, когда субъект стремится достичь не полного знания области, а какого-то конкретного состояния знаний В этом случае модификация алгоритма предусматривает ограничение пространства знаний «сверху», т е тех состояний, в которые обучаемый (или тестируемый) не стремится попасть

Ограничение пространства знаний «сверлу»

Пусть В = {Вь В2, , Вр) - база некоторого пространства знаний К на Q, К, - целевое состояние Тогда элементы базы, удовлетворяющие условию В, с Ка

могут быть исключены, поскольку в графе пространства знаний состояния, находящиеся слева, включаются в состояния, находящиеся справа.

Оценка сложности модифицированных алгоритмов

Обозначим число элементов базы через р, число генерируемых (кроме 0 и О) элементов в пространстве знаний через п, а размер домена - т При этом оценка времени выполнения исходного алгоритма будет О (тпр2)

Отсечение пройденных состояний требует просмотра всех элементов базы (р элементов) и определения включения для каждого из них (не более т операций), т е оценка времени выполнения будет О (тр) После выполнения этого алгоритма база уменьшится до р'<р элементов, а значит, восстановление пространства будет занимать не более О (тпр'2) шагов На самом деле это значение ещё меньше, поскольку число элементов в пространстве знаний и размер домена могут также уменьшиться

Ограничение пространства знаний «сверху» имеет аналогичные характеристики производительности О (тр) - для самого алгоритма и О (тпр'2) -для получения пространства.

Эти алгоритмы можно примерять совместно, при этом для определения включения каждого из элементов базы может потребоваться вычисление двух теоретико-множественных операций, т е в наихудшем случае трудоёмкость усечения базы по совместному алгоритму будет не больше суммы числа операций для алгоритмов по отдельности

Для наглядного сравнения этих модификаций и исходного алгоритма рассмотрим пространство знаний, изображенное на рис 1

Пространство знаний К= {0, {а}, {Ь}, {а, Ь}, {а, <!}, {Ь, с}, {а, Ь, с}, {а, Ь, <1}, {Ь, с, <!}, {а, Ь, с, с1}, £}, базой для него является множество В - {{а}, {Ь}, {а, {Ь, с, с!}} Параметры оценки будут равны р = 4, п = 9, /я = 4 Трудоёмкость исходного алгоритма одного порядка с числом 1296

Построим график (рис 2) относительных трудоёмкости и выигрыша производительности в зависимости от (р-р0 Как видно из графика, уже при уменьшении базы на один элемент достигается значительный выигрыш в производительности (около 20%)

На рис 3 приводятся количественные оценки выигрыша от применения модификаций

Описанный выше подход позволяет в значительной мере представить в программно-ориентированном виде знания преподавателя, автоматизировать процесс оценки знаний К достоинствам данной модели можно отнести

• универсальность (независимость от области знаний),

• возможность не просто вычисления балла, но и детализированного определения областей знания и незнания испытуемого,

• удобство машинной обработки формализованных знаний,

• возможность выдачи рекомендаций испытуемому (какие темы он знает недостаточно хорошо и должен повторить).

При этом модель имеет свои узкие места:

• Построение пространства знаний требует специальных методик и не всегда гарантирует стопроцентную точность.

• Представление построенного пространства знаний требует от пользователя работы со сложным графом, что в случае большого количества знаний затруднительно.

Тем не менее, модель пространств знаний отлично зарекомендовала себя практически и доказала свою применимость.

Особенности реализации алгоритмов

Построение пространств знаний. Поскольку число осуществимых состояний знаний может быть весьма большим, то для составления списка состояний требуются специальные методики, повышающие точность составления и уменьшающие количество ошибок. Такие методики разработаны и автоматизированы. Специальная программа опрашивает эксперта (преподавателя): предположим, что испытуемый ответил неправильно на вопросы д/, ..., цт ответит ли он также неправильно на вопрос <7„+/? По результатам такого опроса программа составляет список связанных состояний и получает пространство знаний. Причём на практике не требуется перебирать все комбинации вопросов - результат может быть получен раньше.

Хранение и обработка пространства. Как упомянуто ранее, структуры знаний, с которыми сталкиваются на практике, могут иметь большое количество состояний, что ставит перед нами проблему описания таких структур экономно

Рис. 3. Диаграмма сокращения числа шагов при уменьшении базы

(например, для хранения информации в памяти компьютера). В случае конечного пространства знаний, только некоторые из состояний должны быть определены заранее, остающиеся получаются путём объединения комбинации базовых. Для получения списка базовых элементов и восстановления из них исходного пространства существуют эффективные алгоритмы.

Представление пространства знаний. Графическое представление пространства знаний становится слабым местом при росте числа осуществимых состояний, поскольку человеку затруднительно воспринимать растущее количество связей между состояниями и путями освоения материала. На данный момент нет какого-то универсального решения данной проблемы.

Использование для тестирования. Программа, реализующая тестирование испытуемого с применением составленного пространства знаний, вычисляет при своей работе наиболее вероятные последовательности задаваемых вопросов. Начиная из состояния, соответствующего полному незнанию испытуемого, тестирующая программа определяет возможные пути продвижения по графу пространства, составляет список вопросов, которые могут быть заданы на текущем шаге и выбирает случайно некоторые из них. При корректном ответе на вопрос программа продвигается по графу, в направлении, соответствующем заданному вопросу. Таким образом, последовательно (и целенаправленно!) задавая вопросы, программа уточняет область знания испытуемого, и в результате получает не просто оценку по заранее заданной линейной шкале, а детализированное описание области знания (или незнания испытуемого). Для минимизации влияния различного рода случайностей (угадывания ответа на вопрос или ошибок ввода) программа может применять различные методики, например, задание избыточного количества вопросов.

Адаптивное тестирование для автоматизированной системы аттестации

Задача оценки знаний учащихся на основе компьютерных систем тестирования является одним из важных вопросов, возникающих в автоматизированных системах аттестации и обучения В этом подразделе диссертации рассматривается способ оценки знаний, который может быть реализован в компьютерных автоматизированных системах аттестации персонала промышленного предприятия Широко известны две задачи, решение которых необходимы при проверке знаний учащегося Основной задачей экзаменатора является «извлечь» максимум знаний, известных испытуемому Основной задачей испытуемого является показать максимум своих знаний Очевидно, цели экзаменатора и испытуемого достаточно близки Тем не менее, в результате тестирования достичь этих целей удается не всегда, что является причиной заниженных и завышенных оценок Для избежания и уменьшения погрешности оценки знаний разработан комбинированный способ адаптивного тестирования с использованием элементов нечеткой логики

Рассмотрим следующую модель Пусть текущий рейтинг Л испытуемого в процессе прохождения теста оценивается по 100-балльной шкале - в процентах Сто процентов означает «абсолютное», идеальное знание этого предмета. Зададим лингвистическую переменную

0=< «Итоговая оценка», Т, Ц>, где _

Т = |г,|/ = 1,5} - вербальные значения лингвистической переменной О, причем

каждое из этих значений является в свою очередь нечеткой переменной с областью определения и, например, ^{«неудовлетворительно», «ниже среднего», «удовлетворительно», «выше среднего», «отлично»},

№[0,100] - область определения нечетких переменных Т,

При этом нечеткие переменные Т, таковы Т, = {о„и,С(а,)}< гДе

С (а,) = {< цс(а)(х)/х>\х& V) ~ нечеткое подмножество множества и, описывающее ограничения нечеткой переменной ОС1 и определяющее

функцию принадлежности Мс(а,) (-*■) Очевидно, С(ОГ,) задается группой

экспертов или автором теста. Например, эксперт может задать следующее значение для Г/

^{«Неудовлетворительно», [0,100], С(ОГ() }, где

С (а,) ={<1,0/10>,<1,0/20>,<1,0/30>,<0,9/40>,<0,5/50>,<0,1/55>,<0,0/60>}

Аналогичным образом экспертом задаются и другие значения для Г, Точно также могут бьггь заданы следующие лингвистические переменные Ь=<«Уровень сложности», М, Ц>, А=<« Ответ на вопрос», В, Ц>,

где

М- заданное экспертом множество нечетких переменных уровня адаптации, В - заданное экспертом множество нечетких переменных возможных результатов ответа на тестовое задание

Опишем множество признаков, характеризующих состояние системы адаптивного тестирования

¥={Л„ А„ At, Аг, Al ,LC Lmax ,L, О},

где

— текущий рейтинг (процентный балл) тестируемого после ответа на i-e тестовое задание (ТЗ),

А, - результат ответа на г-е тестовое задание, Д 6 В,

At — период «стабилизации» итоговой оценки, т е количество ТЗ, которые были заданы испытуемому, но не внесли изменения в итоговую оценку, АГ - порог стабилизации рейтинга, т е интервал сходимости функции рейтинга испытуемого,

Al - порог смены уровня адаптации, Lc- стартовый уровень адаптации,

Lmax - - максимальное количество уровней адаптации

Заметим, что исходные априорные параметры системы, задаваемые экспертом и определяющие схему тестирования, описываются множеством

50={ At, Аг, Al,Lc,Lmax}

Пусть L, - дефазифицированное по методу центра площади значение уровня адаптации на í-tom ТЗ и предположим, что Lt = 1, Lmax

Тогда, математическая модель адаптивного тестирования на основе нечеткой логики описывается следующей системой

Д+1

• O = O(S0,L„i?,); (4)

A+i= ОД > А > Д )•

При этом условие завершения тестирования может быть следующим (ЗЛ,|к = Ц/\тт(Я,\i = k,k + Át) + Ar<Rk <тах(Д,|/ =k,k + At)-Ar) (5) Условие увеличения уровня адаптации может быть следующим

= SJBmax|/ = ^TA/)^¿ltl(50,I„^) = min(Z,, +1,1^), (6)

где принятая экспертом оценка для смены (увеличения) уровня адаптации, как правило, max = IВI

Условие уменьшения уровня адаптации может быть следующим

= Ш\а, < = *,*+Д/)-> 1,+1(50,Ь„А,) = шах(1,1, -1), (7)

где Втт, принятая экспертом оценка для смены (увеличения) уровня адаптации, как правило, тю=1

Эксперту по дисциплине необходимо разработать соответствующий набор вопросов по каждому уровню сложности Сложность этих вопросов должна соответствовать различному уровню подготовки учащихся Предположим, мы имеем 4 уровня сложности вопросов начинающий уровень, средний уровень сложности, уровень повышенной сложности, уровень эксперта. Эти уровни сложности будут меняться в зависимости от успеха отвечающего С уменьшением правильных ответов будет понижаться и уровень сложности вопросов И, наоборот, если учащийся отвечает успешно, то сложность вопросов возрастает

Каждый раз, когда задается вопрос, на основании описанной модели происходит «прогнозирование» наиболее вероятного ответа испытуемого и соответственно выбирается вопрос необходимого уровня По мере увеличения правильных ответов увеличивается и уровень сложности задаваемых вопросов и наоборот В результате общая (итоговая) оценка зависит от следующих факторов

• правильности ответа на очередное тестовое задание,

• пропорционального количества вопросов разной сложности,

• текущей и прогнозируемой оценки (в процентах),

• времени ответа на вопросы

В результате использования математической метода на основе нечеткой логики при экспериментальном тестировании получены следующие диаграммы, поясняющие результат применения такой математической модели и показывающие следующие зависимости

• «правильность» ответов испытуемого на вопросы теста (рис 4),

• изменение уровней сложности задаваемых вопросов по мере прохождения теста (рис 5),

• текущий рейтинг испытуемого, полученный по мере прохождения теста (рис 6),

• диаграммы нечетких множеств для итоговой оценки испытуемого (рис 7) Механизм нечеткой оценки знаний поддерживается в автоматизированной

системе аттестации персонала посредством

• ввода экспертом (преподавателем) вопросов четырех уровней сложности,

• предложения экспертом нескольких (не менее 4) вариантов ответов и оценки каждого ответа,

• ввода возможных подсказок на вопрос и зависимости изменения оценки за вопрос от их использования,

• ввода лимита времени, необходимого для ответа на этот вопрос Отличительной чертой разработанного метода является ее

интеллектуальность, что выражается в моделировании работы экзаменатора в случае неуверенности в знаниях учащегося Например, тестирование может быть прервано, когда испытуемый вышел на стабильную оценку, а также может быть задан ряд дополнительных вопросов для уточнения уровня знаний учащегося

Для увеличения гибкости модели предусмотрены также возможности изменения распределения нечеткой величины - «итоговая оценка». Таким образом, она может быть настроена индивидуально для каждого преподавателя и дисциплины, для каждой дисциплины, ориентирована на различные группы обучающихся.

Ответы на тестовые задания

м

Рис. 4. График ответов на аттестационные задания

Уровни СЛОЖНОСТИ, Л/

Рис. 5. График смены уровней сложности

Д/

Рис. 6. График текущего рейтинга

Итоговая оценка, О(80,Ь,Я)

*"""™^~Неуд. -Нижесреднего

........ удовл. .......Выше среднего

---Отл.

Рис. 7. График итоговой оценки

Классификация уровня учебных достижений на основе правдоподобных рассуждений

Рассмотрим задачу оценки достоверности заключения о состоянии объекта на основе частных утверждений, содержащих описания отдельных признаков Так, если

в,, в2 , , О„ - множество утверждений вида э 1 —>г, в2 —>г, , вп —>г, где в 1,

в 2 , , в я - множество значений признаков, описывающих некоторый объект, г -

заключение о состоянии объекта, то достоверность заключения вычисляется следующим образом

]= 1 ]>р ) 1>3>Р )

где у=\,П - достоверности признаков частных утверждений GJ ,

/Л (г) - оценка достоверности заключения, сформированная на основе частных утверждений

Будем использовать идемпотентную симметрическую сумму в качестве операции свертки для случая неравнозначных критериев Симметрическая сумма для ш критериев определяется следующим образом

тах(м\а)),/12((0), ..,Цт(со))

(8)

где /1Г ((О) - наиболее значимый критерий

В диссертационной работе показывается, что при условиях заданной базы правил, моделирующих процесс принятия решения преподавателем, на экзамене в процессе опроса учащегося (или при предъявлении системой тестирования тестовых заданий) с определенными заранее критериями итоговой оценки В, Д Р, формула (8) может быть преобразована к одному из следующих видов

та(9) _ тах(//'(й/), Ц2(а))) (10)

МвГМ\а>)- (11)

И наконец, в этом разделе диссертации приводится результат оценок по частным целям /и'в, Ц%в, в соответствующий интервал нормированной

рейтинговой шкалы А к (к = 1,3) в виде следующей формулы

МА № = Ш1ПЛ + (/4(<ы) - Ш1ПМ)

''max, -mm, ^

Ль Лг-

(12)

max^-min^

где mm л , min м, max , max м - минимальные и максимальные значения шкал At иМсоответственно

Модель расчета вероятности угадывания на тестовые задания

При разработке автоматизированных систем аттестации персонала возникает задача по разработке банков тестовых заданий (БТЗ) Это требует множество решений относительно априорных характеристик этих банков и генерируемых на них тестов Одной из важнейших характеристик тестов является критериальный балл Существует ряд методик априорного вычисления этого балла, но ни в одной из них не делается поправка на возможное случайное угадывание ответов при тестировании В данной работе предлагается подход, позволяющий оценить вероятность случайного угадывания ответов на тестовые задания (ТЗ) Имея такую информацию, можно скорректировать критериальный балл, сделав ее более точным

Предварительно рассчитаем вероятности угадывания ответов на ТЗ различных форм Для открытой формы примем вероятность угадывания равную Р0 = const Если предполагать, что угадывание осуществляется индивидуумом, полностью не знакомым с предметной областью, то примем Р0 = О

Рассмотрим теперь задания закрытого типа Пусть имеется закрытое тестовое задание с к вариантами заключений, из которых т являются верными (при этом 0<т<к), а (к-т) - дистракторы - правдоподобные, но неверные заключения Возможны два варианта формулировки ТЗ когда из формулировки ясно, какое количество заключений является истинным и когда из формулировки этого не ясно Соответственно вероятность угадывания ответа на такое ТЗ можно рассчитать двумя способами

В первом случае мощность множества возможных правильных наборов заключений может быть ограничена перебором всех сочетаний из к по т элементов,

те М —- Тогда вероятность угадывания правильного ответа в этом

mi(k-m)'

с d i /1/ т\к-ту случае будет Р3та =1/М =---

я'

Во втором случае мощность области всех возможных правильных наборов заключений будет рассчитываться как количество всех переборов заключений за минусом двух наборов - когда не выбрано ни одного заключения и когда выбраны все

заключения Таким образом, М = 24—2 Тогда Р3тп = ИМ ^ БуДем

рассматривать вероятности Р3тт и Р3та, как оценки снизу и сверху вероятности угадывания ответа на ТЗ закрытой формы

Рассчитаем вероятность угадывания ответа на ТЗ, представленные в виде соответствия Ограничимся такими ТЗ на соответствие, в которых требуется найти соответствие «один к одному» Пусть в левой части ТЗ на соответствие имеется т

элементов, а в правой части к элементов При этом т < к Тогда мощность множества возможных правильных наборов заключений будет равна количеству

Л'

размещении элементов из Л по от М -- Отсюда вероятность угадывания

{к-тУ

™ т> ,,,, (к-ту

ответа на такое ТЗ равна Р = 1/М --

к\

Вероятность угадывания ответа на ТЗ на упорядочение рассчитывается как обратная величина от возможного количества перестановок вариантов заключений />я=1/*'

Для расчета вероятности угадывания ответов на тест введем следующие операторы

Г1, если ТЗ № I закрытого типа,

1 *(») = .

[О, в противном случае

Íl, если ТЗ №1 на соответствие,

„

О, в противном случае

("1, если ТЗ Мг на порядок,

3 #0)4

[0, в противном случае

Если в тесте предъявляется N тестовых заданий, тогда вероятность случайного угадывания ответов можно рассчитать следующим образом

¿^(О^+ЯСО^+ЯО)^)

Р =.!=!--(13)

гшп

N

р =М--(14)

тах ^ V '

Модель расчета рассекречивания банков тестовых материалов

Для решения поставленных задач необходимо ввести следующие параметры

Пусть N - объем банка тестовых материалов, Ь - фиксированная длина одного теста (количество ТЗ в тесте), М - количество проведенных сеансов тестирования Введем также некоторый коэффициент к, принимающий значения в диапазоне от 0 до 1 и назовем его коэффициентом «агрессивности среды» Под агрессивной средой будем понимать такой контингент тестируемых, который стремится полностью обменяться всеми известными ему тестовыми заданиями (сразу можно оговорить, что полностью известный банк тестовых материалов не гарантирует 100%-но правильные выводы на известные тестовые суждения) В этом случае коэффициент агрессивности будем считать равным 1 (т е % узнавания теста максимально велик) Если же, взять пример, при котором испытуемыми «копируется» и распространяется только половина из предъявляемых тестовых суждений, то коэффициент к будет равен 0,5 Теперь необходимо найти вероятность р того, что все задания будут известны и

скопированы Эту вероятность можно будет интерпретировать как долю тех ТЗ из банка, которые будут известны тестируемым после проведения М сеансов тестирования

Для начала рассмотрим, как может быть использован коэффициент к Рассмотрим ситуацию, при которой сеанс тестирования проводится в «агрессивной среде», те к= 1 Тогда, в пределах одного сеанса - все L тестовых заданий (ТЗ) из банка становятся известными Если кФ 1, то с учетом физического смысла коэффициента к доступными окажутся kL тестовых заданий, другими словами, та же ситуация возникает, когда запоминаются все задания при длине теста kL Таким образом, коэффициент к может быть использован для корректировки длины теста L, и в дальнейших формулах мы будем использовать скорректированное значение длины теста, равное kL

Предположим, в процессе тестирования из банка выбираются случайным образом тестовые задания Вероятность того, что некоторое тестовое задание не будет

N -kL ^

выбрано в течение одного сеанса равна /?, =-. Такая же вероятность

N-kL г

р2 =——— будет и при втором сеансе тестирования и при М-ом сеансе тестирования

Поскольку каждый сеанс тестирования - независимое событие, то общую вероятность того, что некоторое задание не будет выбрано после М сеансов тестирования можно вычислить путем перемножения вероятностей р, Таким

(N-kL\M

образом, ра = - Тогда искомая вероятность р будет вычисляться по

\ N J

формуле p = l-p0=l-(l-kL/Nf (15)

Из полученного выражения (15) можно найти М- количество сеансов, которое необходимо, чтобы было известно pN тестовых заданий в банке

Л/_ logq-p) ь§(1-р)

Аналогично, из выражения (15) можно найти минимальную длину теста, при заданных значениях M,N,k,p

L = N(\->i[h^p)lk (17)

И, наконец, из (17) при известных M,L,k,p можно определить рекомендуемый размер БТМ

N = kLl(\-4ji^~j)) (18)

В третьей главе рассматриваются вопросы квалиметрии и подходы к обработке мнений экспертов, методы расчета характеристик аттестационных материалов при проведении экспертизы и сертификации качества аттестационных материалов, используемых в автоматизированной системе аттестации и повышения квалификации персонала промышленного предприятия Предлагается методика экспертного анализа характеристик аттестационных материалов для автоматизированной системы аттестации и повышения квалификации персонала промышленного предприятия Разрабатываются требования к аттестационным материалам, модель расчета согласованности мнений экспертов на основе непараметрической статистики и способы сокращения времени экспертизы аттестационных материалов на основе выборочного метода. Далее в главе приводятся основные выводы и результаты, полученные в этой главе

Модель для расчета согласованности мнений экспертов

Пусть т экспертов, оценивают п ТЗ по L факторам, каждый из факторов имеет качественную градацию из к уровней Рассчитаем общий коэффициент согласованности мнений экспертов w. Пусть

С^ - значение установленное экспертом х для фактораj тестового задания г,

к, - количество качественных уровней для фактора j

В главе показывается, что в этом случае коэффициент согласованности мнений экспертов для множества факторов, оцениваемых по различным шкалам, вычисляется по формуле

т т п l

W= 1--1=1 f--(19)

j=i

В частном случае, при оценке экспертами всего одного фактора (те L = 1) получим (V/ -1, L)kj - к — const

т т п .

т(т-\)п{к-\)

Алгоритм кластеризации группы экспертов с заданной степенью сходства мнений

На следующем этапе для получения обобщенной экспертной оценки качества

тестового задания необходимо на основе матрицы ||fFj| выделить кластеры

экспертов, взаимная степень согласованности которых не меньше определенного порога. В этом случае могут применяться различные алгоритмы кластерного анализа.

Рассмотрим наиболее простой в реализации, но достаточно эффективный

иерархический алгоритм, использующийся для небольших размеров матрицы

Исходными данными для его работы являются массив с номерами экспертов (размерностью М, где М - число экспертов), матрица попарной согласованности мнений экспертов (размерность М* М) и порог оценки согласованности О <Р < 1

Суть алгоритма, блок-схема которого приводится в диссертации, заключается в том, что

1 На первом шаге рассматривается М кластеров, каждый элемент массива номеров экспертов считается отдельным кластером и в своем кластере объявляется центральным

2 Далее последовательно рассматривается каждый полученный кластер

3 Для всех элементов, за исключением центрального в рассматриваемом кластере, из матрицы попарной согласованности мнений экспертов выбирается величина рассматриваемого элемента согласованности и элемента, центрального в кластере

4 Если эта величина превышает или равна заданному порогу Р, то при наличии в кластере только центрального элемента, рассматриваемый элемент заносится в кластер

5 Если же в кластере помимо центрального находятся еще элементы, то рассматриваемый элемент сравнивается со всеми остальными элементами в этом кластере

6 Если оценка согласованности каждого элемента кластера с рассматриваемым превышает или равна заданному порогу, то рассматриваемый элемент помещается в кластер

7 Выбирается кластер с наибольшим числом элементов

На основании мнения экспертов, входящих в найденный кластер, вычисляется общая оценка качества рассматриваемых тестовых заданий Для этого используется обычное вычисление средних оценок по каждому заданию теста, но только тех экспертов, которые входят в результирующий кластер

Способы сокращения времени экспертизы аттестационных материалов

Для того чтобы оценить качество аттестационных материалов в целом, необходимо провести экспертизу всех тестовых суждений Для аттестационной проверки остаточных знаний разрабатываются БТЗ, содержащие большое количество заданий Просмотреть огромные массивы информации в пределах одного банка достаточно сложно по причинам различного характера. Это, в первую очередь, может быть технически невозможно, во-вторых, экономически неэффективно, в-третьих, такая процедура может занять довольно длительное время Следовательно, когда на экспертизу предоставляются банки тестовых заданий большого объема, возникает задача оптимизации проверки такого банка. Наиболее эффективным способом такой оптимизации, может быть, выборочный метод В этом случае необходимо проанализировать определенное количество заданий из банка произвольной выборки и в случае, если выборка содержит большое количество не корректных ТЗ, то весь банк возвращается на доработку без анализа оставшихся ТЗ Такой подход позволяет значительно экономить время проведения экспертизы банков тестовых заданий

Общая задача может быть разделена на две части во-первых, определяют пределы, в которых находится параметр совокупности при заданном размере выборки и уровне надежности Для этого необходимо определить ошибку выборки Во-вторых, определяют размер выборки при заданном, те допустимом, уровне величины погрешности выборочной оценки и принятом уровне надежности Пусть речь идет о конкретном параметре, характеризующем, долю ТЗ, которые не удовлетворяют методологическим требованиям («бракованные» ТЗ) Можно утверждать, что доля таких заданий в генеральной совокупности (в БТЗ) находится в пределах р = \vicl, где р и м - доля «бракованных» ТЗ в генеральной совокупности и в выборке, </- предельная ошибка выборочной доли

Задача, таким образом, сводится к расчету ошибки выборочной доли й Эта ошибка при собственно-случайном отборе находится следующим образом

1-.2-

N

(20)

где п - размер выборки, N - размер банка аттестационных материалов, га показатель кратности ошибки выборки, который вычисляется из уравнения 2Ф0(га) = 1—&, 1-а - принятый уровень надежности, обычно а принимается равным 10%, 5% или 1%, Ф0(х) - функция нормированного и центрированного нормального распределения Чтобы достичь заданной точности измерений, на основе формулы (20) легко получить уравнение для расчета необходимого объема выборки при оценке доли В этом случае

(21)

Здесь м! означает не выборочную долю ТЗ, а ожидаемую, т е выборка еще не осуществлена. Полученные результаты позволяют сделать заключение, что при определенных параметрах, с заданной точностью можно сократить время экспертизы, используя выборку заданий Возьмем граничные, наиболее точные параметры оценки объема выборки и рассчитаем, на сколько методы позволяют сократить экспертизу Например, рассчитаем объем выборки п для банка объемом N. при наиболее оптимальных значениях и>=1, ¿ = ±0,5, (X = 1%, и отобразим соответствующий

N 1000 900 800 700 600 500 400 300 200

п 725 671 614 553 489 421 348 270 186

% оптимизации 27,50 25,44 23,25 21,00 18,50 15,80 13,00 10,00 7,00

В четвертой главе разрабатывается технология экспертизы и сертификации аттестационных материалов, состоящих из следующих процессов регистрация, проверка документов, оформление договоров, предварительная экспертиза ПДТМ, подбор экспертов, оформление договоров с экспертами, экспертиза содержания ПДТМ, работа экспертов, апробация тестов в учебных группах, расчет характеристик теста, подготовка сертификата.

К основным этапам сертификации качества аттестационных материалов можно отнести (рис 8)

Рис 8 Основные этапы сертификации

1 Подачу в Орган сертификации (ОС) Заявки на проведение сертификации ПДТМ

2 Подготовка Заявителем ПДТМ в соответствии с «Требованиями к ПДТМ»

3 Оформление «Информационной карты» (ИК), договора и других сопроводительных документов в соответствии с «Требованиями к типовому комплекту материалов для сертификации ПДТМ»

4 Передача комплекта материалов в орган сертификации (ОС)

5 ОС подготавливает План мероприятий по сертификации в соответствии с внутренней «Методикой по проведению сертификации ПДТМ»

6 Заявитель оплачивает услуги сертификации ПДТМ

7 ОС осуществляет мероприятия по сертификации в соответствии с Планом мероприятий, используя возможности испытательной лаборатории (ИС)

8 Если предъявленный материал соответствует всем необходимым требованиям, то ОС выдает сертификат соответствия, в противном случае ОС выдает свидетельство о причине отказа в выдаче сертификата соответствия

Предложенные во второй и третьей главе методы и алгоритмы достаточно легко реализуются на ЭВМ, и на их основе была разработана автоматизированная система интернет-экспертизы аттестационных материалов, которая рассматривается в четвертой главе Система разделена на две части закрытая часть -администрирование системы и открытая часть для авторизованных пользователей -подсистема проведения экспертизы (рис 9)

В пятой главе разрабатывается автоматизированная система повышения

Подсистема администрирования

Модуль формирования

Модуль регистрации тесгоа

Модул* анализа результате* экспертизы

экспертов Выбор икал

Анализ по экспертам

Табл 1 Табл 2 I Табл. Э

По икапам Совокупная По экспертам

Экспертам Начать I Продолжать! Исправить

Завершать экспертизу Подтвердить результат

Рис 9 Структура автоматизированной системы проведения экспертизы

квалификации и обучения персонала предприятия без отрыва от производства, описываются все ее функциональные части, их структура, характеристики и возможности В такую систему автором включены подсистема интеллектуальной поддержки процесса обучения и тестирования, подсистема обучения и подготовки учебных ресурсов, подсистема адаптивной аттестации и конструирования тестов, подсистема локального тестирования, создания и редактирования тестов, подсистема тестирования на бланках и распознавания результатов бумажного тестирования, подсистема статистики, подготовки ведомостей и анализа результатов тестирования,

подсистема конвертации и обработки тестов на основе стандарта IMS QTI, подсистема верификации, проверки валидности тестов и автоматизации экспертизы, подсистема интерактивного взаимодействия, подсистема безопасности и защиты информации, подсистема поддержки учебного процесса, виртуальная библиотека. Предложенная система разрабатывается на основе программного обеспечения интернет-систем

Подсистема аттестации

Важнейшей частью образовательной среды является подсистема аттестации Ее структура приведена на рис 10

Модуль адаптивного тестирования обращается к хранилищу тестов, которое содержит все вопросы и ответы, настройки для каждого теста и прочую информацию, производит опрос, обрабатывает результат и заносит его в хранилище результатов

Модуль создания тестов или Редактор тестов обращается к тому же хранилищу и позволяет пользователю (разработчику теста) создать новый тест, изменить настройки теста, редактировать вопросы и ответы, использовать в одном

Рис 10 Структура подсистемы аттестации персонала

тесте вопросы других, т е обеспечить слияние тестов, которое необходимо, например, при составлении итогового теста, основанного на промежуточных тестах Кроме того, модуль решает проблемы синхронизации пользователей Интернет, исключает возможность одновременного редактирования одного и того же теста различными пользователями, обеспечивает сохранность авторских прав - тест должен быть доступен для редактирования только создателю или тем, кому создатель теста предоставит свои права.

Методы и алгоритмы адаптивности тестов предполагают ввод следующей информации в процессе создания теста: количество уровней сложности, ограничение по времени на прохождение теста, минимальное и максимальное количество вопросов, разбиение материалов теста на уровни сложности, разбиение материалов теста по темам

Создание тестов может проходить в режиме оп-1те через Интернет либо в режиме локального редактирования и создания тестов В этом случае используется соответствующий модуль, который может интегрировать разработанные локально тесты в хранилище тестов, доступное пользователям через Интернет Аналогичным образом может использоваться модуль локального тестирования Зачастую он решает задачи, связанные с самооценкой знаний учащихся в процессе обучения Пользователь сам проверяет себя на локальном компьютере, узнает свои слабые места, пытается повысить уровень своих знаний и только после этого выходит на тестирование через Интернет, где каждый результат тестирования учитывается в хранилище данных

Модуль статистики и анализа результатов тестирования должен предоставить преподавателю и администратору возможность просмотреть результаты обучения и тестирования отдельного пользователя или целой группы по одной или нескольким дисциплинам По каждому указанному тесту модуль формирует ведомости, анализирует успеваемость учащихся, предлагает статистику обучения, дает рекомендации по результатам тестирования с целью повысить уровень знаний группы учащихся или конкретного обучаемого

Модуль интеллектуальной поддержки тестов решает важнейшую задачу реализации интеллектуальных методов оценки знаний Здесь необходима разработка и использование математических методов и моделей поведения обучаемого, разработка критериев оценки его знаний, способностей и умений

Подсистемы обучения, мониторинга и интеллектуальной поддержки процессов обучения и тестирования

В нее входят такие части, как модули создания учебных курсов (локально и через Интернет), модуль локального обучения, модуль создания мультимедийных курсов Вся электронная учебная информация находится в хранилище курсов в системе обучения

На рис 11 приведена информационная структура модуля интеллектуальной поддержки системы обучения Интеллектуальные средства обучения и тестирования включают мониторинг процесса обучения, обучающие экспертные системы, игровые обучающие программы, модули промежуточного и адаптивного тестирования

Мониторинг процесса обучения подразумевает контроль деятельности обучаемого, построение его индивидуальной модели и генерацию управляющих решений по корректировке поведения обучаемого для достижения им поставленных целей обучения Для осуществления мониторинга процесса обучения сначала на основе экспертных оценок, т е строится предварительная модель обучаемого для некоторого предмета (курса) При этом предполагается, что процесс обучения представляет собой последовательную совокупность освоения отдельных разделов учебного материала. Учебный материал разбивается на несколько модулей (информационных блоков, этапов обучения) таким образом, чтобы можно было проконтролировать степень освоения изученного материала (тестирование,

контрольная работа, семинар и т.п.). Выделяются возможные результаты проверки знаний и умений для каждого модуля, определяются способы освоения материала, а

также описываются (преподавателем) возможные варианты поведения обучаемого при переходах между модулями курса. Затем с учетом предпочтений обучаемого в выборе способов освоения материала, результатов обучения (база данных параметров деятельности: результаты промежуточного контроля на этапах обучения, время изучения материала, время тестирования и т.д.) определяются цели обучения и формируется индивидуальная модель обучаемого. Далее выделяются стратегии поведения, наиболее соответствующие индивидуальному стилю обучаемого, а также стратегии, ориентированные на достижение цели обучения. На основании полученных данных осуществляется прогноз деятельности обучаемого. В случаях, когда выбранная обучаемым исходная стратегия перестает быть эффективной по отношению к заданной цели, подсистема генерирует рекомендации по трансформации индивидуальной стратегии обучаемого.

Модули промежуточного тестирования предназначены для текущего контроля знаний и построены на алгоритмах нечеткой логики. Методика оценки уровня знаний включает два основных этапа: оценку результатов выполнения каждой выделенной группы тестовых заданий и интегральную оценку уровня знаний. Первый этап

реализуется на основе экспертной системы, база знаний которой содержит утверждения, отражающие мнение преподавателя учебного курса относительно оценки результатов выполнения каждой группы заданий, а также схем рассуждений, позволяющих автоматически оценивать уровни знаний, в зависимости от конкретных измерений Интегральная оценка знаний основана на использовании операторов свертки оценок, полученных на предыдущем этапе Особенность данных операторов состоит в том, что они позволяют учитывать различную важность каждого типа тестовых заданий и, в зависимости от этого, относить полученные оценки к одному из четырех классов «отлично», «хорошо», «удовлетворительно» и «неудовлетворительно» В результате функционирования данных модулей, на момент аттестационного тестирования, все пользователи классифицируются по уровням (группам) знаний Это позволяет на этапе адаптивного тестирования, даже первый вопрос задавать не случайным образом, а выбирать из группы тестовых заданий, соответствующих выявленному раннее уровню знаний Подсистема адаптивного тестирования позволяет задавать каждый следующий вопрос в зависимости от ответов на все предыдущие вопросы Вопросы, задаваемые подсистемой по каждому предмету, разбиваются на несколько уровней, по мере возрастания сложности вопросов Вопросы задаются целенаправленно, за счет предварительной оценки каждого испытуемого, полученной на этапе промежуточного (рейтингового) тестирования. Проводя опрос, система адаптивного тестирования накапливает сведения об обучаемом и выставляет ему комплексную оценку, учитывая такие параметры, как количество правильных ответов, время прохождения теста, а также количество попыток прохождения каждого уровня

Подсистемы администрирования, безопасности и защиты информации

В основные функции системы администрирования должны входить, возможность регистрации пользователей, возможность редактирования БД пользователей, работа с хранилищами учебных курсов и тестов по выделению прав доступа. Подсистема администрирования тесно связана с подсистемой обеспечения безопасности и защиты информации, которая рассматривается далее

Следует учесть, что системы интерактивного обучения активно взаимодействуют с пользователями - учителями, учениками, гостями, случайными посетителями И нельзя делать исключения или упрощения при проектировании систем безопасности для автоматизированных систем интерактивного обучения В диссертации рассматриваются модели обеспечения информационной безопасности, используемые при реализации системы обучения «Кпоч/1е<1%еСТ»

В заключение диссертационной работы сформулированы наиболее значимые результаты и выводы

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ И ВЫВОДЫ

1 Разработана методология и технология проектирования автоматизированных систем аттестации и повышения квалификации персонала промышленного предприятия, основанные на математических моделях и методах нечеткой логики, правдоподобных рассуждений, пространств знаний, непараметрической статистики

2 Автором предложены новые теоретические положения, принципы и методы представления и оценки знаний на основе структур знаний, позволяющих оптимизировать способы хранения информации в процессе обучения и аттестации, минимизировать время построения пространства знаний

3 Разработано математическое обеспечение для автоматизации процессов адаптивной аттестации и контроля уровня учебных достижений, позволяющее сократить время аттестации без ухудшения точности оценки знаний

4 Разработаны методы и алгоритмы для автоматизации процессов экспертной оценки характеристик аттестационных материалов, что позволяет повысить качество аттестационных материалов

5 Предложена архитектура автоматизированной системы аттестации и повышения квалификации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения

6 Разработана технология автоматизации процессов экспертизы и сертификации качества аттестационных материалов, позволяющая сократить сроки и финансовые затраты на проведение экспертизы

7. Разработано алгоритмическое и программное обеспечение автоматизации процессов аттестации, повышения квалификации персонала промышленного предприятия и экспертизы аттестационных материалов

8 Модели и алгоритмы, предложенные автором данной диссертационной работы, позволяют анализировать результаты обучения и делать соответствующие выводы по качеству аттестационных материалов, вводить и обрабатывать учебные материалы через Интернет, проводить обучение и аттестацию через Интернет, формировать отчетные и итоговые ведомости по результатам мониторинга процесса обучения

9 Разработанные автором данной диссертации методы анализа мнений экспертов утверждены в 2004 г заместителем руководителя департамента лицензирования, аккредитации и аттестации министерства образования РФ А А Киринюком и приняты в процессе оценки качества тестовых материалом органом по сертификации (аттестат аккредитации № Росс ГШ 001 11 СП 13) системы Госстандарта РФ

10 Применение математического и программного обеспечения позволило создать реально действующую автоматизированную систему аттестации и повышения квалификации «Кпо\у1е<^еСТ», успешная эксплуатация подтверждается соответствующими актами о внедрении, авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ

11 Результаты диссертационной работы могут иметь дальнейшее широкое применение в области открытого образования и аттестации персонала промышленных предприятий с учетом специфики контингента, в центрах тестирования, в центрах переподготовки, на любых предприятиях и в организациях при аттестации и проверке служащих на профессиональную пригодность и для проведения классификации и аттестации сотрудников предприятий

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

МОНОГРАФИИ

1 Попов Д И Автоматизация управления процессов аттестации персонала предприятий промышленности монография -М Изд-во МГУП, 2007 -178с

2 Попов Д И Методы и технологии поддержки открытого образования на основе интеллектуальной информационно-образовательной среды дистанционного обучения. /Научное издание -Таганрог Изд-во ТРТУ, 2003 - 168 с

3. Астанин С В , Попов Д И, Жуковская Н К, Калашникова Т Г Применение математических методов и моделей в дистанционном обучении. / Научное издание.-Таганрог Изд-во ТРТУ, 2003 - 183 с

ПУБЛИКАЦИИ В РЕЦЕНЗИРУЕМЫХ ЖУРНАЛАХ ГО СПИСКА ВАК

1 Попов Д И, Советов Б Я, Касаткин В В Методика вычисления согласованности мнений экспертов в автоматизированной системе аттестации персонала промышленного предприятия //Вестник МАДИ(ГТУ) №3(10) -М,2007 -С.92-94

2. Попов Д И, Пугачев И Б, Ремонтова Л В Расчет доли угадывания ответов на тестовые задания при аттестации персонала промышленного предприятия// Вестник МАДЩГТУ) №3(10) -М.,2007 - С 94-97

3 Попов Д И Модель адаптивного тестирования для автоматизированной системы аттестации персонала// Известия высших учебных заведений Проблемы полиграфии и издательского дела№4'2006 - М, 2006 - С 104-109

4 Попов ДИ Способы повышения точности оценки знаний при аттестации персонала в автоматизированных системах // Известия высших учебных заведений Проблемы полиграфии и издательского дела №4'2006. - М , 2006. -С 110-117

5 Попов Д И, Васильев В И Модель представления экспертных знаний в системах автоматизации управления полиграфическим предприятием// Известия высших учебных заведений Проблемы полиграфии и издательского дела № Г2004 -М , 2004. - С 44-56

6 Попов Д И, Голец И Н Представление тестовых заданий на основе теории пространства знаний //Известия Таганрогского государственного радиотехнического университета (ТРТУ) -Таганрог Изд-во ТРТУ, 2003 -С 286-290

7 Попов Д.И Интеллектуальная система дистанционного обучения // Научный вестник Московского государственного технического университета гражданской авиации № 38/2001 - М Изд-во МГТУ ГА, С 16-22

8 Попов Д.И Проектирование интеллектуальных систем дистанционного образования// Известия Таганрогского государственного радиотехнического университета (ТРТУ)№4/2001 -Таганрог Изд-во ТРТУ, 2001 - С 325-332

9 Попов ДИ., Голец ИН Модель представления знаний в интеллектуальной системе дистанционного образования // Известия Таганрогского государственного радиотехнического университета (ТРТУ) №4/2001 - Таганрог Изд-во ТРТУ, 2001. - С.332-336.

10 Попов ДИ Способ оценки знаний в дистанционном образовании на основе нечетких отношений// Дистанционное образование (новое название журнала «Открытое образование») № 6 - М, 2000 - С 26-29

ПУБЛИКАЦИИ В ДРУГИХ ИЗДАНИЯХ

11 Попов ДИ Оценка знаний в дистанционном обучении//Материалы Восьмой международной конференции «Открытое образование в России XXI века». Москва Изд-во МЭСИ, 2000 - С 183-188

12 Попов Д И Возможности интеллектуальной системы дистанционного обучения в Интернет - KnowledgeCT // Перспективные информационные технологии и интеллектуальные системы №1(5), 2001 - С 247-254

13. Попов Д.И Способы автоматизированной оценки тестов в дистанционном обучении // Труды конгресса «Искусственный интеллект в XXI веке» Научное издание -М Издательство Физико-математической литературы, 2001 -С 545551

14 Попов ДИ, Никифорова AM Оценка тестовых заданий при дистанционном контроле знаний // Перспективные информационные технологии и интеллектуальные системы №1(5), 2001 - ¿206-214

15. Попов Д И Поддержка стандарта IMS QTI и проверка валидности для тестовых заданий и тестов в интеллектуальной образовательной среде дистанционного обучения в Интернет «KnowledgeCT» // «Современная образовательная среда» / Тезисы докладов по материалам Всероссийской конференции. - М Всероссийский выставочный центр, 2002. - С 104-105

16 Dmitry Popov, Alexander Khadzhinov Safety Subsystem of Intelligent Software Complex for Distance Learning // Proceedings of 2002 IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002), pp 464-465, IEEE Inc, 2002

17 Попов ДИ Метод вычисления обобщенной экспертной оценки качества тестовых заданий для реализации в Интернерт // Материалы конференции «Развитие методов и средств компьютерного адаптивного тестирования» -М, 2003 - С 94-98

18 Астанин С В, Курейчик В М, Попов Д.И, Кузьмицкий А.А Интеллектуальная образовательная среда дистанционного обучения //Новости искусственного интеллекта№1 (55) -М2003 -С 7-14

19. Попов ДИ, Попова ЕД Количественные характеристики банков тестовых заданий //Перспективные информационные технологии и интеллектуальные системы №1(21) 2005г - С 90-93

20. Попов Д И, Попова Б Д Модель расчета рассекречивания банков тестовых заданий // Педагогические измерения № 4 2005 - М., 2005. - С 117-125

21 Попов ДИ, Хаджинов А А Система безопасности Интеллектуального программного комплекса дистанционного обучения // Труды Международных конференций «Искусственные интеллектуальные системы» (IEEE AIS'02) и «Интеллектуальные САПР» (CAD-2002). - М, 2002 - С 214-219

22. Астанин С В , Захаревич В Г, Попов Д И Интеллектуальные средства обучения в Интернет // Сборник докладов Всероссийской научной конференции «Управление и информационные технологии» - СПб, 2003 - Т 2 - С 278-282

23. Попов Д И, Попова Е Д Подходы к оценке валидности теста при экспертизе банков тестовых заданий // Материалы второй Всероссийской научно-

методической конференции «Развитие методов и средств компьютерного тестирования» - М, 2004 - С 92-95

24 Попов Д И Перспективы разработки мультимедийного методического и сетевого обеспечения для ИОС Южно-Российского региона//Труды Международной научно-методической конференции «Телематика-2001» - СПб, 2001 -С 230-231

25 Попов Д И Калашникова ТГ Интеллектуальная система дистанционного обучения «Кпо\у1е<1§еСТ» // Материалы Третьей Всероссийской научной конференции молодых ученых и аспирантов Новые информационные технологии Разработка и аспекты применения - Таганрог ТРТУ.2000 - С 176-181

26 Попов Д И , Голец И Н Метод оценки знаний на основе нечётких множеств // Тезисы докладов V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлекгротехника и системы управления» -Таганрог, ТРТУ, 2000 - С 121-122

27 Попов Д И, Никифорова А М Классификация типов вопросов для адаптивного тестирования // Тезисы докладов V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» - Таганрог, ТРТУ, 2000 - С 122-123

28 Астанин СВ., Попов ДИ, Жуковская НК Особенности информационно-образовательной среды «КшжЫвеСТ» // Труды X Всероссийской науч -мет конф «Телематика-2003» - СПб,2003 -Т2 - С 527-528

29 Попов Д.И, Никифорова АМ Способы оценки тестовых заданий в системе дистанционного обучения «Кпо\¥1ес1§еСТ» // Материалы Третьей Всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии Разработка и аспекты применения» - Таганрог ТРТУ, 2000 - С 167-168

30 Астанин СВ, Попов ДИ, Калашникова ТГ Особенности реализации функционирования интеллектуальной системы дистанционного обучения «Кпо\у1е<1£еСТ» // Труды конгресса «Искусственный интеллект в XXI веке» - М Издательство Физико-математической литературы, 2001 - С 599-605

31 Попов Д И Инструментальная система дистанционного обучения и тестирования в интернет-Кпо\у1е<^еСТ// Тезисы докладов 2-ой Всероссийской конференции «Электронные учебники и электронные библиотеки в открытом образовании» -Москва Изд-во МЭСИ, 2001 - С 371-379

32 Попов Д И Метод оценки результатов электронного тестирования через Интернет// Тезисы докладов III Научно-методической конференции «Развитие системы тестирования в России» - М Центр тестирования Министерства образования РФ, 2001 -С 243

33 Попов Д И, Голец И.Н Особенности представления знаний в системе дистанционного обучения // Тезисы докладов Четвертой Всеросийской научной конференции с международным участием молодых ученых и аспирантов «Новые информационные технологии Разработка и аспекты применения» -Таганрог Изд-во ТРТУ, 2001 -С 139-145

34 Попов Д И, Голец И Н Построение пространства знаний на основе результатов тестирования // Перспективные информационные технологии и интеллектуальные системы №4(16)/2003 -С 119-123

35 Попов Д И Подсистема адаптивного тестирования среды дистанционного обучения // Сборник трудов участников XII конференции-выставки

«Информационные технологии в образовании» Часть V - M МИФИ, 2002 -С 45-46

36 Астанин С В , Попов Д И Особенности информационно-образовательной среды Таганрогского государственного радиотехнического университета // Труды Всероссийской научно-методической конференции Телематика'2002 - СПб Изд-во Санкт-Петербургского гос института точной механики и оптики, 2002 -С 315-316

37 Попов Д И , Никифорова A M Синхронизация процессов редактирования тестов в системе «KnowledgeCT»// «Радиоэлектроника, электротехника и энергетика» VII международная научно-техническая конференция студентов и аспирантов Тезисы докладов -Москва МЭИ, 2001 -С 266-267.

38 Отчет по НИР «Разработка методов представления мультимедийных электронных учебников и их реализация в ИОС южно-российского региона»/ В M Курейчик, ДИ Попов, С В Астанин и др, инвен номер 02200206551 ВНТИЦ, 2002 -83 с

39 Отчет по НИР «Разработка мультимедийных электронных учебников по техническим наукам» / В M Курейчик, Д И Попов, С В Астанин, H К Жуковская и др , инвент номер 02200300381 ВНТИЦ, 2003 - 71 с

40. Отчет по НИР «Исследование и разработка методов и правил сертификации программно-педагогических тестовых заданий, тестов и технологий компьютерного тестирования» / Д И. Попов, С.В Астанин, В M Курейчик и др, инвен номер 02200204937 ВНТИЦ, 2002 - 91 с

41 Отчет по НИР «Разработка методов и алгоритмов автоматизированной проверки корректности материалов тестов и тестовых заданий» / Д И Попов, С В Астанин, В M Курейчик и др, инвен № 02200300382 ВНТИЦ, 2003 - 52 с

42. Отчет по НИР «Разработка методов адаптивного тестирования, представления и оценки знаний, архитектуры типовой системы адаптивного тестирования в Интернет» / В M Курейчик, Д И Попов, С В Астанин и др , инвен номер 02200201029 ВНТИЦ, 2002 - 73 с

АВТОРСКИЕ СВИДЕТЕЛЬСТВА

43 Попов Д И , Тягунова Т H, Попова Е Д АСТ-Эксперт Свидетельство об официальной регистрации программ для ЭВМ № 2004612525 от 15 11 2004 // Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2004

44 Тягунова Т H, Попов Д И ACT-Web Свидетельство об официальной регистрации программ для ЭВМ № 2004612524 от 15 11 2004 // Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2004

45 Попов Д И, Попова Е Д. ОАСИС «Test-maker». Свидетельство об официальной регистрации программ для ЭВМ № 2007612281 от 31 05 2007 // Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2007

46 Попов Д И, Попова Е.Д ОАСИС «Комплекс тестирования» Свидетельство об официальной регистрации программ для ЭВМ № 2007613720 от 31 08 2007 // Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2007

Подписано в печать 1.07.2007 г Формат 60x84/16. Объем 2,5 пл. Тираж 120 экз. Заказ № 283/238

Московский государственный университет печати 127500, Москва, ул. Прянишникова, 2а. Отпечатано в РИО МГУП

ВВЕДЕНИЕ.

1. АНАЛИЗ ЗАДАЧ АВТОМАТИЗАЦИИ И УПРАВЛЕНИЯ ПРОЦЕССАМИ АТТЕСТАЦИИ И ПОВЫШЕНИЯ КВАЛИФИКАЦИИ ПЕРСОНАЛА ПРЕДПРИЯТИЙ.

1.1. Открытое образование как инструмент повышения квалификации персонала.

1.2. Повышение квалификации на основе Интернет-технологий.

1.3. Особенности процессов повышения квалификации персонала.

1.4. Категории лиц, заинтересованных в повышении квалификации через Интернет.

1.5. Основные преимущества использования новых технологий в процессах повышения квалификации.

1.6. Технологии реализации повышения квалификации персонала через Интернет.

1.7. Выводы по главе.

2. АВТОМАТИЗАЦИЯ ПРОЦЕССОВ ПРЕДСТАВЛЕНИЯ И ОЦЕНКИ АТТЕСТАЦИОННЫХ ЗНАНИЙ.

2.1. Классические модели представления знаний.

2.2. Пространства знаний.

2.3. Разработка усовершенствованного алгоритма построения базы пространства знаний.

2.4. Экспериментальный анализ полученных результатов.

2.5. Классификация аттестационных материалов при автоматизации процесса аттестации персонала.

2.6. Разработка методов классификации уровня учебных достижений на основе правдоподобных рассуждений.

2.7. Модель адаптивного тестирования для автоматизированной системы аттестации персонала.

2.8. Модель расчета вероятности угадывания на тестовые задания.

2.9. Разработка модели рассекречивания аттестационных материалов.

2.10. Выводы по главе.

3. АВТОМАТИЗАЦИЯ ПРОЦЕССОВ ЭКСПЕРТИЗЫ И СЕРТИФИКАЦИИ КАЧЕСТВА АТТЕСТАЦИОННЫХ МАТЕРИАЛОВ.

3.1. Научные направления в квалиметрии.

3.2. Подходы к обработке мнений экспертов.

3.3. Расчет характеристик аттестационных материалов.

3.4. Экспертиза нормы трудности аттестационных материалов.

3.5. Требования к ТЗ и ТМ.

3.6. Модель для расчета согласованности мнений экспертов.

3.7. Алгоритм кластерного анализа результатов экспертизы.

3.8. Разработка методик сокращения времени экспертизы аттестационных материалов.

3.9. Выводы по главе.

4. ПРОЕКТИРОВАНИЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ИНТЕРНЕТ-ЭКСПЕРТИЗЫ АТТЕСТАЦИОННЫХ МАТЕРИАЛОВ.

4.1. Основные этапы сертификации и экспертизы.

4.2. Общая структура системы.

4.3. Модуль формирования шкал.

4.4. Модуль управления экспертами.

4.5. Модуль регистрации аттестационных материалов.

4.6. Модуль анализа результатов экспертизы.

4.7. Подсистема проведения экспертизы.

4.8. Подсистема конвертации и обработки аттестационных материалов на основе стандарта IMS QTI.

4.9. Расчет экономической эффективности с учетом автоматизации процессов экспертизы и сертификации.

4.10. Выводы по главе.

5. ПРОЕКТИРОВАНИЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ПОВЫШЕНИЯ КВАЛИФИКАЦИИ И ОБУЧЕНИЯ ПЕРСОНАЛА ПРЕДПРИЯТИЯ БЕЗ ОТРЫВА ОТ ПРОИЗВОДСТВА.

5.1. Общая структура системы.

5.2. Подсистема обучения и подготовки учебных ресурсов.

5.3. Сетевая подсистема адаптивной аттестации и конструирования тестов.

5.4. Подсистема локального тестирования, создания и изменения банков аттестационных материалов.

5.5. Подсистема аттестации на бланках и распознавания результатов.

5.6. Подсистема статистики, подготовки ведомостей и анализа результатов аттестации.

5.7. Подсистема интеллектуальной поддержки процесса обучения и аттестации.

5.8. Подсистема безопасности и защиты информации.

5.9. Подсистема поддержки учебного процесса.

5.10. Виртуальная библиотека.

5.11. Подсистема интерактивного взаимодействия.

5.12. Выводы по главе.

В современном обществе информационные технологии, профессиональные навыки и знания представляют собой важнейший ресурс дальнейшего развития человечества. Одним из важнейших условий, влияющих на переход мирового сообщества от индустриального этапа к информационному, является информатизация процессов в промышленности, в образовании, смена и усовершенствование концепции профессионального образования. Этим объясняется то внимание, которое уделяют в последние годы правительства, национальные и международные организации использованию новых информационных и коммуникационных технологий в промышленности и образовании.

В последние годы в области информационных и коммуникационных технологий наблюдается значительный прогресс, в результате которого поколения компьютерного оборудования и программного обеспечения быстро приходят на смену друг другу, появляются различного рода новые информационные технологии. Совершенно очевидными стали тенденции, ведущие к формированию информационного общества. Все это требует критического пересмотра состояния и перспектив развития системы подготовки и аттестации кадров для предприятий промышленности.

Повсюду в мире отмечается тенденция к увеличению потока данных. Цифровая технология произвела своего рода революцию, она позволяет объединить в цифровой форме текст, графическое и видеоизображение, речевое и музыкальное сопровождение; на основе этой технологии создаются мощные новые средства представления и передачи знаний, а также средства тренинга профессионалов, повышения уровня их обучепности, аттестация их знаний. Относительно низкая стоимость современных технических устройств и их большая мощность в значительной степени способствуют их распространению. Неуклонный процесс распространения компьютеров, в сферах промышленности и транспорта, способствует росту понимания потенциала стратегий компьютеризации в качестве экономически выгодного решения целого ряда проблем, связанных с обучением и аттестацией персонала предприятий и повышением их квалификации, в идеальном случае, безотрывно от работы на производстве.

Тем более все это имеет большую важность для предприятий промышленности и транспорта на современном этапе развития общества, когда внедрение информационных технологий охватывает практически все технологические и производственные процессы в этих отраслях. К сожалению, существующая традиционная система образования уже не всегда способна удовлетворить все возникающие потребности. Поэтому очень актуальным является решение вопросов, связанных с автоматизацией процессов аттестации и обучения персонала предприятий промышленности. В настоящее время существует множество направлений, где требуются подобного рода образовательные и аттестационные услуги. Это и привычное среднее и высшее общее и профессиональное образование, и переподготовка кадров в связи с использованием на рабочих местах новейшей техники и технологий, и различные образовательные программы для персонала предприятий, и аттестационные комиссии на предприятиях. Очевидна при этом и сложность организации процессов обучения и аттестации по всем направлениям на предприятиях промышленности. Компьютеры и информационные технологии являются одновременно самым популярным средством организации процесса аттестации и обучения.

Решением многих существующих проблем на данном этапе может стать автоматизированная система аттестации и обучения персонала, которая позволит, во-первых, объединить знания и опыт лучших профессионалов в данной области, во-вторых, сделать эти знания доступными для тысяч желающих научиться, посредством Интернет-технологий. Профессионалы получат возможность более широкого распространения ценных знаний и методик, а пользователи и персонал предприятий получат возможность учиться 5 когда, где и как им удобно. Подобная концепция организации информационно-образовательных услуг способствует повышению уровня образованности персонала на предприятиях промышленности, и, как следствие, экономическому росту и улучшению благосостояния в отрасли.

Важнейшей особенностью систем нового поколения является возможность индивидуализации процессов обучения и аттестации за счет использования различных интеллектуальных средств и методов. Поэтому разработка интеллектуальных методов и средств автоматизации процессов аттестации и обучения персонала промышленных предприятий является важнейшей и актуальной задачей на современном этапе. Именно решению таких задач посвящена данная работа. Следует заметить, что существующие методы и разработки в автоматизированных системах аттестации персонала, а также используемые программные и технические средства достигли определенной степени развития и могут рассматриваться, как стартовый уровень для реализации таких технологий. Однако, вопросы, связанные с методологией и технологией проектирования таких систем, а также задачи обеспечения качества, мониторинга обучения и аттестации остаются по-прежнему в большей степени открытыми.

Все вышесказанное подчеркивает актуальность проблем автоматизации и управления процессами аттестации персонала предприятий промышленности, решению которых и посвящена настоящая диссертационная работа.

В работе рассматриваются методики и технологии автоматизации управления процессами аттестации персонала предприятий промышленности, анализируются и исследуются существующие подходы в этом направлении, предлагаются теоретические выкладки для реализации в автоматизированных системах аттестации и обучения персонала предприятий, приводятся примеры реализации различных модулей автоматизированной среды аттестации и обучения персонала предприятий промышленности.

Цели и задач». Целью настоящей диссертационной работы является разработка теоретических и методологических основ автоматизации и 6 управления процессами аттестации персонала предприятий промышленности на основе моделей и алгоритмов представления и оценки знаний, методов нечеткой логики и непараметрической статистки. Для достижения указанной цели решены следующие задачи:

1. Создана методология и технология проектирования автоматизированных систем аттестации персонала предприятий промышленности.

2. Разработана типовая архитектура образовательной среды повышения квалификации и аттестации персонала предприятий, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения.

3. Разработаны усовершенствованные модели и алгоритмы представления и оценки знаний на основе пространств знаний, позволяющие оптимизировать структуры хранения знаний в образовательном процессе и минимизировать время анализа существующих знаний.

4. Разработан метод адаптивной аттестации на основе механизмов нечеткой логики, позволяющий имитировать контроль знаний на устном экзамене, что сокращает время аттестации и повышает точность оценки знаний.

5. Разработаны методы экспертной оценки характеристик аттестационных материалов на основе методов непараметрической статистики и кластерного анализа, которые сокращают время экспертизы и адаптированы на реализацию в Интернет-системах.

6. Проведена оценка эффективности предлагаемых методов и алгоритмов на основе моделирования и расчетного исследования.

Научная новизна работы заключается в следующем: 1. Разработаны усовершенствованные методы представления и оценки знаний на основе пространств знаний, позволяющие оптимизировать структуры хранения знаний в автоматизированных системах аттестации персонала промышленного предприятия и минимизировать время построения пространств знаний.

2. Разработан новый метод адаптивной аттестации знаний на основе нечеткой логики, повышающие верность оценки знаний.

3. Для повышения качества экспертизы аттестационных материалов и верности оценки знаний, предложены математические методы и алгоритмы экспертной оценки характеристик аттестационных материалов.

4. Предложена новая методология и технология проектирования автоматизированных систем аттестации персонала промышленного предприятия, основанная на методах нечеткой логики, пространств знаний и непараметрической статистки.

5. Предложена типовая архитектура автоматизированной системы повышения квалификации и аттестации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения и аттестации.

6. Разработано новое математическое и программное обеспечение с использованием методов представления и оценки знаний для автоматизации и управления процессами аттестации и повышения квалификации персонала промышленного предприятия.

Новизна некоторых из предложенных технических решений защищена авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ №№2004612524,2004612525. Практическая ценность результатов состоит в следующем:

1. Разработанные алгоритмы представления пространств знаний позволяют при определенных условиях увеличить скорость обработки пространств знаний от 10% до 30%.

2. Практическая реализация метода адаптивной аттестации позволяет сократить время проведения аттестации и получить более точные результаты аттестации.

3. Методы и модели расчета рассекречивания банков аттестационных материалов, вероятности случайного угадывания ответов на аттестационные задания и адаптивной аттестации на основе нечеткой логики позволяют 8 устанавливать практические рекомендации по своевременному обновлению, изменению тестовых материалов.

4. Методы и алгоритмы обработки экспертной оценки характеристик аттестационных материалов, на основе непараметрической статистики и кластерного анализа, позволяют повысить качество аттестационных материалов.

5. Предложенный выборочный метод позволяет сократить время экспертизы и сертификации аттестационных материалов при определенных условиях от 7% до 27,5%.

6. На основе предлагаемой методологии и технологии проектирования автоматизированных систем аттестации персонала предприятий промышленности осуществлена разработка следующих автоматизированных систем:

• система автоматизированной экспертизы качества аттестационных материалов;

• система повышения квалификации и обучения персонала предприятия без отрыва от производства.

Практическая значимость диссертационной работы подтверждается соответствующими актами о внедрении результатов исследований, авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ, документами о присвоении номеров государственной регистрации программным продуктам в фонде алгоритмов и программ, почетным дипломом выставки ВВЦ, приказами об объявлении благодарности Министерства РФ работникам сферы образования № 13-60 от 18.03.2002 и №4702 от 30.12.02.

Предложенные методы легли в основу технологии проведения экспертизы и сертификации тестовых материалов Органом сертификации (аттестат аккредитации № РОСС 1Ш.0001.11СП13 от 17.12.03) и испытательной лаборатории (аттестат аккредитации № РОСС 11110001.21СП35 от 23.09.03).

Внедрение результатов. Результаты диссертации применяются Федеральной службой по надзору в сфере образования и пауки для экспертизы 9 тестовых материалов. Методология и технология оценки качества аттестационных материалов внедрены в Московском государственном университете печати и в AHO "Центр образовательных коммуникаций и тестирования профессионального образования". Результаты работы также использованы при выполнении государственного контракта НИР № 1070 (20032004гг.).

Обоснованность и достоверность результатов

Обоснованность результатов диссертационной работы, полученных с использованием признанных научных положений и апробированных методов исследования, подтверждается корректным применением математического аппарата и согласованностью этих новых результатов с известными теоретическими положениями.

Достоверность результатов подтверждается согласованностью расчетных данных, полученных с помощью математического моделирования, алгоритмов и программ моделирования и научных выводов.

На защиту выносятся следующие положения:

1. Методология и технология проектирования автоматизированных систем аттестации персонала промышленного предприятия, ориентированные на математическое и программное обеспечение, разработанное в данной диссертации.

2. Разработанные математические методы организации и обработки знаний на основе пространств знаний, позволяющие повысить эффективность структуры хранения знаний в автоматизированных системах и минимизировать время построения пространства знаний.

3. Методы и модели расчета рассекречивания банков аттестационных материалов, вероятности случайного угадывания ответов на аттестационные задания и адаптивной аттестации на основе нечеткой логики.

4. Методика классификации форм аттестационных материалов на основе функции оценки ответа.

5. Методология и технология автоматизации и управления процессов экспертизы и сертификации качества аттестационных материалов.

6. Разработанные математические методы и алгоритмы обработки экспертной оценки характеристик аттестационных материалов, на основе непараметрической статистики и кластерного анализа, повышающие качество аттестационных материалов.

7. Архитектура автоматизированной системы повышения квалификации и аттестации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения и аттестации с соответствующим математическим обеспечением.

Авторский вклад. Все выносимые на защиту результаты и положения диссертационной работы получены и разработаны лично автором, или при его непосредственном участии.

Апробация результатов работы. Основные научные результаты, полученные в ходе диссертационного исследования, докладывались и обсуждались на следующих конференциях, выставках и конгрессах: международной научно-методической конференции «Новые информационные технологии в преподавании электротехнических дисциплин» (Астраханский государственный технический университет, 1998); Первой Всероссийской научной конференции молодых ученых и аспирантов (Таганрогский государственный радиотехнический университет, 1998); Третьей Всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, ТРТУ, 2000); V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» (Таганрог, ТРТУ, 2000); Восьмой международной конференции «Открытое образование в России XXI века» (Москва, МЭСИ, 2000); конгрессе «Искусственный интеллект в XXI веке» (Москва, 2001); 2-ой Всероссийской конференции «Электронные учебники и электронные библиотеки в открытом

11 образовании» (Москва, МЭСИ, 2001); международной научно-методической конференции Телематика (Санкт-Петербург, 2001); III Научно-методической конференции «Развитие системы тестирования в России» (Москва, Центр тестирования Министерства образования РФ, 2001); 1-я Международной научно-практической конференции «Проблемы регионального управления, экономики, права и инновационных процессов в образовании» (Таганрог, ТИУиЭ, 2001); четвертой Всероссийской научной конференции с международным участием молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, ТРТУ, 2001); седьмой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (Москва, МЭИ, 2001); IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002, Divnomorskoe); Всероссийской научно-методической конференции Телематика'2002 (Санкт-Петербург, 2002); Международных конференций «Искусственные интеллектуальные системы» (IEEE AIS'02) и «Интеллектуальные САПР» (CAD-2002) (Дивноморское, 2002); XII конференции-выставки «Информационные технологии в образовании» (Москва, МИФИ, 2002); Всероссийской коиференции-выставке «Современная образовательная среда» (Москва, Всероссийский выставочный центр, 2002, 2003гг.); Всероссийской научной конференции «Управление и информационные технологии» (Санкт-Петербург, 2003); X Всероссийской научно-методической конференции «Телематика-2003» (Санкт-Петербург, 2003); 1 конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2003); Второй и Третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2004, 2005гг.); Научно-методической конференции «Инновационные методы и средства оценки качества образования» (Москва, МГУП, 2006г.); Второй международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, Спб.гос.политехнич.ун-т, 2006) и др.

По теме диссертации опубликована 71 научная работа, в том числе 3 монографии, статьи в реферируемых журналах (в том числе 10 публикаций, из перечня, утвержденного ВАК), 5 отчетов по НИР в рамках программы Министерства образования Российской Федерации «Создание системы открытого образования», а также в рамках государственного контракта НИР №1070.

Структура н объем работы. Диссертационная работа состоит из введения, пяти глав, заключения и 10 приложений, списка использованной литературы из 165 наименований. В работе содержится 28 таблиц, 41 рисунок. Объем работы без учета приложений составляет 278 страниц.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ И ВЫВОДЫ

1. Разработана методология и технология проектирования автоматизированных систем аттестации и повышения квалификации персонала промышленного предприятия, основанные на математических моделях и методах нечеткой логики, правдоподобных рассуждений, пространств знаний, непараметрической статистики.

2. Автором предложены новые теоретические положения, принципы и методы представления и оценки знаний на основе структур знаний, позволяющих оптимизировать способы хранения информации в процессе обучения и аттестации, минимизировать время построения пространства знаний.

3. Разработано математическое обеспечение для автоматизации процессов адаптивной аттестации и контроля уровня учебных достижений, позволяющее сократить время аттестации без ухудшения точности оценки знаний.

4. Разработаны методы и алгоритмы для автоматизации процессов экспертной оценки характеристик аттестационных материалов, что позволяет повысить качество аттестационных материалов.

5. Предложена архитектура автоматизированной системы аттестации и повышения квалификации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения.

6. Разработана технология автоматизации процессов экспертизы и сертификации качества аттестационных материалов, позволяющая сократить сроки и финансовые затраты па проведение экспертизы.

7. Разработано алгоритмическое и программное обеспечение автоматизации процессов аттестации, повышения квалификации персонала промышленного предприятия и экспертизы аттестационных материалов.

8. Модели и алгоритмы, предложенные автором данной диссертационной работы, позволяют: анализировать результаты обучения и делать соответствующие выводы по качеству аттестационных материалов; вводить и обрабатывать учебные материалы через Интернет; проводить обучение и аттестацию через Интернет; формировать отчетные и итоговые ведомости по результатам мониторинга процесса обучения.

9. Разработанные автором данной диссертации методы анализа мнений экспертов утверждены в 2004 г. заместителем руководителя департамента лицензирования, аккредитации и аттестации министерства образования РФ A.A. Киринюком и приняты в процессе оценки качества тестовых материалом органом по сертификации (аттестат аккредитации № Росс RU.001.11СП13) системы Госстандарта РФ.

10. Применение математического и программного обеспечения позволило создать реально действующую автоматизированную систему аттестации и повышения квалификации «KnowIedgeCT», успешная эксплуатация подтверждается соответствующими актами о внедрении, авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ.

11. Результаты диссертационной работы могут иметь дальнейшее широкое применение в области открытого образования и аттестации персонала промышленных предприятий с учетом специфики контингента, в центрах тестирования, в центрах переподготовки, па любых предприятиях и в организациях при аттестации и проверке служащих на профессиональную пригодность и для проведения классификации и аттестации сотрудников предприятий.

ЗАКЛЮЧЕНИЕ

В работе предложена методология и технология проектирования автоматизированных систем аттестации и повышения квалификации персонала промышленного предприятия, основанные на математических моделях и методах нечеткой логики, пространств знаний, непараметрической статистики. Рассмотренные теоретические положения, принципы и методы представления и оценки знаний на основе структур знаний позволяют оптимизировать способы хранения информации в процессе обучения и аттестации, минимизировать время построения пространства знаний. Разработанное математическое обеспечение для автоматизации процессов адаптивной аттестации и контроля уровня учебных достижений позволяет сократить время аттестации без ухудшения точности оценки знаний. Методы и алгоритмы для автоматизации процессов экспертной оценки характеристик аттестационных материалов, рассмотренные в работе, способны повысить качество аттестационных материалов. Предложена архитектура автоматизированной системы аттестации и повышения квалификации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения. Технология автоматизации процессов экспертизы и сертификации качества аттестационных материалов, описанная в данной работе, сокращает сроки и финансовые затраты на проведение экспертизы. На основе изложенных методик разработано алгоритмическое и программное обеспечение автоматизации процессов аттестации, повышения квалификации персонала промышленного предприятия и экспертизы аттестационных материалов. Модели и алгоритмы, предложенные автором данной работы, позволяют: анализировать результаты обучения и делать соответствующие выводы по качеству аттестационных материалов; вводить и обрабатывать учебные материалы через Интернет; проводить обучение и аттестацию через Интернет; формировать отчетные и итоговые ведомости по результатам мониторинга процесса обучения. Применение математического и программного обеспечения позволило создать реально действующую автоматизированную систему аттестации и повышения квалификации «Кпо\у1ес1§еСТ», успешная эксплуатация подтверждается актами о внедрении, авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ. Результаты работы могут иметь дальнейшее широкое применение в области открытого образования, дистанционного обучения и аттестации персонала предприятий промышленности и транспорта, в различных образовательных учреждениях, в центрах тестирования, в центрах переподготовки, в центрах занятости, на любых предприятиях и организациях при аттестации и проверке служащих па профессиональную пригодность и для проведения классификации и аттестации сотрудников предприятий.

1. Основы открытого образования / А.А. Андреев, C.JI. Каплап и др.; Отв. ред. В.И. Солдаткин. Т.1. Российский государственный институт открытого образования. М.: НИИЦ РАО, 2002. 676 с.

2. Российский портал открытого образования: обучение, опыт, организация / Отв. ред. В.И. Солдаткин. М.: МГИУ, 2003. 508 с.

3. Калашникова Т.Г. Исследование и разработка методов и моделей правдоподобных рассуждений в интеллектуальных системах поддержки принятия решений. Диссертация па соискание ученой степени кандидата технических паук. Таганрог, 2001.

4. Георгиев В.О. Модели представления знаний предметных областей диалоговых систем // Изв. АН СССР. Техн. киберп. 1993. №5.

5. Искусственный интеллект: В 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А. Поспелова. М.: Радио и связь, 1990.304 с.

6. Попов Э.В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ. М.: Наука. Гл. ред. физ.-мат. лит., 1987.288 с.

7. Минский М. Фреймы для представления знаний: Пер. с англ. М.: Энергия, 1979. 152 с.

8. Пойа Д. Математика и правдоподобные рассуждения. М.: Наука, 1975.464 с.

9. Убиенных Г.Ф., Убиенных А.Г. Сравнительный анализ методов представления знаний в базах знаний. Пенза, Пензенский государственный университет, 2002.

10. Doignon, J-P., Falmagne J-C. (1999) Knowledge Spaces.

11. Ресурсы Интернет http://www.aleks.com.

12. Birkhoff, G. Lattice Theory. Providence, R.I.: American Mathematical Society. 1967.

13. Davey, B.A. & Priestley, H.A. Introduction to Lattice and Orders. Cambridge University Press. 1990.

14. Dovvling, C.E. On the irredundant construction of knowledge spaces. Journal of Mathematical Psychology, 37,1993.49-62.

15. Koppen, M. Extracting human expertise for constructing knowledge spaces: an algorithm. Journal of Mathematical Psychology, 37, 1993. 1-20.

16. Garey, M.R. & Johnson, D.S. Computers and Intractability: A guide to the theory of NP-completeness. New York: W.H. Freeman. 1979.

17. Голец И.Н., Попов Д.И. Модель представления знаний в интеллектуальной системе дистанционного образования // Известия ТРТУ. Тематический выпуск. Интеллектуальные САПР. Таганрог, 2001. С. 332 336.

18. Попов Д.И. Способы автоматизированной оценки тестов в дистанционном обучении // Труды конгресса «Искусственный интеллект в XXI веке». М., 2001. С. 545-551.

19. Никифорова A.M., Попов Д.И., Калашникова Т.Г. Дистанционное образование: тестирование и оценка знаний // VI Междунар. пауч.-техн. копф. студентов и аспирантов «Радиоэлектроника, электротехника и энергетика»: Тез. докл. В 3-х т. М., 2000. С. 341-42.

20. Попов Д.И. Способ оценки знаний в дистанционном образовании па основе нечетких отношений// Дистанционное образование (повое название журнала -«Открытое образование») № 6, М., 2000. С. 26-29.

21. Попов Д.И. Модель адаптивного тестирования для автоматизированной системы аттестации персонала // Известия высших учебных заведений. Проблемы полиграфии и издательского дела №4'2006. М., 2006. С. 104 109.

22. Переверзев В.10. Критериально-ориентированное педагогическое тестирование: учебп. пособие.-М.: Логос, 2003.

23. Angoff W.H. Norms, scales, and equivalent scores.//R.L.Thomdike (Ed.). Educational Washington, D.C.: American Coucil on Education. 1971.

24. Ebel R.L. Essentials of educational measurement Englewood Cliffs, N.J.:Prentice-Hall. 1972.

25. Попов Д.И. Способы повышения точности оценки знаний при аттестации персонала в автоматизированных системах// Известия высших учебных заведений. Проблемы полиграфии и издательского дела №4'2006. М., 2006. С. 110-117.

26. Попов Д.И., Попова Е.Д. Количественные характеристики банков тестовых заданий //Перспективные информационные технологии и интеллектуальные системы (ПИТИС). №1(21) 2005г, Таганрог: Изд-во ТРТУ. С. 90- 93.

27. Попов Д.И., Попова Е.Д. Модель расчета рассекречивания банков тестовых заданий // Педагогические измерения № 4 2005. М., 2005. С.117-125.

28. Попова Е.Д. Оценка качества тестовых суждений //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.: Изд-во МГУП, 2005. С. 172-178.

29. Черепанов B.C. Экспертные оценки в педагогических исследованиях. -М.: Педагогика, 1989. 150 с.

30. Марченко Е.К. Методы квалиметрии в педагогике. М., 1979.

31. Архангельский С.И., Михеев В. И., Перельцвайг 10. М. Вопросы измерения, анализа и оценки результатов в педагогических исследованиях. М., 1975.

32. Объективные характеристики, критерии, оценки и измерения педагогических явлений и процессов / Под ред. A.M. Арсеньева, М.А. Данилова. М., 1973.

33. Розепберг Н.М. Проблема измерений в дидактике. Киев, 1979.

34. Алексеев Н.Г. Методические проблемы проведения массовых обследований уровня знания учащихся: статика и динамика//Проблемы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1973. Вып.1.

35. Болотник JI.B., Соколова М.А. Выделение объектов проверки па основе структурирования учебного материала//Совершенствование проверки знаний и умений учащихся / Под ред. Р.Ф. Кривошаповой. М., 1979.

36. Болотник Л.В., Соколова М.А. Тематическая модель структуры учебного материала // Проблемы педагогических измерений: Мсжвуз. сб. тр. / Под ред. В. И. Левина. М., 1984.

37. Измерение знаний при проведении массовых обследований: Методические рекомендации / Сост. Л. В. Болотник. М., 1984.

38. Левин A.B. Вопросы оценки качества контрольных работ//Проблемы педагогической квалиметрии/Под ред. В.И. Огорелкова. М., 1974. Вып. 1.

39. Проблемы педагогической квалиметрии: Межвуз. сб. тр. / Под ред. В.И. Огорелкова. М., 1973, 1975. Вып. 1, 2; То же / Под ред. В.И. Левина. М., 1984.

40. Черепанов B.C. К вопросу применения метода групповых экспертных оценок в педагогических исследованиях // Формирование личности учителя в системе высшего педагогического образования: Межвуз. сб. тр./Под ред. В.А. Сластепнна. М., 1984.

41. Черепанов B.C. О применении метода групповых экспертных оценок в дидактических исследованиях // Методологические проблемы развития советской педагогики в условиях осуществления реформы школы: Тезисы / Общ. ред.: Н.Д. Никандров, Г.В. Воробьев. М., 1984.

42. Черепанов B.C. О применении метода ГЭО в дидактических исследованиях // Проблемы педагогических измерений: Мсжвуз. сб. тр. / Под ред. В.И. Левина. М., 1984.

43. Черепанов B.C. Метод групповых экспертных оценок // Сов. педагогика. 1987. № 5.

44. Черепанов В.С, Караванов А.П. К вопросу о педагогической экспертизе учебной книги //Проблемы школьного учебника. М., 1987. Вып. 17.

45. Итсльсоп Л.Б. Математические и кибернетические методы в педагогике. М., 1964.

46. Ительсоп Л.Б. Об использовании математических и кибернетических методов в педагогических исследованиях//Сов. педагогика. 1962. №4.

47. Битинас Б.П. Многомерный анализ в педагогике и педагогической психологии. Вильнюс, 1971.

48. Фридман Л.М. Логико-психологический анализ школьных учебных задач. М., 1977.

49. Фридман Л.М. О корректном применении статистических методов в психолого-педагогических исследованиях // Сов. педагога ка. 1971. №3.

50. Архангельский С.И. Учебный процесс в высшей школе, его закономерные основы и методы. М., 1980.

51. Архангельский С.И., Михеев В.И. Теоретические основы научной организации педагогических исследований. М., 1976.

52. Сохор A.M. Логическая структура учебного материала. М., 1974.

53. Сохор A.M. Сравнительный анализ учебных текстов (па материале учебников физики)//Проблемы школьного учебника. М., 1978. Вып.6.

54. Сохор A.M. О методах количественной оценки эффективности учебных обобщений // Сов. педагогика. 1977. № 2.

55. Грабарь М.И. Об одном алгоритме получения количественной оценки знаний учащихся // Сов. педагогика. 1981. № 5.

56. Грабарь М.И. Применение компонентного анализа для обработки результатов контрольных работ и анкетирования // Проблемы педагогических измерений: Сб. научных трудов / Под ред. В.И. Левина. М., 1984.

57. Грабарь М.И. Применение математических моделей для исследования латентных факторов, влияющих па результаты обучения// Сов. педагогика. 1979. № 10.

58. Грабарь М.И., Красняпская К.А. Применение математической статистики в педагогических исследованиях: Непараметрические методы. М., 1977.

59. Воловик П.Н. Проблемы применения методов теории вероятностей и математической статистики в педагогической теории и практике: автореф. докт. дис. Киев, 1977.

60. Огорелков В.И. Проблема измерения и оценки знаний учащихся // Сов. педагогика. 1975. № 12.

61. Огорелков В.И., Болотник Л.В. Вопросы анализа структуры знаний учащихся и методики составления контрольных работ // Проблемы педагогической квалиметрии / Под ред. В.И. Огорелкова. М., 1975. Вып.2.

62. Огорелков В.И. Основные направления исследования проблем измерения качества знаний учащихся // Проблемы педагогической квалиметрии / Под ред. В.И. Огорелкова. М., 1974. Вып. 1.

63. Григорьева Е.А. Оценивание как метод педагогического исследования: автореф. канд. дис. Л., 1974.

64. Гусева Н.Д. Особенности применения методов многомерного статистического анализа в педагогическом исследовании: автореф. канд. дис. Л., 1973.

65. Китаев H.H. Групповые экспертные оценки. М., 1975.

66. Мизинцев В.П. Моделирование и количественные характеристики дидактических объектов: автореф. канд. дис. М., 1970.

67. Микк Я.А. Оценка учебников формулами трудности текста//Проблемы школьного учебника. М., 1977. Вып. 5.

68. Микк Я.А. Оптимизация сложности учебного текста. М., 1981.

69. Микк Я.А. Теория измерения и оптимизации степени сложности учебного материала в общеобразовательной школе: автореф докт. дис. М., 1983.

70. Анастази А. Психологическое тестирование: Пер. с англ. М., 1982. Т. 1/2.

71. Аткинсон Р. и др. Введение в математическую теорию обучения. М., 1969.

72. Буш Р.В., Мостеллер Ф. Стохастические модели обучаемости. М., 1962.

73. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. 495 с.

74. Бирюков Б.В., Геллер Е. Ф. Кибернетика в гуманитарных науках. М., 1973.

75. Джугели Э.П., Вепхвадзе А.А. Кибернетика и проблемы обучения. Тбилиси,1981.

76. Кибернетика и педагогика / Под ред. Дж. Ушшерн: Пер. с англ. М., 1972.

77. Никапдров Н.Д. Программированное обучение и идеи кибернетики: Анализ зарубежного опыта. М., 1970.

78. Логвинов И.И. Имитационное моделирование учебных программ. М., 1980.

79. Уваров А.Ю. Информационное моделирование как метод дидактических исследований: автореф. канд. дис. М., 1971.

80. Беспалько В.П. Основы теории педагогических систем. Воронеж, 1977.

81. Беспалько В.П. Теория учебника: Дидактический аспект. М.: Педагогика, 1988.

82. Кузьмина Н.В. и др. Методы системного педагогического исследования. JI.,1982.

83. Азгальдов Г.Г. Теория и практика качества товаров (основы квалиметрии). М.: Экономика, 1982. 256 с.

84. Азгальдов Г.Г., Азгальдова JI.A. Количественная оценка качества (квалиметрия): Библиография. М., 1971.

85. Азгальдов Г.Г., Райхмап Э.П. О квалиметрии. М.: Издательство стандартов, 1972.

86. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. М., 1980.

87. Миркин Б.Г. Анализ качественных признаков и структур. М., 1980.

88. Шмерлипг Д.С. и др. Экспертные оценки. Методы и применение (обзор) // Статистические методы анализа экспертных оценок. М., 1977.

89. Аванесов B.C. Основы научной организации педагогического контроля высшей школы. М.: Исслед. центр, 1989 г.

90. Аванесов B.C. Тесты в социологическом исследовании. М.: Наука, 1982.

91. Анализ нечисловой информации в социологических исследованиях. М., 1985.

92. Воронов Ю.П. Методы сбора информации в социологическом исследовании. М., 1974.

93. Воскерчьян С.И. Об использовании метода тестов при учете успеваемости школьников // Сов. педагогика. 1963. № 10.

94. Докторов Б.З. О надежности измерения в социологическом исследовании. JI., 1979.

95. Здравомыслов А.Г. Методология и процедура социологических исследований. М, 1969.

96. Кендэл М. Ранговые корреляции. М., 1978.

97. Раетригип JI.A. Современные принципы управления сложными объектами. М.: Сов. Радио, 1980.232 с.

98. Сатаров Г.А., Каменский B.C. Общий подход к аиализу экспертных оценок методами неметрического многомерного шкалирования

99. Beals R., Krantz D., Tversky A. Foundations of Multidimensional Scaling.-«Psychological Review», 1968, v.75, N2.

100. Coombs C.H., Dawes R.N., Tversky A. Mathematical Psychology. N.Y., 1970.

101. Roskam E.E. Metric Analysis of Ordinal Data in Psychology. Nijmegem, 1968.

102. Carrol J.D. Individual Differences and Multidimensional Scaling. Multidimensional Scaling. Theory and Applications in the Behavioral Scicnce, v.l Theory, N.Y., 1972.

103. Каменский B.C. Методы обработки порядковой информации: неметрическое многомерное шкалирование. (Обзор). В кн.: Многомерный статистический анализ в социально-экономических исследованиях. М.: Наука, 1974.

104. Краснлышков В.В. Статистика объектов нечисловой природы. Наб. Челны: Изд-во Камского политехнического института, 2001. 144 с.

105. Орлов А.И. Заводская лаборатория. 1995, Т. 61, № 3.

106. Ким Дж.-О., Мыоллер Ч.У., Клекка У.Р., Олдепдерфор М.С., Блэшфилд Р. К. Факторный, дискримипантный и кластерный анализ. М.: Финансы и статистика, 1989.

107. AngoffW.H. Norms, scales, and equivalent scores.//R.L. Thomdike (Ed.). Educational Washington, D.C.: American Council on Education. 1971.

108. Eble R.L. Essentials of educational measurement Englewood Cliffs, N.J.: Prentice-Hall. 1972.

109. Nedelsky L. Absolute grading standards for objective tests.// Educational and Pshchological Measurement. 1954. № 14, p.3-19.

110. Аванесов B.C. Композиция тестовых заданий: учебн. пособие. М.: Ассоциация инженеров-педагогов, 1996.

111. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002. 432с.

112. Васильев В.И., Тягупова Т.Н. Основы культуры адаптивного тестирования. М.: Издательство ИКАР, 2003. 584 с.

113. Гулепко В.В. Формы мышления. //Социопика, ментология и психология личности, N 4,2002 (http://socionicsl6.narod.ni/t/gul-402.html).

114. Попова Е.Д. Оценка уровня учебных достижений //Известия высших учебных заведений. Проблемы полиграфии и издательского дела №'2005, М., 2005.

115. Звегинцев В.А. К вопросу о природе языка. Вопр. философии, 1979, №11. С.75.

116. Вишняков Ю.М., Кодачигов В.И., Родзип С.И. Учебно-методическое пособие по курсам «Системы искусственного интеллекта», «Методы распознавания образов». Таганрог: Из-во ТРТУ, 1999.

117. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989. 388 с.

118. Гаврилова Т.А. Червинская K.P. Извлечение и структурирование знаний для экспертных систем. М.: Радио и связь, 1992.200 с.

119. Попов Д.И., Попова Е.Д. Подходы к оценке валидпости теста при экспертизе банков тестовых заданий // Материалы второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». М. 2004. С. 92-95.

120. Попов Д.И. Метод вычисления обобщенной экспертной оценки качества тестовых заданий для реализации в Иптсрперт // Материалы конференции «Развитие методов и средств компьютерного адаптивного тестирования». М., 2003. С. 94-98.

121. Васильева Н.Е. Выборочный метод в аудите. // Банковский р'яд, весна 2000(1). (http://www.apko.ru/head/vasil000300.html)

122. Венецкий И.Г., Вепецкая В.И. Основные математико-статистические понятия и формулы в экономическом анализе. М.: Статистика, 1979.

123. Дружинин Н.К. Выборочный метод и его применение в социально-экономических исследованиях. М.: Статистика, 1970.

124. Джессен Р. Методы выборочных обследований. М.: Финансы и статистика, 1985.

125. Попов Д.И., Попова Е.Д. Нормативные документы по сертификации тестовых материалов для итоговой аттестации студентов //Утверждены 15.02.04 заместителем руководителя департамента лицензирования, аккредитации и аттестации Минобразования РФ. 42 с.

126. Попов Д.И., Тягупова Т.Н. Попова Е.Д. АСТ-Эксперт // Свидетельство об официальной регистрации программ для ЭВМ №2004612525 от 15.11.2004. М.: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам.

127. Астапин C.B., Захаревич В.Г., Попов Д.И. Интеллектуальные средства обучения в Иптерпег // Сборник докладов Всероссийской научной конференции «Управление и информационные технологии». СПб., 2003. Т. 2. С. 278-282.

128. Асташш C.B., Курейчнк В.М., Попов Д.И., Кузьмицкий A.A. Интеллектуальная образовательная среда дистанционного обучения //Новости искусственного интеллекта. М., 2003. № 1.03 (55). С.7-14.

129. Попов Д.И. Перспективы разработки мультимедийного методического и сетевого обеспечения для ИОС Южно-Российского региона // Труды Международной научно-методической конференции «Телематика-2001». СПб., 2001. С. 230-231.

130. Попов Д.И. Технология дистанционного образования па основе интеллектуальных систем в Интернет // Сб. тр. конференции. Таганрог. 2001. С.148- 149.135. http://walker.abbyy.com.ua/finereader/forms/index.asp.

131. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных "педагогических тестов. М.: Изд-во ВТУ, 2000.

132. Астанип C.B., Калашникова Т.Г. Разработка индивидуальной модели поведения обучаемого в системе дистанционного образования // Перспективные информационные технологии и интеллектуальные системы. Таганрог, 2001. №5.

133. Астаиии C.B. Мониторинг процесса обучения в системе открытого образования // Интеллектуальные САПР. Таганрог, 2001. №4.

134. Попов Д.И. Возможности интеллектуальной системы дистанционного обучения в Интерпет-KnowIedgeCT // Перспективные информационные технологии и интеллектуальные системы. 2001. №1. С. 247-254.

135. Отчет по НИР «Разработка методов представления мультимедийных электронных учебников и их реализация в ИОС южпо-росснйского региона»/ В.М. Курейчик, Д.И. Попов, C.B. Астапин и др., инвен. помер 02200206551 ВНТИЦ. 2002. 83 с.

136. Отчет по НИР «Разработка мультимедийных электронных учебников по техническим паукам»/ В.М. Курейчик, Д.И. Попов, C.B. Астапин, Н.К. Жуковская и др., инвен. помер 02200300381 ВНТИЦ. 2003. 71 с.

137. Попов Д.И., Хаджииов A.A. Виртуальная библиотека в системе дистанционного образования // Седьмая междунар. науч.-техн. копф. студентов и аспирантов «Радиоэлектроника, электротехника и энергетика»: тез. докл. В 3-х т. М., 2001. Т.1. С. 276.

138. Попов Д.И. Методы и технологии поддержки открытого образования па основе интеллектуальной информационно-образовательной среды дистанционного обучения. / Научное издание. Таганрог: Изд-во ТРТУ, 2003.168с.

139. Семенов В.В. Инднвндуалыю-личностный подход в компьютерной технологии тестирования знаний // Аналитические обзоры по основным направлениям развития высшего образования. М. 1998. Вып. 3. С. 49.

140. Назаров А.И., Сергеев A.B. Система дистанционного контроля знаний в сетях Интернет и Интранет // Дистанционное образование. М. 1999. № 1. С. 11.

141. ОганесянА.Г. Опыт компьютерного контроля знаний// Дистанционное образование. М. 1999. № 6. С. 30.

142. Буравлев А.И., Переверзев В.Ю. Выбор оптимальной длины педагогического теста и оценка надежности его результатов // Дистанционное образование. М., 1999. №2. С. 27.

143. Бершадскнй A.M., Кресский И.Г. Дистанционное обучение форма или метод // Дистанционное образование. М., 1998. № 4.

144. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Магистр, 1997.

145. Сайт с описанием стандартов IMS и их применения// http:Wwww.imsproject.org.

146. Сайт с описанием стандартов IMS // http:Wwww.ims.com.

147. IMS Content Packaging Information Model, T.Anderson, M.McKell, A.Cooper and W.Young, C.Moffatt, Version 1.1.2, IMS, August 2001.

148. IMS Question & Test Interoperability: Overview, C.Smythe, E.Shepherd, L.Brewer and S.Lay, Version 1.2, IMS, September 2001.

149. Зепкда Д.П., Ивашко A.M. Основы безопасности информационных систем M.: Горячая линия Телеком, 2000.452 с.

150. Попов Д.И., Хаджинов A.A. Система защиты сервера дистапциоииого образования // Материалы V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления». Таганрог, 2000. С. 124.

151. Dmitry Popov, Alexander Khadzhinov. "Safety Subsystem of Intelligent Software Complex for Distance Learning" // Proceedings of 2002 IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002), IEEE Inc. 2002. P.464 465.

152. Попов Д.И., Васильев В.И. Модель представления экспертных знаний в системах автоматизации управления полиграфическим предприятием // Известия высших учебных заведений. Проблемы полиграфии и издательского дела № Г2004, М., 2004. С.44-56.

153. Попов Д.И., Голец И.Н. Представление тестовых заданий па основе теории пространства знаний // Известия Таганрогского государственногорадиотехнического университета (ТРТУ). Таганрог: Изд-во ТРТУ, 2003. С. 286— 290.

154. Попов Д.И. Способ оценки знаний в дистанционном образовании на основе нечетких отношений// Дистанционное образование (новое название журнала -«Открытое образование») № 6, М., 2000. С. 26-29.

155. Попов Д.И. Интеллектуальная система дистанционного обучения // Научный вестник Московского государственного технического университета гражданской авиации № 38/2001, М.: Изд-во МГТУ ГА. С. 16-22.

156. Попов Д.И. К вопросу об оценке степени соответствия эталону // Материалы 5-ой научно-методической конференции Инновационные методы и средства оценки качества образования, М:МГУП, 2007. С. 173-177.

157. Попов Д.И., Советов Б.Я., Касаткин В.В. Методика вычисления согласованности мнений экспертов в автоматизированной системе аттестации персонала промышленного предприятия //Вестник МАДИ(ГТУ) №3(10). -М.,2007. -С.92-94.

158. Попов Д.И., Пугачев И.Б., Ремонтова Л.В. Расчет доли угадывания ответов на тестовые задания при аттестации персонала промышленного предприятия// Вестник МАДИ(ГТУ) №3(10). М., 2007. - С.94-97.

159. Попов Д.И. Автоматизация управления процессов аттестации персонала предприятий промышленности: монография. М.: Изд-во МГУП, 2007. - 178 с.