автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Оценка качества методического, математического и программного обеспечения распределенных обучающих систем

На правах рукописи

Гусева Анна Ивановна

Оценка качества методического, математического и программного обеспечения распределенных обучающих систем

05.13.11 Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени доктора технических наук

Москва-2003

Работа выполнена в Московском инженерно-физическом институте (государственном университете)

Научный консультант: Официальные оппоненты:

Ведущая организация:

доктор технических наук, профессор Оныкий Борис Николаевич.

доктор технических наук, профессор Григорьев Сергей Георгиевич.

доктор технических наук, профессор Лисов Олег Иванович.

доктор технических неук, профессор Чернышев Юрий Александрович.

Московский государственный университет экономики,

статистики и информатики.

Защита состоится 1 октября 2003 года в час. до мин. на заседании диссертационного совета Д 212. 130. 03 в Московском инженерно-физическом институте (государственном университете) по адресу: 115 409 г. Москва, Каширское шоссе д.31, тел. 324-84-98.

С диссертацией можно ознакомиться в библиотеке МИФИ (государственном университете).

Автореферат разослан « ¿¿/0/f/ 2003 года.

Ученый секретарь диссертационного совета у Вольфенгаген В.Э.

l&SZJ

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность. В настоящее время, одной из важнейших задач, стоящих перед образованием во всем мире, является не только развитие новых образовательных форм и технологий, но и повышение качества образования. В последние годы наиболее перспективным и быстроразвивающимся направлением стало обучение с использованием компьютерных технологий и сетевых коммуникаций, одна из форм которого получила название дистанционного обучения [1]. В этом случае используются принципиально новые формы представления учебной информации; доставка ее осуществляется как с помощью локальных и корпоративных сетей, так и с помощью телекоммуникаций, например сети Интернет. Формы обратной связи также изменяются: все большей популярностью пользуются теле-, видео- и почтовые конференции, чаты и форумы, доски объявлений и системы электронного голосования, электронная почта и заполнение активных электронных форм. Контроль знаний осуществляется с помощью специальных тестирующих компьютерных программ. Так образом, появляются новые образовательные технологии, опирающиеся на телекоммуникации и компьютерные средства представления информации.

В конце 90-х годов возникает новая отрасль знаний - телематика, находящаяся на стыке информатики н исследований в области телекоммуникаций. Область применения новой науки.чрезвычайно широка и создание на ее основе новых образовательных технологий привело к необходимости международной стандартизации [3-9]. Этими стандартами вводится понятие распределенных обучающих систем, как систем для приобретения знаний и умений посредством доступа к информации и обучения, включающих в себя все информационные технологии и другие формы обучения на расстоянии. Проведенный сравнительный анализ указанных источников показывает, что в них полностью отсутствуют какие-либо данные о том, насколько важен тот или иной элемент архитектуры, как изменится поведение системы в отсутствие какого-либо класса или компонента, можно ли расширять набор предлагаемых компонентов и как это повлияет на работоспособность систем. Кроме того, не учитываются педагогические аспекты использования системы, например ступени системы познания, содержательность учебного материала, усвояемость и т.д.

В Концепции создания и развития ДО в РФ приводится определение дистанционного образования как комплекса образовательных услуг, предоставляемых широким слоям населения в стране и за рубежом с помощью специализированной информационной образовательной среды, базирующейся на средствах обмена учебной информацией на расстоянии (спутниковое телевидение, радио, компьютерная связь и т.п.) [2]. В пропаганду, организацию научных исследований и внедрение в педагогическую практику идей ДО внесли вклад A.A. Андреев, С.Г. Григорьев, В.П. Тихомиров, В.Г. Кинелев, А.Д. Иванников, А. Н. Тихонов, Я. А. Ваграменко. Ю. А. Чернышев.

."ОС. НАЦИОНАЛЬНАЯ БИБЛИОТЕКА С-Пстервург , t

оэ

Л.Д. Забродин, |В.В.Семенов|, А.И. Галкина, А.Г. Шмелев, В.А. Самойлов, В.П. Невежин, И.А. Липский, А.А. Золотарёв, В.В. Рождественский, И.П. Норенков, Е.СЛолат, В.А. Каймин, Ю.Б. Рубин.

Несмотря на большое количество разработок и проектов в области ДО, вопрос об оценке его качества и эффективности до сих пор остается открытым. Открытая дискуссия, проводимая в 2001 году на сайте informika.ru Министерства образования РФ, показала это очень ярко. Большое количество предложений, завершившихся проектом ГОСТ по ДО [9], несмотря на ссылки на ISO 9003, указывали на отдельные показатели качества систем ДО, без каких-либо значительных попыток систематизации. Например, вообще не упоминаются такие важнейшие показатели, как эффективность средств обучения (методическая и дидактическая), безопасность их использования, достоверность полученных знаний учащимися и т.д. Отсюда, среди проблем, связанных с качеством современного образования в целом, особую значимость приобретает проблема управления качеством распределенных обучающих систем (РОС).

В данной работе вводится понятие ЮС как системно организованной совокупности средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного, учебно-методического и организационного обеспечения, которая ориентируется на удовлетворение образовательных потребностей пользователей.

Архитектура современных распределенных обучающих систем должна включать в себя географически разнесенные, но тесно интегрированные между собой компоненты в виде процессов (обучаемая сущность, оценка, доставка, инструктор) и хранилищ (информация по учащемуся, образовательные ресурсы) [5]. Поскольку назначением РОС является предоставление доступа к образовательным ресурсам, обучение и контроль знаний на основании контекста взаимодействия учащегося с системой, то они охватывают целый класс программных систем учебного назначения, от сетевого компьютерного учебника или сервера с базой данных методических материалов до сложных и многофункциональных систем дистанционного обучения.

Любая распределенная обучающая система представляет собой продукт, качество которого может быть определено согласно соответствующим стандартам. Международные стандарты ISO 9000, 9001, 9002 и 9003 (редакция 2000 года) содержат универсальные требования к системе качества и определяют различные модели его обеспечения на разных этапах жизненного цикла [11-13]. Управление качеством представляется как интегрированный процесс на протяжении всего жизненного цикла системы, который обеспечивает создание качества по мере продвижения разработки, а не фиксирует его на выходе процесса. Качество определяется как набор характеристик системы, относящихся к ее способности удовлетворить установленные и предполагаемые потребности клиентов [14]. Список требований и критериев оценки показателей качества программных систем общего назначения был разработан в 1994-2002 гг. [14-16, 30]. Сравнительный анализ, проведенный автором диссертации,

устанавливает, что указанные модели отражают требования к РОС лишь частично. Это связано с тем, что распределенные обучающие системы обладают очень специфический областью использования, и их потенциальными пользователями выступают преподаватели, учащиеся, методисты, инструкторы и т.д. Такую предметную область указанные модели не рассматривают. С другой стороны, речь идет о программных системах и критерии их оценки должны учитывать основные направления развития, что необходимо для создания системы оценки качества РОС, которая формирует цели качества и метрики показателей. Но одной системы оценки качества недостаточно, крайне важно обеспечить управление качеством на всем протяжении жизненного цикла системы, которое предоставило бы определенные гарантии того, что как в процессе разработки РОС, так и при эксплуатации и сопровождении будут обеспечены требуемые значения показателей качества и достигнуты поставленные цели.

Особую актуальность проблема измерения и стандартизации качества РОС имеет для Московского инженерно-физического института (МИФИ), готовящего специалистов в области всех видов ядерных технологий. По этим специальностям запрещено заочное обучение, поэтому широкое внедрение РОС в МИФИ возможно только при полкой гарантии качества обучения. Этим объясняется то обстоятельство, что практическая работа автора проводилась на базе Экономико-аналитического института (ЭАИ) МИФИ. Она задумана и выполнена как полномасштабный эксперимент, предваряющий перспективные работы по созданию РОС корпоративного ядерного университета. Цели и задачи. Целью данной диссертационной работы является решение крупной научной проблемы повышения качества обучающих систем, имеющей важное хозяйственное значение.

Для достижения указанной цели решены следующие задачи.

1. Предложена система требований качества в виде согласованной иерархии показателей, объединяющая и систематизирующая характеристики РОС как программных систем и их возможностей использования в учебном процессе.

2. Создана система оценки качества РОС, разработаны критерии и шкалы измерений для каждого показателя, получены экспертные оценки для определения значимости и удельного веса каждого показателя.

3. Для управления качеством РОС разработаны положения по обеспечению качества на каждом этапе жизненного цикла, представленные, в частности, в виде объектно-ориентированной среды с соответствующим набором базовых классов требований качества и классов гарантий.

4. Проведено проектирование распределенных обучающих систем различного назначения на основе предлагаемой методологии и дана оценка качества указанных разработок.

Областью исследования являются критерии и методы оценки показателей качества сетевых программных приложений, основанных на новых

информационных технологиях (паспорт специальности 05.13.11 - п.п. 2.6 и 2.17).

Научная новизна работы заключается в следующем.

1. Предложена система оценки качества распределенных обучающих систем в виде согласованной иерархии показателей качества, причем для каждого показателя определены шкалы и способы измерений, значимость и удельный вес.

2. Предложена методология управления качеством РОС на всем жизненном цикле системы, представленная в виде объектно-ориентированной среды.

3. Для одного из видов электронных ресурсов - предметно-ориентированной среды учебного назначения - разработан язык формальных описаний сетевых протоколов и сервисов ЯСМОД. Его использование при проектировании распределенных приложений позволяет управлять такими характеристиками качества, как надежность и корректность.

4. Для таких компонентов РОС, как контролирующие программы, предложены математические модели и алгоритмы формирования адаптивных и стратификационных тестов, адекватной оценки и диагностики результатов контроля знаний учащихся. Их применение повышает эффективность РОС.

5. Для обеспечения безопасности при доставке информации, в том числе учебного назначения, предложена математическая модель универсального доступа к файловым объектам, позволяющая обеспечить целостность, конфиденциальность и доступность данных при миграции между различными файловыми системами.

6. Предложена архитектура информационно-образовательного портала как прототипа корпоративного виртуального университета, обеспечивающего функции организации учебного процесса и безопасный доступ к ресурсам.

Практическая значимость. На основе предлагаемой методологии управления качеством программных систем учебного назначения осуществлена разработка следующих компонентов РОС:

• программной реализации системы оценки качества распределенных обучающих систем и их отдельных компонентов «ОЦЕНКА РОС»;

• предметно-ориентированной среды «Архитектура связи ЛВС»;

• семи сетевых компьютерных учебников;

• распределенных систем адаптивного тестирования и тренинга ВИОТ и ВИОТ2;

• рабочего места администратора гетерогенной сети для обеспечения инвариантного санкционированного доступа к мигрирующим образовательным ресурсам;

• информационно-образовательного портала ЭАИ МИФИ.

Эксплуатация указанных систем показала, что все они обладают высокими

значениями показателей качества, а значения функции полезности указанных программных продуктов лежат в допустимых диапазонах.

Достоверность разработанной методологии проектирования, математических моделей и методов, алгоритмов и программных средств

подтверждается соответствующими актами о внедрении, документами о присвоении номеров государственной регистрации программным продуктам в Российском фонде компьютерных учебных программ, серебряной медалью ВДНХ СССР, почетными дипломами выставки-конференции «Телекоммуникации и новые информационные технологии в образовании».

На защиту выносятся следующие положения:

1) предложенная система оценки качества распределенных обучающих систем, включающая в себя согласованную иерархию показателей качества, установленные шкалы измерений, вычисленные значения и удельный вес каждого показателя на основании полученных экспертных оценок;

2) разработанные подсистемы управления качеством всех видов электронных ресурсов, для которых предложены показатели качества, сформирована иерархия показателей, определена значимость и удельный вес каждого показателя, проведено согласование иерархий; для различных видов электронных ресурсов получены экспертные оценки допустимых значений различных факторов качества и определены значения функции полезности для каждого вида электронных ресурсов;

3) предложенная методология управления качеством РОС, представленная в виде объектно-ориентированной среды как набор базовых классов и связей между ними, использование которой гарантирует требуемое качество, программная реализация системы управления качеством РОС «ОЦЕНКАРОС»,

4) разработанный язык синтеза формальных описаний сетевых протоколов и сервисов ЯСМОД;

5) созданные на основе предлагаемой методологии следующих компонентов РОС:

• предметно-ориентированной среды обучения «Архитектура связи локальных сетей»,

• семь компьютерных учебников, функционирующих в локальных и корпоративных сетях и Интернет,

• распределенная адаптивная система тренинга и тестирования «ВИОТ-2»,

• рабочее место администратора сети, обеспечивающее инвариантный санкционированный доступ к данным при миграции в гетерогенных корпоративных сетях,

• информационно-образовательный портал для доступа к распределенным образовательным ресурсам, как прототип корпоративного ядерного университета.

Авторский вклад. Все выносимые на защиту результаты и положения диссертационной работы получены и разработаны лично автором, или при его непосредственном участии.

Апробация работы. Основные научные результаты, полученные в ходе диссертационного исследования, докладывались и обсуждались на следующих конференциях, симпозиумах, совещаниях и семинарах:

IX Всесоюзном семинаре по вычислительным сетям. (Рига, 1986); X Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Ижевск, 1987); XI Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Орджоникидзе, 1988); XIII Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Симеиз, 1990); ХУ Всесоюзной школе-семинаре по вычислительным сетям» (Ленинград, 1990); XIV Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Феодосия, 1991); Международном симпозиуме «Логическое управление. Интеллектуальные информационные технологии и стратегии» (Москва, 1992); Всемирном конгрессе ITS-93 «Информационные коммуникации, сети, системы и технологии» (Москва, 1993); XVII Международном симпозиуме «Логическое управление. Интеллектуальные информационные технологии и стратегии» (Москва, 1994); конференции «Информатика и новые информационные технологии в системе ЛИЦЕЙ-ВУЗ» (Москва, 1995); конференции «Телекоммуникации и новые информационные технологии в системе ЛИЦЕЙ-ВУЗ» (Москва, 1997); научном семинаре «Электронный бизнес» (Москва, МЭСИ, 2001); IX - XI Международных научно-технического семинарах «Современные технологии в задачах управления, автоматики и обработки информации» (Алушта, 2000-2002); научных сессиях МИФИ 1998-2002 гг.

По теме диссертации опубликована 91 работа, общим объемом 108 печатных листов, в том числе монография, статьи в реферируемых журналах, компьютерные учебники, зарегистрированные в установленном порядке в Российском фонде компьютерных учебных программ, и два, выполненных в рамках Программы сотрудничества Министерства образования Российской Федерации и Министерства Российской Федерации по атомной энергии по направлению «Научно-инновационное сотрудничество», препринта. Основное содержание изложено в работах, список которых приведен в конце автореферата.

Структура и объем работы. Диссертационная работа состоит из введения, трех разделов, десяти глав, заключения, 19 приложений, списка использованной литературы го 200 наименований. В работе содержится 39 таблиц и 37 рисунков. Объем работы без учета приложений составляет 254 страниц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, указаны цели и задачи диссертационного исследования, приведены положения, выносимые на защиту, обсуждены научная новизна и практическая значимость работы.

РАЗДЕЛ 1 посвящен проблемам применения распределенных обучающих систем, проводится сравнительный анализ имеющихся международных стандартов, проектов стандартизации Министерства образования Российской Федерации в области дистанционного образования, предлагаемых инструментальных средств разработки и имеющегося опыта проектирования. Рассматривается постановка задачи диссертационного исследования.

В первой главе отражено современное состояние проблемы создания и использования распределенных обучающих систем.

Быстрое и широкое распространение компьютерной техники сильно изменило все стороны нашей жизни. Подверглась значительному воздействию компьютерных технологий и область образования. Крупнейшие компании внедряют компьютерные образовательные технологии и тестирование в свои программы обучения и сертификации. Появляются все новые и новые разработки, предлагающие онлайн-обучение и сертификацию через Интернет. В конце 90-х годов возникает новая отрасль знаний - телематика, находящаяся на стыке информатики и исследований в области телекоммуникаций, возможности применения которой в обучении очень широки. На ее основе появляются новые образовательные технологии.

Использование телематических систем в образовании породило новую форму обучение - дистанционное обучение [2]. В 1994 г. принимаются Концепции создания и развития единой системы дистанционного образования (ДО) в России и количество вовлеченных в нее образовательных учреждений стремительно растет. В настоящее время их насчитывается более сотни. Для дальнейшего развития и координации усилий в области ДО созданы соответствующие органы в Министерстве образования РФ, Евразийская Ассоциация ДО, Ассоциация Международного образования, и т.д.. Процесс широкого развития ДО в России сдерживается традиционными для России причинами - отсутствием хорошего материально-технического обеспечения, дефицитом компьютерной техники, ограниченными возможностями связи и низким материальным стимулированием преподавателей.

Тем не менее по доступным материалам можно судить о том, что активно внедряются технологии ДО в МИФИ, МГУ, МАИ, МЭИ, МФТИ, МИЭМ, МЭСИ, МАТИ, Челябинском государственном техническом университете, Самарском государственном авиационном университете, Томской государственной академии управляющих систем и радиоэлектроники, Уральском государственном техническом университете и других вузах. Санкт-Петербургский государственный технический университет (СПб ГТУ ) в рамках программы «Университеты России» обеспечил участие на основе спутниковой связи ЕЦТЕЬБАТ и НЧТЕЬБАТ университетов Великобритании, Франции, Испании, Италии, Швейцарии, Польши и др., в ряде международных семинаров и телеконференций. Британские образовательные услуги уже несколько лет успешно продвигаются на российский образовательный рынок партнером Открытого Британского Университета - Международным Центром ДО «ЛИНК».

Обилие возможностей по использованию различных телематических решений приводит к необходимости использовать стандарты [3-9]. Сравнительный анализ указанных источников показывает, что вопрос об эффективности и качестве предлагаемых решений остается открытым. В них полностью отсутствуют какие-либо данные о том, насколько важен тот или иной элемент архитектуры, как изменится поведение системы в отсутствии какого-либо класса или компонента, можно ли расширять набор предлагаемых компонентов и как это повлияет на работоспособность систем. Кроме этого, не учитываются педагогические аспекты использования системы обучения, например, ступени познания, содержательность учебного материала, усвояемость и т.д.

Рассматриваются возможности инструментальных средств разработки РОС. Как правило, это оболочки, позволяющие сформировать учебный курс по любой учебной дисциплине, дополнив его наборами тестовых вариантов. Более сложные инструментальные средства обеспечивают возможность общения с помощью телекоммуникаций. Проведенный сравнительный анализ инструментальных средств разработки программ учебного назначения показывает, что проблема качеств и эффективности использования инструментальных средств при синтезе РОС до сих пор не решена.

Глава 2 посвящена рассмотрению жизненного цикла РОС и постановке задачи диссертационного исследования.

В основе всей деятельности, связанной с программными системами, лежит понятие жизненного цикла (ЖЦ). Жизненный цикл является моделью создания и использования программной системы, отражающей ее различные состояния, начиная с момента возникновения необходимости в ее появлении и заканчивая моментом ее полного выхода из употребления у пользователей. Рассматривая проблемы жизненного цикла системы, серия международных стандартов ISO 9000 в основу ставит понятие процесса [30]. Модель процессов охватывает весь жизненный цикл систем любого назначения, в том числе и РОС. Ее использование позволяет говорить о качестве и эффективности как в целом всего учебного процесса, так и используемых при обучении технических систем. Обеспечение качества представляется как интегрированный процесс на протяжении всего жизненного цикла системы, который обеспечивает создание качества по мере продвижения разработки, а не фиксирует его на выходе процесса. Качество определяется как набор характеристик системы, относящихся к ее способности удовлетворить установленные и предполагаемые потребности клиентов [11].

Целью организационного процесса управления качеством является управление качеством продукта и услуг проекта и гарантия того, что они удовлетворяют клиента. Результатом успешной реализации процесса являются:

• установленные цели качества, основанные на требованиях качества заказчика, для различных контрольных точек внутри жизненного цикла РОС;

• определение и использование метрик, которые измеряют результаты действий проекта в контрольных точках жизненного цикла проекта и оценивают, были ли цели качества достигнуты;

• идентификация и интегрирование в модель жизненного цикла действий, которые помогут достигать целей качества,

• выполнение идентифицированных действия качества;

• набор корректирующих действий, когда цели качества не достигнуты.

Целью сопроводительного процесса гарантии качества является обеспечение гарантии того, что рабочие продукты и действия процесса или проекта согласуются со всеми применяемыми стандартами, процедурами и требованиями.

Поэтому системное решение проблемы управления качеством возможно на основе методологии управления качеством распределенных обучающих систем, которая предоставляет определенные гарантии того, что на протяжении всего жизненного цикла, т.е. как в процессе разработки РОС, так и при эксплуатации и сопровождении, будут обеспечены требуемые значения показателей качества (качество благодаря обслуживанию). В соответствии с современными тенденциями в

области стандартизации распределенных обучающих систем, такая методология может быть представлена в виде объектно-ориентированной среды оценки.

Предлагаемая объектно-ориентированная среда должна содержать в себе набор базовых классов, отражающих как функциональные требования к РОС, так и требования гарантий, и связи между ними. Такая среда позволит:

• до начала разработки на основании суждений заказчика (эксперта) о важности тех или иных свойств определить цели качества, т.е. взаимоувязанную систему требований, как общих, так и специализированных, к системе РОС, отраженную в спецификации, устанавливать их значимость; определить контрольные точки внутри жизненного цикла системы для проверки достижимости целей;

• определить необходимые метрики (показатели качества, шкала и способ измерения), которые измеряют результаты действий проекта в контрольных точках жизненного цикла проекта и оценивают, были ли цели качества достигнуты;

• гарантировать требуемые заказчиком значения показателей качества на основе использования соответствующих базовых классов и элементов среды оценки, как идентифицирующих и корректирующих действий качества.

Возможности предлагаемой методологии управления качеством РОС должны быть подтверждены на реальных примерах.

.Во'ВТОРОМ РАЗДЕЛЕ предлагается методология управления качеством. Для этого' проводится анализ предметной области с целью выделения показателей качества РОС, обосновывается формирование из них иерархии, рассматриваются полученные экспертные оценки по определению значимости каждого показателя качества. На основе экспертных оценок проводится согласование иерархии. Исследуются возможности применения объектно-ориентированного подхода для создания обобщенной системы управления качеством РОС в виде среды оценки, представляющей собой набор базовых классов функциональных требований и гарантий и связей между ними.

Третья глава посвящена анализу требований к распределенным обучающим системам и созданию на их основе системы оценки качества в виде согласованной иерархии показателей.

Распределенные обучающие системы охватывают целый класс программных систем, от сетевого компьютерного учебника или сервера с базой данных методических материалов до сложных и многофункциональных систем дистанционного обучения. Разработки в области эффективного использования компьютерных средств обучения, представленные в виде набора методических рекомендаций и списка требований, отражены в методических материалах Российского фонда компьютерных учебных программ за 1995-2002 годы. Результаты этой многолетней работы вошли в Проект стандарта ДО Российской Федерации по контролю и оценке качества дистанционного образования. К глубокому сожалению, в нем рассматриваются отдельные показатели качества систем ДО, без каких-либо значительных попыток систематизации. Так, например, в нем вообще не упоминаются такие важнейшие показатели, как эффективность средств обучения, безопасность их использования, достоверность полученных знаний учащимися и т.д. Более существенные результаты оценки функционирования

программных систем самого общего назначения присутствуют в [10], где дается общее направление по формированию классов функционирования и примеры критериев оценки их с точки зрения безопасности Такой системный подход является весьма перспективным и может быть применен к оценке программных систем с более общих, чем понятие безопасность, позиций.

Универсальную методологию управления качеством изделий, в том числе и программных, дает международный стандарт качества ISO 9000-9003. Любая РОС представляет собой программную систему, качество которой может быть определено согласно соответствующим стандартам. Международные стандарты ISO 9000, 9001, 9002 и 9003 содержат требования к системе качества и определяют различные модели его обеспечения на разных этапах жизненного цикла [11-13].

Для получения качественного продукта необходимо внедрение так называемой системы качества. Качество определяется как набор характеристик программного продукта, относящихся к его способности удовлетворить установленные и предполагаемые потребности клиентов.

Сравнительный анализ специализированных аспектов качества для программного обеспечения и универсальных для любых продуктов и системный подход к проблеме дают возможность впервые предложить иерархическую систему показателей качества РОС, одновременно учитывающую как общие требования к программным системам, в своем функционировании опирающиеся на вычислительные сети и телекоммуникации, так и специализированные требования, обусловленные областью применения этих систем в учебном процессе. В этой иерархии автором разработаны соответствующие шкалы измерений для каждого показателя и критерии его оценки. На основании полученных экспертных оценок определяются значимость и удельный вес каждого показателя в общей согласованной иерархии.

Таким образом, модель оценки качества может быть представлена как взвешенный граф (взвешенное дерево) Уа= <M,S>,

где в качестве носителя М выступает множество пар, каждая пара содержит показатель К, и множество его возможных значений {р\, ..., р}, А/= {(К„ {р ¡, ..., /?',})}; сигнатура 5 определяет множество отношений в виде взвешенной окрестности единичного радиуса Г ~ (К J = {(К j, w )}, где нормированные веса определяют относительную значимость w ) показателя К} при формировании показателя К ¡,

2>' =1'

> 1

Показатели, сгруппированные на самом верхнем уровне иерархии, называются факторами F,.. К общим факторам оценки качества РОС, как к любым программным системам, в данной работе предлагается отнести приемлемость, корректность, надежность, безопасность, добротность, стоимость, интерфейс и открытость.

Специфика предметной области, а именно распределенные обучающие системы, автором диссертации учитывается через кластер факторов «Ощущаемое качество». К общим факторам относятся:

• добротность, характеризующая внутренние достоинства реализации системы с технической стороны;

• надежность, т.е. способность системы сохранять готовность функционирования при установленных условиях за установленный период;

• безопасность, т.е. свобода оу неприемлемого риска в виде угроз, классифицируемых в зависимости от возможности злоупотреблений, возникающих в результате действий человека, как преднамеренных, так и непреднамеренных;

• корректность, т.е. соответствие реализации системы ее спецификации, т.е. в данном случае оценивается функциональная полнота и непротиворечивость;

• интерфейс, т.е. средства общения с пользователями системы;

• стоимость, т.е. затраты на закупку, эксплуатацию и модернизацию;

• открытость характеризует модифицируемость системы, т.е. ее способность подвергаться изменениям;

• приемлемость, понимается соответствие сформулированным заказчиком требованиям;

• ощущаемое качество определяется исходя из назначения системы, включает в себя соответствие дидактическим, педагогическим и прочим требованиям, представленным большим объемом соответствующих материалов.

Ощущаемое качество распределенных обучающих систем складывается из нескольких факторов:

• функциональные возможности РОС характеризуют набор функций, реализующих установленные или предполагаемые потребности пользователей, и их конкретные свойства;

• адаптивность характеризует возможности системы учитывать особенности конкретной личности учащегося и его потребности в обучении;

• интеллектуальность характеризует представление учебного материала с использованием моделей знаний с целью формирования для каждого обучаемого индивидуальной стратегии и тактики обучения;

• комфортность характеризует удобность использования;

• современность характеризует степень использования современных информационных технологий представления информации и систем связи;

• распределенность отражает охват аудитории учащихся с помощью дальнодействия и массовости;

• эффективность характеризует педагогические свойства системы, для этого формулируются цели обучения по учебной дисциплине, разделу, теме, описывающей действия обучаемых, которые при проверке могут быть формально оценены. Затем определяется валидность обучающего средства, т. е. его соответствие поставленным целям.

Очень важным показателем в составе эффективности является достоверность знаний, так как основное назначение обучающих систем - это предоставление знаний и навыков. Важнейшим показателем является наличие мотивации самих учащихся, без которой обучение невозможно.

Для оценки дидактической эффективности РОС рассматриваются полнота отражения программы учебного курса; систематичность и последовательность изложения материала, глубина трактовки вопросов программы учебного курса, степень усвояемости материала; содержательность учебного материала, которая складывается из научности, наглядности, доступности, т. е. соответствия уровню

подготовки обучаемых, и адекватности как соответствия ранее приобретенным знаниям. Кроме того, необходимым свойством является возможность возврата к уже изученным разделам учебного материала.

Необходимо также учитывать интенсификацию труда как преподавателя, так и учащегося, которая определяется как экономия времени преподавателя и обучаемых при увеличении объёма усвоенного материала (числа решенных задач).

Для оценки методической эффективности РОС необходимо исследовать наличие методического обеспечения; формы применения для самостоятельной работы, лекционных демонстраций, лабораторных работ, практических занятий; присутствие контролирующих точек в виде входного промежуточного и выходного тестирования; возможность итогового отчета по всему образовательному курсу.

В данной диссертационной работе предлагается объединить и систематизировать два направления, связанные и с оценкой качества РОС как программных систем, и с оценкой их возможностей использования в учебном процессе. Именно этот подход позволяет сформулировать систему целей качества. В результате была разработана иерархическая система требований качества, представленная в виде иерархии показателей, их метрик и значимости. Контрольные точки, в которых может производиться проверка достижимости целей качества, присутствуют по всему жизненному циклу РОС. Конкретные значения большей части показателей могут быть получены на этапах планирования, разработки и интегрированном, некоторые - только на этапе сопровождения.

Список требований и критериев оценки показателей качества программных систем общего назначения разработаны в 1994-2002 гг. И. Соммервилемь, В. Липаевым, Дж. Воасом , Д. Гарвиным [14-16, 18]. В таблице покрытий (табл. 1.) приведены результаты сравнительного анализа между ними и предлагаемой в данной работе моделью Для заполнения таблицы покрытий был введен предикат Р], отражающий соответствия между моделями на основе троичной логики:

{2, если свойства фактора полностью представлены в модели ¥;, 1, если свойства фактора Р] частично представлены в модели Ч*,, 0, если свойства фактора I'] вообще не представлены в модели Ть^СЧ*.

Предлагаемая универсальная модель V,

СПЕЦИАЛИЗИРОВАННЫЕ ФАКТОРЫ ОБЩИЕ ФАКТОРЫ

F1 F2 F3 F4 F 5 F6 F7 F8 F9 F10 F11 F12 F13 F14 F15

ISO 9126 0 0 0 0 0 0 0 2 2 / 0 2 1 2 1

Модель Редмана 0 0 0 0 0 2 0 2 0 0 1 1 0 2 2

Модель Гарвина 2 0 0 0 2 0 0 2 2 0 2 2 2 0 1

Модель Сочмервиля 0 0 2 0 0 0 0 2 2 2 0 2 2 2 1

Требования ИНИНФО к обучающим системам 2 2 1 1 0 0 2 2 0 0 0 0 2 2 2

Построенное покрытие данной таблицы свидетельствует, что предлагаемая автором модель оценки качества распределенных обучающих систем включает в себя все критерии рассмотренных моделей ISO 9126, Редмана, Гарвина,

Соммервшм, ИНИНФО ЧЧ, обладает функциональной полнотой, непротиворечивостью и безызбыточностью.

По своим функциональным возможностям компьютерные программы учебного назначения - образовательные ресурсы - могут быть классифицированы по типам следующим образом [20]: компьютерные учебники; предметно-ориентированные среды (микромиры, моделирующие программы, учебные пакеты); лабораторные практикумы; тренажеры; контролирующие программы; справочники, базы данных учебного назначения. Сравнивая требования, предъявляемые к различным видам электронных ресурсов, можно сделать вывод, что они отличаются только составом фактора «эффективность».

Распределенные обучающие профаммные системы, как и всякое программное обеспечение, обладают неким набором характеристик, имеющих различную степень важности для потребителя, и пользователь обычно принимает решение о предпочтении одного продукта по сравнению с другим в зависимости от значений этих характеристик, заданных в рамках некоторой метрики. Математическая модель такого поведения называется моделью потребительского выбора [22], в которой благами являются критерии качества программного продукта, а предпочтения потребителя соответствуют весовым коэффициентам выбранных критериев. Потребительский набор, представляющий собой программный продукт, в этом случае - это вектор, координаты которого равны абсолютному значению критериев качества. На множестве потребительских наборов (kh к2, .... kj определена функция и(к/, к2, ... kj, которая называется функцией полезности потребителя.

Относительная значимость каждого критерия обычно определяется при помощи весов. Для минимизации погрешности предлагается использовать метод анализа иерархий, предложенный Саати и основанный на парных сравнениях [21].

После выявления суждений пользователя о важности наличия тех или иных свойств и возможного повышения их индекса согласованности необходимо определить вид самой функции полезности. Для включения в функцию потребительских ограничений автор диссертации предлагает использовать модифицированную функцию Стоуна:

и

«а...../.)=!>,-а-УГ)->max и

ы 1

где: - потребительские ограничения на значения /-го фактора, k'f™ -

потребительские ограничения на значения j-го показателя в рамках / -го фактора, v,-относительная ценность /'-го фактора для потребителя (вес /-го фактора), w'y -относительная ценность j-го показателя при формировании оценки / -го фактора.

В качестве потребительских ограничений выступают требования к допустимому диапазону значений оценок показателей или факторов качества ПО. В этой связи потенциальный пользователь задает набор потребительских ограничений, на конкретные показатели или на итоговые значения факторов. В силу различий в метриках измерения различных факторов, необходимо нормировать значения еще до задания ограничений, исходя их шкалы [1..9]. Соответственно, после нормирования потребительские ограничения на значения критериев или факторов будут иметь вид

R,: и R2: ^¿к'™'".

В рассматриваемом «-мерном пространстве каждое ограничение вида Л, задает область, внутри которой находятся допустимые решения. Ограничения вида й2 представляют собой поверхности, которые пересекают поверхности безразличия, отсекая области от всего множества допустимых решений со стороны начала координат.

На основе метода анализа иерархий Саати получены экспертные оценки суждений о качестве РОС, определена значимость показателей качества и проведено согласование иерархии показателей. В качестве экспертов привлекались разработчики РОС, преподаватели, методисты и студенты. Обработанные автором экспертные оценки показали, что на втором уровне иерархии - при выделении кластеров общего и специального назначения - наблюдается резкое рассогласование мнений между пользователями (студентами, преподавателями и методистами) и разработчиками РОС (см. табл. 2).

Таблица 2.Результаты согласования иерархии

Фактор Наименование Вес (натзоютеяя) Вес (разработчики) Вес (усредненный)

П Функциональность 0,074 0,018 0,028

Р2 Адаптивность 0,028 0,007 0,011

Р3 Эффективность 0,225 0,059 0,089

К 4 Интеллектуальность 0,017 0,005 0,007

Р 5 Комфортность 0,061 0,015 0,023

Р6 Современность 0,191 0,045 0,067

Р 7 Распределенность 0,071 0,018 0,027

Р 8 Добротность 0,039 0,097 0,087

Р9 Надежность 0,041 0,103 0,093

К 10 Безопасность 0,080 0,199 0,179

К 11 Корректность 0,070 0,174 0,156

Р12 Интерфейс 0,042 0,106 0,095

Р13 " Стоимость 0,023 0,057 0,052

Р 14 Открытость 0,016 0,040 0,036

П5 Приемлемость 0,023 0,058 0,052

С точки зрения пользователей РОС, по совокупности, факторы оОщущаемое качество обладает значимостью 0,66, в то время как группа факторов общего назначения, характеризующих любую программную систему, обладает значимостью только 0,33. Наибольший вклад дает эффективность (0,23). Из общих факторов качества, наиболее значимыми факторами являются безопасность (0,08), корректность (0,07) и хорошо построенный интерфейс (0,04). Для разработчиков наиболее значимой является группа факторов общего назначения - 0,83, а кластер специализированных факторов обладает весом 0,17. Следует отметить, что внутри кластеров согласование очень высокое (рис. 1.). Среди ощущаемого качества, которое отражает возможности использования РОС в целях обучения, наибольшие веса имеют факторы эффективность, современность и функциональные возможности, а среди общих факторов, характеризующих любые программные системы, - безопасность, корректность и интерфейс.

Сравнительный анализ значимости факторов

Фякторы

Вес(польэователи) —-Ж— Вес(разработчики) .........Вес (усреднений)

Рис. 1. Сравнительный анализ значимости факторов ___ Таблица 3. Веса факторов качества РОС

Функциональные возможности fi Показатель Имя Вес Показатель Им я Вес

Управление К„ 0,002 Распределенность F7 Дальнодействие К,, 0,007

Средство автора Ка 0,005 Массовость КТ2 0,020

Средство преподавателя к„ 0,003 Добротность F, Сложность Ksi 0 »8

Средство обучающегося Ки 0,010 Технологичность 0,025

Средство администратора 0,007 Структурность Ки 0,041

Адаптивность ь К знаниям Кп 0,002 Прагматичность *И 0,013

К психологии к„ 0,001 Надежность F, Отказоустойчивость к„ 0,093

К физиологии к„ 0,004 Безопасность Fio Данных при переносе Кщ 0,016

Уровни обучения Ки 0,002 Данных при хранении Кт 0,028

Формы обучения Кг, 0,001 Защита от НД Кю 0,055

Мотивация К„ 0,010 4 Использования Кт 0,081

Цели обучения Кп 0,014 Корректность F„ Функциональная полнота Кт 0,117

ъ Валидность Ки 0,007 Непротиворечивость Кт 0,039

Достоверность знаний Ки 0,029 Интерфейс F,2 Стиль Кт 0,032

Дидактическая к15 0,023 Понимаемость Кт 0,053

Методическая К» 0,005 Адаптируемость Кт 0,011

Интеллектуальность f4 Итеративность Kt, 0,003 Стоимость fu Закупки Кт 0,006

Многоальтерна-тивносп. *•« 0,003 Эксплуатации Кш 0,037

Способы анализа Ka 0,005 Модернизации Кт 0,009

Статистика Ки 0,001 Открытость F,4 Модифицируемость Кш 0,024

Наличие базы знаний К« 0,001 Модульность Кнг 0,012

Комфортность Fs Гибкость Кп 0,014 Приемлемость F,s Технологическая *ш 0,015

Параллельность К,г 0,006 Аппаратная Кцг 0,028

Печать 0,003 Законодательная Кт 0,006

Мультимедиа К„ 0,035 Соответствие стандартам Кш 0,004

F6 \УеЬ-технологии Ка 0,008

Средства общения Ка 0,025

В табл. 3 приведены расчетные абсолютные веса показателей четвертого уровня иерархии, взятые при усреднении мнений разработчиков и пользователей (суммарный вес равен 1). В этом случае абсолютный вес кластера специализированных факторов имеет вес 0,25, наибольший вклад из них дает «эффективность» (0,06). Из общих факторов качества, характеризующих любой программный продукт, наиболее значимыми факторами является безопасность (0,18), корректность (0,16) и хорошо построенный интерфейс (0,1). Для кластера общих факторов значимость составляет 0,75.

Таким образом, в соответствии с общей теорией систем, используя принцип семантического эквивалентирования [22], жизненный цикл РОС можно описать как

Е = <У0,ЧЬЧ>Ъ Уз.РоСР,,^, где Ч'о, 4*2, 4*3- модели этапов жизненного цикла, а *fj) - предикат

функциональной целостности, отражающий правомерность перехода между ними. На каждом этапе жизненного цикла модель *Pi = <М„ S,> распределенной обучающей системы отражает необходимость нашего представления о ней. На этапе планирования - это функциональные спецификации системы, набор инструментальных средств разработки и т.д. На этапе разработки - технический проект и программный код, интегрированный этап включает в себя нотации для верификации, валидации и тестирования. На этапе сопровождения проводится анализ функционирования системы в целом. Использование предлагаемой методологии управления качеством РОС приводит к необходимости эквивалентировать систему S новой системой Z",

Е* = < У 'о, 4f \ ЧГ* Ч>\ Г&ГЬ *Tj)>, где «Г,= /У,). В каждой модели исходной системы происходят изменения. Наше

представление о ней уточняется за счет следующих компонентов:

• множества показателей качества к; и множеств их возможных значений {р ¡, ..., р',}, К= {(*„ {р..., р}) /¿=1..130},

• множества контрольных точек z j , определенных на жизненном цикле РОС, Z={zi, Z2, ...д,,},

• предиката Pt, отражающего соответствие между показателями качества к и контрольными точками z j , в которых они измеряются,

Г 1, если измерение возможно, Pi(k„ z j) = -L 0, в противном случае,

• множества Я, отражающего, кто должен проводит измерение значений показателей качества Н={«эксперт», «разработчик», «пользователь»},

• множества функций F для измерения нужных показателей качества в нужных точках,F={fi(kt,Zj, Л„)},

• предиката Р2, который определяет, удовлетворяют ли значения показателей качества требуемому значению в данной контрольной точке или нет,

г 1, если удовлетворяют, Р2(к ък2_..., к 130, zj,/;, = ± 0,в противном случае,

• функционального отношения R, отражающего переход к следующей контрольной точке и множество корректирующих и идентифицирующих нотаций N={n,, п2, ..., ng), R{P2, 2,) = (z„ {«,, п2, ..., ng}).

Все вышеизложенное означает, что модель ЧЧ = <М„ Б?* в каждой точке жизненного цикла РОС г, на основе принципа семантического эквивапентирования может быть представлена моделью <М~„

Носитель М1 расширяется за счет включения множества показателей качества К и множества контрольных точек 2, М", = М1 и К И 2, ъ сигнатура 5/ изменяется за счет добавления предикатов Р, и Р2, а также множеств функциональных отношений Л и ^ 5",= Б, и Р11! Р2и ГI/ &

Таким образом, применение методологии управления качеством РОС приводит к эквивалентированию системы Е новой системой Е", содержащей контур управления качеством, как

Е* = < У ~„ Го(*Г„ ¥*)>, где <М, и К и 2, 5, ИР, и Р2 ИР [//?>.

В четвертой главе рассматриваются возможности объектно-ориентированного подхода для создания методологии управления качеством РОС.

Как было отмечено ранее, для описания проблемы управления качеством распределенных обучающих систем необходима модель, которая позволяет соединить воедино цели качества РОС, сформулированные конкретным заказчиком, систему оценки качества и метрики измерения достижения целей качества, гарантировать требуемые заказчиком значения показателей качества. Предлагаемая автором методология представлена в виде информационной модели, т.е. объектно-ориентированной среды оценки, в рамках к-ггорой впервые формируется обобщенная система управления качеством, поддерживающая весь жизненный цикл РОС.

Таким образом, с одной стороны, для формализации целей, оценок, метрик и гарантий такой моделью может служить объектно-ориентированная среда оценки в виде набора базовых классов требований качества и классов гарантий, включающих в себя метрики измерения. Связи между классами определяют контрольные точки внутри жизненного цикла РОС, в которых оценивается выполнение целей качества. С другой стороны, на основе полученных значений и удельного веса У0 показателей качества А*, с помощью функции полезности С/ определяется степень удовлетворения потребителей данной РОС.

Требования к качеству распределенных обучающих систем, рассмотренные выше, могут быть представлены в виде семейства объектно-ориентированных классов требований. С учетом иерархии показателей, определяются составляющие классов в виде семейств, компонентов и элементов, которые также упорядочиваются. Классы требований в этом случае называются требованиями качества и проецируются на иерархическую систему показателей качества. Организация требований к качеству в виде иерархии показателей «класс - семейство — компонент - элемент» призвана помочь пользователям, разработчикам и экспертам в формировании как общих, так и специфических требований к РОС.

Помимо этого, процессы жизненного цикла РОС требуют соответствующих гарантий, что система соответствует именно указанным требованиям. Гарантия представляет собой основу для уверенности в том, что программное обеспечение или система соответствует образовательным целям. Установление гарантии основывается на оценке (активном исследовании), которой требуется доверять. В этой связи система гарантий также представима с помощью соответствующих классов и охватывает весь цикл жизни РОС.

Термин «класс» применяется для наиболее общего группирования требований качества. Все составляющие класса имеют общую направленность, но различаются по охвату целей. Составляющие класса называются семействами. Семейство - это объединение наборов показателей качества, имеющих общие цели, но различающихся акцентами или строгостью. Составляющие семейства называются компонентами.

Компонент содержит специфический набор требований, который является наименьшим выбираемым набором требований. Совокупности компонентов, входящих в семейства, могут быть упорядочены. В тех случаях, когда в семействе имеется только один компонент, упорядочение не требуется.

Компоненты состоят из отдельных элементов. Элемент - представление показателей самого нижнего уровня и неделимое требование качества, которое может быть оценено по соответствующей шкале в соответствии с набором критериев. Все элементы одного класса обладают единой шкалой оценки. Между компонентами могут существовать зависимости. Для каждого компонента качества могут бьггь установлены и определены разрешенные операции назначения и выбора, условия применения операции к компоненту и {возможные} результаты применения операций. Операции итерации и уточнения могут выполняться для любого компонента. Указанные четыре операции определены следующим образом: итерация, позволяющая неоднократно использовать компонент при различном выполнении в нем других операций; назначение, позволяющее специфицировать параметры, устанавливаемые при использовании компонента; выбор, позволяющий специфицировать элементы, которые должны быть выбраны из списка, приведенного в компоненте; уточнение, позволяющее осуществлять дальнейшую детализацию используемого компонента.

Предлагаемая автором среда оценки полностью основывается на объектной модели. Согласно Г. Бучу [17] объектная модель содержит четыре основных компонента: абстрагирование, инкапсуляцию, модульность и иерархию.

С точки зрения классов функциональных требований, можно выделить следующие уровни ощущаемого качества (УОК):

1) программная оболочка с соответствующим педагогическим наполнением, которая используется для самообразования на локальном компьютере (УОК1);

2) образовательный портал, содержащий набор единообразных образовательных элементов, распределенных по сети, и поддерживающий унифицированную систему доступа к ресурсам (УОК 2);

3) образовательный портал, включающий в себя систему организации и поддержки обучения (УОК 3);

4) система управления обучением (ЬМБ), поддерживающая оптимизацию адаптируемых моделей обучаемого, инструктора, модуля оценок и образовательных ресурсов (УОК 4).

Уровни ощущаемого качества обеспечивают возрастающую шкалу, которая позволяет соотнести получаемый уровень системности со стоимостью разработки и возможностью достижения ожидаемого качества.

Классы гарантий также представимы в виде иерерхии «класс - семейство -компонент - элемент». В табл.4 представлено краткое описание классов гарантий, сопровождающее весь жизненный цикл РОС и предоставляющее соответствующие

свидетельства по качеству. Предлагаемая автором диссертации классификация полностью соответствует жизненному циклу РОС и сопроводительным процессам и организационному процессу управления качеством, поддерживающим этот цикл. Элементы гарантии определяют: контрольные точки жизненного цикла РОС, в которых производится оценка, кто и каким образом производит оценку, что именно оценивается, набор идентифицирующих и корректирующих мероприятий.

Таблица 4. Классы гарантий

Класс гарантии Семейстшо гарантии Сокращенное имя Класс гарантии Семейство гарантии Сокращенное имя

Класс вСМ: Управление конфигурацией Автоматизация УК GCMAUT Класс GTE: Тестирование Покрытие GTECOV

Возможности УК GCM САР Глубина GTE DPT

Область УК GCMSCP Функциональное тестирование GTEFUN

Класс ООО: Поставка и ввод в эксплуатацию Поставка GDODEL Независимое тестирование GTEJND

Установка, генерация и запуск GDOJGS Класс GVQ Ощущаемое качество Функциональность GVQJFA

Класс вОУ: Разработка Функциональная спецификация GDVFSP Адаптивность GVQ_FAD

Проект верхнего уровня GDVHLD Эффективность GVQ_FHF

Представление реализации GDVJMP Интеллектуальност ь GVQ_FIN

Внутренняя структура РОС GDVJNT Комфортность GVQ_FCM

Проект нижнего УРОИИ GDVLLD Современность GVQ_FMD

Соответствие представлений GDV_RCR Распределенность GVQ_FDS

Класс (ЮО. Документы руководства Руководство администратора GGD AD М Уровни ощущаемого качества GVQ_LVQ

Руководство пользователя GGDUSR Сопровождение гарантии Класс GMA План сопровождения гарантии AMAAMP

КлассИХ: Поддержка жизненного цикла Устранение недостатков GLCFLR Отчего категорировании компонентов ОО GMA_CAT

Определение жизненного цикла GLCJLCD Свидетельство сопровождения гарантии GMAEVD

Инструментальные средства и методы GLCTAT Анализ факторов ощущаемого качества GMASIG

Между классами функциональных требований и классами гарантий существует связь. Для отражения этой связи, компонент функциональных требований в качестве зависимости имеет ссылки на компоненты соответствующих классов гарантий. Именно включение в объектно-ориентированную среду оценки классов гарантий дает возможность организовать контур управления качеством в рамках жизненного цикла РОС (через элементы гарантии и перекрестные ссылки).

Использование предлагаемой методологии гарантирует требуемые пользователями значения показателей качества РОС, что было подтверждено на ряде программных продуктов, рассмотренных в третьем разделе диссертационного

исследования, в частности, семи электронных учебниках, двух распределенных системах контроля знаний и предметно-ориентированной обучающей среде.

ТРЕТИЙ РАЗДЕЛ посвящен использованию предлагаемой методологии управления качеством при создании различных распределенных обучающих систем и оценке их показателей качества.

Глава 5 рассматривает предлагаемую систему оценки качества не только всей обучающей распределенной системы, но и каждого, выделенного в ней согласно стандарту IEEE 1484, компонента. Определяется функция полезности для каждого вида электронных ресурсов и интервал ее допустимых значений.

Для построения соответствующих оценок качества при непосредственном участии автора диссертации было создано программное средство «ОЦЕНКАРОС», выполненное в VISIAL BASIC for APPLICATIONS. Данный пакет предоставляет следующие функциональные возможности:

• получение и анализ суждений заказчика о влиянии выбранных показателей качества на итоговую оценку полезности программного продукта (расчет весов методом анализа иерархий),

• задание потребительских ограничений на значения показателей и факторов качества разрабатываемой системы,

• расчет коэффициентов в функциях, задающих бюджетные ограничения потребителя и производителя,

• анализ выдвинутых требований на предмет непротиворечивости и принятие решения о возможности создания системы, удовлетворяющей данным требованиям,

• построение функциональной диаграммы на основе отобранных из предложенного списка необходимых функциональных возможностей,

• построение итоговой оценки для синтезированной системы и анализ на ее принадлежность интервалу допустимых значений.

С помощью программного пакета «ОЦЕНКА РОС» оценены и успешно применяются в учебном процессе: целый набор электронных ресурсов в виде лабораторного практикума, 6 электронных учебников и комплекса «ВИОТ-2», предназначенного для создания и проведения тестов по различным учебным дисциплинам. Разработка системы выполнена в рамках Программы сотрудничества Министерства образования Российской Федерации и Министерства Российской Федерации по атомной энергии по направлению «Научно-инновационное сотрудничество».

Глава 6 посвящена созданию и использованию предметно-ориентированной среды «Архитектура связи в локальных вычислительных сетях». Анализ требований к эффективности использования лабораторных практикумов привел к необходимости разработки нового языка формального описания протоколов связи вычислительных сетей ЯСМОД, обладающего простотой и наглядностью, и создания на его основе предметно-ориентированной среды учебного назначения.

Для формальных описаний объектов и сервисов компьютерных сетей могут применяться различные методы. На основе анализа рекомендаций ISO среди множества таких методов выделяется два основных класса: методы, использующие модели состояний, и методы, использующие модели последовательностей [23]. Рассматривая классы моделей в целом, можно утверждать, что существует

однозначная ориентация на описание либо протокольного объекта, либо сервиса. Методы, использующие модель состояний, хороши для описание протокольного объекта, так как позволяют сделать это описание весьма подробным, легко разбиваемым на модульные составляющие. Серьезной проблемой для всех методов, использующих эту модель, является рост размерности задачи при описании сложных объектов.

Методы, использующие модель последовательностей, предназначены для описание сервиса. Задача верификации подобных описаний относится к классу NP-полных задач и точными методами, как правило, не решается. При попытке построения описаний протокольных объектов с помощью моделей этой группы уже на стадии описания появляется глобальная проблема формулирования описываемых свойств, и, как следствие, формализация становится трудно анализируемой. В этом случае процесс верификации еще сложнее.

В этой связи, возможна разработка пограничного метода формализации, который бы объединял достоинства описательных возможностей обеих групп моделей формализации протоколов и сервисов. Одним из пограничных методов формализации протоколов и сервисов является разработанный автором диссертации метод формализации ЯСМОД (Язык Сетевых МОДелей). Применение ЯСМОД делает возможным создание формализации протокольных объектов, направленных на реализацию, и описание сервисов, что позволит проводить комплексный анализ всей системы в целом.

Язык ЯСМОД был разработан для формального описания, верификации и программной реализации сложных распределенных систем. Не уступая по порождающей способности рассмотренным выше языкам, таким как ESTELLA, LOTOS, АГРЕГАТ, SDL или ОСА, ЯСМОД имеет ряд особенностей. В частности, этот язык имеет широкий спектр применения: это системы как синхронного, так и асинхронного действия, конвейерные системы. Наиболее важным является возможность с равным успехом описывать и верифицировать как протокольные объекты, так и сервисы, несмотря на NP-полноту поставленной задачи. Такая верификация возможна только при уменьшении размерности сверткой сетевой модели к каноническому виду и последующей проверке на отсутствие ошибок.

Основным понятием ЯСМОД является система Sy, которая живет, функционирует, подвергается ряду воздействий и, в свою очередь, вырабатывает ряд воздействий. Входные и выходные воздействия называются примитивами (X и Y) и поступают последовательно (синхронно или асинхронно) на точки доступа этой системы (SAP). Эти точки могут быть как односторонними (только входные или только выходные), так и двухсторонними (пропускающими информацию как на вход, так и на выход). Система может вообще не иметь точек SAP - в этом случае она является автономной и не выдает каких -либо примитивов.

Внешний взгляд на систему позволяет описать ее поведение через механизм событий Sy,. Каждое событие Sy, представляет собой отображение входного примитива X¡ или какой - либо внутренней причины Z в выходную реакцию Y¡. При этом входное событие может быть только одно и привязано оно к одной единственной точке SAP, а выходное событие может содержать разные по множеству точек SAP.

Описание системы строится как

Sy : Xt \SAPX ] —> [SAP],SAPy SAP"]. Важно отметить, что одни и те же

события могут происходить параллельно и быть привязаны к разным точкам SAP. События подразделяются на простые, сложные, входные, выходные. Без ограничения общности считается, что система Sy функционирует во времени вечно (Sy=l), а если какие-либо сбои в ее работе приводят к остановке системы, то она разрушается (Sy=0). Вводятся основные операции над последовательностью событий в виде алгебры G={&, V, |, а}. Операция & означает последовательное выполнение событий Sy, & Sy2 , где Sy2 начинается только тогда, когда Sy, завершено, независимо от точки SAP, где апплицируются данные события. Операция V означает параллельное выполнение Sy, V Sy2 - эти события разнесены во времени и для их выполнения требуется, по крайней мере, две точки SAP. Операция | означает выбор альтернативы, т.е. выполняется только одно из событий Sy, | Sy2. И, наконец, для обеспечения функциональной полноты системы введен оператор а, соответствующий состоянию ожидания. Соответственно, функционирующая система (Sy=l) либо отрабатывает событие, либо находится в состоянии ожидания а.

Для описания функционирования системы во времени формируется автоматная грамматика As, порождающая из системных событий Syi и операций {&, V, |, а} бесконечный язык L, каждое слово которого соответствует последовательностям событий во времени, происходящим на разных точках. Эти последовательности называются сервисом системы, который предоставляется ее пользователям. По способу функционирования система может быть синхронной, асинхронной и конвейерной. В первом случае по независимым точкам SAP проходят независимые воздействия. Каждое событие блокирует системные сетевые ресурсы SAP на все время его обработки. Для обработки двух синхронных событий требуются различные точки SAP.

В результате декомпозиции система распадается на множество взаимодействующих между собой объектов, каждый из которых выполняет часть внутренних функций системы, и каждый в дальнейшем может быть также декомпозирован. Такая декомпозиция проводится до тех пор, пока число объектов, составляющих систему, не станет слишком большим, или описание внутренней структуры таких объектов, вместе с описанием сервисов, не станет слишком простым с точки зрения функциональной нагрузки.

В этих случаях декомпозиция системы прекращается, а объекты, составляющие систему, будут считаться элементарными. Описание внутренней структуры функционально элементарных объектов системы называется описанием протокольного объекта и выполняется с помощью сетевой модели. Внутреннее представление объектов осуществляется с помощью аппарата сетевых моделей. Сетевая модель G= <Р„ (x,y,s)> представляет собой ациклический взвешенный граф, в котором вершины соответствуют процессам, протекающим на рассматриваемом уровне взаимодействия, а дуги помечены тройкой (x,y,s), где х - входное воздействие на протокольный объект, у - выходное воздействие, as- внутренняя переменная.

Простота и универсальность построения формальных описаний на языке ЯСМОД с учетом дальнейшей верификации были использованы для проектирования транспортных протоколов связи в предметно-ориентированных средах учебного назначения. Предметно-ориентированная среда (микромиры, моделирующие программы, учебно-расчетные программы, учебные пакеты и т.п.) -это программа или пакет программ, позволяющий оперировать с объектами некоторого класса. Среда реализует отношения между объектами, операции над объектами и отношениями, соответствующие их определению, а также обеспечивает наглядное представление объектов и их свойств. Примером такого микромира является лабораторный комплекс «Архитектура связи в локальных вычислительных сетях». Учащийся оперирует объектами среды, руководствуясь методическими указаниями, в целях проектирования транспортных протоколов ЛВС. Проектирование транспортного протокола (ТП) в виде последовательных фаз осуществляется из готовых программных блоков в виде соответствующих веток сетевой модели ЯСМОД. Процесс проектирования разбивается на несколько этапов: изучаются транспортные протоколы ЛВС, уточняются функции протокольных объектов, их синтаксис и семантика;

• по созданному формальному описанию синтезируется ПО из готовых программных модулей, производится их настройка и адаптация;

• моделируется работа транспортной службы ЛВС,

• производится расчет основных характеристик качества доставки для транспортных протоколов и сравнительный анализ способов их реализации,

• в результате работы синтезированное программное обеспечение протокольного объекта может использоваться в реальных сетях.

После освоения принципов проектирования различных реализаций транспортных протоколов и моделирование их работы, проводится сравнительный анализ функционирования ТП в распределенной среде с большим коэффициентом остаточной ошибки. Анализ проводится в виде деловой игры. Большое значение в данной деловой игре придается мере согласованности транспортных и канальных служб, а также производительности проектируемого протокола.

Для работы в рассмотренной выше предметно-ориентированной среде автором диссертации был создан специальный интерпретатор языка ЯСМОД, который в интерактивном режиме давал возможность пользователям проектировать транспортные протоколы и моделировать их работу в распределенных средах при различных остаточных коэффициентах ошибки. Программное обеспечение первой версии «Архитектура связи в ЛВС» широко использовалось в учебном процессе кафедры кибернетики и ФПК СП, в 1988 году выставлялось на ВДНХ СССР в рамках выставки, посвященной техническим средствам обучения Высшей школы, а его автор - Гусева А.И. - награждена серебряной медалью.

Вторая, усовершенствованная, версия интерпретатора с языка ЯСМОД сдана в фонд алгоритмов и программ НИИ высшего образования (№ 93647 от 22.06.93). Указанное программное обеспечение, также написанное на PASCAL, предназначено для работы на семействе персональных компьютерах i286-i386 и могло функционировать в сетевой среде NetWare 2.15.

Обе разработки, реализующие предметно-ориентированную среду протоколов связи ЛВС, были созданы на основе предлагаемой в данной диссертации

методологии управления качества распределенных обучающих систем. Конечно, техническая база десятилетней давности не может конкурировать с современными возможностями, но, тем не менее, обе версии могут быть оценены по предлагаемым метрикам. Для такого программного обеспечения совершенно бессмысленно оценивать такие параметры, как функциональность, современность и интеллектуальность. Но эффективность систем, несмотря на использование устаревшей технической базы, имеет чрезвычайно высокую оценку и при ненормированной шкале [0..2] составляет 1.97. Кроме того, система обладает избирательным дальнодействием и может работать в локальных сетях, предметно-ориентированная среда показывает эффективность.

Помимо применения в учебном процессе, интерпретаторы с ЯСМОД позволили осуществить проектирование, верификацию, моделирование и реализацию системного программного обеспечения ряда реально работающих промышленных сетевых систем и распределенных приложений.

В главе 7 рассматриваются вопросы использования предлагаемой методологии управления качеством мультимедийных учебников и задачников. Предлагаются к рассмотрению семь различных проектов, выполненных под руководством и при непосредственном участии автора диссертации. Разработанные учебники сданы в фонд компьютерных учебных программ РФ и им присвоены номера государственной регистрации. Полученное программное обеспечение оценено с точки зрения параметров качества с помощью системы «ОЦЕНКА_РОС», результаты оценок дают возможность провести сравнительный анализ и дать рекомендации к дальнейшему использованию.

Компьютерные учебники - это программно-методические комплексы, с помощью которых можно самостоятельно освоить учебный курс или его большой раздел. Они соединяет в себе свойства обычного учебника, справочника, задачника и лабораторного практикума и обладают следующими свойствами: обет чивают оптимальную для каждого конкретного пользователя последовательность и объем различных форм работы с курсом, состоящую в чередовании изучения теории, разбора примеров, методов решения типовых задач, отработки навыков решения типовых задач, проведения самостоятельных исследований и формирования мотивов дальнейшей познавательной деятельности; обеспечивают возможность самоконтроля качества приобретенных знаний и навыков; прививают навыки исследовательской деятельности; экономят время учащегося, необходимое для изучения курса. Компьютерный учебник может быть реализован в виде книги с комплектом дискет или CD-ROM, либо в виде соответствующего ПО, выставленного на сервер локальной сети или Интернет-сайт.

При непосредственном участии автора диссертации в 1996-2001 годах было разработано семь электронных учебников и задачников:

• «Работа в NetWare 3.12» (№ roc. per. 1577, ИНИНФО, 1996 г.);

• «Работа в NetWare 4.1» (№ roc. per. 1723, ИНИНФО, 1997 г.);

• «Сетевая операционная система Windows NT» (№ гос. per. 1751, ИНИНФО, 1997 г.);

• «Учимся программировать: Pascal 7.0»(№ гос. per. 1725, ИНИНФО, 1997 г.);

• «Информатика для поступающих» (по заказу ДИАЛОГ-МИФИ, 1998 г.);

• «Все об Интернет» (№ гос. per. 1975, ИНИНФО, 1999 г);

• «Основы работы в БОСС-Референт» (по заказу фирмы АйТи, 2001 г.).

В качестве исходного теоретического материала для шести компьютерных учебников и задачников использовались оригинальные курсы лекций, поставленные автором диссертации для студентов кафедры кибернетика МИФИ, слушателей ФПК СП МИФИ и ЭАИ МИФИ, а также ее учебники и учебные пособия. Учебный материал для «Основы работы в БОСС-Референт» был предоставлен департаментом ДСДОУ организации АйТи и предназначен для обучения пользователей БОСС-Референт.

Все учебные курсы имеют модульную структуру, содержат необходимый теоретический материал, иллюстрации, схемы, примеры, элементы гипертекста, практические задания с применением технологии «Drag and Drop», экраны эмуляции основных утилит соответствующих программных сред, что увеличивает наглядность обучения и повышает усвояемость материала. Широко представлены средства мультимедиа в виде звука, графики и анимации. Компьютерные учебники и задачники создавались на основе методологии управления качеством, снабжены интуитивно понятным интерфейсом и встроенной системой помощи, требуют минимальных навыков в работе с мышью, что позволяет расширить круг потенциальных пользователей.

Таблица 5. Относительный вес каждого фактора.

Фактор № VI Потреб, граничения Фактор № Vl Потреб, ограничения

Функциональные возможности F, 0,031 3 Добротность F, 0,087 3

Адаптивность Гг 0,010 3 Надежность F, 0,092 3

Эффективность F, 0,064 8 Безопасность F„ 0,179 7

Интеллектуальность F4 0,006 3 Корректность F„ 0,156 7

Комфортность F, 0,022 3 Интерфейс F12 0,095 6

Современность Ft 0,090 6 Стоимость F13 0,049 3

Распределенность F, 0,026 7 Открытость Fu 0,036 3

Приемлемость F„ 0,055 3

Минимально-допустимое значение функции полезности 5323

Все разработанные компьютерные учебники и задачники предназначены для использования в трех режимах обучения (синхронное, асинхронное, самообучение). В диссертационной работе приведены результаты опросов, полученных с помощью группы экспертов для электронных учебников, рассчитанных для применения в распределенных средах. С учетом расширения функциональности любого электронного обучающего ресурса, в группу экспертов вошли преподаватели, методисты, разработчики электронных учебников, студенты и работники деканатов. Помимо дидактических и методических свойств, таких важных для учебников вообще, большое внимание эксперты обратили на компьютерный учебник, как системообразующий компонент. Становится важно, как тот или иной продукт можно использовать в системе дистанционного образования.

В соответствии с методом анализа иерархий был проведен расчет согласованности суждений экспертов и определены веса факторов, влияющих на качество электронных учебников. В табл. 5 приведены результаты вычислений функций V ; относительный вес каждого фактора в формировании качества учебника и заданные потребительские ограничения Г,"0™1.

В результате опроса той же группы экспертов были заданы потребительские ограничения. Наиболее высокие требования были предъявлены к факторам эффективность, распределенность, современность, корректность, безопасность и интерфейс: 53пога>=8;£6°отго>==6; Ь"хт>=7; >=7; погт >=7; >=6.

Ограничения на все остальные факторы колеблются в пределах оценки 3. Помимо весов каждого фактора, методом анализа иерархий были получены относительные веса каждого показателя и потребительские ограничения на них. Потребительские ограничения получены с учетом нормирования шкалы [1 ..9]. Вся иерархия согласована, индекс согласования каждого уровня не превышает 0,1. Вес я / соответствует относительному весу каждого показателя в формировании качества электронного учебника. В зависимости от уровня иерархии, на котором находится этот критерий, относительный вес вычисляется по следующим формулам, где W¡' -относительный вес критерия соответствующего уровня иерархии, т.е. значимость критерия для родительского иерархического уровня: яЛКи^х^.^Х^Ки) ч/ (Я I)) = >У х • * ¡3) ♦ ^'(Я и) ч,1 (Т [}) = х ♦ АВД • \УДК 1.0 • ^'(ЯI * Щ>(Т 1)).

—«—NdW«c3 [2 —а—NaWms4 1 WmNT40 —*—РшЫГО

—Jfr— Инфорюпш ♦ [имя el -}-Референт ■—потреб огр

_ Рис. 2. Сравнительный анализ компьютерных учебников _

В качестве функции полезности используется модифицированную Стоуна, в которой учтены имеющиеся потребительские ограничения. На основании вычисленных весов и значений, которые принимают параметры качества для рассмотренных выше электронных учебников, на рис. 2 приведены сравнительные характеристики для соответствующих программных продуктов. Все рассматриваемые учебники и задачники, созданные на основе предлагаемой автором диссертации методологии, удовлетворяют исходным пользовательским ограничениям, а значение функции полезности превышает допустимый минимум на 13-20 % (значение функции полезности не может превышать максимального значения по шкале измерения).

Глава 8 посвяшена использованию разработанной методологии управления качеством для повышения эффективности контролирующих модулей РОС. В ней предлагаются математические модели и алгоритмы, используемые для формирования адаптивных и стратификационных тестов и адекватного оценивания результатов тестирования.

Контролирующие (тестовые) программы являются одним из основных компонентов технологических систем обучения и выполняют важнейшие функции по планированию, проведению и хранению результатов испытаний учащихся. Большинство показателей качества контролирующих программ, входящих в состав фактора эффективность, оценивается на этапе эксплуатации системы, и для определения их значений используются статистические методы.

В настоящее время существуют два методологических подхода к конструированию педагогических тестов: классическая теория тестирования, расцвет которой пришелся на 60 годы, и латентно-сруктурный подход, становление которого началось с 70 годов прошлого столетия.

В соответствии с классической теорией тестирования, тест отличается от набора заданий системообразующими свойствами, которые выявляются методами корреляционного и факторного анализа [24]. Латентно-структурный подход IRT (Item Response Theory) предполагает, что между результатами тестирования и латентными качествами испытуемых существует взаимосвязь, что позволяет по уровню знаний и трудности заданий определить (предсказать) результат тестирования, объективно определить уровень знаний учащихся, оценить эффективность каждого задания для каждого испытуемого и т.д. [25-26]. Такой подход, с использованием моделей Раша и Бринбаума, дает более широкие возможности для создания эффективных тестов по сравнению с классической теорией. Проведенный сравнительный анализ показывает, что

• классические методы не дают возможности адекватно оценивать получаемые результаты тестирования при завышенных либо при заниженных требованиях к аудитории,

• латентно-структурные модели определения уровня знаний (модели Раша 1-3 порядка и модель Бринбаума) недостаточно точно оценивают влияние вероятности угадывания правильного ответа на результат тестирования, что занижает оценку реальных знаний.

Для решения задачи адекватного оценивания знаний тестируемых в данной работе предлагаются новые математические модели и адаптивные методы, объединяющие оба методологических подхода к тестированию, позволяющие учитывать цели проводимого тестирования, заданный вид тестирования (адаптивное, неадаптивное, стратификационное, нестратификационное), а также неполное соответствие требований реальному уровню знаний аудитории.

Основными требованиями по обеспечению эффективности теста служат: валидность, надежность, непротиворечивость, дискриминативность, адекватность, обоснованный выбор шкалы оценивания результатов тестирования. Тест считается валидным, если он позволяет оценить именно то, для определения чего предназначен, т.е. степень усвоения учебного материала. Тест надежен, если он дает одни и те же показатели для каждого испытуемого (при условии, что он не знает или не помнит, правильно или неправильно выполнил каждое задание в первый раз). Такая надежность называется ре-тестовой. Тест называется непротиворечивым, если он является внутренне согласованным, т.е. результаты выполнения отдельных заданий положительно коррелируют друг с другом и с общим показателем теста. Дискриминативность теста характеризуется способностью отдельных его заданий и теста в целом дифференцировать

тестируемых относительно максимального и минимального результатов теста. Например, задания, на которые правильно отвечают все студенты или не отвечает никто, не имеют никакой практической ценности. Адекватность теста определяет, соответствуют ли полученные баллы реальным знаниям студента. При формировании тестовых заданий для повышения в&пидносги и адекватности полезно использовать адаптивные методики тестирования, когда система подстраивается под учащегося и выдает ему новые задания в зависимости от его предшествующих знаний. Адаптивные методики тестирования основываются как на классической теории тестов, так и на латентных качествах личности и параметров заданий ЖТ [27].

Одним из важнейших вопросов, которые возникают при использовании контролирующих программ, является вопрос о том, как оценивать полученные результаты. Для определения пригодности того или иного метода оценивания очень важно сформулировать цель тестирования и в зависимости от цели интерпретировать результаты тестов. Обобщая, можно выделить следующие цели: дифференцировать учащихся по нескольким группам в зависимости от их уровня знаний; сравнить уровень знаний с эталоном (эталонами) и определить тех, кто соответствует этому эталону; дифференцировать учащихся по нескольким группам на основе соответствия их уровня знаний эталонам; провести диагностику пробелов в знаниях.

Таблица 6. Параметры качества тестов

Параметр Формула Критерий

Надежность г 1+(*-1)Я„ 0,70 - 0,89-хорошая 0,90 - 0,99-отличная

Дискриминативность 5 Ы'-Ы7/(к +1) > 0,5 -приемлемо

Непротиворечивость X - Все Хл+1 >0

В зависимости от цели тестирования, нужно использовать как классическую теорию тестирования для подготовки тестов и оценке знаний, так и возможности ШТ. В данной работе предлагается пакет адаптивных методик выставления оценок тестирующимся. Кроме того, проводится сравнительный анализ предлагаемых методов по отношению к известным из литературы традиционным подходам. В соответствии с классической теорией тестов, в табл. 6 приведены формулы расчетов основных показателей качества тестов.

Для адекватного выставления оценок автором диссертации предложены три метода: по среднему отклонению, с распознаванием по правилу Байеса, пороговый.

По среднему отклонению. Проводим тестовые испытания для бучащихся из М вопросов и строим тестовую матрицу. Вычисляем результат испытаний по каждому вопросу X;, находим математическое ожидание Х0 и среднее отклонение как корень из дисперсии о*. Удаляем вопросы, у которых результат испытаний X, >

Х0 и X, < Ха -^¡с] , как слишком трудные или слишком легкие и

имеющие маленькую дифференцирующую способность.

Вычисляем итоговый балл каждого учащегося У,, и значение математического ожидания итогового балла Y0, и среднее отклонение как корень из дисперсии <ту2.

Оцениваем полученные результаты в зависимости от того, попадает результат в среднее отклонение, или нет, больше он или меньше математического ожидания.

По правилу Байеса. Все рассмотренные ранее методы выставления оценок исходили из предположения, что распределение результатов тестирования подчиняется нормальному закону. Накопленный автором статистический материал -более 3500 результатов испытаний за 8 лет - позволяет утверждать, что задачу оценивания нужно решать как классическую задачу классификации по правилу Байеса. В этом случае выделяются 4 класса результатов, в соответствии с оценками от 2 до 5. По сути, задача сводится к нахождению трех локальным минимумов {mino, min,, min2}, и выделение классов строится от них.

Пороговый метод. Требования к уровню знаний предполагают разбиение множества вопросов на 3 или более множеств:

• X, множество заданий, которые должен выполнить каждый учащийся в обязательном порядке, так называемый порог;

• Х2 множество заданий, которые могут быть выполнены частично, на котором и происходит дифференциация учащихся после выполнения заданий из множества XI;

• Х3 множество вопросов, которые могут быть не выполнены вообще, например, повышенной сложности.

Для испытуемых, прошедших порог, дифференциация проводится по правилу Байеса («удовлетворительно», «хорошо», «отлично»). Если порог не пройден, то выставляется оценка «неудовлетворительно».

Для оценки эффективности использования был проведен сравнительный анализ предложенных методов и методов хорошо известных из литературы: интервалов, по сложности вопросов и по логитам сложности. Использовались результаты тестирования по трем учебным дисциплинам для разных потоков 1,3 и 4-го курсов, каждый примерно по 100 человек, количество вопросов от 25 до 30: «Экономика и социология труда», «Сети и межсетевые коммуникации», «Экономическая история». По каждой из этих дисциплин рассматривались результаты первого тестирования -межсеместрового контроля на 8-й неделе - по трем вариантам. Шкала логитов (-3, +3) показала, что требования к аудитории в первом случае завышены, во втором — нормальны, в третьем - завышены. Результаты надежности теста по вариантам, вычисленные с помощью матриц корреляции для каждого теста, лежат в пределах от 0,73 до 0,86, что считается хорошим результатом. Дискриминативность тестов определена с помощью б Ферпосона и представляет собой отличный результат (от 0,79 до 0,94). Результаты расчета непротиворечивости тестов дали возможность удалить задания с отрицательными значениями корреляции, так как они работали против каждого из вариантов в целом.

В результате проведенного сравнительного анализа по использованию предложенных методов оценивания можно сделать следующие выводы. Наибольшей адаптивностью - т.е. учетом реальных знаний аудитории - обладают методы правила Байеса, среднего отклонения, оценивания по сложности. Наилучшие характеристики показывает метод правила Байеса, так как распознает четыре основных класса учащихся (рис.3). При завышенных или заниженных требованиях к

конкретной аудитории, т.е. когда большинство тестовых заданий обладает крайне низкой дифференцирующей способностью, интервальный метод и метод логитов не пригодны к использованию.

Итоговые результаты, полученные при тестировании с ранжированием вопросов, показывают, что при завышенных и заниженных требованиях к аудитории выделенные по методу с распознаванием по Байесу классы результатов смещаются к соответствующему концу спектра. При адекватных требованиях смещение происходит в середину спектра. Таким образом, неадаптивные методы оценивания, такие как метод интервалов и метод с использованием логитов, теряют дифференцирующую способность и вообще не пригодны к использованию.

Рис. 3. Результаты тестирования Рассмотренные выше методы, основываясь на классической теории тестирования, позволяют оценить группу в целом, и на этом фоне определить уровень знаний каждого учащегося. Для проведения подобного анализа автором диссертации предлагается использовать карты знаний учебного курса. Построение карты знаний по учебной дисциплине возможно, если тестовые вопросы имеют соответствующие атрибуты. При формировании целей учебного курса расписывается схема «знать-уметь-представлять». В каждом из этих видов знания вводится по три уровня усвоения Х={ХЬ Х2, Х3), К={К/, У2, У}}, 2={2Ь 22, 23}. Тогда, с учетом разбиения учебного курса на модули, темы или разделы, карта знаний представляется таблицей А, где каждый элемент а,=1, если результат тестирования для модуля } для вопросов с установленным атрибутом I больше 0,5 по выборке учащихся; а^Ю, в противном случае. Если используется пороговый метод оценки знаний, ^=1, если пройден порог для модуля ] по множеству вопросов с установленным атрибутом I. Полученные результаты упорядочены как вершины в гиперкубе, что дает возможность анализировать пробелы в знаниях аудитории, уровень преподавания и качество организации учебного процесса.

Использование ШТ дает возможность учесть уровень каждого учащегося без учета всей выборки. Такой анализ проводится на хорошо изученном статистическом материале, когда у каждого задания определен логит сложности. В этом случае можно строить прогноз выполнения тестов до предъявления его группе испытуемых. Имеется результат предварительных испытаний 0, для г'-го испытуемого, полученный на тесте с известной сложностью ро = { Ро'> Ро2, • • • , Ро™}- Возникает вопрос, каким образом можно построить прогноз для этого испытуемого для теста со сложностью Р1 = { рЛ р12_..., Р]К }. до предъявления его испытуемому.

Связь между сложностью теста и уровнем знаний учащегося может быть определена в соответствии с логистической моделью Раша как разность между этими величинами по шкале Р- 6 При использовании тестов с закрытыми формами ответов, необходимо учитывать ^ вероятность угадывания правильного ответа на 7-й вопрос. В этом случае рекомендуется использовать модель Бринбаума, где

1 л )

/>,(/?,)= о - с,)

I + е

Определив вектор расстояний 4 = {с1,', ¿¡2, ..., с!,к} между уровнем знания в, и каждым вопросом р,1, вычислим вероятность правильных ответов P¡ = {Р;', Р,2,..., Р* }. Умножая полученные вероятности на вес каждого вопроса, в сумме получаем прогнозируем лй результат. Этот вес в тестовой матрице составляет 1, поэтому искомый результат равен х '

/-1

В качестве примера рассматриваются результаты испытаний, полученных по выборке студентов кафедры кибернетика по пяти из 9 экзаменационных вариантов учебной дисциплины «Архитектура связи в ЛВС» за 2002 год.

По результатам тестовых испытаний, проведенных для студентов кафедры кибернетика с 1999 по 2001 гг., были определены значения логитов сложности для каждого вопроса из указанных тестов. По результатам двухкратного тестирования определены логиты знаний для каждого испытуемого. Построен прогноз в соответствии с моделью Бринбаума, в соответствии с которой в большинстве случаев реальный результат выше прогнозируемого на 2-3 балла, а результаты тестирования и результаты прогноза совпадают только у трети учащихся. Такое несоответствие связано с неточностью модели Бринбаума, где ответ на каждый вопрос, даже легкий, угадывается.

Таблица 7. Модификация модели Бринбаума

йп Диагностика Вероятность ответа на вопрос

<0,5 Вопрос легкий РЛР,) = 1

[-0,5. 0,5] Вопрос соответствует уровню знаний е 1 .7 <0 ,- 0 , ) Р 1 ( Р 1 ) ~ ! + 1 ,7 )

>0,5 Вопрос сложный и ответ формируется с учетом догадки 1.7 (0,-/1,) 1 + е

............... ...... Г РОСГИАЦИФНАЛ ЬНАМ | БИБЛИОТЕКА 1л 1 С. Петербург -3-5 » 09 НО акт

Модифицируем модель Бринбаума, введя следующие допущения для Ыр = в, (табл. 7). В соответствии с этой моделью на той же выборке студентов результаты прогноза повышаются. Таким образом, модели прогнозирования можно использовать для анализа пробелов в знаниях студентов, корректировать будущую программу обучения, вводить уровни обучения, оценивать качество преподавания и т.д.

Структурно-латентный подход дает возможность провести диагностику пробелов в знаниях конкретного учащегося. Для такого анализа к использованию впервые предлагается карта знаний учащегося. Для формирования карты в этом случае необходима троичная логика. Рассматривается логит знания учащегося, полученный по предварительному тестированию который сравнивается с минимальным логитом трудности Рпщ, и максимальным логитом трудности Рпих для вопросов модуля j с установленным атрибутом ¡. Для элементов карты знаний в этом случае устанавливаем аи=2, если Р,^; дд= 1, если р^ < 0, < Ртах; и <ц=0, в противном случае. По построенной карте знаний можно проводить более сложную, чем в рассмотренном выше случае, диагностику пробелов.

Пороговые методы оценки и карты знаний учащихся были использованы в системе СЕРТИФИКАТ, разработанной по заказу фирмы АйТи в 2003 г.

Для дальнейшего повышения качества контролирующих программ и точности оценивания знаний предлагается использовать стратификационные тесты для итоговых испытаний. При стратификационном адаптивном тестировании вводятся характеристики тип вопроса (основной, вспомогательный, корректирующий) и сложность вопроса. Вопросы разбиваются на темы, причем в данном случае не имеется в виду разбиение по учебным темам - группируются вопросы по одному из признаков. Каждая тема характеризуется весом темы. Этот параметр определяет очередность этих тем - чем выше вес темы, тем раньше она появляется. В результате прохождения испытуемым всех тем формируется тестовая траектория, которая характеризуется двумя векторами, из которых первый состоит из 0 и 1 - успешно или нет пройдена тема, а второй - с каким результатом.

Тестируемый в каждой теме начинает отвечать с основных вопросов. Если он ответил на вопросы темы хорошо (система тестирования вычисляет результаты на каждом шаге), то он переводится на следующую тему с 1 в соответствующем разряде тестовой траектории. Если же он плохо ответил на вопросы темы, то осуществляется переход на следующую тему с нулевым успехом. В промежуточном случае тестируемый переводится на вспомогательные - более легкие - вопросы, т.е. получает возможность «исправить» свои ошибки. Если тестирование стратификационное, то в зависимости от результатов предыдущей темы система строит вопросы следующей - либо усложняет их (т.о. переводя тестируемого на более высокий страт), либо упрощает, либо оставляет на текущем уровне, если предшествующая тестовая траектория достигла минимального или максимального страта.

На этапе окончательного подсчета результата тестируемого на оценку влияют: вектор прохождения тестовой траектории, уровни сложности вопросов, веса тем, веса вопросов и т.д. Исходя из того, что тестовые траектории упорядочены как интервалы в гиперкубе, появляется возможность выявлять соответствующие диапазоны для выставления оценок.

В диссертационной работе впервые предлагаются алгоритмы расчета количества стратов в тесте, количества тем, весов основных, вспомогательных и корректирующих вопросов в зависимости от шкалы измерения, рассматриваются адаптивные методики выставления оценок.

Предлагаемые методики адаптивного тестирования и выставления оценок были реализованы в контролирующих программах ВИОТ-2 и ВИОТ, проектирование которых проводилось в соответствии с предлагаемой методологией синтеза. Обе системы предназначены для повышения качества обучения и существенного облегчения труда преподавателя при проведении контрольных мероприятий. Полученные экспертные оценки качества для ВИОТ-2 и ВИОТ позволяют определить значение функции полезности как 6,877 и 6,509 по 9-балльной шкале. Что составляет превышение над минимальным значением функции полезности (для контролирующих программ 5,233) - 17,3% и 13,2% соответственно.

Использование тестовой системе ВИОТ подтверждено соответствующими актами о внедрении. ВИОТ-2 - второе поколение распределенных тестовых систем- поддерживает ряд адаптивных и стратификационых методик тестирования, используется в учебном процессе кафедры кибернетика и ЭАИ МИФИ более трех лет. За это время регуляр'но проводится промежуточное и итоговое тестирование по 7 учебным дисциплинам, зарегистрировано более 2,5 тысяч результатов тестирования. Интенсификация профессорско-преподавательского труда при использовании ВИОТ и ВИОТ-2 возросла в десятки раз, при этом качество обучения, как и при любом регулярном контроле знаний, повысилось.

Глава 9 посвящена рассмотрению аспектов реализации модуля доставки данных (контента пользователя) в РОС, а именно защите информации в процессе миграции по сети. Для защиты информации, в том числе учебного назначения, предложена математическая модель универсального доступа к данным в виде специальной метрики, позволяющей эквивалентировать защиту в различных файловых системах.

В настоящее время в связи с интенсивным развитием компьютерных сетей особую актуальность приобретает задача обеспечения межсетевого взаимодействия сетей, функционирующих на разных платформах. Среди проблем, возникающих при администрировании таких сетей, особое место занимает задача обеспечения безопасности при миграции данных, в том числе и учебного назначения, в корпоративных сетях между сегментами на разных платформах. Несмотря на попытки создания универсального шлюза для организации доступа, решить ее пока не удается. В отдельных случаях фирмы-производители предлагают некоторые стандартизованные схемы трансляции средств защиты из одних систем в другие в виде различных шлюзов по доступу к файловым системам в NetWare, Unix, Windows Nt, Windows 2000, но эти схемы носят приблизительный характер и ориентированы лишь на некоторые частные случаи сетевых конфигураций. Для общего случая решения проблемы предлагается использовать семантическое эквивалентирование, предложенное академиком В.А. Горбатовым [28], модели Ч'д, соответствующей ОС, из которой осуществляется миграция данных, в модель , в которую идет миграция. Трудность интерпретации одной системы в терминах другой сводится к нахождению соответствия между элементами носителей этих моделей М, при заданном соответствии между носителями моделей Р, задача нахождения соответствия относится к классу NP-полных задач.

В диссертационной работе впервые предлагается универсальная метрика. отражающая все возможные действия с данными. При переносе данных с одной файловой системы на другую, первоначальные права санкционированного доступа отображаются на указанную метрику, а затем эквивалентируются средствами новой файловой системы. Такое отображение при доставке данных позволяет противостоять типичным хакерским атакам и гарантирует требуемую функциональность по защите информации в распределенных системах.

В соответствии с теорией семантического эквивалентирования, при проведении преобразования Ч^-^в свойство интерпретируемости характеризуется с помощью множества запрещенных фихур Ч^ф, являющихся подмножествами Ч'д, таких, что, они не интерпретируемы в терминах Ч^, т.е. Р0 (4*A ,^>=0, но при удалении или расщеплении хотя бы одного элемента Ч'з® полученная модель интерпретируется в терминах "fB. Модельное преобразование Ч*А—заключается в эквивалентировании системы S, определяемой моделью <Ч\ , Ч*в, Р0 > системой S' с моделью <Ч'А/ , чУ, Р</ >, причем Ро'СРА .Ч^Ь Замена первоначальной модели на гомоморфную ей модель происходит на основе знания запрещенных фигур преобразования.

В диссертационной работе была проведена унификация и формализация записей конфигураций защиты для различных операционных систем. При этом введена алгебра преобразований защиты, позволяющая ; нализировать возможные переходы на пространстве состояний в виде преобразования формул записей состояний защиты в конъюнктивной нормальной форме. На основе проведенного анализа пространства состояний построена базовая модель отношений «пользователь-система» fbO, bl,...bl3, а0, а], ..., al3j, позволяющая оценивать все потенциально возможные полномочия доступа. Была продемонстрирована принципиальная возможность построения модели такого рода на пространстве состояний защиты и была предложена конкретная реализация модели, после чего была доказана ее функциональная полнота.

Были построены покрытия компонентов, с помощью которых строятся состояния защиты в операционных системах NetWare, UNIX и Windows 2000, элементами базовой модели отношений, после чего оказывается возможным осуществлять преобразование защиты, выраженные компонентами этих ОС, сначала в терминах базовой модели отношений, а затем из базовой модели в компоненты целевой операционной системы.

Предложенный подход позволяет получить и уточнить ряд оценок для всех возможных переходов на пространстве состояний защиты. Аппарат построенной алгебры преобразований защиты дает возможность оценивать степень адекватности конкретных переходов формализованным образом на основе четырехзначной логики. Процедура порождения запрещенных фигур обладает большой гибкостью, что позволяет организовать эффективную реализацию и настройку программного обеспечения для решения задач преобразования защиты при миграции для заданных операционных систем. Практическим результатом решения задачи обеспечения сохранения защиты стал программный комплекс анализатора защиты для гетерогенной сети, состоящий из ядра на сервере NetWare и агентов для серверов Windows NT-2000 и Linux.

Глава 10 посвящена применению методологии управления качеством РОС при проектировании информационно-образовательного портала как прообраза корпоративного ядерного университета.

В настоящее время, выделяются три уровня КУ: обучающие профессионалов для своих корпораций, обучение сотрудников новым путям ведения бизнеса, которые необходимы при смене деятельности, используемые как стратегический инструмент для управления и формирования корпораций. Как правило, корпорации начинают с первого уровня, постепенно поднимаясь до третьего.

При организации КУ решаются проблемы в виде создания механизма синтеза и развития комплекса учебных курсов для поддержки крупных технико-экономических программ; организационных и инструментальных средств составляющих массовую технологию согласованной подготовки кадров разного типа; комплекса механизмов привлечения ресурсов и оптимизации организационно-технического обеспечения учебных процессов.

Ядром корпоративного ядерного университета может служить информационно-образовательный портал университета как основной ресурсный центр, и дистанционная форма образования как наиболее динамичная при большом географическом охвате учащихся.

В настоящее время устоялось определение портала как приложения, которое обеспечивает персонифицированный и настраиваемый интерфейс, дающий возможность людям взаимодействовать друг с другом а также находить и использовать информацию в соответствии со своими интересами. Несмотря на имеющиеся развитые инструментальные средства разработки порталов, а также готовые решения в области ДО, основная задача до сих пор не решена — нет ни единого инструмента, алгоритма или методики, способных решить проблемы управления огромными объемами информации в форме текстов на естественных языках. В данной диссертационной работе, на основе предлагаемой методологии управления качеством, проводится проектирование информационно-образовательного портала ЭАИ МИФИ как прототипа КЯУ. Современный взгляд на информационно-образовательный портал позволяет выделить ряд необходимых характеристик. К ним относится способность портала обеспечить доступ и отображение информации из множественных гетерогенных источников данных. Эти источники включают реляционные базы данных, многомерные базы данных, системы управления документами, системы электронной почты, \УеЬ-серверы, новостные каналы и различные файловые системы или серверы, где хранится аудио-и видеоинформация. Важно, чтобы пользователи могли видеть, например, сообщения электронной почты рядом со списком новостей, списком экспертов и аналогичной информацией, и все это в контексте определенного, единого приложения [29,31].

При таком расположении ресурсов особо, актуальной становится разработка системы санкционированного доступа к ресурсам портала, которая гарантирует безопасность информации.

Не менее важной характеристикой является система поддержки учебного процесса «Электронный деканат», которая на основе электронного документооборота организовывает оптимальный контролируемый доступ к образовательным ресурсам ЭАИ МИФИ по экономическим специальностям,

обеспечивает управление и планирование учебного процесса ЭАИ МИФИ, управляет качеством процесса обучения с помощью подсистемы «Качество».

Помимо рассмотренного выше, в портал встроена система подготовки и управления электронными образовательными ресурсами, которая предназначена не только для публикации электронных лекций, семинаров, методических материалов, типовых заданий и проектов, но и с помощью подсистем общения позволяет проводить занятия в on-line режиме. По своим возможностям портал должен относится к третьему уровню ощущаемого качества.

Таким образом, в настоящее время информационно-образовательный портал ЭАИ МИФИ содержит в себе:

• распределенную обучающую систему, т.е. систему, объединяющую через один интерфейс (брокер) разбросанные по внутрикорпоративной сети МИФИ ресурсы и организующую процесс обучения,

• подсистему - хранилище информации о студентах и преподавателях,

• модуль «Авторизация», который определяет права доступа ко всем модулям системы,

• модуль поддержки учебного процесса, который реализует все особенности учебного процесса (лекции, семинары, тестирования и т.д.),

• модуль «Учебные планы», позволяющий создавать индивидуальные и групповые планы обучения с возможностью их корректировки в любой момент времени,

• модуль «Лист студента» для ведения учебной траектории студента в МИФИ,

• модуль «Электронный деканат»,

• модуль оценки качества образовательных ресурсов.

Основой взаимодействия портала с пользователями, обеспечивающей безопасность информации, служит подсистема доступа к ресурсам, предназначенная для аутентификации пользователей.

Электронные ресурсы могут быть классифицированы по типам следующим образом: компьютерные учебники; предметно-ориентированные среды (микромиры, моделирующие программы, учебные пакеты); лабораторные практикумы; тренажеры; контролирующие программы; справочники, базы данных учебного назначения.

Электронная библиотека должна хранить информацию, необходимую для доступа к распределенным электронным ресурсам.

Подсистема поддержки учебного процесса включает в себя модули: «Подготовка текста», когда в соответствии с рукописью автора генерируется несколько html-файлов, соответствующих разным уровням обучения учащихся, «Лекционный зал» для публикации электронных лекций, «Семинарское занятие» для подготовки и проведения практических занятий по соответствующим курсам. К каждому указанному виду занятий прикрепляется соответствующий модуль или модули из подсистемы общения: чаты, форумы, доски объявления, системы голосования.

В качестве платформы для портала выбран Microsoft Internet Information Server (IIS) 5.0, работающий в операционной системе Microsoft Windows 2000 Server. Выбор обусловлен тем, что IIS 5.0 поддерживает стандартные протоколы обмена информацией, включает в себя Microsoft Index Server 2.0 для организации поиска на сервере, Microsoft Certificate Server для создания цифровых сертификатов и

управления ими, и многие другие инструменты, позволяющие создать полноценную среду обработки информации. В качестве СУБД выбран Microsoft SQL Server 2000, так как он легко интегрируется с IIS, поддерживает большинство необходимых функций, является наиболее приемлемым и быстродействующим решением. Информационной средой, в которой располагаются распределенные ресурсы, является сеть Microsoft, надстроенная на протоколе ТСРЛР, использующая службу DNS и протоколы FTP и HTTP. В качестве языка обработки данных, формирования выходных документов и взаимодействия с БД выбран интерпретируемый язык PHP, работающий через интерфейс ISAPI, так как он является очень гибким и обладает прекрасными скоростными характеристиками по обработке запросов.

Проведенные экспертные оценки для информационно-образовательного портала ЭАИ показывают, что все параметры удовлетворяют потребительским ограничениям, а значение функции полезности превышает допустимый минимум на 18 %.

Данная работа проведена в рамках Программы сотрудничества Министерства образования Российской Федерации и Министерства Российской Федерации по атомной энергии по направлению «Научно-инновационное сотрудничество».

В заключение сформулированы наиболее значимые результаты диссертационной работы.

1. Впервые предложена система оценки качества распределенных обучающих систем в виде согласованной иерархии показателей качества, причем для каждого показателя определена шкала измерений, значимость и удельный вес. Общее количество показателей и групп показателей, из которых сформировано шесть уровней иерархии, примерно 130. Иерархия показателей согласована по методу Саати, суммарный вес каждого уровня равен единице. Показатели, сгруппированные на верхнем уровне иерархии, разбиваются на общие и специализированные факторы. К общим факторам оценки качества РОС, как к любым программным системам, относятся приемлемость, корректность, надежность, безопасность, добротность, стоимость, интерфейс и открытость. К специализированным факторам, характеризующим программный продукт в конкретной предметной области, относятся функциональность, адаптивность, эффективность, интеллектуальность, комфортность, современность и распределенность. Обработанные автором усредненные экспертные оценки показали, что, по совокупности, группа общих факторов обладает весом 0,75. Из них наиболее значимыми являются безопасность (0,18), корректность (0,16) и хорошо построенный интерфейс (0,09). Группа специализированных факторов обладает значимостью 0,25, из них наибольший вклад дает эффективность (0,06).

2. Впервые предложена методология управления качеством РОС на всех этапах жизненного цикла системы, реализованная в виде объектной среды оценки. Указанная среда представляет собой множество базовых классов и связей между ними. Базовые классы соответствуют набору требований качества и требованиям гарантий, сопровождая весь жизненный цикл системы. Использование данной методологии гарантирует значение заданных заранее, на этапе планирования, показателей качества РОС, что было подтверждено на ряде программных продуктов, в частности, семи электронных учебниках, двух

распределенных системах контроля знаний и предметно-ориентированной обучающей среде.

3. Разработан новый язык формальных описаний сетевых протоколов и сервисов ЯСМОД. Его использование для построения формальных описаний, верификации и программной реализации сложных распределенных приложений повышает надежность функционирования программных компонентов в сетевых средах. Не уступая по порождающей способности известным языкам, таким как ESTELLA, LOTOS, АГРЕГАТ или ОСА, ЯСМОД имеет более широкий спектр применения: системы синхронного и асинхронного действия, конвейерные системы. Наиболее важным является возможность с равным успехом описывать и верифицировать как протокольные объекты, так и сервисы, несмотря на NP-полноту поставленной задачи. Такая верификация впервые стала возможна при уменьшении размерности задачи редукцией сетевой модели к каноническому виду и последующей проверке на отсутствие ошибок. Помимо применения в учебном процессе, интерпретаторы с ЯСМОД позволили осуществить проектирование, верификацию, моделирование и реализацию системного программного обеспечения ряда реально работающих промышленных сетевых систем и распределенных приложений.

4. Впервые синтезированы математические модели и алгоритмы для формирования адаптивных и стратификационных тестов и адекватной оценки результатов тестирования как на основе классической теории тестирования, так и с использованием латентно-структурного подхода IRT. На основе предложенных моделей впервые формируются карты знаний группы учащихся или одного учащегося, по которым появляется возможность произвести диагностику пробелов в знаниях, оценить качество преподавания и прогнозировать дальнейшее обучение. Их применение повышает эффективность контролирующих компонентов РОС.

5. Впервые разработана математическая модель универсального доступа к данным, позволяющая повысить безопасность информации, в том числе учебного назначения, при миграции между различными файловыми системами. На основе проведенного анализа пространства состояний защиты построена базовая модель отношений «пользователь-система» {аО, al, ...а13, bO, Ы....ЫЗ}, позволяющая оценивать все потенциально возможные полномочия доступа и средств их санкционирования при защите от хакерских атак. Аппарат построенной алгебры преобразований защиты дает возможность оценивать степень адекватности конкретных переходов между файловыми системами NetWare, UNIX и Windows NT/2000 формализованным образом на основе четырехзначной логики. Практическим результатом решения задачи обеспечения сохранения полномочий доступа стал программный комплекс анализатора защиты для гетерогенной сети, состоящий из ядра на сервере NetWare и агентов для серверов Windows NT -2000 и Linux.

6. Разработана архитектура информационно-образовательного портала как прототипа корпоративного ядерного университета. Данная работа ведется в рамках Программы сотрудничества Министерства образования Российской

Федерации и Министерства Российской Федерации по атомной энергии по направлению «Научно-инновационное сотрудничество». К моменту защиты диссертации запущена первая очередь портала, охватывающая систему доступа к ресурсам, модуль «Электронный деканат», хранилище с записями о студентах и преподавателях, систему поддержки образовательной среды и модуль оценки качества образовательных ресурсов.

7. На основе предлагаемой автором диссертации методологии управления качеством систем учебного назначения осуществлена разработка следующих компонентов РОС:

• программной реализации системы оценки качества самих распределенных обучающих систем и их отдельных компонентов «ОЦЕНКАРОС»;

• предметно-ориентированной среды «Архитектура связи ЛВС»;

• семи сетевых компьютерных учебников и задачников;

• распределенных систем адаптивного тестирования и тренинга ВИОТ и ВИОТ-2;

• рабочего места администратора гетерогенной сети для эквивалентирования санкционированного доступа к мигрирующим образовательным ресурсам;

• информационно-образовательного портала ЭАИ МИФИ.

Все указанные разработки используотся в учебном процессе Московского инженерно-физического института, о чем имеются соответствующие свидетельства.

8. Эксплуатация указанных систем показала, что все они обладают высокими значениями показателей качества, а значения функции полезности указанных программных продуктов лежат в допустимых диапазонах. Экспертные оценки по нормированной шкале [0...9] для электронных учебников дают значения функции полезности в виде вектора U={6,55; 6,90; 6,92; 6,96; 7,03; 7,07; 7,13} при минимально допустимом значении итт= 5,32. Полученные экспертные оценки качества для распределенных систем адаптивного тестирования ВИОТ-2 и ВИОТ позволяют определить значение функции полезности как 6,88 и 6,51, в то время как ит,„ для контролирующих программ составляет 5,23. Полученные экспертные оценки для информационно-образовательного портала показывают, что значение функции полезности на 18% превышает допустимый минимум. Таким образом, все рассматриваемые учебники, задачники и тестовые системы, информационно-образовательный портал ЭАИ МИФИ, спроектированные на основе предлагаемой автором диссертации методологии, удовлетворяют исходным пользовательским ограничениям, а значение функции полезности превышает допустимый минимум на 13-20 %.

Список цитируемой литературы

1. Андреев А.А. Введение в дистанционное обучение. Учебно-методическое пособие. -М.: ВУ, 1997 . С. 85.

2. Тихомиров В.П. ДО: история, экономика, тенденции.//Дистанционное обучение 1997. №2.

3. Advanced Learning Infrastructure Consortium, 2000(ALIC)//vvww.aldnet.org.

4. Alliance of Remote Instructional Authoring and Distribution Networks of Europe, 2000 (ARIADNE) //www.aldnet.org.

5. IMS Global Learning Consortium, 2000//www.aldnet.org.

6. Aviation Industry CBT Committee, 2001 (AICC) //www.aldnet.org.

7. IEEE P1484.1/D9-pre, 2001-11-15 Draft Standard for Learning Technology — Learning Technology Systems Architecture (LTSAy/www.aldnet.org.

8. SCORM 2.0,2001 (Shareable Content Object Reference Model)// www.aldnet.org.

9. Проект стандарта по дистанционному обучению http://. Db.informika.ru/do/new.

10. Проект Государственного стандарта Российской Федерации. Информационная технология. Методы и средства обеспечения безопасности.

11. Общее руководство по качеству предприятия и основные принципы построения модели системы качества. Система качества по MC ИСО серии 9000., Л., инженерный центр «Аргус-стандарт», 1991.

12. Проектирование и контроль качества. Система качества по MC ИСО серии 9000., СПб, Аргус-стандарт, 1993.

13. Общее руководство качеством и стандарты по обеспечению качества. Часть 3: «Руководящие указания по применению ИСО 9001 при разработке, поставке и обслуживанию программного обеспечения», М., ВНИИС, 1995.

14. Sommerville I. Software Engineering, Addison-Wesley Pub. Co., 1996.

15. Jlunaee В. Качество программного обеспечения, M., Финансы и статистика, 1983.

16. Воас Дж. Процесс сертификации программ на базе информации об их использовании// Открытые системы, №10,2000.

17. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++. М.: Издательство Бином, 1999. 560 с

18. Hayes R. Н„ Garvin D. A. Managing as if Tomorrow Mattered// Harvard Business Review, №5-5, 1982, 70-79.

19. Золотарев A.A. Современные образовательные технологии в контексте интенсивного информатизированного обучения. Кн. 1 - М.:Ассоциация «Кадры», 2000. - 32 с.

20. Компьютерные обучающие программы. Классификация. Критерии качества// Демушкин A.C., Кириллов А.И., С-ливина H.A. и др.// Информатика и образование. 1995, N3. С. 15-22.

21. Саати Т. Принятие решений. Метод анализа иерархий., М.: «Радио и связь», 1993.

22. Замков О. О., Толстопятенко A.B. Математические методы в экономике. Из серии <<Учебники МГУ им. М. В. Ломоносова». М.:ДИС, 1998.

23. Зайцев С.С. Описание и реализация протоколов сетей ЭВМ, М., Наука, 1989.

24. Моисеев В.Б., Усманов В.В., Таранцева K.P., Пятирублевый Л.Г. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы//Дистанционное образование, 2001, №1

25. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе // М.: Труды Исследовательского центра Гособразования СССР. 1989.-168 с.

26. Анастизи А. Психологическое тестирование. Кн.1. М.: Педагогика, 1982. -320 с.

27. Кузовлева К. Т. Конструирование педагогических тестов на основе современных математических моделей// www.informika.ru.

28. Горбатов В.А. Фундаментальные основы дискретной математики. Информационная математика. - М.: Наука. Физматлит, 1999. -544 с.

29. Саливэн Д. Пять принципов интеллектуального управления KOHTeHTOM//www.cmep/news.as.

30. БогдановД.В., Путилов В.А., Фильчаков В.В. Стандартизация процессов обеспечения качества программного обеспечения. - Апатиты, КФ ПетрГУ, 1997. - 161 с.

31. Тихонов А.Н., Абрамешин А.Е., Воронина Т.П., Иванников А.Д., Молчанова О.П. Управление современным образованием: социальные и экономические аспекты. - М.:

Вита-Пресс, 1998. - 256 с._

Основные результаты диссертационной работы отражены в следующих работах.

Монография

Гусева А. И. Технология межсетевых взаимодействий. NetWare-UNIXWindows-Internet. М.: ДИАЛОГ-МИФИ, 1997. -286 с.

Основные публикации

1. Гусева А.И. Модель оценки качества распределенных обучающих систем//Информатика и образование, №2,2003.

2. Гусева А.И. Методики адаптивного контроля знаний //Информатика и образование, №7,2003.

3. Гусева А.И., Калинова A.A., Мурзинова A.B. Электронный учебник «Локальные вычислительные сети» / Фонд алгоритмов и программ НИИ высшего образования, акт №93647 от 22.06.93.

4. Гусева А.И., Тихомирова А.Н. Электронный учебник « Работа в сетях NetWare 3.12». М.: Российский фонд компьютерных программ ИНИНФО МО РФ, N 1577, 1996.

5. Гусева А.И., Детинин О.О., Детинина О.И. Электронный учебник «Работа в сетях NetWare 4.1». М.: Российский фонд компьютерных программ ИНИНФО МОРФ, N1723,1997.

6. Гусева А.И., Детинин О.О., Детинина О.И. Компьютерный учебник «Учимся программировать: Pascal 7.0». М.: Российский фонд компьютерных программ ИНИНФО МО РФ, N 1725, 1997.

7. Гусева А.И., Тихомирова А.Н. Компьютерный учебник «Сетевая операционная система Windows NT». М.: Российский фонд компьютерных программ ИНИНФО МО РФ, N 1751, 1997.

8. Гусева А.И. , Егошин А.И. Друзин A.A. Компьютерный мультимедийный учебник «Все об Интернет». М.: Российский фонд компьютерных учебных программ РОСФОКОМП, N 1975, 1999.

9. Гусева А. И. Учитесь программировать: Pascal 7.0. Задачи и методы их решения. Рекомендовано Министерством общего и профессионального образования РФ в качестве учебного пособия для студентов ВУЗов. М.: ДИАЛОГ-МИФИ, 1997 г.280

10. Гусева А. И. Учимся информатике: задачи и методы их решения. Учебное пособие. М.: ДИАЛОГ-МИФИ, 1998 .- 320 с

И. Гусева А. И. Работа в локальных сетях NetWare 3.12-4.1. Учебник. Рекомендован Министерством общего и профессионального образования РФ в качестве учебника для студентов ВУЗов. М.: ДИАЛОГ-МИФИ, 1996.-288 с.

12. Гусева А. И. Сети и межсетевые коммуникации. Windows 2000: Учебник - М.: ДИАЛОГ-МИФИ, 2002,- 256 с.

13. Гусева А. И. Адаптивные методики тестирования. М.:МИФИ. Препринт 2002-007,32с.

14. Гусева А. И. Оценка качества распределенных обучающих систем. М.:МИФИ. Препринт 2002-006,32 с.

15. Гусева А.К, Фролов С. А Архитектура распределенной вычислительной сети для управления промышленные производством'' IX Всесоюзный семинар по вычислительным сетям. Ч.Ш». Рига, 1986. С Г 6-92.

16. Гусева А.И, Метечко В II. О реализации машин баз генных для обработки цифровой информации/'/ Цифровая обработка измерительной информации», М.: Атомэнергоиздат, 1986.

17. Гусева А.И. Проектирование гготоколов транспортной службы на основе сетевых моделей// X Всесоюзный симпозиум «Логическое управление с использованием ЭВМ», Ижевск, 1987. С. 257-258.

18. Гусева А.И. Формальное описание протокола электронной почты на основе сетевых моделей// XI Всесоюзный симпозиум «Логическое управление с использованием ЭВМ», Орджоникидзе, 1988. С. 212-218.

19. Гусева А.И. Методы синтеза протокольных объектов на основе сетевых моделей//Х1 Всесоюзный симпозиум «Логическое управление с использованием ЭВМ», Орджоникидзе, 1988.

20. Гусева А.И., Тихомирова А.Н. К проблеме качества обучающих программных систем // IX Международный научно-технический семинар «Современные технологии в задачах управления, автоматики и обработки информации».М:. «Научтехлитиздат», 2000. С. 302-303.

21. Гусева А.И. «Дистанционное обучение: требования и механизмы оценки» // Научная сессия МИФИ - 2001: Сб.научных трудов МИФИ. Т.2. -М.: МИФИ, 2001.

22. Гусева А.И. Методология синтеза распределенных обучающих систем // X международный научно-технический семинар «Современные технологи в задачах управления, автоматизации и обработки информации», Алушта. 2001. С.177-178.

23. Гусева А.И. Инструментальные средства поддержки дистанционного обучения. - Сб Электронный бизнес// Тезисы докладов семинаров. Вып. 4. М.:Издательство МЭСИ, 2001.

24. Гусева А.И. Язык формального описания протокольных объектов и. . нове сетевых моделей//Материалы ХУ Всесоюзной школы-семинара по вычислительным сетям, Ленинград, 1990. С. 174-179.

25. Гусева А.И. Методы синтеза протокольных объектов на основе сетевых моделей//Логическое управление с использованием ЭВМ. Труды XIII Всесоюзного симпозиума». Симеиз. 1990.

26. Гусева А.И. Вопросы верификации локальных и глобальных сервисов в ЛВС (язык ЯСМОД ). //XIV Всесоюзный симпозиум «Логическое управление с использованием ЭВМ». Феодосия. 1991. С.193-197.

27. Гусева А.И. Характеризационное управление при синтезе распределенных систем// Материалы Всемирного конгресса 1Т8-93 «Информационные коммуникации, сети, системы и технологии», М.: Международная академия информатизации, 1993. С.65-70.

28. Гусева А.И, Кольцов Д.В. Распределенные системы: декомпозиция и синтез//Материалы XVII Международного симпозиума «Логическое управление. Интеллектуальные информационные технологии и стратегии», М.: Международная академия информатизации, 1994. С.75-80.

29. Гусева А.И., Кольцов Д.В. Характеризационное управление при верификации протоколов и сервисов в распределенных системах//Материалы XV

Международного симпозиума «Логическое управление. Интеллектуальные информационные технологии и стратегии», М.: Международная академия информатизации, 1992. С.76-78.

30. Гусева A.M.., Шпурик А. П. Дистанционная система тренинга и тестирования// Труды IX международного научно-технического семинара» Современные технологии в задачах управления, автоматики и обработки информации». - Алушта, 2000. С. 303-306.

31. Гусева А.И., Шпурик А. П. Математические методы построения методик адаптивного тестирования// Научная сессия МИФИ-2002. Т.2, с.173-174.

32. Гусева А. И, Фролов С. А. Архитектура распределенной вычислительной сети для управления промышленным производством// IX Всесоюзный семинар по вычислительным сетям. Ч.Ш, Рига. 1986.

33. Гусева А. И. Формальное описание протокола электронной почты на основе сетевых моделей// XI Всесоюзный симпозиум «Логическое управление с использованием ЭВМ», Орджоникидзе. 1988.

34. Гусева А. И. Методы синтеза протокольных объектов на основе сетевых моделей//Х1 Всесоюзный симпозиум «Логическое управление с использованием ЭВМ», Орджоникидзе. 1988.

35. Гусева А. И., Шапошник А.И. Санкционированный доступ при миграции данных в гетерогенных сетях//НАУЧНАЯ СЕССИЯ МИФИ-99. Сборник научных трудов. В 13 томах. Т.7. -М.: МИФИ 1999. С. 88-89.

36. Гусева А. И. Инструментальные средства разработки дистанционных систем виртуального тренинга и тестирования// Научная сессия МИФИ-2000. Сборник научных трудов. Т.2. -М.: МИФИ 2000. С. 203-204.

37. Гусева А.И., Филиппов С.А. Современные концепции создания образовательных web-серверов// Труды XI Международной конференции-выставки «Информационные технологии в образовании». Ч. IV, М, 2001. С. 59.

38. Гусева А.И., Филиппов С.А. Концепция информационно-образовательного портала корпоративного университета (на базе ЭАИ МИФИ)// Научная сессии МИФИ-2002. М.: МИФИ. Т. 2. С. 174-175.

Подписано в печать 03.06.2003 г. Формат 60 х 90/16. Объем 1.9 п.л. Тираж 100 экз. Заказ № 20

Оттиражировано в ООО «САТУРН мтк» 111020, Москва, Авиамоторная ул., 11

»10527 2<dc,?-^

ВВЕДЕНИЕ.

РАЗДЕЛ 1. РАСПРЕДЕЛЕННЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ: ОБЩИЕ ПРЕДСТАВЛЕНИЯ И ТРЕБОВАНИЯ.

Глава 1. Современное состояние проблемы.

1.1. Компьютерные средства обучения.

1.2. Системы дистанционного образования.

1.3. Инструментальные средства.

1.4. Международные образовательные стандарты.

Выводы.

Глава 2. Проектирование распределенных обучающих систем.

2.1. Жизненный цикл РОС.

2.2. Процессы жизненного цикла РОС.

2.3. Постановка задачи диссертационного исследования.

Выводы.

РАЗДЕЛ 2. МЕТОДОЛОГИЯ УПРАВЛЕНИЯ КАЧЕСТВОМ РОС НА

ОСНОВЕ ОБЪЕКТНО-ОРИЕНТИРОВАННОГО ПОДХОДА.

Глава 3. Система качества РОС.

3.1. Концептуализация.

3.2. Общие факторы оценки качества программных систем.

3.3. Специализированные факторы качества распределенных обучающих систем

3.4. Сравнительный анализ методик формирования систем качества.

3.5. Особенности показателей качества для различных видов образовательных ресурсов и компонентов РОС.

3.6. Согласование построенной иерархии.

3.7. Управление качеством РОС на этапах жизненного цикла.

Выводы.

Глава 4. Объектно-ориентированная среда оценки РОС.

4.1. Концептуализация.

4.2. Семейство классов требований качества.

4.3. Уровни ощущаемого качества.

4.4. Семейство классов гарантий.

Выводы.

РАЗДЕЛ 3. ПРАКТИЧЕСКИЕ РЕШЕНИЯ.

Глава 5. Система оценки качества РОС.

5.1. Функция полезности электронных ресурсов.

5.2. Бюджетные ограничения и синтез функциональной спецификации.

5.3. Программная реализация.

Выводы.

Глава 6. Предметно-ориентированная среда «Архитектура связи в ЛВС».

6.1. Концептуализация.

6.2. Язык ЯСМОД.

6.3. Предмстио-ориентировапиая среда синтеза протоколов связи.

6.4.Эксплуатация и оценка качества системы.

Выводы.

Глава 7.Электронные учебники.ш

7.1. Концептуализация.

7.2.Компьютсрные учебники.

7.3. Эксплуатация и оценка качества компьютерных учебников.

Выводы.

Глава 8. Контролирующие программы.

8.1. Концептуализация.

8.2.Формированис тестов из тестовых заданий.

8.3. Адаптивные методики тестирования.

8.4. Механизмы выставления оценок.

8.5. Анализ результатов тестирования.

8.6. Построение сценариев стратификациоииых тестов.

8.7. Программные реализации и эксплуатация.

8.8. Оценка качества тестовых систем.

Выводы.

Глава 9. Доставка данных: защита информации в процессе миграции.

9.1. Концептуализация.

9.2.Универсалыюс пространство конфигураций защиты.

9.3. Базовая модель и метрика переходов.

9.4. Анализатор защиты.

Выводы.

Глава 10. Корпоративный ядерный университет: информационно-образова тельный портал.

10.1. Концептуализация.

10.2.Архитектура портала.

10.3. Программная реализация и эксплуатация.

Выводы.

Актуальность. В настоящее время одной из важнейших задач, стоящих перед образованием во всем мире, является развитие новых образовательных форм и технологий и повышение качества образования.

Наиболее перспективным и быстроразвивающимся направлением в последние годы является обучение с использованием компьютерных технологий и сетевых коммуникаций, одна из форм которого получила название дистанционное обучение. В этом случае используются принципиально новые формы представления учебной информации в виде компьютерных учебников, виртуальных лабораторных практикумов, тренажеров, предметно-ориентированных сред, контролирующих программ, справочников и баз данных учебных материалов. Доставка учебной информации осуществляется с помощью локальных и корпоративных сетей, так и телекоммуникаций, например сети Интернет. Формы обратной связи между учащимися и преподавателями и учащимися между собой также изменяются: все большей популярностью пользуются теле-, видео- и почтовые конференции, чаты и форумы, доски объявлений и системы электронного голосования, электронная почта и заполнение активных электронных форм. Контроль знаний осуществляется с помощью специальных тестирующих компьютерных программ. Таким образом, появляются новые образовательные технологии, опирающиеся на телекоммуникации и компьютерные средства представления информации.

Используя в качестве критерия возможность доставки информации, т. е. способ коммуникации преподавателей и обучаемых, новые образовательные технологии можно классифицировать следующим образом.

• Методы обучения посредством взаимодействия обучаемого с образовательными ресурсами при минимальном участии преподавателя и других обучаемых (самообучение).

• Методы индивидуализированного преподавания и обучения, для которых характерны взаимоотношения одного студента с одним преподавателем или одного студента с другим студентом (обучение «один к одному»).

• Методы, в основе которых лежит представление студентам учебного материала преподавателем или экспертом, (обучение «один ко многим»),

• Методы, для которых характерно активное взаимодействие между всеми участниками учебного процесса (обучение «многие ко многим»).

В конце 90-х годов возникает новая отрасль знаний - телематика, находящаяся па стыке информатики и исследований в области телекоммуникаций. Область применения новой науки чрезвычайно широка, и создание на ее основе новых образовательных технологий привело к необходимости международной стандартизации. К новейшим разработкам в области стандартизации, в частности относятся [1-7]:

• проект японской ассоциации образования Advanced Learning Infrastructure Consortium (ALIC),

• Европейский проект стандарта Alliance of Remote Instructional Authoring and Distribution Networks of Europe (ARIADNE),

• материалы образовательного консорциума IMS Global Learning Consortium.

• использование телематических систем для обучения работников авиационной отрасли Aviation Industry СВТ Committee (AICC),

• стандарт LTSA 1484 в области архитектуры обучающих систем Institute of Electrical and Electronic Engineers (IEEE) Learning Technology Standards Committee,

• объединенный проект AICC, IMS и IEEE под названием SCORM (Shareable Content Object Reference Model) - модель объектов с разделяемым контентом,

• проект стандарта в области дистанционного образования Российской Федерации.

Этими стандартами вводится понятие современных обучающих систем, как систем для приобретения знаний и умений посредством доступа к информации и обучения, включающих в себя все информационные технологии и другие формы обучения па расстоянии. Проведенный сравнительный анализ вышеназванных источников показывает, что

• полностью отсутствуют какие-либо данные о том, насколько важен тот или иной элемент архитектуры, как изменится поведение системы в отсутствие какого-либо класса или компонента, можно ли расширять набор предлагаемых компонентов и как это повлияет на работоспособность систем; • не учитываются педагогические аспекты использования системы, например, ступени системы познания, содержательность учебного материала, усвояемость и т.д.

Развитие дистанционного образования в России привело к необходимости использования телематических систем. Принимается Концепции создания и развития единой системы дистанционного образования (ДО) в России, и количество вовлеченных в нее образовательных учреждений стремительно растет. В настоящее время их насчитывается более сотни. Для дальнейшего развития и координации усилий в области ДО созданы соответствующие органы в Министерстве образования РФ, Евразийская Ассоциация ДО, Ассоциация Международного образования, принята Концепция создания и развития Системы ДО Российской Федерации и проведен ряд других мероприятий.

В Концепции создания и развития ДО в РФ приводится следующее определение. Дистанционное образование - комплекс образовательных услуг, предоставляемых широким слоям населения в стране и за рубежом с помощью специализированной информационной образовательной среды, базирующейся на средствах обмена учебной информацией на расстоянии (спутниковое телевидение, радио, компьютерная связь и т.п.). Иными словами, дистанционное обучение представляет собой совокупность информационных технологий, обеспечивающих доставку обучаемым основного объема изучаемого материала, интерактивное взаимодействие обучаемых и преподавателей в процессе обучения, предоставление студентам возможности самостоятельной работы по освоению изучаемого учебного материала, а также оценку их знаний и навыков, полученных в процессе обучения.

В пропаганду, организацию научных исследований и внедрение в педагогическую практику идей ДО внесли вклад А.А. Андреев, С.Г. Григорьев, В.П. Тихомиров, В.Г. Кинелев, А.Д. Иванников, Я.А. Ваграменко, Ю.А. Чернышев,

Л.Д. Забродин, |В.В.Семенов|, А.И. Галкина, А.Г. Шмелев, В.А. Самойлов, В.П. Нсвсжин, И.А. Липский, А.А. Золотарёв, В.В. Рождественский, И.П. Норенков, Е.С.Полат, В.А. Каймин, Ю.Б. Рубин [9-17, 55].

Несмотря на большое количество разработок и проектов в области ДО, вопрос об оценке его качества и эффективности до сих пор остается открытым. Открытая дискуссия, проводимая в 2001 году на сайте informika.ru Министерства образования РФ, показала это очень ярко. Большое количество предложений, несмотря на ссылки на ISO 9003, указывало на отдельные показатели качества систем ДО, без каких-либо значительных попыток систематизации. Результатом этой дискуссии является проект ГОСТа по ДО [7], в котором также недостаточно присутствует систематизация. Так, в нем вообще не упоминаются такие важнейшие показатели, как эффективность средств обучения (методическая и дидактическая), безопасность их использования, достоверность полученных знаний учащимися и т.д.

Отсюда, среди проблем, связанных с качеством современного образования в целом, особую значимость приобретает проблема управления качеством распределенных обучающих систем (РОС).

В данной работе вводится понятие РОС как системно организованной совокупности средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного, учебно-методического и организационного обеспечения, которая ориентируется па удовлетворение образовательных потребностей пользователей.

Архитектура современных распределенных обучающих систем должна включать в себя географически разнесенные, но тесно интегрированные между собой компоненты в виде процессов (обучаемая сущность, оценка, доставка, инструктор) и хранилищ (информация по учащемуся, образовательные ресурсы) [5]. Поскольку назначением РОС является предоставление доступа к образовательным ресурсам, обучение и контроль знаний на основании контекста взаимодействия учащегося с системой, то они охватывают целый класс программных систем учебного назначения, от сетевого компьютерного учебника или сервера с базой данных методических материалов до сложных и многофункциональных систем дистанционного обучения.

Любая распределенная обучающая система представляет собой продукт, качество которого может быть определено согласно соответствующим стандартам. Международные стандарты ISO 9000, 9001, 9002 и 9003 (редакция 2000 года) содержат универсальные требования к системе качества и определяют различные модели его обеспечения на разных этапах жизненного цикла [19-21].

Для получения качественного продукта необходимо внедрение так называемой системы качества. Следуя международному стандарту ISO 8402, можно определить систему качества как совокупность организационной структуры, методик, процессов и ресурсов, необходимых для осуществления общего руководства качеством продукции, производимой организацией.

Целыо требований стандартов серии ISO 9000 является удовлетворение требований с позиции четырех аспектов, являющихся ключевыми для качества продукции (технических средств, программного обеспечения, отработанных материалов и услуг):

• качество благодаря определению потребностей пользователей, т.е. благодаря определению и модернизации продукции с целыо ее соответствия требованиям и возможностям рынка;

• качество благодаря конструкции, т.е. благодаря встраиванию в продукцию характеристик, способствующих тому, чтобы она отвечала требованиям и возможностям рынка;

• качество благодаря соответствию конструкции, т.е. благодаря поддержанию постоянного соответствия конструкции, реализации характеристик, заложенных в проект,

• качество благодаря техническому обслуживанию в процессе ее эксплуатации по мере необходимости, чтобы сохранить желаемые характеристики.

Таким образом, обеспечение качества представляется как интегрированный процесс на протяжении всего жизненного цикла системы, который обеспечивает создание качества по мере продвижения разработки, а не фиксирует его на выходе процесса. Качество определяется как набор характеристик системы, относящихся к ее способности удовлетворить установленные и предполагаемые потребности клиентов [14]. Список требований и критериев оценки показателей качества программных систем общего назначения был разработан в 1994-2002 гг. И. Соммервилем, В. Липаевым, Дж. Воасом , Д. Гарвипым [23-26]. Стандарт ISO 9126 (1998 г.) определяет шесть базовых характеристик для оценки качества программных систем [21]. Сравнительный анализ, проведенный автором диссертации между моделями Соммервиля, Гарвина, Редмана [199] и ISO 9126, устанавливает, что эти модели отражают требования к РОС лишь частично. Это связано с тем, что распределенные обучающие системы обладают очень специфической областью использования, и их потенциальными пользователями выступают преподаватели, учащиеся, методисты, инструкторы и т.д. Такую предметную область указанные модели не рассматривают. С другой стороны, речь идет о программных системах, и критерии их оценки должны учитывать основные направления развития.

В данной работе предлагается объединить и систематизировать два направления, связанных и с оценкой качества РОС как программных систем, и с оценкой их возможностей использования в учебном процессе. В результате была разработана иерархическая система требований качества, представленная в виде показателей качества, их значений, критериев и методов оценки (качество благодаря определению потребностей пользователей).

На основе анализа требований, предъявляемых Российским центром информатизации образования (РОСЦИО), Министерством образования Российской Федерации, с учетом опыта большого количества ВУЗов, а также с учетом современных тенденций в образовании и уровня развития компьютерных технологий [18-31, 34, 45-57, 68, 77-79, 83-86], в данной работе были сформулированы требования, которым должна удовлетворять распределенная обучающая система. Соответствие этим требованиям позволило автору диссертации предложить ряд характеристик, отражающих свойства указанных обучающих систем. К ним относятся:

• добротность, характеризующая внутренние достоинства реализации системы с технической стороны;

• надежность, т.е. способность системы сохранять готовность функционирования при установленных условиях за установленный период;

• безопасность, т.е. свобода от неприемлемого риска в виде угроз, классифицируемых в зависимости от возможности злоупотреблений, возникающих в результате действий человека, как преднамеренных, так и непреднамеренных;

• корректность, т.е. соответствие реализации системы ее спецификации ( в данном случае оценивается функциональная полнота и непротиворечивость);

• интерфейс, т.е. средства общения с пользователями системы;

• стоимость, т.е. затраты на закупку, эксплуатацию и модернизацию;

• открытость характеризует модифицируемость системы, т.е. се способность подвергаться изменениям;

• приемлемость, т.е. соответствие сформулированным заказчиком требованиям;

• ощущаемое качество, которое определяется исходя из назначения системы, включает в себя соответствие дидактическим, педагогическим и прочим требованиям, представленным большим объемом соответствующих материалов. Ощущаемое качество распределенных обучающих систем складывается из нескольких факторов.

Далее, для решения проблемы управления качеством РОС, в частности, была создана система оценки качества, т. е. иерархия показателей качества, установлены соответствующие шкалы измерений для каждого' показателя, получены экспертные оценки для определения значимости и удельного веса каждого показателя в общей согласованной иерархии. Система оценки качества обеспечивает качество благодаря конструкции и соответствия конструкции. Затем, в соответствии с разработанной системой оценки качества, автором диссертации была разработана методология управления качеством РОС, которая предоставляет определенные гарантии того, что как в процессе разработки РОС, так и при эксплуатации и сопровождении будут обеспечены требуемые значения показателей качества (качество благодаря обслуживанию). Методология позволяет:

• до начала разработки на основании суждений заказчика (эксперта) о важности тех или иных свойств определить цели качества, т.е. взаимоувязанную систему требований как общих, так и специализированных, к системе РОС, отраженную в спецификации, устанавливать их значимость; определить контрольные точки внутри жизненного цикла системы для проверки достижимости целей;

• определить необходимые метрики (показатели качества, шкалы и способы измерения), которые измеряют результаты действий проекта в контрольных точках жизненного цикла проекта и оценивают, были ли цели качества достигнуты;

• гарантировать требуемые заказчиком значения показателей качества па основе использования соответствующих базовых классов и элементов среды оценки как идентифицирующих и корректирующих действий качества. Возможности предлагаемой методологии управления качеством РОС подтверждены на реальных примерах.

Особую актуальность проблема измерения и стандартизации качества РОС имеет для Московского инженерно-физического института (МИФИ), готовящего специалистов в области всех видов ядерных технологий. По этим специальностям запрещено заочное обучение, поэтому широкое внедрение РОС в МИФИ возможно только при полной гарантии качества обучения. Этим объясняется то обстоятельство, что практическая работа автора проводилась на базе Экономико-аналитического института (ЭЛИ) МИФИ. Она задумана и выполнена как полномасштабный эксперимент, предваряющий перспективные работы по созданию РОС корпоративного ядерного университета.

Цели и задачи. Целью данной диссертационной работы является решение крупной научной проблемы повышения качества обучающих систем, имеющей важное хозяйственное значение.

Для достижения указанной цели были решены следующие задачи.

• Предложена система требований качества в виде согласованной иерархии показателей, объединяющая и систематизирующая хараетеристики РОС как программных систем и их возможностей использования в учебном процессе.

• Создана система оценки качества РОС, разработаны критерии и шкалы измерений для каждого показателя, получены экспертные оценки для определения значимости и удельного веса каждого показателя.

• Для управления качеством РОС разработаны положения по обеспечению качества на каждом этапе жизненного цикла, представленные, в частности, в виде объектно-ориентированной среды с соответствующим набором базовых классов требований качества и классов гарантий.

• Проведены проектирование распределенных обучающих систем различного назначения на основе предлагаемой методологии и оценка качества указанных разработок.

Областью исследования являются критерии и методы оценки показателей качества сетевых программных приложений, основанных на новых информационных технологиях (паспорт специальности 05.13.11 - п.п. 2.1, 2.6 и

2.17).

Научная новизна работы заключается в следующем.

1. Предложена система оценки качества распределенных обучающих систем в виде согласованной иерархии показателей качества, причем для каждого показателя определена шкала и способ измерений, значимость и удельный вес.

2. Предложена методология управления качеством РОС па всем жизненном цикле системы, представленная в виде объектно-ориентированной среды.

3. Для одного из видов электронных ресурсов - предметно-ориентированной среды учебного назначения - разработан язык формальных описаний сетевых протоколов и cepelSOe ЯСМОД. Его использование при проектировании распределенных приложений позволяет управлять такими характеристиками качества, как надежность и корректность.

4. Для таких компонентов РОС, как контролирующие программы, предложены математические модели и алгоритмы формирования адаптивных и стратификационных тестов, адекватной оценки и диагностики результатов контроля знаний учащихся. Их применение повышает эффективность РОС.

5. Для обеспечения безопасности при доставке информации, в том числе учебного назначения, предложена математическая модель универсального доступа к файловым объектам, позволяющая обеспечить целостность, конфиденциальность и доступность данных при миграции между различными файловыми системами.

6. Предложена архитектура информационно-образовательного портала как прототипа корпоративного виртуального университета, обеспечивающего функции организации учебного процесса.

Практическая значимость. На основе предлагаемой методологии управления качеством систем учебного назначения осуществлена разработка следующих компонентов РОС:

• программной реализации системы оценки качества распределенных обучающих систем и их отдельных компонентов «ОЦЕНКАРОС»;

• предметно-ориентированной среды «Архитектура связи ЛВС»;

• семи сетевых компьютермых-учебчиков;

• распределенных систем адаптивного тестирования и тренинга ВИОТ и ВИОТ-2;

• рабочего места администратора гетерогенной сети для обеспечения инвариантного санкционированного доступа к мигрирующим образовательным ресурсам;

• информационно-образовательного портала ЭАИ МИФИ.

Эксплуатация указанных систем показала, что все они обладают высокими значениями показателей качества, а значения функции полезности указанных программных продуктов лежат в допустимых диапазонах.

На защиту выносятся следующие положения:

1) предложенная система оценки качества распределенных обучающих систем, включающая в себя согласованную иерархию показателей качества, установленные шкалы измерений, вычисленные значения и удельный вес каждого показателя на основании полученных экспертных оценок;

2) разработанные подсистемы оценки качества всех видов электронных ресурсов, для которых предложены показатели качества, для которых сформирована иерархия показателей, определена значимость и удельный вес каждого показателя, проведено согласование иерархий; для различных видов элеюронных ресурсов получены экспертные оценки допустимых значений различных факторов качества и определены значения функции полезности для каждого вида электронных ресурсов;

3) предложенная методология управления качеством РОС, представленная в виде объектно-ориентированной среды как набор базовых классов и связей между ними, использование которой гарантирует требуемое качество;

4) программная реализация системы управления качеством РОС «ОЦЕНКАРОС»,

5) разработанный язык синтеза формальных описаний сетевых протоколов и ccpbISOb ЯСМОД,

6) созданные на основе предлагаемой методологии следующие компоненты РОС:

• предметно-ориентированная среда обучения «Архитектура связи локальных сетей»;

• семь компьютерных учебников, функционирующих в локальных и корпоративных сетях и Интернет;

• распределенная адаптивная система тренинга и тестирования «ВИОТ-2»;

• рабочее место администратора сети, обеспечивающее инвариантный санкционированный доступ к данным при миграции в гетерогенных корпоративных сетях;

• информационно-образовательный портал для доступа к распределенным образовательным ресурсам как прототип корпоративного ядерного университета.

Авторский вклад. Всс выносимые на защиту результаты и положения диссертационной работы получены и разработаны лично автором, или при его непосредственном участии.

Апробация работы. Основные научные результаты, полученные в ходе диссертационного исследования, докладывались и обсуждались на следующих конференциях, симпозиумах, совещаниях и семинарах:

IX Всесоюзном семинаре по вычислительным сетям (Рига, 1986); X Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Ижевск, 1987); XI Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Орджоникидзе, 1988); XIII Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Симеиз, 1990); ХУ Всесоюзной школс-семинаре но вычислительным сетям» (Ленинград, 1990); XIV Всесоюзном симпозиуме «Логическое управление с использованием ЭВМ» (Феодосия , 1991); Международном симпозиуме «Логическое управление. Интеллектуальные информационные технологии и стратегии» (Москва, 1992); Всемирном конгрессе ITS-93 «Информационные коммуникации, сети, системы и технологии» (Москва, 1993); XVII Международном симпозиуме «Логическое управление. Интеллектуальные информационные технологии и стратегии» (Москва, 1994); конференции «Информатика и новые информационные технологии в системе ЛИЦЕЙ-ВУЗ» (Москва, 1995); Конференции «Телекоммуникации и новые информационные технологии в системе ЛИЦЕЙ-ВУЗ» (Москва, 1997); Научном семинаре «Электронный бизнес. Выпуск 4».(Москва, МЭСИ, 2001); IX - XI Международных научно-технического семинарах «Современные технологии в задачах управления, автоматики и обработки информации» (Алушта, 2000-2002); Научных сессиях МИФИ 1998-2003 годов.

По теме диссертации опубликована 81 работа, общим объемом 108 печатных листов, в том числе монография, статьи в реферируемых журналах и два, выполненных в рамках Программы сотрудничества Министерства образования Российской Федерации и Министерства Российской Федерации но атомной энергии по направлению «Научно-инновационное сотрудничество», препринта.

Достоверность разработанной методологии управления качеством, математических моделей и методов, алгоритмов и программных средств подтверждается соответствующими актами о внедрении, документами о присвоении номеров государственной регистрации программным продуктам в Российском фонде компьютерных учебных программ, серебряной медалью ВДНХ СССР, почетными дипломами выставки-конференции «Телекоммуникации и новые информационные технологии в образовании».

Структура и объем работы. Диссертационная работа состоит из введения, трех разделов, десяти глав, заключения, 19 приложений, списка использованной литературы из 200 наименований. В работе содержится 39 таблиц и 37рисунков.

Выводы

К основным результатам, полученным в данной главе, можно отнести следующие.

1. Разработана архитектура информационно-образовательного портала Экономико-аналитического института МИФИ, как прототипа корпоративного ядерного университета. Разработка проводилась с использованием методологии управления качества РОС.

2. Отличительными особенностям портала являются:

• возможность обучения по индивидуальным учебным траекториям,

• система санкционированного доступа к распределенным объектам портала,

• встроенная система поддержки учебного процесса «Электронный деканат»,

• встроенная подсистема создания, публикации и проведения широкого спектра электронных занятий.

3. В 2002 году запущена первая очередь портала в виде набора таких подсистем, как организации доступа к ресурсам, «Электронный деканат», система поддержки образовательной среды и модуль оценки качества образовательных ресурсов, подсистемы общения, хранилище с записями о студентах и преподавателях.

4. Подготовлены электронные версии занятий по курсам «Логистика», «Сети и межсетевые коммуникации», «Финансы и кредит», «Экономика предприятия», «Основы экономической теории». По ряду курсов прошло несколько образовательных треков. Одним из основных результатов от использования следует отметить резкое повышение интенсификации труда как преподавателя, так и учащихся.

5. Проведенные экспертные оценки для информационно-образовательного портала ЭЛИ показывают, что все параметры удовлетворяют потребительским ограничениям, а значение функции полезности превышает допустимый минимум на 18 %.

ЗАКЛЮЧЕНИЕ

В ходе работы над диссертационным исследованием были получены следующие наиболее значимые результаты.

1. Впервые предложена система оценки качества распределенных обучающих систем в виде согласованной иерархии показателей качества, причем для каждого показателя определена шкала измерений, значимость и удельный вес. Общее количество показателей и групп показателей, из которых сформировано шесть уровней иерархии, примерно 130. Иерархия показателей согласована по методу Саати, суммарный вес каждого уровня равен единице. Показатели, сгруппированные па верхнем уровне иерархии, разбиваются на общие и специализированные факторы. К общим факторам оценки качества РОС, как к любым программным системам, относятся приемлемость, корректность, надежность, безопасность, добротность, стоимость, интерфейс и открытость. К специализированным факторам, характеризующим программный продукт в конкретной предметной области, относятся функциональность, адаптивность, эффективность, интеллектуальность, комфортность, современность и распределенность. Обработанные автором усредненные экспертные оценки показали, что но совокупности, группа общих факторов обладает весом 0,75. Из них наиболее значимыми являются безопасность (0,18), корректность (0,16) и хорошо построенный интерфейс (0,09). Группа специализированных факторов обладает значимостью 0,25, из них наибольший вклад дает эффективность (0,06).

2. Впервые предложена методология управления качеством РОС на всех этапах жизненного цикла системы, реализованная в виде объектной среды оценки. Указанная среда представляет собой множество базовых классов и связей между ними. Базовые классы соответствуют набору требований качества и требованиям гарантий, сопровождая весь жизненный цикл системы. Использование данной методологии гарантирует значение заданных заранее, на этапе планирования, показателей качества РОС, что было подтверждено на ряде программных продуктов, в частности, семи электронных учебниках, двух распределенных системах контроля знаний и предметно-ориентированной обучающей среде.

3. Разработан новый язык формальных описаний сетевых протоколов и сервисов ЯСМОД. Его использование для построения формальных описаний, верификации и программной реализации сложных распределенных приложений повышает надежность функционирования программных компонентов в сетевых средах. Не уступая по порождающей способности известным языкам, таким как ESTELLA, LOTOS, АГРЕГАТ или ОСА, ЯСМОД имеет более широкий спектр применения: системы синхронного и асинхронного действия, конвейерные системы. Наиболее важным является возможность с равным успехом описывать и верифицировать как протокольные объекты, так и сервисы, несмотря на NP-полноту поставленной задачи. Такая верификация впервые стала возможна при уменьшении размерности задачи редукцией сетевой модели к каноническому виду и последующей проверке на отсутствие ошибок. Помимо применения в учебном процессе, интерпретаторы с ЯСМОД позволили осуществить проектирование, верификацию, моделирование и реализацию системного программного обеспечения ряда реально работающих промышленных сетевых систем и распределенных приложений.

4. Впервые синтезированы математические модели и алгоритмы для формирования адаптивных и стратификационных тестов и адекватной оценки результатов тестирования как на основе классической теории тестирования, так и с использованием лате!ггно-структурного подхода IRT. На основе предложенных моделей впервые формируются карты знаний группы учащихся или одного учащегося, по которым появляется возможность произвести диагностику пробелов в знаниях, оценить качество преподавания и прогнозировать дальнейшее обучение. Их применение повышает эффективность контролирующих компонентов РОС.

5. Впервые разработана математическая модель универсального доступа к данным, позволяющая повысить безопасность информации, в том числе учебного назначения, при миграции между различными файловыми системами. На основе проведенного анализа пространства состояний защиты построена базовая модель отношений "пользователь-система» {аО, al, .а13, ЬО, bl,.bJ3}, позволяющая оценивать все потенциально возможные полномочия доступа и средств их санкционирования при защите от хакерских атак. Аппарат построенной алгебры преобразований защиты дает возможность оценивать степень адекватности конкретных переходов между файловыми системами NetWare, UNIX и Windows NT/2000 формализованным образом на основе четырехзначной логики. Практическим результатом решения задачи обеспечения сохранения полномочий доступа стал программный комплекс анализатора защиты для гетерогенной сети, состоящий из ядра па сервере NetWare и агентов для серверов Windows NT -2000 и Linux.

6. Разработана архитектура информационно-образовательного портала как прототипа корпоративного ядерного университета. Данная работа ведется в рамках Программы сотрудничества Министерства образования Российской Федерации и Министерства Российской Федерации по атомной энергии по направлению «Научно-инновационное сотрудничество». К моменту защиты диссертации запушена первая очередь портала, охватывающая систему доступа к ресурсам, модуль «Электронный деканат», хранилище с записями о студентах и преподавателях, систему поддержки образовательной срсды и модуль оценки качества образовательных ресурсов.

7. На основе предлагаемой автором диссертации методологии управления качеством систем учебного назначения осуществлена разработка следующих компонентов РОС:

• программной реализации системы оценки качества самих распределенных обучающих систем и их отдельных компонентов «ОЦЕНКАРОС»;

• предметно-ориентированной среды «Архитектура связи ЛВС»;

• семи сетевых компьютерных учебников и задачников;

• распределенных систем адаптивного тестирования и тренинга ВИОТ и ВИОТ-2;

• рабочего места администратора гетерогенной сети для эквивалентирования санкционированного доступа к мигрирующим образовательным ресурсам;

• информационно-образовательного портала ЭЛИ МИФИ.

Все указанные разработки используются в учебном процессе Московского инженерно-физического института, о чем имеются соответствующие свидетельства.

8. Эксплуатация указанных систем показала, что все они обладают высокими значениями показателей качества, а значения функции полезности указанных программных продуктов лежат в допустимых диапазонах. Экспертные оценки по нормированной шкале [0.9] для электронных учебников дают значения функции полезности в виде вектора (/={6,55; 6,90; 6,92; 6,96; 7,03; 7,07; 7,13} при минимально допустимом значении umin= 5,32. Полученные экспертные оценки качества для распределенных систем адаптивного тестирования ВИОТ-2 и ВИОТ позволяют определить значение функции полезности как 6,88 и 6,51, в то время как итт для контролирующих программ составляет 5,23. Полученные экспертные оценки для информационно-образовательного портала показывают, что значение функции полезности на 18% превышает допустимый минимум. Таким образом, все рассматриваемые учебники, задачники и тестовые системы, информационно-образовательный портал ЭЛИ МИФИ, спроектированные на основе предлагаемой автором диссертации методологии, удовлетворяют исходным пользовательским ограничениям, а значение функции полезности превышает допустимый минимум на 13-20 %.

1. Advanced Learning Infrastructure Consortium, 2000 (ALIC)//www.aldnet.org

2. Alliance of Remote Instructional Authoring and Distribution Networks of Europe, 2000 (ARIADNE) //www.aldnet.org

3. IMS Global Learning Consortium, 2000//www.aldnet.org

4. Aviation Industiy CBT Committee, 2001 (AICC) //www.aldnet.org

5. IEEE P1484.1/D9-pre, 2001-11-15 Draft Standard for Learning Technology — Learning Technology Systems Architecture (LTSA)//www.aldnet.org

6. SCORM 2.0,2001 (Shareable Content Object Reference Model)// www.aldnet.org

7. Проект стандарта по дистанционному обучению http://. Db.informika.ru/do/new

8. Проект Государственного стандарта Российской Федерации. Информационная технология. Методы и средства обеспечения безопасности

9. Андреев Л.Л. Введение в дистанционное обучение: Учебно-методическое пособие. М.:ВУ, 1997 С. 85.

10. Ю.Тихомиров В.П. ДО: история, экономика, тенденции//Дистаиционное образование, 1997. №2.

11. И. Полат Е.С. Дистанционное обучение: организационные и педагогические аспекты. М.,ИНФО, 1996.№3.

12. Самойлов В.А., Рубин 10. Б. Система ДО в МЭСИ// Дистанционное образование, 1996, №1. С.13-16.

13. Методические вопросы использования телекоммуникаций в образовании: Отчет НИР. Под рук. Григорьев С.Г. // М., ИНИ11ФО, 1996.

14. Норенков И.П. Компьютерные обучающие среды для дистанционного образования. http://nt.icsti.su/rus/bul/bul2-96/norenkov.html, 2001.

15. Норенков И.П. К проекту документа под названием «Контроль и оценка качества дистанционного образования» http://. Db.informika.ru/, 2001.

16. Золотарев А.А. Современные образовательные технологии в контексте интенсивного информатизированпого обучения. Кн. 1. М.: Ассоциация «Кадры», 2000. 32 с.

17. Васильев Н.П., Метечко В.И., Чернышев Ю.А., Шурыгип В.А. Образовательный портал вуза как элемент информационно-образовательной среды//Всероссийская научно-методическая конференция «Телематика 2002».

18. Компьютерные обучающие программы. Классификация. Критерии качества/Демушкин А.С, Кириллов А.И., Сливина Н.А., Чубров В.Е., Кривошеее А.О., Фомин С.С.// Информатика и образование, 1995, № 3. С.15-22.

19. Общее руководство по качеству предприятия и основные принципы построения модели системы качества. Система качества по МС ISO серии 9000. JL: инженерный центр «Аргус-стандарт», 1991.

20. Проектирование и контроль качества. Система качества но МС ISO серии 9000. Спб.: Аргус-стандарт, 1993.

21. Общее руководство качеством и стандарты по обеспечению качества. Часть 3: «Руководящие указания по применению ISO 9001 при разработке, поставке и обслуживанию программного обеспечения», М.: ВНИИС, 2001.

22. Богданов Д.В., Путилов В.Л., Фильчаков В.В. Стандартизация процессов обеспечения качества программного обеспечения. Апатиты: КФ ПстрГУ, 1997. 161с.

23. Sommervillc S. Software Engineering, Addison-Wcsley Pub. Co., 1996.

24. Липаев В. Качество программного обеспечения. М.: Финансы и статистика, 1983.

25. Воас Дж. Процесс сертификации программ на базе информации об их использовании// Открытые системы, 2000. №10.

26. R. Н. Hayes, D. A. Garvin. Managing as if Tomorrow Mattered// Harvard Business Review, №5-5,1982,70-79.

27. Аджисв В. Мифы о безопасном ПО: уроки знаменитых катастроф // Открытые системы, 1998. №6.

28. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.

29. Замков О. О., Толстопятенко А.В. Математические методы в экономике// Серия «Учебники МГУ им. М. В. Ломоносова». М.:ДИС, 1998.

30. Зайцев С.С. Описание и реализация протоколов сетей ЭВМ М.: Наука, 1989.

31. Моисеев В.Б., Усманов В.В., Таранцева К.Р., Пятирублевый Л.Г. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы//Дистанционнос образование, 2001, №1.

32. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе // Труды Исследовательского центра Гособразования СССР. М., 1989.-168 с.

33. Анастази А. Психологическое тестирование. Ки.1. М.: Педагогика, 1982. -320 с.

34. Кузовлева. К. Т. Конструирование педагогических тестов на основе современных математических моделей// www.informika.ru.

35. Горбатов В.А. Фундаментальные основы дискретной математики. Информационная математика. М.: Наука; Физматлит, 1999. -544 с.

36. Саливэн Д. Пять принципов интеллектуального управления контентом //www.crnep/news.asp.

37. Романюк С.Г. Оценка надежности программного обеспечения // Открытые системы, 1998. №6.

38. Майерс Г. Надежность программного обеспечения. М.: Мир, 1980.

39. Коганов А.В., Ромашок С.Г. Экономический подход к понятию надежности программы // Открытые системы, 1995. №3.

40. Пьянзин К. Безопасность компьютерных систем // LAN: журнал сетевых решений, 1997. №8.

41. Поттосин И. «Хорошая программа»: попытка точного определения понятия // Программирование, 1997. №2.

42. Поттосин И. Добротность программ и информационных потоков // Открытые системы, 1998. №6.

43. Чернопожкин С. Меры сложности программ (Обзор) // Системная информатика, 1996. №5.

44. Дам Э. В. Пользовательские интерфейсы нового поколения // Открытые системы, 1997. №6.

45. Северов J1. Л, Панферов А. И. Информационно-методическое обеспечение дистанционного обучения па старших курсах, http://www.aanet.ru/conferences/papers/inteIect/tezisi.htm, 1999.

46. Колосов В. Г. Организационные принципы построения дистанционных систем обучения // 45.

47. Абдымапапов С. А. Дидактические аспекты дистанционного обучсния//Междупародная научная конференция «Интеллектуальные технологии и дистанционное обучение на рубеже XXI века»// 45.

48. Игнатьев М. Б. Компыотсризм основа дистанционного обучения // 45.

49. Иванов Б. С. Система компьютерного тестирования // 45.

50. Кривошеев А.О. Тенденции развития компьютерных обучающих программ http://Dh.informika.ru/do. 2001.

51. Кривошеев А.О., Фомин С.С. Требования к компьютерному учебнику для дистанционного обучения (Проект). http://Db.informika.ru/do/news/dok/up44.dok, 2001.

52. Виштынецкий Е. И., Кривошеев А. О. Вопросы применения информационных технологий в сфере образования и обучения // Информационные технологии. 1998, № 2, С. 32-36.

53. Абросимов А. Г. Принцип интеллектуальной технологии дистанционного образования // 45.

54. Бережной Jl. Н., Колесов Н. В. Принципы построения интеллектуальных обучающих систем // 45.

55. Семенов В.В., Пименова Т.В. Кибернетическая технология сетевого тестирования// Научная сессия МИФИ-2000. Сборник научных трудов. М.: МИФИ, 2000. Т. 2.,

56. Гречихин А.А., Древе Ю.Г. Вузовская учебная книга: Типология, стандартизация, компьютеризация: Учсбио-мстодичсское пособие в помощь авт. и ред. М.: Логос. Московский государственный университет печати, 2000.255 с.

57. Смольянинов А.В. Гипертекстовые системы в обучении //Компьютерные технологии в высшем образовании. М.: Изд-во МГУ, 1994, С. 208-220.

58. Булгаков М.В., Якивчук Е.Е. Инструментальные системы для разработки обучающих программ//57., с. 153-162.

59. Asymetrix ToolBook II Instructor http://ww\v.asvmctrix.com

60. DiscoverWare http:// discoverware. Com/products/dtoday.html

61. TopCIass http://www.wbtsystems. Com/solutions/overview.html

62. Authorware Attain http://www. Macromedia.com/software/productinfo/

63. Blackboard Courselnfo http://product.blackboard.nct/courseinfo

64. EventWare http://www.eventware.com

65. The Learning Manager http://www.campuscan.com/frames/frstIok2/htmI

66. Автоматизированная система дистанционного обучения «ДОЦЕНТ» //www.uniar.ru67. eLABS//www.c-styIc.ru

67. Компьютерная технология обучения. Словарь-справочник/ Под ред. В.И. Гриценко, A.M. Довгялло, А.Я. Савельева. Киев: Наукова думка, 1992.

68. ISO/DP 8807. Information Processing System Open System Interconnection -ESTELLE - A formal Description Technique Based on Extended State Transition Model, 1984.

69. Питерсон Д. Теория сетей Петри и моделирование систем. М.: Мир, 1984.

70. Пранявичус Г.И., Пилаускас В.К., Хмеляускас А.В. Пранас система спецификации и анализа протоколов// X Всесоюзная конференция по вычислительным сетям, 1985, Т.З, С. 94 -98.

71. R. Abrial. The B-Book: Assigning Programs to Meanings. Cambridge University Press, 1996.

72. Hinchey M.G., Jarvis S.A. Concurrent Systems: Formal Development in CSP// McGraw-Hill International Scries in Software Engineering, 1995.

73. Spivey J.M. The Z Notation: A Reference Manual: 2nd edition// Prentice Hall International Series in Computer Science, 1992.

74. Боуэр Дж., Хинчи М.Дж. Десять заповедей формальных методов // МИР ПК, 1997. №9.

75. Gordon M.J.C., Melham T.F. Introduction to HOL: A theorem proving environment for higher order logic// Cambridge University Press, 1993.

76. Polack F., Mander K.C. Software Quality Assurance using the SAZ Method.

77. Дистанционное обучение. 063op//http:user.kpi.kharkov/lre/bde/rus/de/comedu.htm.

78. Романов A.H., Торопцов B.C., Григорович Д.Б. Технология дистанционного обучения в системе заочного экономического образования. М.: ЮНИТИ-ДАНА, 2000.

79. Техническая документация по Learning Space. http://www.lotus. com/home.nst/tabs/learspace

80. Основы Lotus Notes и системы БОСС-Референт: Учебное пособие. Фирма «АйТи», 2001.

81. БОСС-Референт. Руководство пользователя. Фирма «АйТи», 2001.

82. Малыхина М. П., Алешин А. В., Частикова В. А. Экспертная система для оценки качества учебных nporpaMM//http://www.bytic.ru/cue99M/bd7shlmlxk.htIm

83. Домрачев В.Г., Ретинская И.В. Об опыте обучения по индивидуальным траекториям //Открытое образование, 2000 г. №2.

84. Буравлев А.И., Переверзев В.Ю. Выбор оптимальной длины педагогического теста и оценка надежности его результатов/Юткрытое образование, 1999. №2.

85. Бобров JI.K., Сунгатулин Р.Т. Адаптивная система компьютерного тестирования//: http://cit.drbit.com.ru

86. Маркова Н. Пристальный взгляд на качество программ // Открытые системы, 1999. №7-8.

87. Кулаков А. Ф., Пьявченко А.Н. Стандартизация в области программной инженерии. // www.stq.ru.

88. Гусева Л.И. Дистанционное обучение: требования и механизмы оценки // Научная сессия МИФИ 2001: Сб. научных трудов МИФИ. М.: МИФИ, 2001. Т.2.

89. Гусева Л.И. Мультимедийные средства обучения в специализации «Сетевые системы»// Научная сессия МИФИ-99: Сборник научных трудов. М.: МИФИ, 1999. Т.8. С.20-21.

90. Гусева А.И, Синицып С.В. Сетевые информационные технологии в учебном процессе// Научная сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. 4.6. С. 81-82.

91. Гусева А.И., Тихомирова А.Н. Формальное задание требований и ограничений на разработку системы на основе теории полезности// Научная сессия МИФИ-2001: Сборник научных трудов. М., МИФИ, 2001. Т. 2.

92. Гусева А.И. Методология синтеза распределенных обучающих систем// Труды X Международного научно-технического семинара «Современные технологи в задачах управления, автоматизации и обработки информации». Алушта, 2001. С.177-178.

93. Гусева А.И. Инструментальные средства поддержки дистанционного обучения// Электронный бизнес. Тезисы докладов семинаров. Выпуск 4. М.: Издательство МЭСИ, 2001.

94. Гусева А.И. Локальные сети управления ГПС и особенности их архитектуры // Математическое обеспечение интегрированных систем САПР-ГАП. Куйбышев, 1985. С.53-56.

95. Гусева А.И., Молтенинов Л.В. Малые микропроцессорные локальные сети с разделяемой памятью в управлении ГПС// Математическое обеспечение интегрированных систем САПР-ГАП. Куйбышев, 1985. С.51-52.

96. Гусева Л.И., Метечко В.И. О реализации машин баз данных для обработки цифровой информации// Цифровая обработка измерительной информации. М.: Атомэнергоиздат, 1986.

97. Гусева А.И., Троицкий Н.Л., Фролов С.А. Распределенная система управления гибким мелкосерийным производством длинномерных изделий// Гибкие производственные системы. М.: МДНТП, 1986.

98. Гусева А.И. Сетевые модели при проектировании протоколов связи в ЛВС// Математическое обеспечение интегрированных систем САПР-ГАП. Ташкент, 1986.

99. Гусева А.И., Федоров Н.В., Фролов С.А. Многопроцессорные системы в системах обработки информации и управления // Математическое обеспечение интегрированных систем САПР-ГАП. Ташкент, 1986.

100. Гусева А.И., Фролов С.А. Архитектура распределенной вычислительной сети для управления промышленным производством // IX Всесоюзный семинар но вычислительным сетям. Ч.Ш. Рига, 1986.

101. Гусева А.И. Проектирование протоколов транспортной службы на основе сетевых моделей // X Всесоюзный симпозиум «Логическое управление с использованием ЭВМ». Ижевск, 1987. С. 257-258.

102. Гусева А.И. Формальное описание протокола электронной почты на основе сетевых моделей// XI Всесоюзный симпозиум «Логическое управление с использованием ЭВМ». Орджоникидзе, 1988. С. 243-245.

103. Гусева А.И. Методы синтеза протокольных объектов па основе сетевых моделей//XI Всесоюзный симпозиум «Логическое управление с использованием ЭВМ». Орджоникидзе, 1988. С. 202-205.

104. Гусева А.И., Летунов Ю.П. Архитектура связи в локальных сетях: Учебное пособие. М.: МИФИ, 1988. 64 с.

105. Ш.Гусева А.И. , Летунов Ю.П., Метечко В.И., Порешин П.П., Русаков В.А. Методические указания к проведению практических занятий па ФПК СП по специализации "Распределенная обработка информации». М.: МИФИ, 1988. 44 с.

106. Гусева А.И., Метечко В.И. Электронная почта в сетях рабочих станций// Системные средства САПР. М.: МДНТП, 1989. С. 97-100.

107. Гусева А.И., Летунов Ю.П., Савичева И.Н., Тулупова H.II. Методические указания к проведению практических занятий в виде деловых игр па ПЭВМ по проектированию протоколов в локальных вычислительных сетях. М.: МИФИ, 1989.58 с.

108. Гусева А.И. Электронная почта ЭП-МИФИР средство общения в интерсетях MAP/TOP// Материалы XII Всесоюзного симпозиума «Логическое управление с использованием ЭВМ». Симферополь, 1989. С. 275-277.

109. Гусева А.И., Летунов Ю.П. Лабораторный практикум «Архитектура связи в сетях ЭВМ»: Учебное пособие. М.: МИФИ, 1990.48 с.

110. Гусева А.И. Методы синтеза протокольных объектов на основе сетевых моделей// Материалы XIII Всесоюзного симпозиума «Логическое управление с использованием ЭВМ». Симеиз, 1990. С.354-358.

111. Гусева А.И., Лебедева О.В. Адаптируемые транспортные протоколы сетей ТОР (МИФИР) // Материалы XIII Всесоюзного симпозиума "Логическое управление с использованием ЭВМ». Симеиз , 1990. С.359-361.

112. Гусева А.И. Язык формального описания протокольных объектов на основе сетевых моделей/У Материалы ХУ Всесоюзной школы-семинара по вычислительным сетям. Ленинград, 1990. С.174-179.

113. Гусева А.И. Вопросы верификации локальных и глобальных сервисов в ЛВС (язык ЯСМОД) //Материалы XIV Всесоюзного симпозиума "Логическое управление с использованием ЭВМ». Феодосия , 1991. С. 193-197.

114. Гусева А.И. Характеризационное управление при синтезе распределенных систем// Материалы Всемирного конгресса ITS-93 «Информационные коммуникации, сети, системы и технологии». М.: Международная академия информатизации, 1993. С.65-70.

115. Гусева А.И., Калипова А. А., Мурзипова А. В. Электронный учебник «Локальные вычислительные сети». М.: Фонд алгоритмов и программ НИИВО АПН РФ, № гос. per. 93647, 1993.

116. Гусева А.И., Петров Д.В., Рогулин Д.С. «ВиОТ. История»- распределенная система для тестирования учащихся по курсу «История России» // Материалы конференции «Информатика и новые информационные технологии в системе лицей ВУЗ». М.:МИФИ, 1995. С.27-28.

117. Гусева Л.И. Работа в локальных сетях NetWare 3.12-4.1: Учебник. Рекомендован Министерством общего и профессионального образования РФ в качестве учебника для студентов ВУЗов. М.: ДИЛЛОГ-МИФИ, 1996. 288с.

118. Гусева А.И. , Тихомирова А.Н. Электронный учебник " Работа в сетях NetWare 3.12». М.: Российский фонд компьютерных программ ИПИПФО МО РФ, № гос. per. 1577, 1996.

119. Гусева А.И., Дстинип О.О., Детинииа О.И. Электронный учебник «Работа в сетях NetWare 4.1». М.: Российский фонд компьютерных программ ИНИНФО МО РФ, № гос. per. 1723, 1997 г.

120. Гусева А.И., Тихомирова А.Н Электронный учебник «Работа в сетях NetWare 3.12»//Материалы конференции "Телекоммуникации и новые информационные технологии в системе лицей-ВУЗ». М.: МИФИ, 1997. С. 56-57.

121. Гусева А.И, Тихомирова А.Н. Компьютерный учебник «Сетевая операционная система Windows NT». М.: Российский фонд компьютерных программ ИНИНФО МО РФ, № гос. per. 1751, 1997.

122. Гусева А.И., Детинин О.О., Детинина О.И. Компьютерный учебник «Учимся программировать: Pascal 7.0». М.: Российский фонд компьютерных программ ИНИНФО МО РФ, № гос. per. 1725, 1997.

123. Гусева А.И. Технология межсетевых взаимодействий. NetWare-UNIX-Windows-Internet. М.: ДИЛЛОГ-МИФИ, 1997. 286 с.

124. Гусева А.И. Учитесь программировать: Pascal 7.0. Задачи и методы их решения. Рекомендовано Министерством общего и профессионального образования РФ в качестве учебного пособия для студентов ВУЗов М.: ДИАЛОГ-МИФИ, 1997. 280 с.

125. Гусева А.И. Учимся информатике: задачи и методы их решения. М.: ДИАЛОГ-МИФИ, 1998.320 с.

126. Гусева А.И., Егошин А.И. Компьютерный мультимедийный учебник «Все об Интернет» //Научная сессия МИФИ-99: Сборник научных трудов. М.: МИФИ, 1999. 4.6. 84-85с.

127. Гусева А.И., Тихомирова А.Н. Синтез корректных формальных описаний протокольных объектов и сервисов в распределенных системах//Научная сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. 4.5. 187-188 с.

128. Гусева А.И., Детинин О.О. Синтез эталонов прикладного программного обеспечения корпоративных сетей //Научная сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. 4.6. 79-80 с.

129. Гусева А.И., Тихомирова А.Н. Локальные вычислительные сети. Компьютерный учебник «Работа в NetWare 3.12» //Научная сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. 4.6. С.83.

130. Гусева А.И., Дстинин О.О., Детипина О.И. Локальные вычислительные сети. Компьютерный учебник «Работа в сетях NetWare 4.1» //Научная сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. 4.6. С.84.

131. Гусева А.И., Тихомирова А.Н Технология межсетевых взаимодействий. Компьютерный учебник «Сетевая ОС WINDOWS NT» //Научная сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. 4.6. С. 85.

132. Гуссва А.И., Егошин А.И., Друзин А.А. Технология межсетевых взаимодействий. Компьютерный учебник «Все об INTERNET» //Научная сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. 4.6. С.86.

133. Гусева А.И., Детинин О.О., Детипина О.И. Компьютерный задачник с решениями «Учимся программировать: Pascal 7.0» //Научная сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. 4.6. с.87

134. Гусева А.И., Детинип О.О., Детинина О.И. Компьютерный учебник «Информатика для поступающих в ВУЗы»//Научиая сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. 4.6. С.88.

135. Гуссва А.И., Егошин А.И. Компьютерный мультимедийный учебник «Все об Интернет». М.: Российский фонд компьютерных учебных программ РОСФОКОМП, № гос. per. 1975, 1999.

136. Гусева А.И., Шаиошник А.В. Санкционированный доступ к ресурсам в гетерогенных банковских сетях на основе UNIX-NetWare // Научная сессия МИФИ-98: Сборник научных трудов. М.: МИФИ, 1998. Т.1. С. 20-21.

137. Гусева А.И., Тихомирова А.Н. Синтез корректных формальных описаний распределенных приложений в вычислительных сетях // Научная сессия МИФИ-99: Сборник научных трудов. М.: МИФИ 1999. Т.7. С.86-87.

138. Гусева А.И., Шапошник А.В. Санкционированный доступ при миграции данных в гетерогенных сетях.// Научная сессия МИФИ-99: Сборник научных трудов. М.: МИФИ 1999. Т.7. С.88-89.

139. Гуссва А.И. Инструментальные средства разработки дистанционных систем виртуального тренинга и тестирования// Научная сессия МИФИ-2000: Сборник научных трудов. М.: МИФИ, 2000. Т.2. С. 203-204.

140. Гусева А.И., Шпурик А.П. Дистанционная система тренинга и тестирования// Научная сессия МИФИ-2000: Сборник научных трудов. М.: МИФИ, 2000. Т.2. С.173-174.

141. Гусева А.И., Шпурик А.П. Дистанционная система тренинга и тестирования// Труды IX международного научно-технического семинара «Современные технологии в задачах управления, автоматики и обработки информации». Алушта, 2000. С. 303-306 .

142. Гусева А.И., Андреев В.Л. Подсистема адаптивного тренинга Научная сессия МИФИ-2001: Сборник научных трудов. М.: МИФИ, 2001. Т. 2. С. 169170.

143. Гусева Л.И., Тихомирова А.Н. Формализация требований и ограничений на разработку системы на основе теории полезности// Научная сессия МИФИ-2001: Сборник научных трудов. М.: МИФИ, 2001. Т. 2. С. 162-163.

144. Гусева А.И., Друзин Л.Л., Чернышов С.П. Распределенные банковские системы на базе операционной системы NetWare// Научная сессия МИФИ-98: Сбориик научных трудов. М.: МИФИ, 1998. Т.1. С. 19.

145. Гусева А.И., Шпурик Л. П. Дистанционная система тренинга и адаптивного тестирования ВИОТ-2 // Научная сессия МИФИ-2001: Сборник научных трудов. М.: МИФИ, 2001. Т. 2. С.171-172.

146. Гусева Л.И., Шпурик Л. П. Математические методы построения методик адаптивного тестирования// Научная сессия МИФИ-2002: Сборник научных трудов. М.: МИФИ, 2002. Т.6. С. 186-187.

147. Гусева А.И., Шпурик А. П. Дистанционная система тренинга и адаптивного тестирования ВИОТ-2// Научная сессия МИФИ-2002: Сборник научных трудов. М.: МИФИ, 2002. Т.6. С.184-185.

148. Гусева Л.И., Синицына О.С. Компьютерный учебник по электронной системе документооборота в среде Learning Space// Научная сессия МИФИ-2002: Сборник научных трудов. М.: МИФИ, 2002. Т.2. С.175-176.

149. Гусева А.И., Филиппов С.А. Современные концепции создания образовательных web-ссрвсров.// Труды XI Международной конференции-выставки «Информационные технологии в образовании». М., 2001. Ч. IV. С. 59.

150. Гусева А.И., Филиппов С.А. Концепция информационно-образовательного портала корпоративного университета (на базе ЭЛИ МИФИ). // Научная сессии МИФИ-2002: Сборник научных трудов. М.:МИФИ, 2002. Т. 2. С. 174.

151. Гусева А.И., Филиппов С.А. Этапы создания корпоративного университета: архитектура информационного портала// Технология высшего образования в XXI веке: проблемы и перспективы развития. Актоба.: ЛГУ, 2002.

152. Гусева А.И. Филиппов С.А. Корпоративный университет: архитектура информационного портала //Научно-технический семинар «Применение новых технологий в образовании». Троицк, 2002.

153. Гусева А.И. Адаптивные методики тестирования. М.:МИФИ. Препринт 2002007, 32с.

154. Гусева А.И. Оценка качества распределенных обучающих систем. М.:МИФИ. Препринт 2002-006, 32 е.

155. Гусева Л.И. Сети и межсетевые коммуникации. Windows 2000: Учебник. М.: ДИАЛОГ-МИФИ, 2002. 256 с.

156. Гусева Л.И. Модель качества распределенных обучающих систем //Информатика и образование, 2003, № 2.

157. Гусева Л.И. Методики адаптивного контроля знаний //Информатика и образование, 2003, № 7.

158. Collis В., De Boer, W. F. The Adaptation and Use of a WWW-Bascd Course Management System within Two Different Types of Faculties at the University of Twente// http://teletop.edte.utwente.nl

159. Carleer G.J., Collis B.A. Extending good teaching with technology// http://teletop.edte.utwente.nl

160. Tielemans G., Collis В/ Strategic Rcqiurcments for a System to Generate and Support WWW-Based Environments for a Faculty// http://tcletop.eclte.utwente.nl

161. Игнатова М.Г., Соколова Н.Ю. Принцип подключения активных компонентов в виде специализированных обучающих программ через информационно-образовательную среду на базе ОРОКС// http://www.bitpro.ru/TIO/2001/iti/II/ii/II-4-14.html.

162. ПРОМЕТЕЙ //www.prometeus.ru.

163. Dodds P.V.W. Trends of Learning Technology Standards // www.alic.gr.jp, 2001.

164. Материалы Всесоюзного научно-методического ссмипара «Новые методы и технические средства обучения». М.:ВДНХ, 1980.

165. Материалы отчета Международного института менеджмента ЛИНК// www.ou-link.ru.

166. Предложения ЦДО СПбГТУ к Объединенному проекту по разработке нормативно-правовых документов и отраслевых стандартов дистанционного обучения/Avww.cde. spbstu.ru.

167. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++. М.: Издательство Бином, 1999. 560 с.

168. ISO 12207-95. М.: ВНИИС, 2001.

169. ISO 15504. М.: ВНИИС, 2001.

170. Рыжов В.Л. Классификация образовательных программ и систем. М.:ИНИНФО, 1994. 28 с.

171. Ваграмспко Я.А. Технология сертификации программных средств учебного назначения. М.: ИНИНФО, 1993.

172. Рыжов В.А. , Теплицкий В.М., Корниенко А.В.Композиция изображений и принципы предъявления знаний. М.:ИНИНФО, 1995 г.

173. ISO 8402. М.: ВНИИС, 2001.

174. Киресв B.C., Гуссва А.И. Информационно-образовательный портал: качество образовательных ресурсов// Научная сессии МИФИ-2003: Сборник научных трудов. М.-.МИФИ, 2003. Т. 2. С. 113-114.

175. Руководство по составлению электронных учебных пособий// http://info.distant.ru/library/posobiye/contents.htm.

176. Клайн П. Справочное руководство по конструированию тестов (Введение в психометрическое проектирование). Киев, 1994. 282 с.

177. Гусева А.И., Шпурик А.П. Математические методы построения адаптивных методик тестирования// Научная сессии МИФИ-2003: Сборник научных. М.-.МИФИ, 2003. Т. 2. С. 104-105.

178. Гусева А.И., Шпурик А.П. Дистанционная система тренинга и адаптивного тестирования ВИОТ-2// Научная сессии МИФИ-2003: Сборник научных. М.:МИФИ, 2003. Т. 2. С. 102-103.

179. Гусева А.И., Шпурик А.П. Определение аномальных наборов ответов при компьютерном адаптивном тестировании // Научная сессии МИФИ-2003: Сборник научных трудов. М.:МИФИ, 2003. Т. 2. С. 104-105.

180. Portal Lifecycle Management Adding the Hidden Cost of Portal Ownership //www.dclphigroup.com.

181. Тихонов А.Н., Абрамешин А.Е., Воронина Т.П., Иванников Л.Д., Молчанова О.П. Управление современным образованием: социальные и экономические аспекты. М.: Вита-Пресс, 1998. 256 с.

182. Гусева А.И. Филиппов С.А. Прототип корпоративного ядерного университета// Научная сессии МИФИ-2003: Сборник научных трудов. М.:МИФИ, 2003. Т. 6. С. 245-246.

183. Гусева А.И. Филиппов С.А. Информационно-образовательный портал: «Электронный деканат»// Научная сессии МИФИ-2003: Сборник научных трудов. М.:МИФИ, 2003. Т. 6. С. 108.