автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Автоматизированная система выбора программных средств для разработки курсов дистанционного обучения

На правахрукописи

Курникова Марина Петровна

АВТОМАТИЗИРОВАННАЯ СИСТЕМА ВЫБОРА ПРОГРАММНЫХ СРЕДСТВ ДЛЯ РАЗРАБОТКИ КУРСОВ ДИСТАНЦИОННОГО ОБУЧЕНИЯ

Специальность 05.13.01 - Системный анализ, управление и обработка

информации

АВТОРЕФЕРАТ

Диссертации на соискание ученой степени кандидата технических наук

Москва -2004

Работа выполнена в Российском государственном университете нефти и газа им. И. М. Губкина и в Московском государственном университете леса

Научный руководитель - доктор технических наук, профессор

Домрачев Вилен Григорьевич

Официальные оппоненты - доктор технических наук, профессор

Чернышев Юрий Александрович

кандидат технических наук, доцент Позднеев Борис Михайлович

Ведущая организация - Государственный научно-исследовательский институт информационных технологий и телекоммуникаций «Информика»

Защита состоится «9 » апреля в 15 часов на заседании диссертационного совета Д212.146.04 при Московском государственном университете леса по адресу: 141005, Мытищи-5, Московская обл., МГУЛ

С диссертацией можно ознакомится в библиотеке Московского государственного университета леса. Автореферат разослан «_» марта 2004г.

Ученый секретарь диссертационного совета кандидат технических наук, доцент

Тарасенко П.А

Общая характеристика работы

Актуальность работы

В последнее время во всем мире наряду с традиционным образованием» активно развиваются дистанционные формы обучения. Система дистанционного обучения (ДО) представляет собой комплекс образовательных услуг, созданный» на основе современных; информационных технологий, которые: обеспечивают доступность образования «независимо1 от места, нахождения учащегося.

Приказом Министерства образования России от 18/ 12. 2002 за № 4452 была утверждена методика применения дистанционных образовательных технологий в учреждениях высшего, среднего и дополнительно -профессионального образования Российской Федерации. Согласно взятому Министерством образования курсу на развитие единой образовательной среды России, чрезвычайно актуальной? становится, задача стандартизации и; унификации инструментальных; средств: разработки: дистанционных электронных учебных курсов. Это должно способствовать концентрации сил и средств по созданию электронных курсов для дистанционного обучения и повышению эффективности их применения.

Специфика ДО заключается в том; что взаимодействие преподавателя и учащегося происходит посредством программно-аппаратных комплексов, поэтому качество обучения^ становится»напрямую зависящим от качества программных пакетов и сетевых курсов.

Несмотря на то, что сертификационными центрами, испытательными лабораториями в Системе «РОСИНФОСЕРТ», вновь создающимися органами системы технического регулирования и другими организациями, проводится большая работа по созданию подходов к процедуре: оценки качества программных средств (ПС), формализованная оценка качества ПС продолжает

оставаться сложной и трудоемкой задачей; И не только в силу несовершенства применяемых ГОСТов и стандартов в этой области, но и по причине отсутствия» методик оценки качества для конкретных классов ПС, в частности, для средств создания дистанционных электронных учебных курсов.

Цели обучения, вытекающие из современных потребностей рынка труда, диктуют и создание: соответствующих дистанционных; курсов, обучения.. Предпочтения разработчиков, относительно функциональных возможностей ПС для создания дистанционных электронных учебных курсов играют, в этом случае,, главную роль. Это относитсяз как к учебным» заведениям, осуществляющим ДО, так и к предприятиям, на которых образовываются свои корпоративные дистанционные системы обучениям для переподготовки кадров или обучения, персонала, и которых с каждым годом становится все

больше.

Задача выбора ПС для создания дистанционных электронных учебных курсов, с учетом стоящих перед разработчиком конкретных задач, усложняется быстрым ростом количества ; предлагаемых программных оболочек (только зарубежных сред существует около 50 и известных отечественных больше 10), при этом качество их бывает достаточно трудно определить.:

Обычно выбор ПС происходит на основе существующих обзоров в печати, в Интернете, методом проб и ошибок. Однако, только опыта и интуиции лиц, проводящих выбор ПС, В; динамично развивающей области уже недостаточно, необходим системный подход и компьютерная поддержка для решения данной задачи. Автоматизированная система выбора ПС на основе оценки качества ПС с учетом многокритериальных, пользовательских предпочтений,. позволит формализовать, облегчить и значительно ускорить процесс выбора ПС,. без привлечения экспертов в данной предметной области

Таким образом, исходя из состояния вопооса, были сформулированы цель и задачи исследования в данной диссертационной работе.

Цель работы и задачи исследования

Целью диссертационной работы является разработка автоматизированной: системы» выбора программных средств для создания курсов дистанционного обучения, базирующейся на решении следующих задач::

1. Создание системы функциональных характеристик качества для класса программных средств, применяемых при создании» дистанционных электронных учебных курсов.

2. Разработка формализованного метода определения характеристик качества программных средств из сопровождающей ПС документации.

3. Разработка метода выбора ПС для создания; курсов дистанционного обучения с учетом многокритериальных пользовательских; предпочтений.

4. Создание программного комплекса для реализации предложенных методов при оценке качества и выборе программных средств разработки, дистанционных электронных учебных курсов.

Научная новизна

1. Создана система функциональных характерьстик качества для класса ПС - сред разработки дистанционных электронных учебных курсов.

2. Разработан метод выделения характеристик качества из сопровождающей ПС эксплуатационной- документации на основе лингвистического анализа, позволяющий генерировать протокол испытаний характеристик качества в процессе сертификации, оценки качества и выбора ПС.

3. Разработан метод выбора ПС, базирующийся на функциональных; характеристиках качества ПС, с учетом многокритериальных пользовательских предпочтений на основе т гории принятия решений.

Методы исследований.

Для достижения поставленной цели' исследования и решения: сформулированных выше задач в работе применялись аналитические и экспериментальные, методы исследования. Были использованы, методы, системного анализа, лингвистического анализа, теории принятия решений, теории шкал, теории математической статистики, теории г моделирования, теории баз данных и системного программирования.

Результаты работы, выносимые на защиту

1. Система функциональных характеристик, качества для; класса ПС -сред разработки курсов дистанционного обучения, реализованная в виде актуализируемой базы данных.-

2. Метод, определения; функциональных, характеристик качества ПС, содержащихся в эксплуатационной документации ПС, разработанный на основе лингвистического анализа.

3. Метод выбора ПС для создания курсов дистанционного обучения,, основанный на системе функциональных характеристик качества, с учетом многокритериальных пользовательских предпочтений, разработанный на основе теории принятия решений.

4. Система выбора ПС на основе предложенных методов для разработки курсов дистанционного обучения, реализованная в виде программного комплекса.

Практическая значимость

Система, характеристик качества ПС для создания А дистанционных электронных учебных курсов может применяться в испытательных и сертификационных лабораториях в целях- сокращенияi сроков ; проведения

сертификации ПС. Автоматизированная, система выбора рекомендуется разработчикам дистанционных электронных учебных курсов для повышения качества создаваемых программных продуктов. Программный комплекс может применяться в центрах дистанционного образов ания при выборе оболочек создания курсов дистанционного обучения, в учебном процессе.

Реализация результатов работы

Результаты диссертационной работы внедрены: 1 i В I системе сертификации «РОСИНФОСЕРТ» при - создании нормативных документов в целях сертификации средств информатизации. 2. В компании «Гарант» при оценке качества специализированных программных средств в сфере образовательного назначения. 3 .* В Российском государственном университете н зфти и газа им. И.М. Губкина , при изучении курса «Компьютерные технологии обучения».

4. База данных характеристик качества программных средств зарегистрирована в государственном регистре баз данных за № 0220309590, регистрационное свидетельство № 8920 от 18 февраля 2004 года.

Апробация работы

Основные результаты исследований и разработок, итогом которых явилась диссертационная работа, доложены на ежегодных научно-методических конференциях Российского государственного университета нефти; и: газа им. И.МЛ.Губкина (Москва, 2002-2003), международной научной, конференции «Информационные технологии в науке, образовании, телекоммуникации, бизнесе и охране природных ресурсов» (Москва-Симферополь, 2003), международной; конференции «Искусственный - интеллект» (Таганрог-Геленджик, 2003), международной конференции «Виртуальное образование» (Ялта, Украина 2003), международной конференции «Информационные

технологии в образовании» (Москва, 2003), научно-технической конференции профессорско-преподавательского состава, и аспирантов Московского государственного университета леса (Мытищи, 2004).: Публикации

По теме диссертации опубликовано 10 печатных работ. Структура и объем диссертации

Диссертация состоит из введения, четырех глав, заключения, списка используемой.литературы и приложений; Общий;объем диссертации - 128 страниц, из них- 114 страниц основного текста, в том числе 13 рисунков, 11 таблиц. Список литературы содержит, 92 наименования.

Содержание работы Во введении обоснована актуальность научной работы, сформулированы цель и задачи исследования, приведены г положения, выносимые на защиту, показана научная новизна и практическая ценность полученных результатов. Также приведены краткие сведения о структуре и содержании диссертации.

В первой главе-проведен анализ существующих в настоящее:время методов и технологий оценки качества и выбора ПС, описаны отечественные и зарубежные стандарты, используемые на практике, их- недостатки, совместимость различных стандартов и основные трудности их применения для процесса оценки качества ПС. В главе приведен обзор ПС для создания курсов; дистанционного обучения, указаны характерные черты-ПС, используемых в дистанционном обучении, исследованы особенности создания дистанционных курсов обучения в зависимости от целей, поставленных перед разработчиками. Отмечено, что> значительно помочь»в решении - задачи выбораЛ ПС может применение метода 8 системного; анализа. Один из принципов системного анализа - принцип; системности исходит из представления о системе как о целостном «организме». Во всех случаях приоритеты должны принадлежать

решениям, отражающим интерес системы в целом. На рисунке 1 представлена системная декомпозиция процедур и средств оценки качества и формализованного выбора ПС.

Рис.1, Системная декомпозиция процедур и средств оценки качества и выбора программных средств:

Обзор существующих подходов к оценке качества и выбору ПС показал, что отсутствуют общепринятые системы критериев, модели и алгоритмы выбора. Существующие разработанные модели применяются для определенного круга задач, многие из них требуют большого числа экспертов в данной области и трудоемки. Отмечено отсутствие словаря характеристик качества ПС, используемых для создания курсов дистанционного обучения.

В заключение главы был сделан вывод о необходимости создания системы оценки качества и выбора программных средств, применяемых для разработки дистанционных электронных учебных курсов.

Во второй главе разработана: система функциональных характеристик качества ПС для создания курсов ДО. Система < создана документационным методом на основе стандарта ISO 9126 (рис. 2.)

Соответствие назначению

Процесс

индекса-

ции-

на основе п—\

докумен- 11 >

тацион- /

ного:

метода '

1.1. Навигация по указателю •

1.2. Навигация по < оглавлению

1.3. Полнотекстовый поиск

1.4. Поиск по ключевым словам

1.5. Поддержка' сложного структурного запроса»

2.1. Поддержка

Рис. 2. Фрагмент системы характеристик качества ПС для ДО.

Как правило, характеристики < качества находятся в сопровождающей программное средство эксплуатационной документации в описательном виде,, следовательно, их выделение и анализ является сложной и трудоемкой задачей, тем * более, если ее приходится производить вручную. Структура комплекта документации и стандарты документирования ПС приводится на рисунке 3.

В У работе предлагается автоматизировать процесс поиска и выделения характеристик качества из сопровождающей программной документации на; основе метода лингвистического анализа. Алгоритм лингвистического анализа' представлен на рисунке 4. Для создания лингвистического анализатора было использовано два? раздела лингвистического« анализа: графематический и, морфологический. Анализатор проводит поиск,, соответствующих; словарю словоформ и путем сравнения с базовыми реализует функцию идентификации.

Лингвистический анализ - набор правил, осуществляющий необходимые • процедуры обработки текстов:, лексический, тематический, синтаксический, семантический анализ, генерацию выходного представления. Блок лексического анализа принимает исходный текст непосредственно от элементов пользовательского интерфейса — а именно, от текстового редактора. Анализируемое предложение попадает на вход лексического анализатора в виде массива Л5СП-символов, содержащего прописные и строчные буквы русского алфавита, цифры, знаки пунктуации. Полученный массив анализатор должен преобразовать в массив лексических единиц; Для каждой лексической единицы формируется отдельная строка, в которую копируются 1 все символы, принадлежащие г данной лексической единице. При этом удаляются пробелы, символы переноса, конца строки и незнакомые СИУ волы.

Задача морфологического анализа в этом случае сводится к поиску нужной словоформы в словаре и копированию морфологической информации, соответствующей найденной словоформе, в программу. В процедурных методах каждое слово<разделяется на основу и аффикс (окончание и, возможно,, суффикс), и словарь содержит только основы слов вместе со ссылками на: соответствующие строки в таблице возможных аффиксов. Основной критерий при разбиении;слова на основу и аффикс — основа должна оставаться неизменной во всех возможных словоформах данного слова;

Рис. 4. Алгоритм лингвистического анализа.

Поскольку большое количество слов русского языка имеет одни и те же аффиксы, то суммарный объем словаря основ и словаря аффиксов оказывается значительно меньше, чем объем полного словаря всех словоформ, используемого в декларативных методах. Однако процедура морфологического анализа усложняется: теперь из словаря основ необходимо поочередно выбирать все основы, совпадающие с начальньши буквами анализируемого слова, и для каждой такой основы перебирать все возможные для нее аффиксы. В случае точного совпадения очередного варианта "основа+аффикс" с анализируемым словом вариант анализа считается успешным, и в программу передается морфологическая информация, соответствующая данной основе и данному аффиксу. При этом, как правило, постоянные морфологические параметры определяются основой слова, а переменные — аффиксом. Морфологический анализ позволяет определить все грамматические формы слова, например установить является ли оно глаголом, существительным или прилагательным. Модуль идентификации дает возможность уточнить значение слова в зависимости от того, какой частью речи оно является.

В работе предложена модель лингвистического анализатора текста, имеющая следующий вид:

Пусть А - множество символов из документации, В - множество из базы разрешенных символов, Б - множество основ, Е - множество аффиксов, Б - множество исключений. Б,Е,РсБ.

Тогда Ь = АпВ — множество разрешенных найденных символов, - множество найденных словоформ.

На, основе полученных данных составляется г протокол характеристик. Протокол характеристик содержит следующие пункты:

1. характеристики, подлежащие испытанию;

2. значения характеристик в ходе испытания;

3. заключение по результатам испытаний.

С помощью созданной программы лингвистического анализатора происходит* автоматическое выделение характеристик качества и генерация: протокола характеристик качества ПС. Программный модуль лингвистического; анализатора при соответствующем наполнении базы характеристик является универсальным для любых классов ПС. Он позволяет производить обработку информации по выделению характеристик качества быстро и эффективно.

В таблице 1 представлен: фрагмент автоматически X сгенерированного

протокола; характеристик качества ПС для разработки? курсов?. ДО. Таблица 1. Фрагмент протокола характеристик качества

ЛЬ БЛОКИ ; Характеристики: Autoware

п/п»

1 Навигации : Навигация по указателю; 0

Навигация по оглавлению ? 0

Полнотекстовый поиск 1

Поиск по ключевым словам ; 1

поддержка сложного структурного поиска 0

2 Мультиме- Поддержка векторной [рафики £ 1

диа! Поддержка растровой графики > 0

(поддержки л Поддержка flash-анимации <. 1

графики и > Поддержка формата QuickTime 1

анимации)• возможность использования графических объектов в заголовках, списках и других элементах оформления; 1

Поддержка звуковых фрагментов (файлы WAV); ]

В третьей главе на основе; анализа существующих методов в теории принятия - решений,, предложено использовать . метод: анализа иерархий для выбора средств разработки дистанционных электронных учебных курсов с рациональными для пользователя показателями качества.

Для проведения исследования применяется метод парных сравнений. В этом • •. методе эксперту (пользователю) последовательно предъявляются пары альтернатив, в зависимости от поставленных целей.

Пусть С С2, ... С„ - совокупность объектов (в данном случае характеристик). Количественные суждения о парах объектов (С*. С^ представляются в виде матрицы размером п х п А=(а,у), 0^=1,2,—п)., где

пу — количественная оценка предпочтения пользователя, п — число объектов,

Ц — номера строк и столбцов в матрице сравнений. Элементы щ определены по следующим правилам: Правило 1. Если щ/=а, то ау<=11а, а*0.

Правило 2. Если суждения таковы, что Q имеет одинаковую с СЪ-относительную важность, то

Итак, матрица А имеет вид:

После представления количественных суждений о парах (Сь С1) в числовом выражении через ду задача сводится к тому, чтобы п возможным действиям Си С2, ...,С„ поставить в соответствие множество числовых значений, которые соответствовали бы зафиксированным суждениям (пользовательским предпочтениям) по психофизической шкале предпочтений

Вебера-Фехнера, предложенной на основе анализа в теории шкал. Пользовательские предпочтения соответствуют блокам характеристик в системе характеристик качества ПС. Согласно предложенной шкале, в таблице 2 приведен пример заполнения матрицы пользовательских предпочтений.

Таблица 2. Матрица пользовательских предпочтений

Навигация Мультимедиа База Дан-ных Проверка знаний Администрирование Разработка

Навигация 1 5 3 1/3 3 1/3

Мультимедиа 1/5 1 1/5 1/5 1/3 1/5

База данных 1/3 5 1 1/3 1 1/3

Проверка знаний 3 5 3 1 3 3

Администрирование 1/3 3 1 1/3 1 1

Разработка 3 5 3 1/3 1 1

Следующий шаг состоит в вычислении вектора приоритетов по данной матрице. В математических терминах это - вычисление главного собственного вектора, который после нормализации становится вектором приоритетов:

п

гк

- компонент собственного вектора

;'=] 1

Для нормализации используется формула:

В результате будем иметь значение нормализованного собственного вектора.

Следующим шагом является вычисление относительного ранга каждого средства разработки курсов ДО по каждому критерию..Например, в одной программе, лучше реализована, «мультимедийность», тогда как другая предоставляет лучшие «средства администрирования».

Матрицу парных сравнений предложено; составить на< основе автоматически сгенерированного протокола характеристик качества ПС. В математическом виде это запишется следующим образом:

р] -относительное обобщенное значение блока характеристик, Хц - значение ьой характеристики j-го средства в 1-ой группе протокола испытаний;

к — общее число характеристик в /-ой группе.

Ь]] - элемент матрицы сравнений^ ]=(1 ...Ы), где число программных средств, Ь]]=1- значения на диагонали матрицы

Пример результатов ? сравнения ПС относительно блока характеристик "навигация" представлены в таблице 3;

Таблгща 3. Сравнение ПС относительно блока характеристик «навигация»

Навигация

Аи№(таге НурегтеШой

АШЬоууаге 1 2 1

Уг 1 Уг

НурегтеМск! 1 2. 1

Следующим шагом .; является вычисление относительного ранга каждого средства по каждому блоку характеристик.

Например, для блока характеристик («навигация») нормализованный вектор собственных значений ПС будет: Х,норм=1.26/ 3=0.4

?1знорм=0.4.

В результате расчета по всем блокам характеристик, умножая матрицу нормализованных: значений блоков характеристик ПС на матрицу нормализованных компонент пользовательских предпочтений, получаем общий * ранг каждого средства:: Если А - матрица приоритетов, а -. Л -. матрица нормализованных собственных компонент, то последующие вычисления могут быть представлены в виде: А * Л. В матричном виде это запишется в виде: А* Л=С, где С- • результирующая матрица рангов ПС.

0.4 0.4 0.4 0.42 0.08- 0.3 0.2 0.3 0.3 0.42 0.75 0.4 0.4 0.3 0.3 0.14 0.17 0.3

В результате получим общее ранжирование средств разработки: ранг АпШолаге равен 0.35, ранг Олей№1+ - 0.4, ранг, ИурегшеШоё - 0.2. Таким образом, в данном: случае, согласно пользовательским предпочтениям, для создания курсов ДО наиболее подходит второе средство.

В четвертой главе описывается структура программного комплекса. На первом» этапе загружаются файлы документации ПС, затем происходит обработка данных в модуле лингвистического анализатора. С помощью лингвистического анализа с использованием г базы данных, созданной; характеристик качества на основе международных и российских стандартов, происходит сравнение характеристик качества \ и автоматическая генерация

0.18

0.04 0.35

0.10 = 0.39

0.36 0.24

0.11

0.21

Хнор"=о.б3/3=0.2

протокола характеристик качества, выводимым программой в- текстовом формате. Модуль лингвистического анализатора документации- средств; разработки функционирует в системе Windows. Первоначально необходимо выбрать файл с документацией, анализ которой у необходимо произвести. Выполняется эта процедура с помощью кнопки «ЗАГРУЗИТЬ ФАЙЛ». После загрузки < файла необходимо запустить процесс анализа выбранного файла — кнопка «ЗАПУСТИТЬ АНАЛИЗАТОР». В верхнем; окне при этом отразится загруженный файл документации, а в нижнем - результат работы программы, т.е. найденные характеристики. На рисунке 7 представлен фрагмент результата работы программного модуля при выполнении данной функции.

Pik. 7. Окно работы модуля лингвистического анализатора.

На втором этапе происходит непосредственно выбор средства разработки; курсов дистанционного обучения согласно пользовательским предпочтениям. На рисунках 8 и 9 представлены матрицы сравнения ПС и результат работы выбора средства создания курсов ДО согласно заданным разработчику целям.

Рис.9. Окно результатов работы программного комплекса,

В заключении приводятся основные выводы и результаты работы В приложениях приведены акты о внедрении результатов диссертационной работы, свидетельство о регистрации базы данных характеристик качества в Государственном регистре баз данных, характеристики качества некоторых ПС.

Основные результаты диссертационной работы;

1. Разработана система функциональных характеристик качества для класса ПС - сред создания дистанционных электронных учебных курсов, представленная в виде актуализируемой базы данных.

2.. Разработаю формализованный метод определенияч функциональных характеристик качества из эксплуатационной документации ПС для создания курсов ь дистанционного обучения на основе алгоритма лингвистического -анализа, позволяющий автоматически; генерировать протокол испытаний характеристик: качества, необходимый для процедур сертификации, оценки качества и выбора ПС.

3. Разработан метод выбора ПС для создания курсов дистанционного обучения, основанный на системе функциональных характеристиках качества, с учетом многокритериальных пользовательских предпочтений.. Метод, основанный на теории принятия решений, позволил проводить выбор ПС, не привлекая к процессу выбора экспертов для оценки характеристик качества ПС.

4. Создана автоматизированная система выбора ПС для разработки курсов дистанционного обучения, на основе предложенных в работе методов. Система реализована в виде программного комплекса. Благодаря универсальности система может быть перенесена на другие предметные области.

База данных характеристик качества программных средств зарегистрирована; в государственном регистре баз данных за № 0220309590, регистрационное свидетельство № 8920 от 18 февраля 2004 года.

Результаты работы нашли применение в компании «Гарант» при оценке качества специализированных программных средств в сфере образовательного назначения; в Российском государственном университете нефти и газа им. И.М. Губкина при изучении курса «Компьютерные технологии обучения»; в Системе' сертификации- «РОСИНФОСЕРТ» при создании нормативных документов в целях сертификации средств информатизации.

Список публикаций:

1. Нешта Е.П., Рыбакова И.В.; Курникова MIL, Методы классификации программных средств.// Материалы 8-ой = научно-методической конференции «Информационные технологии и фундаментализация; высшего образования» - М.: из-во РГУ нефти и газа, 2002г., стр.63-65

2. Ретинский B.C., Нешта ЕЛ., Курникова М.Ш О подходах к автоматизации, оценки качества и сертификации программных средств учебного назначения // Труды X; Всероссийской научно-методической конференции «Телематика 2003». - Санкт-Петербург: изд-во Санкт-Петербургского государственного институтг точной механики и оптики (технического университета), 2003г.-с.240-241

3. Нешта ЕЛ., Курникова МЛ., Ретинский B.C. Автоматизация процедуры оценки качества программных средств и оборудования > // Материалы \ всероссийской научно-практической; конференции «Информационно-коммуникационные технологии в управлении ВУЗом. - Петрозаводск: изд-во ПетрГУ, 2003г., с.П0-Ш.

4. Курникова МЛ., Нешта? ЕЛ. Система оценки качества курсов дистанционного образования: // Труды международной конференции «Образование и виртуальность 2003». - Ялта: из-во Харьковского государственного университета, 2003г. - с.274-276

5. Нешта Е.П., Курникова МЛ. Клиент-серверная база данных характеристик качества программных средств // Тезисы докладов всероссийской конференции молодых ученых, специалистов и студентов по проблемам газовой промышленности России «Новые технологии в газовой промышленности» - М.: Интерконтакт Наука, 2003г. - с.56.

6. Курникова М.П. К вопросу применения метода анализа иерархий для выбора программных средств согласно заданным целям // Актуальные проблемы науки и образования / Труды международного юбилейного симпозиума (АГШО 2003). - Пенза: Изд-во ПГУ, 2003г.- т.2.- стр. 424-425.

7. Курникова М.П. Применение лингвистического анализа для генерации протокола испытаний при сертификации программных средств учебного назначения // Сборник трудов международного конгресса конференций «Информационные технологии в образовании»,- М: Просвещение, 2003г. -с.288-289

8. Домрачев В.Г., Ретинская И.В., Нешта Е.П., Курникова М.П. Обзор и анализ компьютерных средств разработки учебных курсов для дистанционного обучения. // Вестник Московского государственного университета леса «Лесной вестник». - М.: из-во МГУЛ, 2003 г. №5 - с. 167-172:

9. Курникова М.П., Нешта Е.П. Современные сетевые технологии в дистанционном образовании // Известия ТРТУ №1,2004г~- Таганрог: из-во ТРТУ, 2004г. - с.177-179

10.Домрачев В.Г., Ретинская И.В., Курникова М.П., Нешта ЕЛ. Метод выбора средств разработки курсов для дистанционного обучения на основе анализа системы характеристик качества. // Вестник Московского государственного университета леса «Лесной вестник». - М.: из-во МГУЛ, 2004 г. № 1 - с. 111-119

Отпечатано с готового оригинала Лицензия ПД № 00326 от 14.02.2000 г.

Подписано к печати 0/. 03.0V. Формат 60x88/16

Бумага 80 г/м2 "Снегурочка" Ризография

Объем /'п.л._Тираж 100 экз._Заказ № Мб_

Издательство Московского государственного университета леса. 141005. Мытищи-5, Московская обл., 1-я Институтская, 1, МГУЛ. Телефоны: (095) 588-57-62, 588-53-48, 588-54-15. Факс: 588-51-09. E-mail: izdat@mgul.ac.ru

11-4354

Введение.

ГЛАВА 1 АНАЛИЗ ОСОБЕННОСТЕЙ СРЕДСТВ РАЗРАБОТКИ КУРСОВ В ДИСТАНЦИОННОМ ОБРАЗОВАНИИ. ОЦЕНКА КАЧЕСТВА И ПРОБЛЕМА ВЫБОРА ПРОГРАММНЫХ СРЕДСТВ (ПС).

1.1. Существующие особенности дистанционного образования.

1.2. Анализ существующих стандартов оценки качества (ПС).

1.3. Стандарты документирования программных средств.

1.4. Совместимость различных стандартов, основные трудности их применения.

1.5. Методы оценки характеристик качества программных средств.

1.6. Особенности выбора ПС на основе оценки качества.

Выводы по главе 1.

ГЛАВА 2. АВТОМАТИЧЕСКАЯ ГЕНЕРАЦИЯ ПРОТОКОЛА ИСПЫТАНИЙ ПРИ ОЦЕНКЕ КАЧЕСТВА ПС НА ОСНОВЕ ЛИНГВИСТИЧЕСКОГО АНАЛИЗА.

2.1. Составление словаря характеристик ПС используемых для ДО.

2.2. Алгоритм лингвистического анализа.

2.3. Лингвистический анализатор.

Выводы по главе 2.

ГЛАВА 3. СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ПРИ ВЫБОРЕ СРЕДСТВ СОЗДАНИЯ КУРСОВ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ В

СООТВЕТСТВИИ С ЗАДАННЫМИ ЦЕЛЯМИ.

3.1 Средства создания курсов дистанционного образования.

3.2. Теория выбора.

3.3. Система поддержки принятия решений при выборе средств разработки курсов для дистанционного образования.

Выводы по главе 3.

ГЛАВА 4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ ДЛЯ ВЫБОРА СРЕДСТВ РАЗРАБОТКИ КУРСОВ ДИСТАНЦИОННОГО

ОБРАЗОВАНИЯ.

4.1 .Общая структура системы поддержки принятия решений и программного комплекса.

4.2. Создание базы данных характеристик качества для средств разработки курсов дистанционного образования.

4.3. Лингвистический процессор.

4.4. Автоматизированная система поддержки принятия решений для выбора программных средств.

Выводы по главе 4.

Бурное развитие современных информационных технологий существенно изменило все области жизнедеятельности человека. Этот процесс заявил о себе и в современной системе образования. Во многих экономически сильных и быстро развивающихся странах одним из стратегических направлений экономики является развитие национальных систем образования. В ряде крупнейших мировых держав свое место прочно занимает так называемое дистанционное образование (ДО). В России в силу географических и экономических особенностей приоритет ДО тем более становится очевидным.

Специфика ДО заключается в том, что взаимодействие учащегося и преподавателя осуществляется посредством программно-аппаратных комплексов, поэтому, в отличие от традиционного образования, в ДО качество обучения напрямую зависит от качества программ и сетевых курсов ДО. Цели обучения, вытекающие из современных потребностей рынка труда, диктуют и выбор соответствующих курсов обучения. При всем многообразии существующих оболочек для создания сетевых курсов выбор их значительно затруднен из-за отсутствия методики, которая должна быть разработана, прежде всего, на основе критериев качества программных средств (ПС).

Одним из способов, подтверждающих качество ПС, является сертификация - процесс подтверждения свойств ПС, заявленных в соответствующей нормативной документации. Сертификация ПС осуществляется на основе действующих стандартов. Однако их применение ограничено, поскольку многие имеющиеся стандарты в этой области определяют только общие для большинства ПС характеристики, такие как функциональность, эффективность, надежность, сопровождаемость, мобильность, практичность, давая их универсальное толкование и не раскрывая смысл применительно к конкретным классам программного обеспечения.

Используемый в международной практике стандарт ISO 9000 носит лишь декларативный характер и относится к воздействию на процесс изготовления, а не к качеству готового продукта. Многие из отечественных ГОСТов основываются на субъективной оценке экспертов и являются морально устаревшими. Существующие методики [50-52], позволяющие проводить сертификацию, в настоящее время находятся на начальном этапе развития. Они не являются универсальными, очень часто объемны, и требуют большого количества экспертов в данной области.

Применение стандартов также существенно ограничивает их использование, поскольку многие имеющиеся стандарты в этой области [1822] определяют только общие для большинства ПС характеристики, такие как функциональность, эффективность, надежность и др., давая их универсальное толкование и не конкретизируя их смысл применительно к конкретному классу программного обеспечения.

Процедура сертификации ПС применяется как на стадии разработки, так и на стадии готового программного продукта [68], причем последняя разработана в меньшей степени. Задачи сертификации ПС относятся к классу трудноформализуемых. Нетривиальность таких задач заключается в новизне самой предметной области и ее изменчивости. Опыта и интуиции лиц, проводящих сертификацию готового программного продукта (ПП), в динамично изменяющейся ситуации уже недостаточно. Протокол испытаний ПП, являющийся результатом сертификации, требует структуризации, систематизации и автоматизации построения. Необходимы научные подходы и компьютерная поддержка решения данных задач.

Разработка алгоритмов для сертификации и выбора ПП должна производиться на основе математических моделей, чтобы наиболее эффективно использовать ПС для решения различных практических задач. Полных и достаточно подробно структурированных описаний характеристик средств создания курсов ДО не существует. Объективная автоматизированная система распознавания характеристик отсутствует. Проводя сертификацию ГТП, эксперт специально аккредитованной лаборатории опирается на документационную ф базу, поставляемую в комплекте с ПП. Обычный прилагаемый пакет документации готового ПП зачастую является очень громоздким, что затрудняет выделение необходимых характеристик и значительно увеличивает временные затраты при составлении протокола испытаний. Часто прилагаемая документация не соответствует стандартам, поэтому составление протокола испытаний является очень трудоемкой задачей, решать которую необходимо с использованием программно-аппаратных средстЕ.

Для ускорения и формализации процедуры генерации протокола испытаний необходимо разработать метод лингвистического анализа, позволяющий выделить основные характеристики ПС из программной документации. С помощью предложенного метода можно идентифицировать характеристику, определить ее значение и шкалу измерений.

На основе полученного протокола испытаний необходимо разработать ^ модель принятия решения по выбору средств создания курсов ДО в зависимости от поставленных целей. Системы составления иерархии приоритетов при выборе средств ДО на данный иомент не существует. К тому же число характеристик, как правило, велико, поэтому удобно представить их в виде динамической базы данных и провести необходимую группировку. Следует разработать такую базу данных характеристик и алгоритм выбора ПС.

Таким образом, для решения обозначенных задач при сертификации и выборе программных средств для создания курсов ДО, необходимо составить алгоритмы для выделения характеристик ПС, разработать математическую модель выбора программных средств для создания курсов ДО в зависимости от указанных целей, определить приоритеты и ргзработать систему поддержки принятия решений для поставленных задач. |г Целью работы является разработка моделей, методики, алгоритмов и программного модуля сертификации и выбора средств создания курсов ДО.

Для достижения поставленной цели в работе решались следующие задачи:

0 1. Создание базы данных характеристик, используемых при сертификации и выборе средств разработки курсов ДО.

2. Разработка алгоритма лингвистического анализа для выделения характеристик при составлении протокола испытаний.

3. Разработка программного модуля для автоматической генерации протокола испытаний.

4. Разработка математической модели выбора средств создания курсов ДО согласно заданным целям.

5. Создание системы поддержки принятия решений при выборе средств разработки курсов ДО.

Этим обусловлена структура работы.

В первой главе приведен обзор существующих подходов к оценке качества и выбору средств разработки курсов ДО. Проведен анализ ^ существующих в настоящее время методов и технологий сертификации ПС, описаны отечественные и зарубежные стандарты, используемые на практике, их недостатки, совместимость различных стандартов и основные трудности их применения. Проведена системная декомпозиция целей исследования. Обзор существующих подходов к оценке качества ПС показал, что отсутствуют общепринятые системы критериев качества средств создания курсов ДО и модели его оценки и выбора.

Выявлено, что в большинстве случаев существующие отечественные и зарубежные методы и подходы к сертификации и выбору ПС не могут быть эффективно использованы из-за отсутствия унифицированных моделей и алгоритмов решения задачи оценки качества. Существующие разработанные модели применяются для определенного круга задач, многие из них достаточно трудоемки и требуют большого числа экспертов в данной области.

В заключение главы был сделан вывод о необходимости разработки методов оценки качества и выбора ПС.

Во второй главе путем проведенного анализа выявлен наиболее эффективный метод выделения характеристик средств разработки курсов ДО из сопровождающей документации, основанный на лингвистическом анализе.

Разработан словарь характеристик, соответствующий нормативным документам, определяющим требования к ПС, для создания курсов ДО. Предложена модель лингвистического анализатора текста на основе теории множеств. Приведен пример сгенерированного протокола испытаний с помощью лингвистического анализа.

В третьей главе описаны особенности средств создании курсов ДО, построена иерархия целей, предложен метод выбора средств разработки курсов ДО, основанный на методе парных сравнений. Вычислены ранги характеристик средств разработки курсов ДО. Предложен способ определения относительного ранга каждой характеристики путем расчета показателей качества из протокола испытаний. Проведен расчет выбора средства разработки курсов ДО согласно заданным целям.

В четвертой главе подробно описана структура системы поддержки принятия решений при выборе средств разработки курсов ДО и программного модуля, реализующего алгоритм системы, дана инструкция по работе с программой. Представлен результат работы программы для выбора из нескольких средств разработки курсов ДО.

Приведены приложения, содержащие акты о внедрении результатов работы, требования к составу и назначению характеристик функционального назначения ПС.

1. АНАЛИЗ ОСОБЕННОСТЕЙ СРЕДСТВ РАЗРАБОТКИ КУРСОВ ф ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ И ТЕХНОЛОГИЙ ИХ

СЕРТИФИКАЦИИ И ВЫБОРА

Выводы:

1. Разработан программный модуль для автоматической генерации протокола испытаний и выбора средств разработки курсов ДО.

ЗАКЛЮЧЕНИЕ

В диссертационной работе содержится решение задач оценки качества и выбора средств разработки курсов ДО. В результате получены следующие результаты:

1. Создана база данных характеристик средств создания курсов ДО, используемая при сертификации и выборе средств разработки курсов ДО.

2. Создана актуализируема динамическая база данных целей для выбора средств создания курсов ДО.

3. Разработан алгоритм лингвистического анализа для выделения характеристик при составлении протокола испытаний.

4. Разработан программный модуль для автоматической генерации протокола испытаний.

5. Разработана математическая модель оценки качества и выбора средств создания курсов ДО согласно заданным целям.

Результаты диссертационной работы внедрены:

1. во Всероссийском институте проблем информатизации для составления временных технически:: условий при сертификации программ;

2. в Российском государственном университете нефти и газа им. И.М. Губкина в Центре дистанционного образования;

3. в компании «Гарант» для оценки качества при создании справочных правовых систем.

4. в Пензенском государственном университете в центре информационных технологий.

1. Аванесов B.C., Владимиров А.И., Гинзбург Э.С. Практическая сертификация продукции и услуг. / Под ред. Т.В. Горяистовой - М., 2001 г., - 309 с.

2. Айзерман А.Г., Малишевский А.В. Некоторые аспекты общей теории выбора лучших вариантов. — М.: Институт проблем управления, 1980 г., -304 с.

3. Айзерман А.Г., Малишевский А.В. Проблемы логического обоснования в общей теории выбора. М.: Институт проблем управления, 1980 г., - 187 с.

4. Александров В.В., Алексеев А.И., Горский Н.Д. Анализ данных на ЭВМ. (На примере системы СИТО). М.: Финансы и статистика, 1990г. - 192с.

5. Александров В.В., Горский Н.Д. Алгоритмы и программы структурного метода обработки данных. Л.: Наука, - 1983 г. - 208 с.

6. Антошина И.В., Домрачев В.Г., Ретинская И.В. К вопросу о способах оценки надежности программных средств, // Труды конференции «Информационные технологии в науке, образовании, телекоммуникациях и бизнесе». Симферополь, 2000г. - с.145-146.

7. Брахман Т.Р. Многокритериальное^ и выбор альтернативы в технике. — М.: Радио и связь, 1984 г. 288 с.

8. З.Брик А. В., Смирнов Ю. М., Андреев А. М., Березкин Д. В. Об одном способе построения синтаксического анализатора текстов на естественном языке // Изв. вузов. Приборостроение, 1997 г. Т. 40, № 5 — стр. 34—42.

9. Васильев В.В. Тестирование конверторов форматов данных // «КомпьюЛог 2000» М : 2000 г.

10. Васюткович В.В., Самотохина С.С., Стандартизация в области программных. М.: из-во ВНИИ стандарта ГОССТАНДАРТА РФ, 1999г.

11. ГОСТ 28195 89. Оценка качества программных средств. Общие положения. - М.: 1989 г.

12. ГОСТ 28806 90. Качество программных средств. Термины и определения. - М: 1990 г.

13. ГОСТ ISO 9003-1997, 1997 г.

14. ГОСТ Р ИСО/МЭК 8402. Качество. Словарь. 1994г.

15. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководство по их применению. М.: 1993 г.

16. Домрачев В.Г. Ретинская И.В., Сухов В.Г. Классификация требований при оценке качества специализированных инструментальных систем для создания тестов. // Научные труды МГУЛ вып. № 269.- М., из-во МГУЛ, 1995 г.-с. 118-123.

17. Домрачев В.Г., Нешта Е.П., Ретинская И.В. База характеристик качества ПС и их сертификация // Сб. научных трудов МИЭМ «Информационные, сетевые и телекоммуникационные технологии» М.: из-во МИЭМ, 2001 г.-с. 119-126.

18. Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа: пакет ППСА. М.: Финансы и статистика, 1986 г. .-232 с.

19. ЗЗ.Загоруйко Н.Г., Елкина В.Н., Емельянов С.В., Лбов Г.С. Пакет прикладных программ ОТЭКС для анализа данных. М.: Финансы и статистика, 1986. - 160 с.

20. Загорулько, И. Кононенко, И. Попов. Экспериментальная система понимания метеорологических телеграмм // Труды Международного семинара Диалог'99 по компьютерной лингвистике и ее приложениям. -Таруса, 1999.

21. Зайцева Ж.Н., Рубин Ю.Б., Титарев Л.Г. и др. ,Открытое образование стратегия XXI века для России. / Под ред. В.М. Филиппова, В.П. Тихомирова. - М.: из-во МЭСИ, 2000 г. - 356 с.37.3арубежное программное обеспечение в России. — М.: Пандора, 1998 — 35с.

22. Калинина Э.В., Лапига А.Г., Поляков В.В. и др. Оптимизация качества. Сложные продукты и процессы. М.: Химия, 1989 г. - 256 с.

23. Калинина Э.В., Ретинская И.В. Выбор компьютерной системы учебного назначения по индивидуальным предпочтениям. // Материалы

24. Международной научно-методической конференции «Новые информационные технологии в университетском образовании». -Новосибирск, 1995 г., с. 62-63.

25. Ким О., Мьюллер Ч.У., Клекка У.Р. и др. Факторный, дискриминантный и кластерный анализ: Пер с англ. / Под ред. И.С. Енюкова. М.: Финансы и статистика, 1989 г. — 215 с.

26. Кини P.JI, Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981 - 560 с.

27. Корольков Ю.Д. Сводная оценка качества компьютерных обучающих систем, 2000 г. -15с.

28. Количественные методы в исторических исследованиях / Под ред. И.Д.Ковальченко. М.: Высшая школа, 1984 г. - 384 с.

29. Компьютер-Пресс № 1 -12 2000г.

30. Кулагин Н.В., Манишин В.Г., Манишин Е.Е., Николаев М.Я., Структура компьютерных средств поддержки самостоятельной работы учащихся 1999г.-5с.

31. Курникова М.П. Система поддержки принятия решений при выборе средств для создания курсов ДО // Всероссийская конференция «Информационные технологии в САПР». Пенза: из-во ПГТУ, 2003 г. — с.ХХ

32. Курникова М.П., Нешта Е.П. Система выбора средств для создания курсов ДО с использованием лингвистического анализатора // Всероссийская конференция «Информационные технологии в САПР». -Пенза: из-во ПГТУ, 2003г. с.ХХ

33. Курникова М.П., Нешта Е.П. Система оценки качества курсов дистанционного образования // Труды международной конференции «Образование и виртуальность 2003». Ялта: из-во Харьковского государственного университета, 2003г. - с.ХХ

34. Липаев В.В. Требования к структуре и содержанию документации на прикладные программные средства информационных систем. — М.: из-во «Станкин», 1999 г. — 77 с.

35. Липаев В.В., А.И. Костогрызов, Качество программного обеспечения. -М.: Финансы и статистика, 1983 г. — 123с.

36. Липаев В.В., Костогрызов А.И. Сертификация систем качества на соответствие стандартам серии ISO 9000 для предприятий-разработчиков программных средств, Методическое руководство. М., из-во МГТУ «Станкин», 2000 г. - 132 с.

37. Методы анализа данных: Подход, основанный на методе динамических сгущений: Пер. с фр. / Кол. Авт. Под рук. Э.Дидэ / Под ред. и с предисл. С.А.Айвазяна и В.М.Бухштабера. М.: Финансы и статистика, 1985 г . — 357с.

38. Налимов В.В. Вероятностная модель языка. О соотношении естественных и искусственных языков. М.: Наука, 1979 г. - 303 с.

39. ОСТ 115.1.8.-96. Информационная технология. Сертификация информационного обеспечения автоматизированных систем. М: 1996г.

40. ОСТ 115.1.8.-96. Требования к проведению динамического анализа программных средств. М: 1996г.

41. ОСТ 115.1.8.-96. Требования к проведению статистического анализа программных средств. М: 1996г.

42. Парницкий. Г. Основы статистической информатики. / Пер. с венгерского. М.: Финансы и статистика, 1981 г., 199 с.

43. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа: Учеб. 2-е изд., доп. Томск: Изд-во HTJI, 1997 г. - 396 с.

44. Рубашкин В.Ш. Представление и анализ смысла в интеллектуальных информационных системах. М.: Наука, 1989г- 236 с.

45. Саати Т. Принятие решений. Метод анализа иерархий. -М.: Радио и связь, 1993 г.-320 с.

46. Сильвестров Д.С. Программное обеспечение прикладной статистики: Обзор состояния. Тенденции развития. М.: Финансы и статистика, 1988 г. - 240 с.

47. Система добровольной сертификации средств и систем в сфере информатизации «РОСИНФОСЕРТ» / Под ред. Басманова В.Н., Братухина П.И., Шахина В.П. М.: Воениздат МО РФ, 2000 г. - 192 с.

48. Статистические методы для ЭВМ / Под ред. К.Энслейна, Э.Рэлстона, Г.С.Уилфа: Пер с англ./Под ред. М.Б.Малютова. М.: Наука, 1986 г. - 464 с.

49. Теория выбора и принятия решений. / Под ред. И.М. Макарова, Т.М. Виноградской, А.А. Рубчинского. М.: На) ка, 1982 г. - 328 с.

50. Терехов А., Вероника Туньон. Современные модели качества программного обеспечения. // BYTE №12. М.: 1999 г.

51. Уотерман Д. Руководство по экспертным системам. М.: Мир, 1989 г. — 388с.

52. Халабия Р.Ф. Ошибки в программах при их оптимизации // Сборник научных трудов «Программное и информационное обеспечение систем различного назначения на базе персональных ЭВМ». М.: МГАПИ, 1998 г.-с. 196-198.

53. Шараф М.А, Иллмэн Д.Л., Ковальски Б.Р. Хемометрика / Пер. с англ. JL: Химия, 1989 г.-272 с.

54. Шенфилд Дж Математическая логика / Пер. с англ. М.: Наука, 1975 г. — 192 с.

55. Экенроде Р.Т. Взвешенные многомерные критерии. / В кн. Статистическое измерение качественных характеристик. М.: * Статистика, 1972 г. - 135 с.

56. Элджер Дж. Библиотека программиста С++. Санкт-Петербург, 2000 г., 320с.

57. Эфрон Б. Нетрадиционные методы многомерного статистического анализа // Сб. статей: Пер. с англ./ Предисловие Ю.П.Адлера, Ю.В.Кошевника. М.: Финансы и статистика, 1988 г. - 263 с.

58. Яглом И.М. Булева структура и ее модели. М.: Советское радио, 1980 г. -219с.

59. A study of Fundamental Factors Underlying Software Maintenance Problems, CIRAD, Inc., December 1971

60. Allen Edward В., Halstead Robert, Trio Gary., Khoshgoftar Taghi M., Flass ^ Ronald M. Using process history to predict software quality // Computer №4, 1998 p.66-72.

61. Brown J.R., Lipov M. The Quantitative Measurement of Software Safety and Reliability, revised from TRW Report No. // SDP-1776, 1973

62. Gilb T. Software Metrics. Studentliteratur AB, Lund, Sweden and Winthrop, Cambridge: MA, USA, 1976

63. Kononenko I., Sharoff S. Understanding Short Texts with Integration of Knowledge Representation Methods. In: Perspectives of System Informatics, Lecture Notes in Computer Science; Vol. 1181, Springer, 1996, pp. 111-121.

64. Lauesen Soren, Younessi Houman. Является ли качество ПО визуально обнаруживаемым в коде? Is software quality visible in the code? IEEE, Software №4, 1998 p.63-73.

65. Research Toward Ways of Improving Software Maintaince // CIRAD, Inc., January 1973

66. RosenfeId A. Image analysis: Progress, problems and prospects. // Proceedings of the 6-th international conference of pattern recognition, Germany, 1982, p.7-15

67. Rubey R.J., Hartwick R.D. Quantitative Measurement of Program Quality, Proceedings // ACM National Conferernce, 1968, pp.671-677

68. ФЕ Д ЕРЛЛЫОЕ У1ИТАР1ВЕ Г О С У Д А Р СIВ Е ■ ■ О Е ПРЕДПРИ1И

69. Заместитель директора ВНИИПВТИ по Д-рШ1. АКТ1. П.И. Братухиноб использовании результатов научной работы Курниковой М.П.

70. Результаты научной работы Курниковой М.П. по разработке программных средств автоматического выбора средств разработки курсов дистанционного обучения используются при создании нормативных документов в целях сертификации средств информатизации.

71. Данная технология позволяет снизить затраты на проведение процедуры оценки качества программных средств и сократить время разработки нормативной базы для проведения сертификации программных средств.1. Руководитель секретариата

72. Системы сертификации «РОСИНФОСЕРТ»к.т.н., с.н.с., член-корреспв^дош^Ыцдемии проблем качества1. В.П. Шахин

73. Утверждаю» Первый проректор по учебной работе РГУ нефти и газа к им. И.М. Губкина ■^ёЗЫ QB.r. Мартынов»

74. Об использовании результатов диссертационной работы

75. Зав. каф. ПМ и KJ д.т.н., проф.15119992 ГСП-2, Москва, Воробьевы горы, МГУ

76. Тел.: (095) 247 6238 (многоканальный), Факс: (095) 247 6239

77. E-mail: info@garant.ru, Internet: www.garant.ru1. СИСТЕМА1. АКТ

78. Об использовании результатов научной работы Курниковой Марины Петровны.