автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Разработка методов и средств анализа и обеспечения качества программных систем учебного назначения

На правах рукописи

003457749

ГУРОВ ВАЛЕРИЙ ВАЛЕНТИНОВИЧ

РАЗРАБОТКА МЕТОДОВ И СРЕДСТВ АНАЛИЗА И ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПРОГРАММНЫХ СИСТЕМ УЧЕБНОГО НАЗНАЧЕНИЯ

Специальность 05.13.11 - математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата технических наук

1 2 ДЕК 2000

Москва - 2008

003457749

Работа выполнена в Московском инженерно-физическом институте (государственном университете)

Научный руководитель: доктор технических наук, профессор Чуканов Всеволод Озирисович

Официальные оппоненты:

доктор технических наук, доцент Жуков Дмитрий Олегович кандидат технических наук, с.н.с. Ярных Валерий Васильевич

Ведущая организация: ФГУП "Концерн "Системпром".

Защита состоится 24 декабря 2008 г. в 14 часов на заседании диссертационного совета Д 212.130.03 при Московском инженерно-физическом институте (государственном университете) по адресу: г. Москва, Каширское т., д.31 Телефоны: 324-84-98, 323-96-25.

С диссертацией можно ознакомиться в библиотеке Московского инженерно-физического института (государственного университета)

Отзывы в двух экземплярах, заверенные печатью организации, просьба направлять по адресу: 115409 г. Москва, Каширское ш., 31, диссертационный совет МИФИ.

Автореферат разослан ноября 2008 г.

Ученый секретарь

диссертационного совета

Шумилов Ю.Ю.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Федеральная целевая программа "Развитие единой образовательной информационной среды" (ФЦП РЕОС), принятая в рамках реализации Федеральной целевой программы развития образования и Национальной доктрины образования, отмечает, что в условиях динамично меняющегося мира, глобальной взаимозависимости и конкуренции, необходимости широкого использования и постоянного развития и усложнения технологий фундаментальное значение имеет информатизация сферы образования.

Одной из главных задач, поставленных в ФЦП РЕОС, является применение новых информационных и телекоммуникационных технологий в учебном процессе, включая создание и использование современных электронных учебных материалов.

В ФЦП РЕОС особо подчёркивается, что "с учетом специфики отдельных вузов и большого числа специальностей значительное количество учебных электронных материалов для обучающихся должно готовиться силами самих высших учебных заведений". Это соответствует сложившемуся к настоящему моменту положению, когда ряд обучающих программ, особенно в технических вузах, разрабатывается сравнительно небольшим коллективом, в состав которого, как правило, входят студенты старших, а иногда и младших, курсов, под руководством аспиранта или преподавателя. Такие творческие группы в силу естественных причин подвержены частому обновлению. В то же время они представляют собой большую творческую силу, которая в состоянии при грамотной ортнизации рабочего процесса, решить большой комплекс практических задач. Это предъявляет повышенные требования к качеству и, в том числе, надежности и защищенности разрабатываемого в таких условиях программного обеспечения.

Имеющиеся к настоящему времени научные работы в этой области рассматривают качество программных систем учебного назначения (ПСУН), в основном, с точки зрения потребительского качества, то есть реализации в них некоторой функциональности. В то же время, вопросы, касающиеся качества этого класса систем как программных продуктов, анализируются очень ограниченно и не учитывают всего комплекса имеющихся здесь проблем. Вместе с тем, ПСУП представляют собой особое направление в сфере информационных технологий, о чём свидетельствует выделение их в отдельный класс программной продукции согласно Общерос- • сийскому классификатору продукции. Это требует при определении их качества учета совокупности показателей, наиболее существенных именно для этих средств.

Таким образом, актуальность работы определяется всё возрастающим количеством разработок ПСУН, в том числе силами самих учебных заведений, и необходимостью проведения комплексного анализа и обеспечения их качества как особого класса программных систем. Решение этих вопросов является актуальной научной задачей.

3

Цель исследования. Целью представленной работы является повышение качества программных систем учебного назначения путем разработки соответствующих методов, моделей и программных средств.

Для достижения данной цели необходимо решение следующих задач:

- анализ особенностей ПСУН как отдельного класса программных систем, предъявляемых к ним требований по качеству и определение характеристик качества, наиболее существенных для систем этого класса;

- исследование программных методов защиты ПСУН, разработка структуры ПСУН, обеспечивающей повышение их защищенности;

- разработка методов и средств анализа и обеспечения надежности ПСУН;

- разработка комплекса ПСУН для практического подтверждения эффективности разработанных методов и средств.

Объектом исследования являются программные системы учебного назначения.

Предмет исследования - методы и средства анализа и синтеза программных систем учебного назначения, позволяющие обеспечить необходимое качество ПСУН.

Методы исследования. При решении поставленных задач использовались теория марковских процессов, теория вероятностей, методы математической статистики, методы имитационного моделирования, теория графов.

Научная новизна результатов работы заключается в следующем:

- определены показатели качества ПСУН;

- выбран и обоснован критерий защищенности системы, учитывающий вероятность достижения цели злоумышленником на каждом шаге проникновения и вероятность обнаружения его действий;

- разработана модель уязвимостей ПСУН;

- разработаны аналитическая и имитационная модели надежности компьютерных обучающих программ, позволяющие получить основные показатели надёжности с учетом вероятности безотказной работы про1-раммного комплекса при случайной длительности выполнения задачи;

- впервые создана единая методика анализа и обеспечения качества ПСУН;

- предложена и обоснована концепция обучения студентов использованию программных методов защиты программных систем.

Практическая значимость результатов работы заключается в следующем:

- разработаны набор алгоритмов и комплекс программных средств, поддерживающие все этапы использования методики анатиза и обеспечения качества ПСУН;

- разработаны и внедрены комплексы компьютерных обучающих программ по 4-м техническим дисциплинам общим объемом 47 электронных уроков;

- разработана система компьютерного тестирования, обеспечивающая повышение (до 20 %) дискриминативности тестов при сохранении валидности;

- разработано около 1500 тестовых заданий по различным техническим дисциплинам; по-литомические задания с множественными вариантами ответов разработаны с учетом определённого в работе соотношения количества правильных ответов и дистракторов, обеспечивающего максимальную дискримина-швность задания.

На защиту выносятся:

- показатели качества ПСУП;

- критерий защищенности ПСУН;

- модель уязвимостей ПСУН, позволяющая определить пути наиболее вероятного несанкционированного проникновения в систему и ну ги наименее вероятного обнаружения нападения, что позволит предпринять меры либо для эффективного выявления атаки, либо для максимального затруднения действий злоумышленников на этих путях;

- аналитическая и имитационная модели оценки работы ПСУН, обеспечивающие анализ полноты отладки программного обеспечения, принимаемого к использованию в учебном процессе;

- методика обеспечения качества разрабатываемых ПСУН,

- концепция обучения студентов использованию программных методов защиты программных систем.

Достоверность основных положений диссертации подтверждается корректностью математического аппарата и теоретических выкладок, а также совпадением теоретических результатов с экспериментальными.

Апробация работы. Основные результаты работы докладывались и обсуждались на 23-х международных, всероссийских и региональных конференциях, семинарах и научных сессиях: Научных сессиях МИФИ в период 1998-2008 г.г. (11 сессий), Восьмой международной конференции "Открытое образование в России XXI века" (Москва, 2000 г.), 5-й Всероссийской научно-технической конференции студентов, молодых ученых и специалистов "Новые информационные технологии в научных исследованиях и в образовании (НИТ-2000)" (Рязань, 2000 г.),

IX Международном научно-техническом семинаре, посвященпом 70-летию МАИ и 70-летию МЭИ "Современные технологии в задачах управления, автоматики и обработки информации" (Алушта, 2000 г.), IV Международной научно-технической конференции "Новые информационные технологии и системы" (Пенза, 2000 г.), Региональных научно-методических конференциях "Дистанционное обучение и новые технологии в образовании" (Владимир, 2001,2002 г.г.), 3-й и 4-й Международных научно-технических конференциях "Компьютерное моделирова-ние-2002, -2003" (Санкт-Петербург, 2002, 2003 г.г.), У1-Й Международной научно-технической конференции "Новые информационные технологии и системы" (Пенза, 2004 г), Международном симпозиуме "Образование через науку", посвященном 175-летию МГТУ им. Н.Э.Баумана (Москва, 2005 г.), Первой Международной научно-практической конференции "Современные информационные технологии и ИТ-образование" (Москва, 2005 г.), XVI Международном научно-техническом семинаре "Современные технологии в задачах управления, автоматики и обработки информации" (Алушта, 2007 г.).

Реализация результатов работы

Работа проводилась в рамках выполнения научно-исследовательских работ с организациями НИЦЭВТ, ЗАО "КОНСИСТ-ОПЕРАТОР СВЯЗИ" Концерна "РОСЭНЕРГОАТОМ" по темам 89-3-242, 64-88/к12, 86-3-012-576,87-3-012-209, Договоров о научно-техническом сотрудничестве с Северо-Кавказским государственным университетом, Брянской государственной инженерно-технологической академией, ГОУ СПО Строительный колледж №1 (г. Москва), а также по гранту № 06-07-89100 Российского фонда фундаментальных исследований.

Разработанные в диссертации модели и программные комплексы внедрены и используются в ряде учебных и промышленных организаций, что подтверждено соответствующими Актами.

Разработанные комплексы компьютерных обучающих программ внедрены в учебный процесс факультета Кибернетики и факультета Очно-заочного (вечернего) обучения, Экономико-аналитического института, Института финансовой и экономической безопасности и Института Инновационного менеджмента Московского инженерно-физического института (государственного университета), Северо-Кавказского государственного технического университета, Брянской государственной инженерно-технологической академии, ГОУ СПО Строительный колледж №1 (г. Москва).

Система компьютерного тестирования, разработанная при выполнении диссертационной работы, внедрена на факультете Кибернетики, факультете Очно-заочного (вечернего) обучения, в Институте финансовой и экономической безопасности и в Институте Инновационного менеджмента Московского инженерно-физического института (государственного университета), а также в ОАО "Мобильные ТелеСистемы" (в офисе "Садовая-Каретная 20").

Тестовые задания, созданные по разработанным автором принципам, внедрены в учебный процесс на различных факультетах и в институтах Московского инженерно-физического института (государственного университета), а также в Интернет-университете информационных технологий.

Разработанные в диссертационной работе аналитическая и имитационная модели оценки надежности программного обеспечения использовались для оценки надежности системного и прикладного программного обеспечения, установленного в Кризисном центре концерна "РОСЭНЕРГОАТОМ".

Публикации. Результаты диссертации опубликованы в 63-х печатных работах, а также в 7-ми отчетах по НИР. В журналах, входящих в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук, опубликованы 3 работы. 16 работ опубликовано без соавторов. Результаты, изложенные в остальных работах, получены при определяющем личном участии автора.

Структура и объем работы. Работа состоит из введения, четырех глав, заключения, списка использованных источников из 374 наименований и трех приложений. Общий объем работы без списка источников и приложений составляет 160 стр. и включает 41 рисунок и 20 таблиц. Объем диссертационной работы с учетом списка использованных источников и приложений составляет 213 стр.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, определены цели и задачи исследований, представлены основные положения, выносимые на защиту.

Глава 1 диссертации посвящена анализу методов и средств обеспечения качества ПСУН. В ней анализируются нормативные документы по обеспечению качества программных систем. Проводится выбор показателей качества ПСУН. Анализируются методы и средства оценки надежности программных средств этого класса. Проводится анализ атак на программные системы и программных методов защиты программных систем. Приведён анализ методов и средств компьютерного тестирования.

Из проведенного анализа разработанных стандартов в области информационных технологий по обучению следует, что они определяют, в основном, вопросы структуры ПСУН с точки зрения организационного взаимодействия их составных частей и совместимости на уровне метаданных. В то же время вопросы, связанные с их качеством, остаются до настоящего времени вне поля нормативного регулирования. ПСУН согласно Общероссийскому классификатору

продукции относятся к "прочим программным средства", выбор показателей качества для которых осуществляется в зависимости от их назначения с учетом требований областей применения. Вследствие этого при оценке качества ПСУН необходимо, с одной стороны, руководствоваться общими требованиями к качеству программной продукции, а, с другой стороны, учитывать специфику класса ПСУН, выделяя из общих показателей качества те, которые наиболее существенны для данного применения.

Понятие качества программного обеспечения регламентируется различными нормативными документами, однако оно постоянно уточняется. Качество ПО оценивается рядом характеристик, включающих в себя набор подхарактеристик с общим количеством более 20. Набор и определение подхарактеристик являются лишь рекомендуемыми для каждой характеристики качества.

Ввиду множественности факторов, разнонаправленно влияющих на качество ПС, наиболее перспективным при выборе показателей качества представляется метод экспертных оценок. Анализ результатов экспертных опросов важности различных показателей качества программ учебного назначения показал, что с точки зрения разработчиков большим весом (от 30 до 46%) обладают суммарные показатели надежности и защищенности программ. Вес этих факторов в последнее время неуклонно возрастает. Исходя из этого, принято решение в максимальной степени учитывать именно эти показатели при разработке методов и средств обеспечения качества ПСУН.

Количественными показателями надёжности, наиболее адекватно отражающими качество ПСУН, являются вероятность безотказной работы и оценка по продолжительности преобразования входного набора данных в выходной. При этом они могут быть сведены в единый показатель на основе уточнения понятия отказа.

Существует большое количество моделей надёжности ПО, каждая из которых анализирует свои характеристики программы и направлена на определение показателей, существенных для конкретного применения. Наиболее точные результаты по оценке надёжности разрабатываемых ПСУН могут быть получены на основе моделей, учитывающих статистику отказов за период тестирования и отладки, информацию о структуре программного комплекса, а также время решения задачи. Разработка таких моделей надёжности является актуальной научной задачей.

Одним из важнейших показателей качества программных систем является их защищенность. ПСУН должны рассматриваться, с одной стороны, как объекты нападения со стороны злоумышленников, а с другой - как средства, знакомящие обучаемых профильных специальностей с потенциальными угрозами и методами защиты от них. Для решения первой из этих задач должен быть проведён анализ возможных путей проникновения злоумышленников в систему,

программных средств и механизмов обнаружения таких проникновений. Для эффективного использования таких средств необходима научно обоснованная методика обеспечения их защищенности. На основе этой методики требуется разработать структуру наиболее распространенных типов ПСУН.

Вторая задача может быть решена созданием специальных обучающих комплексов по программным методам защиты программных систем.

В главе 2 проводится оценка защищенности ПСУН на основе предлагаемого дерева атак и предлагаемого критерия защищенности системы и разработка их структуры, отвечающей требованиям максимальной защищенности.

Методика такой оценки включает следующие этапы:

а) разработка дерева атак на ПСУН на основе информации о потенциальных атаках злоумышленников на систему. Структура дерева атак на ПСУН, включающие компьютерные обучающие программы и систему тестирования, представлена на рис. 1:

Рис. 1. Дерево атак на программные средства учебного назначения

б) построение графа атак на систему в виде ориентированного дерева с взвешенными вершинами. Граф строится на основе разработанного дерева атак, исходя из реальных режимов и особенностей использования ПСУН. Весвершины на /-м пути (коэффициент защищенности вершины) определим как величину, равную отношению вероятности выполнения злоумышленником действия, характеризующего эту вершину (Ри), к вероятности того, что это действие будет обнаружено {Р,]0бнУ-

Для определения наиболее опасных с точки зрения несанкционированного доступа путей проникновения злоумышленников в систему введем критерий защищенности системы. Определим его следующим образом:

^ = тах-£- (2)

лЛн

где Л - вероятность достижения цели злоумышленником на г'-м пути, Р, обИ - вероятность того, что его действия будут обнаружены на г'-м пути; Ы- количество всех путей, ведущих к цели.

в) выполнение расчета ориентированного взвешенного графа для определения критических путей проникновения злоумышленников в систему;

г) формирование мер, обеспечивающих повышение защищенности вершин, входящих в критические пути. Такие меры должны закладываться на стадии проектирования структуры и определения функциональных возможностей разрабатываемых программных систем учебного назначения и учитывать специфику работы каждых из них.

На основании анализа дерева атак с учетом предложенного критерия защищенности программных средств и учета особенностей их реализации при обучении по техническим дисциплинам была разработана структура компьютерных обучающих программ и системы компьютерного тестирования.

Компьютерные обучающие программы минимизируют возможные негативные последствия несанкционированного доступа за счет следующих решений:

- отказа от использования базы данных тренировочных и контрольных тестовых заданий за счет их автоматической генерация в ходе выполнения обучающей программы;

- использования программных средств блокировки повторного запуска электронного урока в режиме контрольного выполнения;

- наличия в комплексе компьютерных обучающих программ блока, постоянно регистрирующего действия пользователя;

Разработанная структура системы компьютерного тестирования имеет повышенную защищенность от несанкционированного доступа за счет повышения защищенности вершин на критических путях несанкционированного доступа. Проведённый анализ показал, что наиболее уязвимыми в системе тестирования являются база данных тестирования и база данных результатов тестирования. Повышение защищенности вершин на критических путях обеспечивается следующими способами:

- для базы данных тестовых заданий:

- широким использованием тестовых заданий с вычисляемым ответом, которые не содержат в явной форме ответов в БД и, в то же время, обеспечивают возможность автоматизированной проверки;

- перемешиванием ответов при представлении тестового задания тестируемому; - для БД результатов тестирования помимо общих методов защиты баз данных

- использованием организационных мер: периодическая смена паролей, регулярная загрузка и выгрузка тестовых заданий из базы данных; создание резервной копии базы данных, создание твердой копии результатов после проведения каждого тестирования; средства, необходимые для выполнения этих действий, должны быть заложены в структуру системы тестирования на этапе ее создания;

- усложнением логического представления информации в базе данных протокола тестирования за счет предложенного в диссертации способа оценки результата наиболее распространенной формы тестового задания - политомического задания с несколькими правильными ответами. Для этого может быть использована предлагаемая в работе особая форма подсчета количества баллов:

М 1 К

м r, s, ~г,

где В - количество баллов, выставляемых за задания данного типа в тесте, М- количество заданий данного типа в в тесте, s, - общее количество вариантов ответа на г'-е тестовое задание, г, - общее количество правильных ответов в г'-м задании, /,- количество отмеченных правильных ответов, к, - количество неправильных ответов, отмеченных как правильные.

В работе также определено количество дистракгоров, обеспечивающее максимальное значение дискриминативности тестового задания такого типа.

Предложенный способ оценки помимо повышения защищенности базы данных результатов тестирования улучшает и качество теста:

- обеспечивает максимальную дифференцирующую способность на полигамических тестовых заданиях с множественными вариантами ответов за счет оптимального соотношения между количеством правильных ответов и количеством дистракторов;

- повышает до 20% дифференцирующую способность теста в целом при сохранении его валидности;

- обеспечивает лучшие показатели распределения оценок за тестирование, что позволяет более точно настраивать систему на градации выставления баллов по общепринятой шкале, а также проще реализовывать схему адаптивного тестирования.

Глава 3 посвящена разработке моделей, методов и средств анализа и обеспечения надежности ПСУН. В ней представлены аналитическая и имитационная модели оценки надёжности ПСУН на примере компьютерной обучающей программы. Исходя из особенностей процесса разработки ПСУН, предлагается методика обеспечения их надежности на различных этапах

11

жизненного цикла.

Программы, относящиеся к классу компьютерных обучающих программ, с точки зрения оценки их надежности имеют ряд особенностей. Вследствие интерактивной работы, время их выполнения носит случайный характер и изменяется в широких пределах. Они используются в режиме, когда установлено допустимое время преобразования данных - длительность занятия. Вследствие того, что большая часть таких систем разрабатывается непосредственно в вузах, имеются возможности встраивания в них инструментальных средств, необходимых разработчику, а также учета их структуры при разработке моделей. Это позволяет создать модели надежности, в максимальной степени учитывающие все эти факторы.

Вероятность безотказной работы комплекса при случайной длительности выполнения задачи составляет:

где G(t) - вероятность того, что длительность решения задачи не превысит величины !, g(t) -плотность распределения G(t), p(t) - вероятность безотказной работы комплекса за время ?.

В диссертации на основе исследования процесса разработки и эксплуатации компьютерных обучающих программ показано, что распределение p(t) подчиняется экспоненциальному закону, а распределение g(t) - нормальному. В этом случае выражение (4) преобразуется к виду:

Л2 о2

Р = (5)

(=0

где t, и о, -математическое ожидание и среднее квадратическое отклонение времени выполнения модуля i программы соответственно, X - интенсивность отказов программы на этапах тестирования и отладки, Pi - вероятность пребывания программы в состоянии /, то есть выполнения соответствующего программного модуля. Значения вероятностей Pi определяется решением системы уравнений Колмогорова для установившегося режима при нормирующем условии:

^ Pi = 1. Значения вероятностей внутренних межммодульных переходов программы рассчи-

1-0

тывается встраиваемыми в программу инструментальными средствами.

Построение аналитической модели оценки надежности программных средств имеет некоторые ограничения по области использования. Это связано со следующими факторами:

- при произвольных законах распределения случайных величин, определяющих искомую вероятность, выражение (4) может не иметь аналитического решения;

- вычисление этого выражения затрудняется при конечных пределах интеграла, то есть в случае необходимости определить вероятность решения задачи за определённое время;

- сложность аналитического решения уравнений Колмогорова, используемого для опреде-

12

лсния вероятности пребывания программы в определенном состоянии, существенно возрастает при увеличении количества модулей, составляющих программу.

Эти ограничения снимаются методами и средствами имитационного моделирования, которые позволяют получить оценку вероятности безотказной работы программного комплекса на основе информации о структуре комплекса и данных, полученных на этапе его отладки и опытной экснлуагации.

Разработанная имитационная модель имеет следующую структуру (рис.2):

Рис.2. Структура имитационной модели

Расчеты надежностных характеристик программы базируются на модели Шумана, которая в диссертации дополнена блоком коррекции на каждом шаге вычислений и блоком определения начального приближения количества оставшихся ошибок в программе, выполненного на основе модели Миллса.

Использование имитационной модели позволяет исследовать влияние на надежность ПСУН законов распределения случайных величин, характеризующих времена выполнения отдельных этапов обучающих программ, законов распределения времени появления ошибок в программе, а также выполнить оценку работоспособности программы на произвольном конечном интервале времени, например, длительности учебного занятия.

Глава 4 содержит описание программных средств и моделей, созданных на основе методик, предложенных в предыдущих главах.

Структура компьютерных обучающих программ, разработанная в главе 2 с учетом требований повышенной защищенности в условиях их применения при обучении по техническим дисциплинам была использована при создании 4-х комплексов компьютерных обучающих программ по следующим направлениям:

- Программные методы защиты программных систем,

- Организация ЭВМ,

- Микропроцессорные системы,

- Общая физика.

Общий объем разработанных программных комплексов составляет 47 электронных уроков.

На основе принципов, изложенных в главе 2, создана система компьютерного тестирования "ИСТОК".

При разработке обучающих программ и системы компьютерного тестирования использовались методики и модели, предложенные в главе 3, и встроенные инструментальные средства, состав которых был определен в главе 2.

Использование предложенных в диссертации методов и средств обеспечило разработанным программным комплексам высокую надежность и защищенность. Это подтверждается их длительным успешным использованием в учебном процессе ряда вузов (электронные уроки вводились в эксплуатацию, начиная с 1999 года, а система "Исток" - с 2005 года).

Разработанные аналитическая и имитационная модели надежности программных средств могут быть использованы при оценке надежности не только ПСУН, но и других программных комплексов. В работе показано их применение для оценки надежности программных средств системы передачи данных (СПД) Кризисного центра концерна "РОСЭНЕРГОАТОМ". Это позволило создать комплексную модель надежности программно-аппаратных средств СПД. Применение разработанных в диссертации моделей позволило повысить точность определения показателей надежности системы приблизительно на 10% по сравнению с общепринятыми моделями, учитывающими только надежность аппаратуры.

В заключении отражены основные результаты, полученные в данной диссертационной работе.

В приложениях приведена оценка параметров разработанной в диссертации системы тестирования, а также представлен состав разработанных комплексов компьютерных обучающих программ.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В диссертации получены следующие основные результаты:

1) выбраны показатели, в наибольшей степени отражающие качество программных систем учебного назначения;

2) разработана методика оценки защищенности программных систем учебного назначения;

3) разработана структура компьютерных обучающих программ по техническим дис-

14

циплинам, минимизирующая возможные негативные последствия несанкционированного доступа, позволяющая помимо изучения материала по определённым темам формировать необходимые умения и навыки, обеспечивающая эквивалентные по сложности задания для тренировочного и контрольного режимов использования;

4) разработана структура системы компьютерного тестирования, имеющая повышенную защищенность от несанкционированного доступа, которая обеспечена путем анализа дерева атак и выявления критических путей и вершин в этом дереве;

5) обоснован состав инструментальных средств, которые должны входить в разрабатываемый комплекс для получения информации о процессе его функционирования с целью повышения его защищённости и определения показателей надёжности;

6) разработана аналитическая модель надёжности программных систем учебного назначения, которая позволяет учесть структуру программного комплекса, информацию о процессе его отладки и временные характеристики работы программных средств;

7) разработана имитационная модель надёжности программных систем учебного назначения, позволяющая оценить вероятность безошибочного завершения программы при случайном времени её работы;

8) разработана методика оценки надежности программных систем учебного назначения с использованием разработанных моделей.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Основные результаты работы опубликованы в следующих изданиях:

1. Гуров В.В. Оценка надежности программ учебного назначения методом имитационного моделирования. - Открытое образование, №5, 2007 г. - С.36-39.

2. Гуров В.В., Чуканов В.О. Оценка качества программных средств учебного назначения. - Качество. Инновации. Образование, №5(27), август 2007. - С.27-32.

3. Гуров В.В., Кузнецова П.В., Михайлов Д.М. Методы и средства изучения программных методов защиты программных систем. - Инженерная физика, 2007, №3. - С.63-67.

4. Гуров В.В., Чуканов В.О. Основы теории и организации ЭВМ. - М.: Интернет-университет информационных технологий; БИНОМ. Лаборатория знаний, 2006,272 с.

5. Гуров В.В. Оценка безопасности программных средств учебного назначения. - Дистанционное и виртуальное обучение, №10,2007 г. - С.35-46.

6. Гуров В.В. Методика оценки качества отладки программ малой и средней сложности. -Информационные технологии моделирования и управления. Научно-технический журнал. Выпуск 1(19) Воронеж. Изд.: Научная книга, 2005. - С.107-111.

7. Гуров В.В. Основы организации вычислительных машин. - М.: Изд. МИФИ, 2004,

164 с.

8. Гуров B.B. Компьютерные обучающие программы в учебном процессе технического вуза. - Современные проблемы информатизации в непромышленной сфере и экономике: Сб. трудов. Вып. 10/ Под ред. д.т.н., проф. О.Я.Кравца, - Воронеж, Изд. "Научная книга", 2005. -С.36-37.

9. Гуров В.В. Выбор показателей качества программных средств учебного назначения. -//Научная сессия МИФИ-2008. Сборник научных трудов. В 15 томах. Т. 12. Информатика и процессы управления. Компьютерные системы и технологии. - М.: МИФИ, 2008. - С.159-160.

Ю.Гуров В.В. Исследование системы тестирования на основе усовершенствованной модели частичного оценивания. - //Современные технологии и задачи управления, автоматики и обработки информации: Труды XVI Международного научно-технического семинара. Сентябрь 2007 г., Алушта.: Изд. ТулГУ, г.Тула, 2007. - С.254-255.

Н.Гуров В.В. Моделирование учебного процесса с учетом аппаратно-программной надежности используемых вычислительных средств. - //Компьютерное моделирование-2003: Труды Междунар. научн.-техн. конф. СПб.: "Нестор", 2003. - С.408-409.

12. Гуров В.В. Оценка надёжности программного обеспечения комплексов ответственного назначения. - //Научная сессия МИФИ-2008. Сборник научных трудов. В 15 томах. Т.12. Информатика и процессы управления. Компьютерные системы и технологии. - М.: МИФИ, 2008-С.136-137.

13. Гуров В.В., Забродин Л.Д., Чуканов В.О. Организация процесса дистанционного образования на кафедре "Компьютерные системы и технологии" МИФИ. - //Новые информационные технологии и системы: Материалы IV Международной научно-технической конференции. - Пенза, ПГУ, 2000 г.

Н.Гуров В.В., Иванов МЛ. Структура лабораторного практикума по курсу "Защита информации". - Научная сессия МИФИ-2001. Сборник научных трудов. В 14 томах. Т. 10. Телекоммуникации и новые информационные технологии в образовании. - М.: МИФИ, 2001. 180 с. С.118-119.

15.Гуров В.В., Иванов М.А., Миков Д.В., Саргин В.В., Чугунков И.В., Шумилин A.B. Защита информации в компьютерных системах и сетях. - Компьютерные системы и технологии: Лабораторный практикум /Под ред. д-ра техн. наук, проф. Л.Д.Забродина. - М.: Диалог-МИФИ, 2001, 336 с. - С.173-187.

Подписано в печать 17.11.2008 г.

Печать трафаретная

Заказ № 1202 Тираж: 100 экз.

Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 www.autoreferat.ru

Введение.

1. Анализ методов и средств обеспечения качества программных систем учебного назначения

1.1. Анализ нормативных требований к программным системам учебного назначения.

1.2. Выбор показателей качества программных систем учебного назначения.

1.3. Анализ методов и средств оценки надежности программных систем учебного назначения

1.4. Анализ атак на программные системы и программных методов защиты программных систем.

1.5. Анализ методов и средств компьютерного тестирования.

Выводы к главе 1.

2. Разработка структуры программных систем учебного назначения по техническим дисциплинам

2.1. Оценка безопасности программных систем учебного назначения.

2.2. Разработка структуры комплекса компьютерных обучающих программ по техническим дисциплинам.

2.3. Разработка структуры системы компьютерного тестирования.

Выводы к главе 2.

3. Разработка моделей и методов оценки и обеспечения надежности программных систем учебного назначения.

3.1. Разработка аналитической модели надёжности программных систем учебного назначения

3.2. Разработка имитационной модели надежности компьютерной обучающей программы

3.3. Разработка методики оценки надежности программных систем учебного назначения

Выводы к главе 3.

4. Практическое использование разработанных методов и средств анализа и обеспечения качества программных систем.

4.1. Реализация программных обучающих комплексов по техническим дисципли

4.2. Система тестирования "ИСТОК".

4.3. Электронные средства поддержки учебного процесса.

4.4. Использование имитационной модели для расчёта показателей надёжности программного обеспечения вычислительных средств системы передачи данных Кризисного центра концерна "РОСЭНЕРГОАТОМ".

Выводы к главе 4.

Федеральная целевая программа "Развитие единой образовательной информационной среды" (ФЦП РЕОС) [8,9], принятая в рамках реализации Федеральной целевой программы развития образования [11] и Национальной доктрины образования [12], отмечает, что в условиях динамично меняющегося мира, глобальной взаимозависимости и конкуренции, необходимости широкого использования и постоянного развития и усложнения технологий фундаментальное значение имеет информатизация сферы образования. Содержание и качество образования, его доступность, соответствие потребностям конкретной личности в решающей степени определяют состояние интеллектуального потенциала современного общества. Интенсивное развитие сферы образования на основе использования информационных и телекоммуникационных технологий становится важнейшим национальным приоритетом.

Тенденции развития общества требуют безотлагательного решения проблемы опережающего развития системы образования на основе информационных технологий. Информатизация предполагает изменение содержания, методов и организационных форм образования. Включение современных информационных технологий в образовательный процесс создает возможности повышения качества образования.

Одной из главных задач, поставленных в ФЦП РЕОС, является применение новых информационных и телекоммуникационных технологий в учебном процессе, включая создание и использование в учебном процессе современных электронных учебных материалов, а также разработку электронных средств информационно-технологической поддержки и развития учебного процесса. Учитывая новизну и сложность проблемы развития информационно-образовательной среды, ее решение требует экспериментального поиска на основе имеющегося в системе образования опыта работы с информационными технологиями. Необходимо выработать механизм, предполагающий обязательную экспериментальную проверку рекомендуемых для использования в учебных заведениях электронных учебных материалов.

О том, что программные системы учебного назначения (ПСУН) представляют собой особое направление в сфере информационных технологий, свидетельствует выделение их в отдельный класс программной продукции согласно Общероссийскому классификатору продукции [7].

При разработке ПСУН должен рассматриваться широкий круг вопросов. Это методологические и педагогические аспекты, вопросы структурной организации таких систем, функциональной совместимости отдельных частей программных комплексов, совместимости комплексов, разработанных разными производителями, организации структуры данных, качества программных систем и многие другие моменты.

В ФЦП "Развитие единой образовательной информационной среды" особо подчеркивается необходимость обеспечения качества электронных средств поддержки и развития учебного процесса. Так как данные программные средства составляют отдельный класс, то при их разработке, внедрении и эксплуатации следует учитывать ряд обстоятельств.

Во-первых, это область применения ПСУН. Очевидно, что в зависимости от области применения (среднее, среднее специальное учебное заведение или вуз, гуманитарное или техническое направление в образовании) будут меняться требования к структуре, наполнению и форме представления материала в ПСУН. В то же время отдельные модули таких программных систем будут инварианты по отношению к области применения. Наибольшие проблемы возникают при разработке обучающих программ по техническим дисциплинам. Особенностями таких программ является их основная ориентация не только на информационное обеспечение процесса обучения, но и на получение практических умений и навыков в данном направлении.

Во-вторых, существенное влияние на обеспечение качества программных систем учебного назначения оказывает их структура, которая должна учитывать особенности ПСУН, ориентированных на обучение по техническим дисциплинам. Разработка структуры таких ПСУН с учетом требования обеспечения качества является актуальной научной задачей.

В-третьих, большую роль играет коллектив разработчиков. ПСУН могут разрабатываться специализированными научно-производственными предприятиями. В то же время в ФЦП РЕОС особо подчёркивается, что "с учетом специфики отдельных вузов и большого числа специальностей значительное количество учебных электронных материалов для обучающихся должно готовиться силами самих высших учебных заведений" [8]. Это соответствует сложившемуся к настоящему моменту положению, когда ряд программных систем этого типа, особенно в технических вузах, разрабатывается сравнительно небольшим коллективом, в состав которого, как правило, входят студенты старших, а иногда и младших, курсов, под руководством аспиранта или преподавателя [31, 32, 36, 52, 54, 155, 160, 161, 163, 165, 167, 169, 196, 207, 219, 241, 252, 272, 284, 296].

Такие творческие группы в силу естественных причин подвержены частому обновлению. В то же время они представляют собой большую творческую силу, которая в состоянии при грамотной организации рабочего процесса, решить большой комплекс практических задач. Это предъявляет повышенные требования к качеству и, особенно, надежности и безопасности разрабатываемого в таких условиях программного обеспечения.

В-четвертых, следует учитывать область использования программных средств. Среди факторов, требующих внимания, здесь следует отметить

- направление использования (домашняя самоподготовка, выработка умений и навыков по тому или иному вопросу во время проведения занятия в аудитории, контрольная оценка полученных навыков во время аудиторного занятия, тренировочное или контрольное тестирование знаний по тому или иному разделу курса);

- вид проведения занятий с использованием ПСУН: локальный или сетевой режим работы, режим обслуживания (отдельным обслуживающим персоналом или самими разработчиками), что требует анализа защищённости таких средств от несанкционированного доступа при различных режимах их использования и разработки методов противодействия таким угрозам. На это же нацеливает и Доктрина информационной безопасности Российской Федерации [10].

В зависимости от учета этих обстоятельств требуется выбрать те или иные показатели качества, на которые должно быть обращено особое внимание в процессе разработки, внедрения и эксплуатации программных систем учебного назначения. Качество программного средства - это совокупность свойств программного средства, которые обусловливают его пригодность удовлетворять заданные или подразумеваемые потребности в соответствии с его назначением [2]. Показатели качества весьма разнообразны. Так стандарт [3] предусматривает 6 характеристик качества, включающих 20 подхарак-теристик. Но, в то же время, здесь же отмечается, что общие уровни ранжирования показателей качества невозможны. Они должны определяться для каждого конкретного оценивания. Программные системы учебного назначения представляют собой большой самостоятельный класс программ. Таким образом, выбор и обоснование показателей качества для них является также весьма актуальным.

Большую работу, связанную с исследованием и разработкой программных систем учебного назначения, проводят различные организации, в основном, связанные с образовательным процессом. Среди них следует выделить Московский государственный университет экономики, статистики и информатики (МЭСИ) [246], Московский Государственный Технологический Университет "Станкин" [247] (проректор по информатизации этого университета профессор Позднеев Б.М. возглавляет Комитет "Информационно-коммуникационные технологии в образовании" при Федеральном агентстве по техническому регулированию и метрологии), Московский государственный университет приборостроения и информатики [248], Томский государственный университет [58], Нижегородский государственный технический университет [252], Балтийский государственный технический университет г. Санкт-Петербург [207], Петербургский государственный университет путей сообщения. [268], Всероссийский заочный финансово-экономический институт [51].

Вопросы, касающиеся тех или иных сторон разработки и функционирования ПСУН, решаются рядом научных коллективов и отдельных ученых. Так проблемы, связанные со стандартизацией в сфере ИТ-технологий, широко и глубоко разбираются в работах ЗиндераЕ.З. [42, 175, 176] - президента Фонда поддержки системного проектирования, стандартизации и управления проектами (Фонд ФОСТАС). Общеметодические вопросы построения таких комплексов программ и их соответствия нормативным требованиям рассматриваются в работах Кочетуровой Н.А. [212, 213], Сысоева Л.А. [317], Курниковой М.П. и Нештата Е.П. [218]. Общим подходам к обеспечению надежности и безопасности программного обеспечения, а также качества программных средств посвящены работы Липаева В.В. [228-237], Лазарева Д.В. [222], Казарина О.В. [190, 191], Ханджяна А.О. [326-328], Полаженко С. [273]. Ряд конкретных подходов к вопросам качества программных средств отражены в работах [25, 33, 34, 171, 291, 307, 308].

Ключевую роль среди программных систем учебного назначения, особенно для технических специальностей, играют компьютерные обучающие программы. Вопросам их разработки посвящены многие работы [52, 56, 150, 152, 155]. Однако они описывают конкретные подходы к их построению без научного обоснования выбора структуры. Но вопросы, касающиеся качества этого класса систем как программного средства, рассматриваются очень ограниченно и не учитывают всего комплекса имеющихся здесь проблем. В то же время данный вопрос ввиду широкого распространения этого вида обучающих программ является весьма актуальным.

Отдельное место среди компьютерных средств учебного назначения занимает тестирование с применением ИТ-технологий. Контрольно-тестирующие средства рекомендуется включать в состав электронных обучающих комплексов, а разработка средств сетевого тестирования и контроля знаний рассматривается как одно из основных направлений развития единой образовательной информационной среды [8, 9]. Различными аспектами этой проблемы занимаются АванесовВ.С. [14-16], Гусева А.И. [130, 132-135, 137-141], Леонова Н.М. [225, 226], Жуков Д.О. [20, 150, 155-159, 168, 227] и другие авторы. Несмотря на большое количество разработанных к настоящему времени систем тестирования, постоянно появляются всё новые системы. Это свидетельствует о том, что в данном направлении отсутствует общепризнанные подходы к организации и принципам построения таких систем. Обоснование принципов их построения также является актуальной научной задачей.

Таким образом, разработка методов и средств анализа и обеспечения качества программных систем учебного назначения является актуальной научной задачей.

Целью представленной работы является повышение качества программных систем учебного назначения путем разработки соответствующих методов, моделей и программных средств.

Основные направления работ. Для достижения данной цели необходимо решение следующих задач:

- анализ особенностей ПСУН как отдельного класса программных систем, предъявляемых к ним требований по качеству и определение характеристик качества, наиболее существенных для систем этого класса;

- исследование программных методов защиты ПСУН. разработка структуры ПСУН, обеспечивающей повышение их защищенности;

- разработка методов и средств анализа и обеспечения надежности ПСУН;

- разработка комплекса ПСУН для практического подтверждения эффективности разработанных методов и средств.

Методы исследования. При решении поставленных задач использовались теория марковских процессов, теория вероятностей, методы математической статистики, методы имитационного моделирования, теория графов.

Научная новизна результатов работы заключается в следующем:

- определены показатели качества ПСУН;

- выбран и обоснован критерий защищенности системы, учитывающий вероятность достижения цели злоумышленником на каждом шаге проникновения и вероятность обнаружения его действий;

- разработана модель уязвимостей ПСУН;

- разработаны аналитическая и имитационная модели надежности компьютерных обучающих программ, позволяющие получить основные показатели надёжности с учетом вероятности безотказной работы программного комплекса при случайной длительности выполнения задачи;

- впервые создана единая методика анализа и обеспечения качества ПСУН;

- предложена и обоснована концепция обучения студентов использованию программных методов защиты программных систем.

На защиту выносятся:

- показатели качества ПСУН;

- критерий защищенности ПСУН;

- модель уязвимостей ПСУН, позволяющая определить пути наиболее вероятного несанкционированного проникновения в систему и пути наименее вероятного обнаружения нападения, что позволит предпринять меры либо для эффективного выявления атаки, либо для максимального затруднения действий злоумышленников на этих путях;

- аналитическая и имитационная модели оценки работы ПСУН, обеспечивающие анализ полноты отладки принимаемого к использованию в учебном процессе ПО;

- методика обеспечения качества разрабатываемых ПСУН,

- концепция обучения студентов использованию программных методов защиты программных систем.

Практическая значимость результатов работы заключается в следующем:

- разработаны набор алгоритмов и комплекс программных средств, поддерживающие все этапы использования методики анализа и обеспечения качества ПСУН;

- разработаны и внедрены комплексы компьютерных обучающих программ по 4-м техническим дисциплинам общим объёмом 47 электронных уроков;

- разработана система компьютерного тестирования, обеспечивающая повышение (до 20 %) дискриминативности тестов при сохранении валидности;

- разработано около 1500 тестовых заданий по различным техническим дисциплинам; политомические задания с множественными вариантами ответов разработаны с учетом определенного в работе соотношения количества правильных ответов и дистрак-торов, обеспечивающего максимальную дискриминативность задания.

Первая глава диссертации посвящена анализу методов и средств обеспечения качества программных систем учебного назначения. В ней проанализированы нормативные документы по обеспечению качества программных систем. Проведен выбор показателей качества программных систем учебного назначения. Проанализированы методы и средства оценки надежности программных систем этого класса. Проведен анализ атак на программные системы и программных методов защиты программных систем. Приведён анализ методов и средств компьютерного тестирования.

Во второй главе проводится оценка защищенности ПСУН на основе предлагаемого дерева атак и предлагаемого критерия защищенности системы. На основании полученных оценок разработана структура программных систем учебного назначения, ориентированных на использование при обучении по техническим дисциплинам и учитывающих требование повышения их защищенности от несанкционированного доступа. Для системы тестирования предлагается форма оценки результатов выполнения тестового задания, обеспечивающая более высокие характеристики качества тестов, по сравнению с традиционными.

Третья глава посвящена разработке моделей, методов и средств анализа и обеспечения надежности программных систем учебного назначения. В ней представлены аналитическая и имитационная модели оценки надёжности ПСУН на примере компьютерной обучающей программы. Исходя из особенностей процесса разработки программных систем учебного назначения, предлагается методика обеспечения их надежности на этапах разработки и внедрения.

Четвёртая глава содержит описание комплексов программных систем учебного назначения, созданных на основе предложенных в предыдущих главах методов и средств: комплексов компьютерных обучающих программ по дисциплинам "Организация ЭВМ", "Микропроцессорные системы", "Программные методы защиты программных систем", "Общая физика", а также системы компьютерного тестирования "ИСТОК". В ней также представлены разработанные электронные средства поддержки учебного процесса. Один из разделов данной главы содержит описание применения разработанных в диссертации моделей надежности программного обеспечения для оценки надежности вычислительных средств системы передачи данных Концерна "РОСЭНЕРГОАТОМ".

Работа проводилась в рамках выполнения научно-исследовательских работ с организациями НИЦЭВТ, ЗАО "КОНСИСТ-ОПЕРАТОР СВЯЗИ" Концерна "РОСЭНЕРГОАТОМ" по темам 89-3-242, 64-88М2, 86-3-012-576, 87-3-012-209, Договоров о научно-техническом сотрудничестве с Северо-Кавказским государственным университетом, Брянской государственной инженерно-технологической академией, ГОУ СПО Строительный колледж №1 (г. Москва), а также по гранту № 06-07-89100 Российского фонда фундаментальных исследований.

Апробация работы.

Основные результаты работы докладывались и обсуждались на 23-х международных, всероссийских и региональных конференциях, семинарах и научных сессиях: Научных сессиях МИФИ в период 1998-2008 г.г. (11 сессий), Восьмой международной конференции "Открытое образование в России XXI века" (Москва, 2000 г.), 5-й Всероссийской научно-технической конференции студентов, молодых ученых и специалистов "Новые информационные технологии в научных исследованиях и в образовании (НИТ-2000)" (Рязань, 2000 г.), IX Международном научно-техническом семинаре, посвященном 70-летию МАИ и 70-летию МЭИ "Современные технологии в задачах управления, автоматики и обработки информации" (Алушта, 2000 г.), IV Международной научно-технической конференции. "Новые информационные технологии и системы" (Пенза, 2000 г.), Региональных научно-методических конференциях "Дистанционное обучение и новые технологии в образовании" (Владимир, 2001, 2002 г.г.), 3-й и 4-й Международных научно-технических конференциях "Компьютерное моделирование-2002, -2003" (Санкт-Петербург, 2002, 2003 г.г.), У1-й Международной научно-технической конференции "Новые информационные технологии и системы" (Пенза, 2004 г), Международном симпозиуме "Образование через науку", посвященном 175-летию МГТУ им. Н.Э.Баумана. (Москва, 2005 г.), Первой Международной научно-практической конференции "Современные информационные технологии и ИТ-образоваиие" (Москва, 2005 г.), XVI Международном научно-техническом семинаре "Современные технологии в задачах управления, автоматики и обработки информации" (Алушта, 2007 г.).

Результаты работы отражены в 63 печатных трудах, из которых 3 опубликованы в журналах, входящих в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук, а также в 7-и отчетах по НИР и 3-х материалах региональных конференций.

На разработанные в соответствии с моделями н методами, изложенными в диссертации программами в РОСПАТЕНТЕе получены 3 свидетельства об официальной регистрации пакетов компьютерных обучающих программ по дисциплинам "Организация ЭВМ", "Защита информации", "Общая физика", а также свидетельство о регистрации системы компьютерного тестирования "ИСТОК".

Достоверность основных положений диссертации подтверждается корректностью математического аппарата и теоретических выкладок, а также совпадением теоретических результатов с экспериментальными.

Разработанные комплексы компьютерных обучающих программ внедрены в учебный процесс Института финансовой и экономической безопасности, Института Инновационного менеджмента и Экономико-аналитического института, факультетов Кибернетики и Очно-заочного (вечернего) обучения Московского инженерно-физического института (государственного университета), в Северо-Кавказском государственном техническом университете, в Брянской государственной инженерно-технологической академии, в ГОУ СПО Строительный колледж №1 (г. Москва).

Разработанная система компьютерного тестирования внедрена в Институте финансовой и экономической безопасности, в Институте Инновационного менеджмента, на факультетах Кибернетики и Очно-заочного (вечернего) обучения Московского инженерно-физического института (государственного университета), а также в ОАО "Мобильные ТелеСистемы" (в офисе "Садовая-Каретная 20").

Разработанные автором тестовые задания внедрены в учебный процесс на различных факультетах и в институтах Московского инженерно-физического института (государственного университета), а также в Интернет-университете информационных технологий.

Разработанные автором аналитическая и имитационная модели надежности программных средств использовались при создании комплексной модели надежности программно-аппаратных средств системы передачи данных Кризисного центра концерна "РОСЭНЕРГОАТОМ".

1. АНАЛИЗ МЕТОВ И СРЕДСТВ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПРОГРАММНЫХ

СИСТЕМ УЧЕБНОГО НАЗНАЧЕНИЯ

Основные результаты работы докладывались и обсуждались на 23-х международных, всероссийских и региональных конференциях, симпозиумах и семинарах.

Методики, модели и программные средства, разработанные в диссертации, внедрены и используются в следующих организациях: на факультетах Кибернетики и Очно-заочного (вечернего) обучения, в Экономико-аналитическом институте, в Институте финансовой и экономической безопасности и в Институте Инновационного менеджмента Московского инженерно-физического института (государственного университета), в Северо-Кавказском государственном техническом университете, в Брянской государственной инженерно-технологической академии, в ГОУ СПО Строительный колледж №1 (г. Москва), в ОАО "Мобильные ТелеСистемы" (офис "Садовая-Каретная 20"), в Интернет-университете информационных технологий, в Кризисном центре концерна "РОСЭНЕРГОАТОМ". Это подтверждено 10 актами о внедрении и использовании результатов диссертационной работы.

Полученные в диссертации результаты позволили создать методику проектирования программных средств учебного назначения, которая обеспечивает требуемый уровень качества разрабатываемого программного обеспечения данного класса. Разработанная методика поддержана комплексом алгоритмических и программных средств. Цель работы достигнута. Все поставленные в диссертации задачи решены в полном объеме.

ЗАКЛЮЧЕНИЕ

В результате проведенных исследований решены важные задачи, связанные с разработкой методов и средств обеспечения качества программных систем учебного назначения (ПСУН).

1. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. -Госстандарт России, г.Москва, 1989.

2. ГОСТ 28806-90. Качество программных средств. Термины и определения. Госстандарт России, г.Москва, 1990.

3. ГОСТ Р ИСО/МЭК 9126-93 Оценка программной продукции. Характеристики качества и руководства по их применению Госстандарт России, г.Москва, 1993.

4. ГОСТ Р ИСО/МЭК 12207—99 (ГОСТ Р 1999). Информационные технологии. Процессы жизненного цикла программных средств. — Госстандарт России, г.Москва, 1999.

5. ГОСТ Р ИСО/МЭК ТО 12182-2002 Информационная технология. Классификация программных средств. Госстандарт России, г.Москва, 2002.

6. ГОСТ Р 51188-98. Испытания программных средств на наличие компьютерных вирусов. Типовое руководство. Электронный ресурс. Режим доступа: http://www.micc.ru/download/gost/GOSTR51188-98.doc

7. Общероссийский классификатор продукции ОК 005-93 ОКП, утвержденный Постановлением Госстандарта России от 30 декабря 1993 г. N 301. Издание официальное, тома 1-2, Госстандарт России, М., 1995.

8. Федеральная целевая программа "Развитие единой образовательной информационной среды на 2002-2006 годы (проект). Электронный ресурс. Режим доступа: http://www.nasledie.ru/politvnt/1923/агйс1е.рЬр?аЛ=3

9. Доктрина информационной безопасности Российской Федерации. Электронный ресурс. Режим доступа: Ыф://www.rg.ru/oficial/doc/minandvedom/mimbezop/doctr.б 1йт

10. Федеральная целевая программа развития образования (2006-2010). Электронный ресурс. Режим доступа: http://www.fcpro.ru/

11. Национальная доктрина образования в Российской Федерации. Электронный ресурс. — Режим доступа: http://vvлw.mosedu.ru/ru/manager/documents/principal/laws/doctпne.php

12. Педагогические тесты. Термины и определения. Отраслевой стандарт Министерства образования РФ. М., 2001г.

13. Аванесов B.C. Методологические и теоретические основы тестового педагогического контроля: диссертация на соискание ученой степени докт. пед. наук/ С-Пб. гос. ун-т. 1994, 339с. Электронный ресурс. Режим доступа: http://testolog.narod.ru

14. Аванесов B.C. Теория и методика педагогических измерений. Электронный ресурс. - Режим доступа: http://testolog.narod.ru

15. Аванесов B.C. Композиция тестовых заданий. Учебное пособие. — М.: Ассоциация инженеров-педагогов, 1996.

16. Агентство труда и занятости населения администрации Красноярского края. Электронный ресурс. Режим доступа: http://www.rabota-enisey.ru/tests/

17. Агеев В.Н., Древе Ю.Г. Электронные издания учебного назначения: концепции, создание, использование: учебное пособие для вузов. М. : МГУП, 2003. - 236 с.

18. Адаптивное тестирование в образовании (теория, методология, технология) / Че-лышкова М. Б. М.: ИЦПКПС, 2001.- 165 с.

19. Аскосков A.B., Гуров В.В., Иванов М.А. и др. Лабораторный практикум по курсу "Защита информации". //Научная сессия МИФИ-2003. VII выставка-конференция "Телекоммуникации и новые информационные технологии в образовании". Каталог. М.: МИФИ, 2003. - С.23.

20. Ащепкова Л.Я. Конструирование тестовых заданий и обработка результатов тестирования. Владивосток, 2003. Электронный ресурс. Режим доступа: http://kpmit.wl.dvgu.ru/library/aschepkova/tests.php

21. Баутов А. Оценка факторов, влияющих на качество программных продуктов. Текст. //Директор ИС, №№11-12, 2001, [Электронный ресурс] - Режим доступа: http://www.osp.ni/text/3 02/171992/р 1 .html

22. Безруков H.H. Классификация компьютерных вирусов MS-DOS и методы защиты от них. -М.: СП "ICE", 1990 г.

23. Безруков H.H. Компьютерная вирусология. Киев.: УРЕ, 1991 г.

24. Бобров JI.K., Сунгатулин Р.Т. Адаптивная система компьютерного тестирования. Электронный ресурс. Режим доступа: http://www.gpntb.ru/win/inter-cvents/crimea2000/doc/tom 1 /3 33/Doc 10.HTML

25. Бобровский С. Ошибкам бой! Электронный ресурс. - Режим доступа: http://www.pmprofy.ru/content/rus/43/431 -article.asp

26. Богуля Н.С., Терешкин A.A., Рогожинский A.B. Методика оценки валидности содержания компьютерного теста в условиях учебно-сертификационного центра гражданской авиации. Электронный ресурс. Режим доступа: http://ln.com.ua/~uscga/public3 .pdf

27. Бондаренко Е.В., Крежевский Ю.С. Компьютерные программы-тренажеры для студснтов-электриков. Электронный ресурс. — Режим доступа: http://old.ulstu.ru/conf/NMK99/l-22.htm

28. Борисенков С. В., Воропаев А. П., Лукашкин А. Н. Модель надежности программного обеспечения на базе геометрического закона распределения случайной величины. -//Двойные технологии, 1999, №3.

29. Борисенков С. В., Воропаев А. П., Лукашкин А. Н. О точностных характеристиках некоторых моделей надежности программного обеспечения. //Двойные технологии, 1999, №3.

30. Бузун Д.В., Балыкина Е.Н. Вариативность в расчете валидности и надежности дидактических тестов. //Информационные системы в образовании ИТО-2003. Секция VI. Электронный ресурс. - Режим доступа: http://vmw.bitpro.ru/ito/2003/VI/VI-0-1826.html

31. Буинцев Д.Н., Шевцова О.О. Лабораторный практикум по программным средствам защиты информации на основе запутывающих преобразований. Электронный ресурс. -Режим доступа: http://conference.kemsu^Wconf/nitae2006/sect/index.dhtm.en?secid=645

32. Букин М. В доступе отказать. PC WEEK , 09.01.2008. Электронный ресурс. -Режим доступа: http://www.pcweek.ru/themes/detailjprint.php?ID=105619&print= Yс

33. Вавренюк А.Б.,. Гуров В.В., Гуров Д.В. и др. Система компьютерного тестирования. -//Научная сессия МИФИ-2006. 10-я выставка-конференция "Телекоммуникации и новые информационные технологии в образовании". Каталог. М.: МИФИ, 2006. С.9.

34. Ван Тассел Д. Стиль, разработка, эффективность, отладка и испытание программ: Пер. с англ. М.: Мир, 1981, 320 с.

35. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных педагогических тестов. М.: Всемирный технологический университет, 2000 г., 64 с.

36. Васильченко Л.М. Обзор систем компьютерного тестирования. -//Педагогическое обозрение, № 56, 2006.

37. Вахлаков В.Р. Обеспечение защиты информации от непреднамеренного воздействия техническими средствами. Электронный ресурс. Режим доступа: http://kiev-security.org.Ua/box/8/139.shtml

38. Введение в криптографию. Перевод статьи Tatu Ylonen "Introduction to Cryptography". Электронный ресурс. Режим доступа: http://security.tsu.ru/indcx.php?ncwsid=9

39. Вершиннн M. Современные молодежные субкультуры: хакеры. Электронный ресурс. Режим доступа: http://psyfact0r.0rg/lib/vershinin4.htm#8

40. Волковицкий A.C. Система дистанционного тестирования "Сертификат"/ Научи, рук. Гусева А.И. // Научная сессия МИФИ - 2003. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии. - М., 2003. - С. 101.

41. Всероссийский заочный финансово-экономический институт (ВЗФЭИ). Электронный ресурс. Режим доступа: http://www.vzfei.ru/rus/about.htm

42. Вымятнин В.М., Демкин В.П., Можаева Г.В., Руденко Т.В. Мультимедиа-курсы: методология и технология разработки. Томский государственный университет, 2003. Электронный ресурс. Режим доступа: hüp.V/www.ido.tsu.m/ss/?unit=223&page=:650

43. Герасименко В.А., Малюк A.A. Основы защиты информации: учебник для вузов. М.: МИФИ, 1997. 537 с.

44. Геращенко М.М. Формирование практико-ориентированных знаний, умений и навыков у студентов экономического профиля па основе компьютерных технологий: Дис. на соискание уч. степени канд. пед. паук: по спец.13.00.08: Новосибирск, 2005, 195 с.

45. Гречихин A.A., Древе Ю.Г. Вузовская учебная книга: Типология, стандартизация, компьютеризация: Учеб.-метод. пособие в помощь авт. и ред. — М.: Логос: Московский государственный университет печати, 2000, 255с.

46. Государственное образовательное учреждение высшего профессионального образования "Томский государственный университет". Электронный ресурс. - Режим доступа: http://www.tsu.ru/

47. Гуров В.В. Анализ надежности вычислительной системы с учетом программного обеспечения,- Отчет по теме 89-3-242.

48. Гуров В.В. Анализ нормативных требований к качеству программной продукции. //Научная сессия МИФИ-2007. Сборник научных трудов. В 17 томах. Т. 12. Информатика и процессы управления. Компьютерные системы и технологии. - М.: МИФИ, 2006. - С.146-147.

49. Гуров В.В. Влияние программной составляющей на модель надежности вычислительной системы. Отчет по теме 64-88/к12.

50. Гуров В.В. Выбор показателей качества программных средств учебного назначения. //Научная сессия МИФИ-2008. Сборник научных трудов. В 15 томах. Т. 12. Информатика и процессы управления. Компьютерные системы и технологии. - М.: МИФИ, 2008. - С.159-160.

51. Гуров В.В. Методика оценки качества отладки программ малой и средней сложности. //Информационные технологии моделирования и управления. Научно-технический журнал. Выпуск 1(19) Воронеж. Изд.: Научная книга, 2005. - С.107-111.

52. Гуров В.В. Моделирование учебного процесса с учетом аппаратно-программной надежностн используемых вычислительных средств. //Компьютерное моделирование-2003: Труды Междунар. научн.-техн. конф. СПб.: Изд."Нестор", 2003. - С.408-409.

53. Гуров В.В. Организация лабораторного практикума при использовании компьютерных обучающих программ. //Компьютерное моделирование 2002: Труды Междунар. научн.-техн. конф. СПб.: Изд-во СПбГПУ, 2002 - С.197-198.

54. Гуров В.В. Организация учебного процесса при использовании компьютерных обучающих программ. //Научная сессия МИФИ-2002. Сборник научных трудов. В 14 томах. Т.12. Информатика. Компьютерные системы и технологии. - М.: МИФИ, 2002. -С.156-157

55. Гуров В.В. Основы организации вычислительных машин. М.: Изд. МИФИ, 2004, 164 с.

56. Гуров В.В. Оценка безопасности программных средств учебного назначения. -//Дистанционное и виртуальное обучение, №10, 2007 г. С.35-46.

57. Гуров В.В. Оценка надежности программ учебного назначения методом имнтационного моделирования. -//Открытое образование, №5, 2007г. С.36-39.

58. Гуров В.В. Практический опыт компьютерного тестирования потока студентов. //Научная сессия МИФИ-2006. Сборник научных трудов. В 16 томах. Т. 12. Информатика. Компьютерные системы и технологии. - М.: МИФИ, 2006.-С. 127-128.

59. Гуров В.В. Принципы и особенности моделирования микропроцессорных систем на секционированных микропроцессорах. //Математическое обеспечение вычислительных и управляющих систем. Межвузовский сборник научных трудов.- Рязань, Изд. РРТИ, 1982.

60. Гуров В.В. Синтез комбинационных схем в примерах и решениях. М.: МИФИ, 2001, 56 с.

61. Гуров В.В., Андрианова Е.С. Оценка надежности отказоустойчивых вычислительных систем как программно-аппаратного комплекса. Отчет 02.88.0077353.

62. Гуров В.В., Гуров Д.В., Криводаев А.В., Матюшенков Н.В. Пакет компьютерных обучающих программ по курсу "Организация ЭВМ". Свидетельство об официальной регистрации программы для ЭВМ №2007611495. Зарегистрировано в реестре программ для ЭВМ 10.04.2007.

63. Гуров В.В., Гуськов A.B. Практические занятия по изучению архитектуры компьютера. //Научная сессия МИФИ-2000. Сборник научных трудов. В 13 томах. Т. I ().-М.: Изд. МИФИ, 2000. - С.47-48.

64. Гуров В.В. Гуськов A.B., Воробьева Н.Ю. и др. Изучение архитектуры компьютеров в курсе "Основы теории компьютеров". //Научная сессия МИФИ-2000. Сборник научных трудов. В 13 томах. Т. 10.- М.: Изд. МИФИ,2000. - С.39-40.

65. Гуров В.В., Иванов М.А., Миков Д.В. и др. Защита информации в компьютерных системах и сетях. Компьютерные системы и технологии: Лабораторный практикум / Под ред. Л.Д.Забродина. -М.: Диалог-МИФИ, 2001.- С.173-187.

66. Гуров В.В., Иванов М.А., Саргин В.В. Электронный учебник по курсу "Защита информации". //Новые информационные технологии и системы: Материалы IV Международной научно-технической конференции. - Пенза, ПГУ, 2000г.

67. Гуров В.В., Касаткина Л.В. Разработка средств автоматизации микропрограммирования высоконадежных микропроцессорных устройств. Отчет по теме 89-3-242.

68. Гуров В.В., Козлов Л.Ф. Устройство управления. Лабораторный практикум "Устройства ЭВМ". - М.: Изд. МИФИ, 1980.

69. Гуров В.В., Кузнецова П.В., Михайлов Д.М. Методы и средства изучения программных методов защиты программных систем. //Инженерная физика , 2007, №3, с.63-67.

70. Гуров В.В., Ленский О.Д., Соловьев Г.Н., Чуканов В.О. Структура и организация вычислительного процесса в ЭВМ / Под ред. Соловьева Г.Н. М.: Изд. МИФИ, 2003, 108 с.

71. Ш.Гуров В.В., Соловьев Г.Н. Лабораторный практикум по проектированию микропроцессорных устройств. Проспект ВДНХ СССР. - М.: Изд. МИФИ, 1985.

72. Гуров В.В., Чернышев Ю.А. Кросс-система автоматизации микропрограммирования устройств на разрядно-модульных микропроцессорах. Применение микропроцессоров в системах управления. Материалы семинара. - М.: Изд. МДНТП, 1982.

73. Гуров В.В., Чернышев Ю.А., Чуканов В.О. Методы и средства дистанционного обучения по курсу "Основы теории компьютеров". //Научная сессия МИФИ-99. Сборник научных трудов. В 13 томах. Т.8.- М.: Изд.МИФИ, 1999. С.37-38.

74. Гуров В.В., Чуканов В.О. Электронный учебник по курсу "Основы теории компьютеров". //Научная сессия МИФИ-98. Сборник научных трудов. В 11 частях. Часть 5.-М.:Изд.МИФИ, 1998.-С. 185-186.

75. Гуров В.В., Чуканов В.О. Основы теории и организации ЭВМ. М.: Интернет-уииверситет информационных технологий; БИНОМ. Лаборатория знаний, 2006.- 272 с.

76. Гуров В.В., Чуканов В.О. Оценка качества программных средств учебного назначения. //Качество. Инновации. Образование. №5(27), август 2007. С.27-32.

77. Гусев П.В. Среда дистанционного обучения LEARNING SPACE 5.0 готовое решение для учебных заведений. - //Материалы XVII Международной конференции-выставки ("ИТО-2007") 9-11 ноября 2007 года, г. Москва.

78. Гусева А.И. Адаптивные методики тестирования. М.: МИФИ. Препринт 2002-007, 32 с.

79. Гусева А.И. Информационная поддержка учебного процесса в ЭАИ МИФИ (система МИФИСТО). //Научная сессия МИФИ - 2005. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии.- М.: МИФИ, 2005.-С. 126-127.

80. Гусева А.И. Методика адаптивного контроля знаний. // Информатика и образование, №7, 2003.

81. Гусева А.И. Оценка качества методического, математического и программного обеспечения распределенных обучающих систем: диссертация на соискание ученой степени доктора технических наук по специальности 05.13.11/ МИФИ, 2003 г.

82. Гусева А.И., Шпурик А.П. Дистанционная система тренинга и адаптивного тестирования ВИОТ-2. // Научная сессия МИФИ - 2003. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии. - М., 2003. -С. 102-103

83. Гусева А.И., Шпурик А.П. Дистанционная система тренинга и тестирования. // Труды IX международного научно-технического семинара "Современные технологии в задачах управления, автоматики и обработки информации". Алушта, 2003, С.303-306.

84. Гусева А.И., Шпурик А.П. Математические методы построения адаптивных методик тестирования. // Научная сессия МИФИ - 2003. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии.- М., МИФИ, 2003,- С. 104-105.

85. Деб Перелман. Как обеспечить безопасность баз данных. Электронный ресурс. -Режим доступа: http://www.pcweek.ru/themes/detail.php?ID= 106691

86. Дистанционное образование. Системы. Электронный ресурс. Режим доступа: http://www.scherbakov.biz/main/distant/systemsdo.htm

87. Дистанционное образование. Электронный ресурс. Режим доступа: http://www.bestreferat.ru/referat-30270.html

88. Дистанционный обучающий центр УНИАР. Автоматизированная система дистанционного обучения "ДОЦЕНТ" Электронный ресурс. Режим доступа:http://www.uniar.ru/dt-docent.html.

89. Дорошенко Н. Современная карьера.- //Власть денег, Июль 2006, (№92) Электронный ресурс. Режим доступа: (http://wmv.vd.net.ua/journals/articles-1321).

90. Древе Ю.Г. Теория и практика создания электронных учебников: Учебно-методическое пособие в помощь автору Электронный ресурс. -CD-ROM. Год: 2004

91. Домарев В.В. Моделирование процессов создания и оценки эффективности систем защиты информации. Электронный ресурс. Режим доступа: http://salnikov.m/security/articles/modelproc/

92. Домннн JT.H. Элементы теории графов. Пенза: Изд. Пензенского гос. университета, 2004, 139 с.

93. Елтаренко Е.А., Крупинова Е.К. Обработка экспертных оценок. /Уч. пособие -М.: МИФИ, 1982, 96 с.

94. Жуков Д.О. Использование информационных технологий для создания систем дистанционного обучения и тестирования //Информационные ресурсы России, 2004, №1(77). - С.26-29.

95. Жуков Д.О. Математические модели управления знаниями в информационныхобучающих системах: автореферат дис. на соиск. учен. степ. д. т. н. по спец. 05.13.10 "Управление в социальных и экономических системах (по техническим наукам)"/ МГУПиИ, 2006.

96. Жуков Д.О. Программное обеспечение мультимедийных систем обучения и диагностики знаний. М.: Радио и связь, 2003, 432 с.

97. Жуков Д.О. Разработка Internet-систем диагностики знаний и психологического тестирования для профессиональной ориентации и подготовки к ЕГЭ. //Вопросы тестирования в образовании, 2003, №8 - С.92-101.

98. Жуков Д.О., Арутюнов И.С., Давидович Д.Б. Разработка систем дистанционного обучения // Научная сессия МИФИ - 2004. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии.- М., МИФИ, 2004. -С.212-213.

99. Жуков Д.О. Пугачёв С.В. Интегрированная Интернет-система обучения программированию. М.: Изд. МГУПИ, 2008, 16 с.

100. Журавлев Ю.П., Котелюк Л.А., Циклинский Н.И. Надежность и контроль ЭВМ. -М.: Сов. радио, 1978, 416 с.

101. Зайцева Л.В., Прокофьева Н.О. Модели и методы адаптивного контроля знаний.-//Educational Technology & Society, 7(4), 2004, ISSN 1436-4522. pp 265-277.

102. Защита программного обеспечения./Под ред. Гроувера Д. М.: Мир, 1992.

103. Звонников В. И., Челышкова М. Б. Шкалирование результатов единого государственного экзамена: проблемы и перспективы. Единый государственный экзамен: сб. ст. - М.: Логос, 2004. - С.89-113.

104. Зиндер Е.З. Фундамент новых компьютерных систем стандарты. - Электронный ресурс. - Режим доступа: http://www.fostas.ru/confs/showinfo.php?id=l 1 &с=1

105. Зиндер Е.З. Соотнесение и использование стандартов организации жизненных циклов систем. СУБД, № 3, 1997.

106. Институт инженеров по электротехнике и электронике (Institute of Electrical and Electronic Engineers IEEE) Электронный ресурс. Режим доступа: http:// ieee. org/p ortal/site/iportals

107. Интернет-безопасность Электронный ресурс. Режим доступа: http://www.viruslist.com

108. Интернет-портал информационного пространства развития человеческих ресурсов в электроэнергетике. Электронный ресурс. Режим доступа: - http://www.rao-ees.edu.ni/files/docent-descr.htm

109. Интернет-Университет информационных технологий. Электронный ресурс. -Режим доступа: www.intuit.ru

110. Информационная безопасность во главе угла. Новости ИТ-бизнеса для профессионалов. - Электронный ресурс. - Режим доступа: http://www.astera.ru/ 09.10.2007

111. Инциденты, связанные с нарушением безопасности, становятся все серьезнее. Электронный ресурс. -Режим доступа: http://algonet.ru/?ID=635273. 04.10.07.

112. Иркутский областной центр образования. Электронный ресурс. Режим доступа: http://www.oco.baikal.rn/vesta.

113. Использование информационных технологий в высшем образовании Электронный ресурс. Режим доступа:http://www.microsoft.corn/Rus/Government/whitepapers/edu/HighEd.rnspx

114. Исследован человеческий фактор в защите информации. Электронный ресурс. -Режим доступа: http://www.dialog-21.ru/news/digest.asp?id=141571

115. К 2008 году число персональных компьютеров в мире достигнет миллиарда: Лента.ги. 12 июня 2007. Электронный ресурс. Режим доступа: http://www.lenta.ru/

116. Казарин О.В. Безопасность программного обеспечения компьютерных систем. -М.: Изд. МГУЛ, 2003, 212 с. ISBN 5-283-01667 УДК 621.382.26 Электронный ресурс. -Режим доступа: http://www.compdoc.ru/secur/protect/safesoftware/

117. Казарин О.В. Теория и практика защиты программ. Электронный ресурс. Режим доступа: www.kiev-security.org.ua BEST rus DOC FOR FULL SECURITY

118. Какими бывают компьютерные атаки. Электронный ресурс. Режим доступа: http ://argon .com.ru/internet/attack

119. Калинина Л.Ю. Оценка качества программных продуктов. //Качество. Инновации. Образование, 2006, №4. - С.52-55.

120. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах. Диссертация на соиск. уч. степени K.T.H. по спец. 05.13.13/ МИЭМ, 2002

121. Карпухина С. В.Интеллектуальный анализ результатов тестирования в ИС. -Самарский государственный архитектурно-строительный университет. Электронный ресурс. Режим доступа: http://sveta72656.narod.ru/TestGold.htm)

122. Классификация компьютерных обучающих программ. Электронный ресурс. -Режим доступа: http://de.ifmo.ru/~books/0055/glaval3.htm

123. Клейнрок JI. Вычислительные системы с очередями. -М.: Мир, 1979, 600 с.

124. Клейнрок JI. Теория массового обслуживания. Пер. с англ. М.: Машиностроение, 1979. - 432 с.

125. Кожемяченко В.И., Климов В.Ю., Мочалов С.П. Корпоративная система компьютерного тестирования. Электронный ресурс. Режим доступа: http://conference.kemsu.ru/conf/nitue2006/sect/index.dhtm.en?secid=:645

126. Козлов Б.А., Ушаков И.А. Справочник по расчету надежности аппаратуры радиоэлектроники и автоматики. М.: Изд. Сов. радио, 1975, 472 с.

127. Колемаев В.А., Калинина В.Н. Теория вероятностей и математическая статистика. М.: ЮНИТИ-ДАНА, 2003, 352 с.

128. Комитет №461 "Информационно-коммуникационные технологии в образовании (ИКТО)" при Федеральном агентстве по техническому регулированию и метрологии Электронный ресурс. Режим доступа: http://www.gost.ru/wps/portal/pages.TechCom.

129. Компания ГиперМетод Электронный ресурс. Режим доступа: http://www.hypennethod.ru/

130. Компания "Виртуальные технологии в образовании" Электронный ресурс. -Режим доступа: http://www.prometeus.ru/products/sdo/

131. Компьютерные обучающие программы. Балтийского государственного технического университета, г. Санкт-Петербург. Электронный ресурс. Режим доступа: http://kedrbgtu.chat.ru/kop.html

132. Компьютерные обучающие программы Российского государственного гуманитарного университета. Электронный ресурс. Режим доступа: http://www.rsuh.ru/ncws.html?id=41375

133. Конструктор тестов. Электронный ресурс. Режим доступа: http://tests.pp.ru/constructor/index.phtml

134. Корячко В.П. Теоретические основы САПР. Электронный ресурс. Режим доступа: http://www.info.oglib.ru/bgl/495.html

135. Корпоративный сайт компании ToolBook. Электронный ресурс. Режим доступа: http://www.toolbook.com/Learn.php

136. Кочетурова Н. А. Стандарты в электронном обучении. //Информационные технологии в образовании. Ежеквартальный бюллетень НГТУ и Ассоциации "Сибирский открытый университет", октябрь 2004г №3, с.8-10, декабрь 2004г №4, с.15.

137. Крис Преймесбергер. Пять шагов к непрерывной защите данных. Электронный ресурс. Режим доступа: http://vvww.pc\veek.ru/themes/detail.php?ID=i06743

138. Кто такой хакер. Электронный ресурс. Режим доступа: http://determion.narod.ru/hacker.html

139. Лабораторные работы по курсу "Локомотивные энергетические установки" Петербургский Государственный Университет Путей Сообщения. Электронный ресурс. — Режим доступа: http://locsoft.tripod.com/Diesel.htm

140. Лабораторный практикум по курсу физики: Механика: уч. пособие / Под ред. Нерсесова Э.А. М.: МИФИ, 1980, 84 с.

141. Лабораторный практикум "Электромагнитные колебания и волны. Переменныйток" / Под ред. Безуса В.А. М.: МИФИ, 1979, 40 с.

142. Леннон Э. Бюллетень лаборатории информационных технологий NIST за май 1999 г. Компьютерные атаки: что это такое и как защититься от них. Электронный ресурс. -Режим доступа: http://www.citfomm.ru/internet/securities/secatt.shtml.

143. Леонова Н.М. Методы адаптивного структурно-параметрического управления и идентификации многосвязных социальных объектов на примере образовательной деятельности: автореферат диссертации на соискание ученой степени д.т.н. по спец. 05.13.11/ МИФИ, 2006.

144. Лесько С.А. Жуков Д.О. Динамическая модель адаптивного тестирования. // Научная сессия МИФИ - 2007. Сборник научных трудов. Т. 12: Информатика и процессы управления. Компьютерные системы и технологии. - М.: МИФИ, 2007. - С.119-121.

145. Лнпаев В.В. Надежность программных средств. -М.: СИНТЕГ. 1998, 232с.

146. Липаев В.В. Выбор и оценивание характеристик качества программных средств: Методы и стандарты. Серия "Информационные технологии". М.:СИНТЕГ, 2001, 228 с.

147. Липаев В.В. Экономика производства сложных программных продуктов. М.: СИНТЕГ, 2008,419 с.

148. Липаев В.В. Системное проектирование сложных программных средств для информационных систем. М.: СИНТЕГ, 2002, 268 с.

149. Липаев В.В. Технико-экономическое обоснование проектов сложных программных средств. М.: СИНТЕГ. 2004, 284 с.

150. Липаев В.В. Функциональная безопасность программных средств. М.: СИНТЕГ, 2004, 348 с.

151. Липаев В.В. Анализ и сокращение рисков проектов сложных программных средств. М.: СИНТЕГ. 2005, 224 с. Электронный ресурс. - Режим доступа: http://www.bizbook.ru/listing.php ?bookid=23705&pagenum=209&reset

152. Липаев В.В. Функциональная безопасность программных средств Информационный бюллетень "Jet Info 08(135)/2004".

153. Липаев В.В. Технологические процессы и стандарты обеспечения функциональной безопасности в жизненном цикле программных средств. Информационный бюллетень "Jet Info 03(130)/2004".

154. Липаев В.В. Проектирование программных средств: Учебн. пособие для вузов для спец. "Автом. сист. обр. информ. и упр". М.: Высш. шк., 1990, 303 с.

155. Майерс Г. Надежность программного обеспечения: М.: Мир, 1980, 360с.

156. Междисциплинарный центр дополнительного профессионального образования СПбГУ. Электронный ресурс. Режим доступа: http://dl.nw.ru

157. Международный союз по телекоммуникации (International Telecommunication Union ITU) Электронный ресурс. Режим доступа: http://www.itu.int/

158. Международная электротехническая комиссия (International Electrotechnical Commission IEC). Электронный ресурс. Режим доступа: http://www.iec.ch/

159. Моисеенков И. Безопасность компьютерных систем. // Компьютер Пресс, 1991, №10-12.

160. Московский государственный университет экономики, статистики и информатики (МЭСИ). Электронный ресурс. Режим доступа: http://mesi.ru

161. Московский Государственный Технологический Университет "Станкин". -Электронный ресурс. Режим доступа: http://wvvw.stankin.rn/

162. Московский государственный университет приборостроения и информатики Электронный ресурс. Режим доступа: http://net.rngapi.ru/

163. Московский инженерно-физический институт (государственный университет) -Электронный ресурс. — Режим доступа: http://www.mephi.ru

164. Надежность технических систем: справочник / Под ред. Ушакова И.А. М.: Ра-дно и связь, 1985, 608 с.

165. Нежданский К. Upgrade для персонала и бизнеса. Электронный ресурс. Режим доступа: http://www.belgazeta.by/20041213.49/4702928 82

166. Нижегородский государственный технический университет. Инженерный центр. Программно-обучающие системы. Электронный ресурс. Режим доступа: http://www.ecn gtu.nnov.ru/index.php ?url=posmain

167. Нохрина H.H. Тест как общенаучный диагностический метод. //Социологические исследования. 2005. № 1. - С. 118-126.

168. Нупур Д, Хамфри У., Редвайн С., Цибульски Г., Макгро Г. Процессы разработки безопасного программного обеспечения. //Открытые системы, №8, 2004.

169. Обзор программных продуктов для тестирования знаний. Электронный ресурс. — Режим доступа: http://xpt.narod.ru/files/htinl/xpt/material.htm

170. Обзор специальных инструментальных средств и оболочек для создания курсов ДО. Электронный ресурс. Режим доступа: http://dl.nw.ru/software/review/

171. Обеспечение информационной безопасности организаций банковской системы Российской Федерации. Стандарт Банка России. Общие положения. 2004-12-01. Электронный ресурс. Режим доступа: http://www.cbr.ru/credit/gubzidocs/IBBS-l .0-2004.pdf

172. Образовательная среда "Шопен" Электронный ресурс. Режим доступа: http://altnet.ru/%7Emcsmall/chop.htm

173. Окольнишников В.В. Представление времени в имитационном моделировании. -//Вычислительные технологии, т.10, №5, 2005 г. С.57-80.

174. Осипова Е.М. Стандарты информационных технологий в обучающих системах (Learning technology systems standards): Учебно-методическое пособие / МЦ СПбГУ. -СПб, 2001, 34 с. Электронный ресурс. Режим доступа: http://dl.nw.ru/standarts

175. Панков А.Р., Платонов Е.Н. Практикум по математической статистике: Учебное пособие. -М.: Изд. МАИ, 2006, 44 с.

176. Пальчун Б.П. Дефектология интеллектуальных компьютерных программ. Информационное противодействие угрозам терроризма. 2005, №4. - С.118-123 Электронный ресурс. - Режим доступа: http://www.contrterror.tsure.ru/site/magazine4/03-18-Palchun.htm

177. Парамонов В. Пятая часть ИТ-расходов приходится на обеспечение безопасности. 11 октября 2007 года. Электронный ресурс. Режим доступа: http://security.compulenta.m//335567/?phraseid=3319772

178. Парамонов В. В Сети зафиксирована массированная хакерская атака. -КОМПЬЮЛЕНТА 09.01.08. Электронный ресурс. Режим доступа: http://security.compulenta.ru//344362/?phrascid=6300399

179. Персональный сайт Жукова А. Электронный ресурс. Режим доступа: http://xpt.narod.ru/

180. Петров А.Б. Концептуалы нового образования в эпоху ИТ . Educational Technology & Society 8(1) 2005 С. 198-200. Электронный ресурс. - Режим доступа: http://ifets.icee.org/russian/depository/v8il/pdf77.pdf

181. Петербургский Государственный Университет Путей Сообщения. Электронный ресурс. Режим доступа: http:/Avww.pgups.edu/portoI/page/portaI/groupfor^gups/indexpgups

182. Подсевалов В.В. Статистическая обработка результатов тестирования. Электронный ресурс. - Режим доступа: http://tiei.ru/ppage/pages/57/HTML/Podsevalov.htm

183. Полаженко С. Актуальность вопросов тестирования безопасности и защищённости программных продуктов Электронный ресурс. Режим доступа: http://software-testing.ru/lib/polazhenko/print-security-testing-actuaIity.htm

184. Половко A.M. Основы теории надежности. -М.:Наука, 1964, 448с.

185. Попков В.К., Соколова О.Д., Зыков М. JI. Обучающая система для задач анализа и синтеза проектных решений систем сетевой структуры. Электронный ресурс. Режим доступа: http://conference.kemsu.ru/conf/nitue2006/sect/index.dhtm.en?secid=645

186. Попов А. Метрики качества программного обеспечения. Электронный ресурс. -Режим доступа: http://www.pmprofy.ru/content/rus/67/672-article.asp

187. Портал информационной поддержки единого государственного экзамена. Электронный ресурс. Режим доступа: http://ege.edu.ru/PortalWeb/index.jsp

188. Портал Камина Андрея Александровича Электронный ресурс. Режим доступа: http://www.people.nnov.ru/kamin/pt.htm

189. Портал поддержки тестирования и образования в Российской Федерации. Электронный ресурс. Режим доступа: http://testor.ru

190. Правила Хольцмана для надежного ПО. Электронный ресурс. Режим доступа: http://www.dialog-21.ru/news/digest.asp?id=141584

191. Программный пакет УСАТИК Электронный ресурс. Режим доступа: http://www.usatic.narod.ru/

192. Программный комплекс "Батисфера". Электронный ресурс. Режим доступа:http ://wwvv.baty. ru/

193. Полонников Р.И., Никандров A.B. Методы оцен1ш надежности программного обеспечения. СПб: Политехника, 1992, 80 с.

194. Программы для образования и бизнеса. Фирма SunRav Software. Электронный ресурс. Режим доступа: http://www.sunrav.ru/

195. Пугачёв C.B., Савостьянов A.B., Чёрный А.И., Автоматизация идентификации исходного кода программ на основе методов искусственного интеллекта. //Научная сессия МИФИ-2007, т. 10. - М., МИФИ, 2007. - С.78-79.

196. Роберт Т. Фатрелл, Дональд Ф. Шафер, Линда И. Шафер. Управление программными проектами: достижение оптимального качества при минимуме затрат/ Пер. с англ. Изд. дом "Вильяме", 2004, 1136 с.

197. Ромашок С.Г. Оценка надежности программного обеспечения. //Открытые Системы, № 4/94. - С.68-71.

198. Российский государственный институт открытого образования. Электронный ресурс. Режим доступа: http://openet.ru

199. Рыбанов А.А. Количественные оценки эффективности процесса формирования ответов на тестовые задания при дистанционном тестировании знаний. //Качество. Инновации. Образование, 2006, №5. - С.44-53.

200. Саати Т.Л. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.

201. Саати Т. Л. Элементы теории массового обслуживания и ее приложения. М.: Сов. радио. 1971, 520с.

202. Самсонова С.А. Информатизация курса стохастики в вузе. /ЛТовые информационные технологии и системы: Труды VI Международной научно-технической конференции 4.2. - Пенза, ПГУ, 2004 г. - С. 180-184.

203. Семьянов П. Красная волна. // НОВИНТЕХ, 1991, N 2.

204. Середа С.А. Этапы преодоления систем защиты программного обеспечения, "ИНФОРМОСТ" //"Радиоэлектроника и телекоммуникации", № 6 (30) 2003. Электронный ресурс. - Режим доступа: http://www.informost.rU/ss/30/4.shtml

205. Система дифференцированного Интернет-обучения ГЕКАДЕМ. Электронный ресурс. Режим доступа: http://www.hecadem.irk.ru:8101/

206. Система проверки знаний. Версия 2.5. Электронный ресурс. Режим доступа: http://maup.chat.ru

207. Система тестирования кафедры ЛМИС МИЭМ. Электронный ресурс. Режим доступа: http://dist.xenum.biz

208. Скрипт-вирусы. Электронный ресурс. Режим доступа: http://www.viruslist.com/ш/viшses/encyclopedia?chapter=:156771411

209. Скрипт-вирусы. Электронный ресурс. Режим доступа: http://www.help-апНупгиэ .ги/ drwebviшsscript.php

210. Скрипт-вирусы Электронный ресурс. Режим доступа: http://www.ki-yptocrew.de/board

211. Смагин В.А. Метод оценивания и обеспечения надежности сложных программных комплексов. Электронный ресурс. Режим доступа: http://sir35.narod.ru/Cmagin/Metod15032.htm

212. Смагин В.А. Модель надежности живого организма (оператора). Электронный ресурс. Режим доступа: http://sir35.narod.rU/Cmagin/index.htm#Beg

213. Смагин В.А. О моменте наступления будущего события в случайном потоке событий. Электронный ресурс. Режим доступа:http://sir35.narod.ru/Cmagin/K10073/Pred.htm

214. Смагин В.А. Форсированные быстродействием испытания программного обеспечения на надежность. Электронный ресурс. Режим доступа: http://sir35.narod.rU/Cmagin/P08092/TEST08092.htm#Beg

215. Смирнов В. Н. Системное исследование показателей качества изделий. Д.: Машиностроение, 1981.

216. Смирнов В.Е., Смирнов Е.В., Монахов К.В., Шабанов А.К. Математическая модель оценки надежности аппаратно программного комплекса //60-я Научная сессия, посвященная Дню радио, 17-19 мая 2005г. С.-Пб., ЗАО АВТЭКС. - С.91-93.

217. Создание тестов и проведение тестирования на компьютере пакет программ UniTest System. Электронный ресурс. - Режим доступа: http://sight2k.com/rus/

218. Соловов A.B. Дидактический анализ проблематики электронного обучения. -//Труды Международной конференции "IEEE International Conference on Advanced Learning Technologies". Казань: КГТУ, 2002. - С. 212-216.

219. Соловьев Г.Н., Козлов Л.Ф., Гуров В.В. О постановке проблемного обучения основам микропроцессорной техники. //Микропроцессоры и их применение. Материалы семинара. - Пенза, Изд. ПДНТП, 1983.

220. Соловьев Г.Н., Чернышев Ю.А., Козлов Л.Ф., Гуров В.В. О постановке практического изучения основ микропроцессорной техники. Автоматизация проектирования средств вычислительной техники и перспективы применения микропроцессоров. - Л.: Изд. ЛЭТИ, 1978.

221. Стенг Д., Мун С. Секреты безопасности сетей. К.: "Диалектика", 1995.

222. Сырков Б. Компьютерная преступность в России. Современное состояние. -//Системы безопасности связи и телекоммуникаций, 1998, №21. С.70-72.

223. Сысоева Л. А. Международные стандарты на архитектуру систем, реализующих технологии обучения (LTSА). -//Открытое образование. № 3, 2002. С. 13-19.

224. Тестирование. Электронный ресурс. Режим доступа: http://2balla.ru/index.php?option=comewriting&Itemid=l 17&func=chapterinfo&chapter=29 629&story=21154

225. Тестландия Электронный ресурс. Режим доступа: http://www.testland.ru.

226. Томашевский A.B. Оценка надежности защиты компьютерной информации.

227. Электронный ресурс. Режим доступа: http://www.cnmeresearch.ru/library/Tomashev.doc

228. Управление рисками: обзор употребительных подходов. Информационный бюллетень "Jet Info 11-12/2006". Электронный ресурс. Режим доступа: http : //ww w.j etinfo. ru/

229. Файтс Ф., Джонстон П., Кратц М. Компьютерный вирус: проблемы и прогноз. -М.: Изд. Мир, 1993 г.

230. Федеральное агентство по техническому регулированию и метрологии. Электронный ресурс. Режим доступа: http://www.gost.ru.

231. Филиппов С.А. Архитектура подсистемы адаптивного обучения МИФИСТО. -//Научная сессия МИФИ 2006. Сборник научных трудов. Т.2: Технологии разработки программных систем. Информационные технологии. - М.: МИФИ, 2006. - С. 32-33.

232. Ханджян А.О. Моделирование надежности программного обеспечения Электронный ресурс. Режим доступа:http://software-testing.m/lib/handzhyan/softwarequalitymodeling.htm

233. Центр компьютерного обучения "Специалист" при МГТУ им. Баумана. Электронный ресурс. Режим доступа: http://www.specialist.ru

234. Центр по развитию системы централизованного тестирования и единого государственного экзамена. Электронный ресурс. — Режим доступа: http://neogen.biomash.net/about/about.php

235. Центр тестирования развития при МГУ. Электронный ресурс. Режим доступа: http://www.ht.ru/prof/tests/

236. Центр тестирования и развития "Гуманитарные технологии". Электронный ресурс. — Режим доступа: http://www.proforientator.ru/about/company.html

237. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей/ Учебное пособие. М.: И. Ц, 1995.

238. Челышкова М. Б. Теория и практика конструирования педагогических тестов. -М.: ИЦПКС. 2000, 409 с.

239. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос. 2002, 432 с.

240. Шнанер Брюс Секреты и ложь. Безопасность данных в цифровом мире. СПб.: Питер, 2003, 368 с.

241. Шрайбер, Т. Дж. Моделирование на GPSS. Л.: Машиностроение, 1980, 592 с.

242. Adobe eLearning solutions. Электронный ресурс. Режим доступа: http://www.macromedia.eom/sofitware/eleamingsuite/productinfo/overview/index.h

243. Advanced Distributed Learning Электронный ресурс. Режим доступа: http://www.adlnet.gov/index.cfm

244. AICC Aviation Industry СВТ (Computer Based Training) Committee. Электронный ресурс. - Режим доступа: http://www.aicc.org

245. A Lightweight Method for Building Reliable Operating Systems Despite Unreliable Device Drivers. Technical Report IR-CS-018, January 2006. Электронный ресурс. - Режим доступа: (http://www.minix3.org/doc/reliable-os.pdf)

246. Alliance for Remote Instructional Authoring and Distribution Networks for Europe. Электронный ресурс. Режим доступа: http://www.ariadne-eu.org

247. Claude Crepeau, Alain Slakmon . Simple BackDoors for RSA Key Generation. School of Computer Science, McGill University. Электронный ресурс. Режим доступа: http://eprint.iacr.Org/2002/l 83 .pdf

248. Cohen F. Computer viruses. Theory and experiments // Adv.Comput. Syst. Secur. Vol.3 Norwood (Mass), 1988.

249. Cryptovirology Labs Электронный ресурс. Режим доступа: http://www.cryptovirology.com/

250. Defining Strategies to Protect against TCP SYN Denial of Service Attacks, Cisco Systems, tech. memo, Aug. 2001.

251. Desmedt Y. Abuses in Cryptography and How to Fight Them. Advances in Cryptol-ogy CRYPTO'88, pp. 375-389. Электронный ресурс. - Режим доступа: http://dsns.csie.nctu.edu.tw/research/crypto/HTML/PDF/C88/375.PDF

252. GPSS имитационное моделирование систем. Электронный ресурс. - Режим доступа: http://www.gpss.ru/

253. IEEE Learning Technology Standards Committee. Электронный ресурс. Режим доступа: http://ieeeltsc.org/

254. IEEE P14S4.1/D8, 2001-04-06 -рабочий стандарт для технологий обучения (Draft

255. Standard for Learning Technology),

256. IEEE 1484.1 LTSA System, Компоненты системы

257. IEEE P1484.1/D8, 2001-04-06. Draft Standard for Learning Technology Learning Technology Systems Architecture (LTSA)

258. IMS Global Learning Consortium, Inc. Электронный ресурс. Режим доступа: http://www.imsglobal.org

259. Information Security Spending on the Rise, CompTIA Survey Revealshttp Электронный ресурс. -Режим доступа: http://www.comptia.org/pressroom/getpr.aspx?prid=1286

260. ISO International Organization for Standardization. Электронный ресурс. Режим доступа: http://www.iso.org/iso/en/ISOOnline.frontpage

261. JTC 1/SC 36 Information technology for learning, education and training Электронный ресурс. Режим доступа:http://www.iso.org/iso/en/stdsdevelopment/tc/tclist/TechnicalCommitteeDetailPage. Techni-calCommitteeDetail?COMMID=4997

262. Lotus Learning Management System. Электронный ресурс. Режим доступа: http://www-306.ibm.com/software/lotus/products/lcarning-management-system/

263. Michael J. Wiener CryptoAnalysis of Short RSA Secret Exponent. Canada. 1989. Электронный ресурс. Режим доступа: http://www3.sympatico.ca/wienerfamily/Michael/MichaelPapers/ShortSecretExponents.pdf

264. Oracle Universal Content Management Downloads Электронный ресурс. — Режим доступа: http://www.oracle.com/technology/software/products/content-management/index.htm^rssid^ss^tnsoft

265. Paul С. Kocher. Timing Atacks on Implementations of Diffie-Hellman, RSA, DSS, and Other Systems. Cryptogaphy Research, USA. Электронный ресурс. Режим доступа: http://www.cryptography.com/resources/whitepapers/TimingAttacks.pdf

266. Softportal Электронный ресурс. — Режим доступа: http ://www. softportal. с om/freesoftwarc/2174

267. SunRav TestOfficePro программы для создания тестов и проведения тестирования. Электронный ресурс. Режим доступа: http://www.sunrav.ru/srtop/index.php

268. Symantec: тенденции и прогнозы эволюции сетевых угроз. Электронный журнал "Спамтест". Декабрь, 2007. Электронный ресурс. - Режим доступа: http://www.spamtest.ru/news.html?id=207509046

269. The LRN Tookit: Giving Customers a Head Start on Online Learning Solutions Электронный ресурс. — Режим доступа: http://www.microsoft.com/presspass/features/2000/02-081rn.mspx

270. Toolbook II Assistant Version 6.0. Электронный ресурс. Режим доступа: http://www.bestreferat.ru/referat-31078 .html

271. Young A., Yung M. The Dark Side of Black-Box Cryptography. Advances in Cryp-tology CRYPTO'96, pp. 89-103. Электронный ресурс. - Режим доступа: http://dsns.csie.nctu.edu.tw/research/crypto/HTML/PDF/C96/89.PDF

272. Young A., Yung М. Kleptography: Using Cryptography Against Cryptography. Eurocrypt '97, pp. 62-74.

273. Young A., Yung M. The Prevalence of Kleptographic Attacks on Discrete-Log Based Cryptosystems. CRYPTO '97, pp. 264-276.

274. UniTest System программное обеспечение для автоматизации компьютерного тестирования. Электронный ресурс. - Режим доступа http://www.sight2k.com/rus/unitest/