автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизированная система для проведения интернет-экзаменов

На правах рукописи

СКШИДЛЕВСКИЙ АНТОН АЛЕКСЕЕВИЧ

АВТОМАТИЗИРОВАННАЯ СИСТЕМА ДЛЯ ПРОВЕДЕНИЯ ИНТЕРНЕТ-ЭКЗАМЕНОВ

Специальность 05.13.Об - Автоматизация и управление технологическими процессами и производствами (образование)

Автореферат

диссертации на соискание ученой степени кандидата технических наук

2 6 МАЙ 2011

Санкт-Петербург - 2011

4848008

Работа выполнена в Санкт-Петербургском государственном университете информационных технологий, механики и оптики (СПбГУ ИТМО) на кафедре компьютерных образовательных технологий.

Научный руководитель кандидат технических наук, доцент

Лямин Андрей Владимирович

Официальные оппоненты доктор технических наук, профессор

Гатчин Юрий Арменакович

кандидат технических наук Рубашкин Дмитрий Давидович

Ведущая организация Федеральное государственное учреждение

"Государственный научно-исследовательский институт информационных технологий и телекоммуникаций"

Защита состоится 1 июня 2011 года в 15 часов 30 минут на заседании диссертационного совета Д.212.227.06 при Санкт-Петербургском государственном университете информационных технологий, механики и оптики по адресу: 197101, Санкт-Петербург, Кронверкский пр. 49.

С диссертацией можно ознакомиться в библиотеке СПбГУ ИТМО.

Автореферат разослан 29 апреля 2011 года.

Ученый секретарь -

диссертационного совета Лисицына Л.С.

Общая характеристика работы

Актуальность проблемы. В настоящее время наиболее перспективным направлением развития технологий проведения экзаменов является активное применение сетевых информационных технологий. Использование компьютерных и интернет-технологий позволяет повысить эффективность таких мероприятий и снизить затраты, связанные с их организацией и проведением.

Наиболее известный общероссийский экзамен для школьников - это единый государственный экзамен (ЕГЭ). Опыт проведения ЕГЭ с 2004 года в различных регионах РФ показывает, что существенным недостатком этого экзамена является "бланковая технология" его проведения. Наиболее остро проблема обозначается при проведении экзаменов по информатике без использования компьютеров, т.к. использование компьютеров позволяет испытуемым не только продемонстрировать навыки работы на персональных компьютерах, что является одной из целей изучения информатики в школе, но и дает возможность проверить и оценить навыки применения информационных технологий и технологий программирования при выполнении практических заданий из курса информатики. Однако процесс планирования, организации и проведения интернет-экзаменов является весьма нетривиальной задачей. На данный момент недостаточно наработок в этой области и требуется разработка современных моделей, методик и алгоритмов, описывающих процесс планирования подобных мероприятий, и специализированных сетевых распределенных многопользовательских автоматизированных систем (АС) для организации и проведения интернет-экзаменов.

Подобные системы должны учитывать специфические требования, предъявляемые к проведению таких мероприятий. Технологии АС должны обеспечивать удаленное компьютерное тестиросание школьников в реальном масштабе времени с применением стандартных интернет-технологий по заданиям, аналогичным заданиям ЕГЭ по информатике. Сценарии тестирована в системе должны быть гибкими и легко настраиваемыми на вариативные по структуре и содержанию экзаменационные работы по информатике в компьютерном виде. Система должна включать инструменты для проведения педагогических измерений, которые обладают расширенными возможностями и включают различные типы тестовых заданий, в том числе содержат механизмы проверки заданий с неразрешимым множеством правильных ответов - виртуальную лабораторию, среда которой позволит школьникам продемонстрировать навыки написания и отладки программ на различных языках программирования, а экспертам - проверить работоспособность написанных программ, что, с одной стороны, обеспечит равные условия для школ, имеющих различное материально-техническое обеспечение для подготовки школьников по информатике, а, с другой стороны, повысит объективность проверки таких заданий экспертами.

Система должна обеспечивать мониторинг работы системы в режиме реального времени в соответствии с правами доступа пользователей, а также

формирование отчетов о сдаче экзамена для каждого школьника в отдельности и по всем участникам экзамена, об экспертизе, проведенной экспертом ЕГЭ, об итоговой оценке экзамена с учетом рассмотрения апелляций.

Технологии АС должны обеспечивать высокий уровень надежности, безопасности и устойчивости к сбоям. Необходимо гарантировать защиту от несанкционированного доступа, от возможных сбоек в работе компьютеров и компьютерных сетей, а также учитывать требования приемных экзаменационных комиссий вузов по соблюдению секретности и документирования проводимых испытаний. Система до.чжна быть масштабируема и при необходимости должна без труда позволять наращивать вычислительную мощность. Повысить надежность системы возможно за счет использования нескольких взаимодействующих между собой узлов, где каждый узел представляет собой автономную систему, состоящую из одного или нескольких вычислительных комплексов. Использование одновременно нескольких узлов обусловлено высокими требованиями обеспечения значительного количества активных сессий пользователей, инвариантности пользовательских данных по отношению к сбоям аппаратного и программного обеспечения. Для определения характеристик развертываемой системы в условиях действующих ограничений необходимы соответствующие методики и алгоритмы, от качества которых зависит эффективность системы в целом.

Цель диссертационной работы - разработка и исследование автоматизированной системы для проведения интернет-экзаменов. Для достижения данной цели были поставлены и решены следующие задачи:

а) Анализ требований к организации и проведению интернет-экзаменов;

б) Разработка модели проведения интернет-экзаменов, включая этапы подготовки мероприятия, обработки и анализа результатов испытаний;

в) Разработка структуры АС, удовлетворяющей требованиям к организации и проведению интернет-экзаменов;

г) Разработка методики развертывания АС в соответствии со спецификацией конкретного мероприятия;

д) Проведение апробации полученных результатов.

Научная новизна. На защиту выносятся результаты, обладающие научной новизной:

а) Разработана модель проведения, мониторинга и оценивания результатов интернет-экзамена, включающая расширенные возможности для проведения педагогических измерений, мониторинга хода экзамена в реальном масштабе времени и многоуровневой независимой экспертизы;

б) Предложена структура АС, удовлетворяющая требованиям к организации и проведению интернет-экзаменов и обеспечивающая возможность управления вычислительной мощностью в условиях многократного раздельного резервирования программных и аппаратных элементов при наличии многоуровневой системы безопасности, основанной на правилах защиты от несанкционированного доступа и методах шифрования данных при передаче и хранении;

в) Предложена методика планирования развертывания АС с заданными параметрами вычислительной мощности, основанная на использовании имитационной модели системы, параметры которой уточняются в ходе экспериментов на разработанном стенде.

Методы исследования. В работе использованы теория вычислительных процессов и систем, методы дискретного анализа, теория систем массового обслуживания и методы имитационного моделирования, методы теории вероятности и математической статистики, методы проектирования программных систем и построения графических человеко-машинных интерфейсов.

Достоверность научных положений, выводов и практических рекомендаций, полученных в диссертации, подтверждается строгостью формального построения задачи, адекватностью применяемых методов исследования и валидацией модели, а также сопоставлением результатов расчетов с данными эксперимента, результатами компьютерного моделирования и материалами литературных источников.

Практическая значимость подтверждается использованием результатов исследования при выполнении следующих научно-исследовательских работ: "Апробация проведения экзаменов по информатике в компьютерном виде при проведении процедур оценки качества образования в 2007 году на примере единого государственного экзамена (ЕГЭ)" (ГК № П229 от 18 июня 2007 г.), "Совершенствование технологии проведения единого государственного экзамена по информатике в компьютерном виде" (ГК № П248 от 18 июня 2008 г.), "Разработка информационно-аналитической системы (программного комплекса) обеспечения взаимодействия специализированного интернет-портала молодых ученых и специалистов с научно-образовательными сообществами федеральных округов и отдельных субъектов Российской Федерации" (ГК № П2664 от 7 декабря 2009 г.). Результаты, представленные в диссертации, используются при проведении Открытой олимпиады Санкт-Петербурга по кибернетике среди школьных команд (http://cyber-net.spb.ru/), Всероссийской студенческой олимпиады по направлению "Оптотехника" (http://faculty.ifmo.ru/vso/), Всероссийской студенческой компьютерной олимпиады по основам технологии приборостроения

(http://www.ifmo.ru/confeTens/158/conf_158.htm).

Апробация результатов работы. Основные положения диссертационной работы докладывались на следующих научно-технических конференциях: Всероссийская научно-методическая конференция "Телематика'2008" (СПб.,

2008), XXXVII Научная и учебно-методическая конференция профессорско-преподавательского и научного состава СПбГУ ИТМО (СПб., 2008), V Всероссийская межвузовской конференции молодых ученых (СПб., 2008), Всероссийская научно-методическая конференция "Теяематика'2009" (СПб.,

2009), ХХХУ11Г Научная и учебно-методическая конференция профессорско-преподавательского и научного состава СПбГУ ИТМО (СПб., 2009), VI Всероссийская межвузовская конференция молодых ученых (СПб., 2009), Международная научно-практическая конференция-выставка "Единая

образовательная информационная среда: проблемы и пути развития" (Томск, 2009), Всероссийская научно-методическая конференция "Телематика'2010" (СПб., 2010), Всероссийская научно-практическая конференция с международным участием "Информационные технологии в обеспечении нового качества высшего образования" (Москва, 2010), XXXVIV Научная и учебно-методическая конференция профессорско-преподавательского и научного состава СПбГУ ИТМО (СПб., 2010), VII Всероссийская межвузовская конференция молодых ученых (СПб., 2010), XXXVV Научная и учебно-методическая конференция профессорско-преподавательского и научного состава СПбГУ ИТМО (СПб., 2011), VIII Всероссийская межвузовская конференция молодых ученых (СПб., 2011), Международная научно-практическая конференция "Дистанционные технологии в образовании - 2011" (Караганда, 2011), Международная научно-практическая конференция "Новые информационные технологии в образовании" (Екатеринбург, 2011), Международная конференция "Информационные технологии в образовании и науке" (Самара, 2011).

Публикации. Основные научные результаты диссертационного исследования с необходимой полнотой изложены в 11 печатных работах, в том числе в 2 статьях, опубликованных в рецензируемых научных журналах, рекомендованных ВАК Минобрнауки РФ для представления основных результатов диссертаций на соискание ученой степени кандидата наук. В работах, выполненных в соавторстве, личный вклад соискателя составляет 50%.

Структура диссертации. Диссертация содержит введение, пять глав, заключение, список литературы, содержащий 95 наименований. Основная часть работы изложена на 145 страницах машинописного текста и содержит 79 рисунков и 15 таблиц.

Содержание работы

Во введении описывается предмет исследования, ставятся цель и задачи исследования, обосновывается актуальность темы диссертационной работы. Формулируются положения, выносимые на защиту.

В первой главе проведен анализ требований к организации и проведению ЕГЭ изложенных в нормативно-правовых и организационных документах, регулирующих проведение ЕГЭ, на основе которого сформулированы основные положения построения распределенной многопользовательской АС, обеспечивающей проведение интернет-экзаменов. Спецификация требований к АС для проведения интернет-экзаменов включает следующие позиции: структура экзаменационной работы; распределение заданий различной сложности по частям экзаменационной работы; технологии компьютерного тестирования; сценарии компьютерного тестирования; сценарии проверки экзаменационных работ; сценарии внесения изменений в результаты испытаний по итогам рассмотрения апелляций; формы отчетных документов; технологии мониторинга хода экзамена в режиме реального времени.

Вторая глава посвящена описанию модели проведения интернет-экзаменов. Разработка модели проводачась на основе спецификации

требований, сформулированных в первой главе. Модель позволяет автоматизировать все этапы подготовки и проведения ЕГЭ по информатике, в том числе экспертизу результатов выполнения заданий части С, подсчет первичных баллов и шкалирование результатов, мониторинг процесса тестирования в режиме реального времени. В модели представлена виртуальная лаборатория, которая позволяет, с одной стороны, продемонстрировать испытуемому навыки написания и отладки программ, а с другой стороны, проверить работоспособность этой программы. К несомненным достоинствам данной модели относится электронный документооборот, позволяющий в системе формировать, хранить и выводить на печать при необходимости: экзаменационные работы испытуемых, протоколы экспертиз заданий части С, протоколы работы конфликтной комиссии, отчеты по результатам выполнения экзаменационных работ участников в первичных баллах, отчеты о результатах испытаний в шкалированном виде, отчеты о фактически затраченном времени на выполнение заданий экзаменационной работы, статистические отчеты для анализа процесса и результатов тестирования.

Для подготовки и проведения ЕГЭ по информатике в компьютерном виде, обработки и анализа результатов экзамена в модели предусмотрены следующие группы безопасности (роли пользователей): "Администратор", "Методист", "Аналитик", "Эксперт", "Инструктор", "Участник". Группа безопасности "Администратор" предназначена для управления учетными записями и правами пользователей. Группа безопасности "Методист" предназначена дня пользователей системы, которые проводят оцифровку и загрузку, редактирование и отладку контрольно-измерительных материалов для экзаменационных работ, а также формируют в системе сценарий тестирования. Группа безопасности "Аналитик" предназначена для просмотра, дополнительной обработки и анализа результатов экзамена. Группа безопасности "Эксперт" предназначена для пользователей, выполняющих в системе проверку заданий части С; среди них есть эксперты первого уровня для проведения первичной экспертизы и эксперты второго уровня, которые проводят повторную экспертизу и устранение конфликтов по апелляциям участников. Группа безопасности "Инструктор" предназначена для пользователей системы, отвечающих за проведение экзамена непосредственно в пунктах приема ЕГЭ по информатике. Группа безопасности "Участник" предназначена для испытуемых, проходящих тестирование в системе.

В третьей главе приведено описание структуры АС для проведения интернет-экзаменов, которое включает перечисление программных модулей системы, механизмы проверки виртуальных лабораторных работ, способы обеспечения безопасности на прикладном уровне, вариант реализации интерактивной презентации, технологии загрузки обучающих элементов и обеспечения защищенного информационного обмена.

Система имеет модульную структуру и состоит из следующих модулей: модули клиентской части, функционирующие на основе веб-форм и сценариев JavaScript-, модули шлюза, роль которого выполняет сервлет (Java Senlets); распределенные модули, например, модули серверов, проверяющие

лабораторные работы; модули серверной части, реализованные на основе хранимых процедур системы управления базой данных (СУБД) Oracle.

Модульная структура системы представлена на рисунке 1. В качестве клиентского приложения используется веб-обозреватель. Запросы от клиента направляются на шлюз системы, роль которого выполняет серверное приложение, выполненное по технологии Java Servlets. Основная задача сервлета — преобразование запроса, полученного от клиента, в вызов хранимой процедуры.

Рисунок 1 - Статическая структура модулей АС

В АС используется виртуальная лаборатория с автоматической проверкой результатов разработки программы на одном из следующих языков программирования: Basic, Pascal или С. Механизм проверки реализован следующим образом. Для предполагаемого ответа известны входные и выходные данные. Ответ участника обрабатывается с использованием набора входных данных, а результат сверяется с заведомо известным набором выходных данных. В случае успешного результата проверки, ответ участника считается верным.

Система мониторинга формирует в реальном масштабе времени представление данных о количестве пользователей, результатах тестирования и производительности системы. Это обеспечивается за счет оперативной обработки и систематизации результатов тестирования испытуемых и сравнительного анализа характеристик производительности системы и используемой вычислительной мощности. Основная часть данных - это информация об участниках и результаты тестирования. Эти данные выбираются с помощью запросов к СУБД. Данные о производительности формируются с помощью средств операционной системы.

Загрузка обучающих элементов в формате XML в базу данных системы производится с помощью специальной программы "Транслятор". Модули программы также позволяют экспортировать данные в формате XML и удалять обучающие элементы из базы данных.

Для обеспечения работы АС разработаны специальные схемы развертывания, где задействованы различные программно-аппаратные решения. В состав основного серверного программного обеспечения входят веб-сервер Apache HTTP, веб-сервер Apache Tomcat и СУБД Oracle. Используя кластерные технологии, можно управлять увеличением вычислительной

мощности системы, как для увеличения вычислительной мощности отдельного узла, так и для территориально распределенных узлов. Также использование кластерных технологий позволяет повысить устойчивость системы к сбоям.

Наиболее простая схема кластеризации веб-серверов системы в рамках одного узла приведена на рисунке 2. Кластер, построенный по этой схеме, состоит только из одного веб-сервера Apache HTTP и нескольких веб-серверов Apache Tomcat, объединенных в кластерную группу. Между компонентами кластерной группы настроена репликация сессий. Веб-сервер Apache HTTP осуществляет шифрование/дешифрование ¿'¿'¿-запросов к системе, являясь шлюзом между пользователем и системой, и обеспечивая балансировку нагрузки путем распределения запросов к системе между компонентами кластерной группы. В данной схеме вся нагрузка по шифрованию/дешифрованию запросов ложится на один сервер, что требует от него более высокой вычислительной мощности.

■С

Apariw НТТРу

Setver J

Ej

^Apacha Tomcat /Apache Tomcat^Apactis T^ncat N

ч_J V_„„,,.,.,. .J V...... .

! I i

í>

-реяшкыкя cecüiil ■■■

Рисунок 2 - Объединение веб-серверов в кластерную группу

Кластер, построенный по схеме, изображенной ка рисунке 3, имеет полное дублирозание компонентов системы и использует двухуровневую схему балансировки нагрузки. Запросы вначале поступают на шлюз, который является первым уровнем системы балансировки нагрузки, откуда распределяются по компонентам кластера. Каждый компонент кластера представляет собой связку веб-серверов Apache HTTP и веб-серверов Apache Tomcat. Веб-сервер Apache HTTP осуществляет первичную обработку запросов, и, являясь вторым уровнем системы балансировки нагрузки, обеспечивает распределение запросов к системе между компонентами кластерной группы веб-серверов Apache Tomcat. Для повышения отказоустойчивости схемы предлагается использовать несколько шлюзов с независимыми интернет-каналами. Объединение серверов в кластер на уровне СУБД Oracle осуществляется с использованием программной опции Oracle Real Application Clusters rio схеме, приведенной на рисунке 4.

При планировании развертывания АС в нескольких регионах необходимо использовать децентрализованную схему, при которой взаимодействие баз данных территориально-распределенных узлов системы осуществляется с использованием технологии Oracle Streams. Схема взаимодействия

территориально-распределенных узлов, приведенная на рисунке 5, показывает

!П

£

X

/" АржЫНТТР Л £емк 1 )

Г ЛроЫ»НТТр"\

I Зетаг N )

^АрдсИй ТштаН 1

'^Лра^Ме Тсгп«1 N}

I---------------реагщягил?. г.есо"/, -............

Рисунок 3 - Кластеризация веб-серверов с двухуровневой балансировкой

нагрузки

Рисунок 4 - Кластеризация СУБД

связи центрального узла "Ц", с которого изначально производится синхронизация данных с региональными узлами "Р". По мере необходимости региональные узлы синхронизируются с центральным узлом. Также у центрального и каждого регионального узла могут быть так называемые зеркальные узлы "3", позволяющие распределять нагрузку и повышающие общую отказоустойчивость в регионе. Синхронизация данных между узлами происходит в двух направлениях, но не обязательно в одно время. Обычно перед началом проведения экзамена с центрального узла рассылаются данные на региональные узлы, а региональные узлы уже должны реплицировать полученные данные на зеркальные узлы своего региона. Во время проведения

экзамена данные синхронизируются подобно начальной синхронизации, но в обратном порядке. Для повышения отказоустойчивости такой схемы допустимо дублирование некоторых связей, например репликация между зеркалами региона.

Рисунок 5 - Взаимодействие территориально-распределенных узлов

При планировании развертывания АС должен быть учтен объем и характер нагрузки, который будет на нее возложен. Так в частном случае при минимальных требованиях по надежности и небольшом количестве пользователей АС может быть развернута на одном сервере. В случае же наличия большого числа пользователей, может потребоваться как использование кластерных технологий, так и создание территориально-распределенных вычислительны?; комплексов. Для выбора схемы развертывания системы требуется разработка специальной методики.

Работа в АС возможна с любого компьютера имеющего выход в интернет, однако для электронного контроля необходимы специализированные компьютерные классы общего доступа, в которых обеспечивается аутентификация личности и гарантируется валидность результатов контроля испытуемых, что требует разработки эффективных методов и средств организации подобных компьютерных классов и управления их работой. Эти функции учитывает разработанная централизованная система управления терминальными системами.

В четвертой главе описаны результаты разработки модели АС. Описывается суть метода имитационного моделирования и возможность его применения при планировании развертывания АС. Приводятся модели узлов системы, функционирующих внутри локальной сети. Каждый компонент на сервере (веб-серверы, СУБД) имеет сложную структуру, в самом простом случае его можно представить в виде очереди и устройства обработки - звено обработки. Объединяя такие звенья в общую схему, получаем модель обработки запросов на сервере. Пример такой модели приведен на рисунке б.

Для определения параметров потока требований на основе исследования результатов апробации АС было определено распределение вероятности интервалов обращения пользователей к системе. На рисунке 7 проведена

гистограмма полученного распределения. Это распределение является экспоненциальным со средним ц,. = 420с.

Звено обработки

• Apache HTTP

Qh

Hl

И»

Apache Tomca:

В 9 >-R

Oracle DBMS

Г- А

а

Рисунок б - Модель обработки запросов на сервере

сГо СО Ю -г" fV сГ"ю ШЧ^ООФТМОШИ íjNOtD'O'fNOtOiO'í'NoroiO^T ® чт п а ff,

I", ffl О Н м ^ ijj ь Ol О ¿N ГО LO <£> £0 ffl W q ill N Ю <Д Н СЧ "О" 1П > СО О н (П Ч" Ф

hhhhhhhnmnnmn n pipi го я (ч й m ч «г «í л in ui in ш

Рисунок 7 - Гистограмма распределения запросов

Было определено распределения для времени обработки запросов на сервере. Оно представляет собой логнормальное распределение, приведенное на рисунке 8. Входные параметры этого распределения \\р и с2р должны

дополнительно уточняться.

Разработанные модели позволяют проводить расчеты на основе имитационного моделирования, с целью получения регрессионных зависимостей интересующих характеристик системы от параметров развертывания программно-аппаратного комплекса. Однако для получения аналитических зависимостей необходимо определить ряд входных параметров системы, которые невозможно рассчитать без проведения экспериментальных исследований, требующих разработки специального стенда.

В пятой главе описывается разработанный стенд для экспериментальных исследований АС и использование полученных результатов для расчета вычислительной мощности программно-аппаратного комплекса при заданной нагрузке. Для повышения эффективности и гибкости разработки, а также минимизации затрат используется технология виртуализации. На виртуальных

машинах можно реализовать любую необходимую схему развертывания системы и задать конкретные физические характеристики каждой виртуальной системы. Пример схемы размещения виртуальных машин на сервере приведен на рисунке 9.

*

Рисунок 8 - Гистограмма распределения времени обработки запросов

Гипервкзор СХел) 4 •■.' виртуальная сеть \. ,, ...... .,;,„., Процессор. ; СУБД Oracle

Веб-сервер Apache HTTP

Веб-сервер Apache Tcrricat

Память Генератор запросов

Агрегатор

Рисунок 9 - Схема размещения виртуальных машин на сервере

Ключевыми компонентами данной схемы являются генератор запросов и агрегатор. Они представляет собой виртуальные системы, где, во-первых, генерируются запросы по заранее составленному сценарию. Для генерации запросов используется ранее выбранное экспоненциальное распределение. Во-вторых, собирается и анализируется статистика по функционированию реализованной схемы. В частности, это позволяет определить время обработки запроса каждым компонентом реализованной схемы развертывания, которое необходимо для определения параметров модели обработки запросов.

На основе имитационной модели АС и определенных на стенде входных параметров был проведен расчет вычислительной мощности цля различных конфигураций. Адекватность имитационной модели можно оценить по полученным результатам, которые проиллюстрированы на рисунке 10.

В результате расчетов были выведены регрессионные зависимости. В качестве характеристики вычислительной мощности взят коэффициент

использования системы, рекомендуемое значение которого составляет 0.7.

о .1-;--;--1—,—;---1-;--

О 100 200 УЮ 400 500 600 700 800 гошгксгьо полпоиптепед

'■■■■— сервер ядгр) -""•--модель (5 здер)

- модель (-1 ядра) * - «модель(12ддер)

Рисунок 10 - Сравнение данных по производительности системы для имитационной модели и реального сервера

Получено уравнение зависимости коэффициента использования системы р с фиксированным средним временем обработки требований цр = 0.85с от количества вычислительных ядер на сервере т и среднего интервала времени поступления требований в систему который обратно пропорционален количеству пользователей в системе.

Заключение

В результате диссертационного исследования была разработана автоматизированная система для проведения интернет-экзаменов и решены следующие основные задачи:

а) на основе анализа требований к организации и проведению интернет-экзаменов разработана спецификация требований к автоматизированной системе;

б) разработана модель проведения, мониторинга и оценивания результатов интернет-экзамена, включающая расширенные возможности для проведения педагогических измерений, мониторинга хода экзамена в реальном масштабе времени и многоуровневой независимой экспертизы;

в) предложена структура АС, удовлетворяющая требованиям к организации и проведению интериет-экзаменов и обеспечивающая возможность управления вычислительной мощностью в условиях многократного раздельного резервирования программных и аппаратных элементов при наличии многоуровневой системы безопасности, основанной на правилах защиты от несанкционированного доступа и методах шифрования данных при передаче и хранении;

г) разработана методика планирования развертывания АС с заданными

параметрами вычислительной мощности, основанная на использовании имитационной модели системы, параметры которой уточняются в ходе экспериментов на разработанном стенде.

В ходе апробации, в которой приняло участие 677 испытуемых, была развернута сетевая АС на двух территориально распределенных центрах обработки данных, размещенных в Санкт-Петербурге и Псковской области и объединенных между собой высокоскоростным защищенным каналом связи со скоростью 100 Мбит/с. Каждый центр обработки данных был подключен к сети Интернет с использованием аппаратного спелого экрана для защиты соединения серверов с глобальной сетью и включал в себя два сервера, объединенных в кластер таким образом, чтобы выход из строя одного из серверов кластера не приводил к остановке работы системы в целом. Данные, полученные в результате апробации, подтвердили адекватность математических расчетов и продемонстрировали высокую эффективность предложенных решений.

Результаты исследования обсуждались на 16 научно-технических конференциях, использовались при выполнении 3 научно-исследовательских работ и применяются для проведения 3 ежегодных олимпиад.

Статьи в журналах из перечня ВАК

1. Лямин A.B., Скшидлевский A.A. Методика расчета вычислительной мощности программно-аппаратного комплекса для проведения ЕГЭ в компьютерной форме // Научно-технический вестник СПбГУ ИТМО. Выпуск 56. Информационные технологии и телекоммуникационные системы. - СПб: СПбГУ ИТМО, 2008. - С.103-111.

2. Лямин A.B., Скшидлевский A.A. Разработка стенда для экспериментальных исследований типовых схем развертывания системы AcademicNT // Научно-технический вестник СПбГУ ИТМО. Выпуск 73. Информационные технологии и телекоммуникационные системы. - СПб; СПбГУ ИТМО, 2011. - С.126-129.

Другие публикации

3. Лямин A.B., Скшидлевский A.A. Методика и алгоритмы расчета вычислительной мощности аппаратной платформы системы для проведения ЕГЭ в компьютерной форме // Труды XV Всероссийской научно-методической конференции "Телематика'2008".- Санкт-Петербург, 2008. - Т. 1. - С. 101-102.

4. Скшидлевский A.A. Управление работой компьютерного класса, построенного на основе терминальной системы. // Вестник VI Всероссийской межвузовской конференции молодых ученых. Сборник научных трудов. - СПб.: СПбГУ ИТМО, 2009. - С.282-287.

5. Лямин A.B., Разыграева В.А., Скшидлевский A.A. Модель электронного адаптивного обучения с оценкой функционального состояния обучающегося // Материалы VIII Международной научно-практической конференции-выставки "Единая образовательная информационная среда: проблемы и пути развития",-Томск: Графика-Пресс, 2009. - С. 108-109.

6. Лямин A.B., Скшидлевский A.A. Разработка поведенческой модели испытуемого при проведении педагогических измерений // Труды XVI Всероссийской научно-методической конференции "Телематика'2009".- Санкт-Петербург, 2009. - Т. 2. - С. 349.

7. Лямин A.B., Скшидлевский A.A., Чежин М.С. Организация сетевого межвузовского взаимодействия в информационно-образовательной среде AcademicNT // Информационные технологии в обеспечении нового качества высшего образования. Сборник научных статей. Книга 1 / Труды всероссийской научно-практической конференции с международным участием "Информационные технологии в обеспечении нового качества высшего образования". - М.: Исследовательский центр проблем качества подготовки специалистов НИТУ "МИСиС", 2010. - С.111-116.

8. Лямин A.B., Скшидлевский A.A. Программное обеспечение для выявления влияния обучающего воздействия на функциональное состояние студента // Труды XVII Всероссийской научно-методической конференции "Телематика'2010".- Санкт-Пегербург, 2010. - Т.1. - С. 188-189.

9. Скшидлевский A.A. Модель проведения олимпиад и экзаменов в компьютерной форме // Материалы международной научно-практической конференции "Дистанционные технологии в образовании - 2011"- Караганда, КЭУ, 2011.-С. 141-143.

10. Лямин А.В, Скшидлевский A.A. Стенд для исследования вариантов развертывания системы дистанционного обучения AcademicNT // Материалы международной научно-практической конференции "Новые технологии в образовании - 2011". Том 2. - Екатеринбург, 2011. - С. 206-208.

11. Лямин А.В, Скшидлевский A.A. Планирование развертывания сетевой информационно-образовательной среды AcademicNT // Материалы международной конференции "Информационные технологии в образовании и науке - 2011 " - Самара, 2011. - С.

Тиражирование и брошюровка выполнены в центре "Университетские телекоммуникации" Санкт-Петербург, Саблинская ул. 14, тел. (812)233-46-69. Объем 1,0 у.п.л. Тираж 100 экз.

ВВЕДЕНИЕ.

1 АНАЛИЗ ТРЕБОВАНИЙ К ОРГАНИЗАЦИИ И ПРОВЕДЕНИЮ ИНТЕРНЕТ-ЭКЗАМЕНОВ

1.1 Организация и подготовка проведения экзамена.

1.2 Порядок проведения экзамена.

1.3 Проверка экзаменационных работ и утверждение результатов.

1.4 Прием и рассмотрение апелляций.

1.5 Требования к АС для проведения экзаменов.

1.6 Выводы.

2 МОДЕЛЬ ПРОВЕДЕНИЯ ИНТЕРНЕТ-ЭКЗАМЕНОВ.

2.1 Технологии компьютерного тестирования.

2.2 Мониторинг хода экзамена.

2.3 Проверка экзаменационных работ в АС.

2.4 Электронный и бумажный документооборот в АС.

2.5 Роли пользователей системы.

2.6 Выводы.

3 СТРУКТУРА АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ.

3.1 Структура АС для проведения интернет-экзаменов.

3.1.1 Структура программных модулей системы.

3.1.2 Шлюз системы.

3.1.3 Механизм проверки виртуальных лабораторных работ.

3.1.4 Обеспечение безопасности доступа.

3.1.5 Интерактивная презентация для наглядной визуализации и мониторинга хода проведения экзамена.

3.1.6 Загрузка обучающих элементов.

3.1.7 Обеспечение защищенного информационного обмена системы с региональной базой данных выпускников.

3.2 Структура серверной части системы.

3.2.1 Взаимодействие узлов системы.

3.2.2 Взаимодействие территориально-распределенных узлов.

3.2.3 Организация распределенной базы данных.

3.2.4 Обеспечение информационной безопасности.

3.2.5 Минимальные системные требования.

3.3 Организация рабочих мест в пункте проведения экзамена.

3.3.1 Особенности системы управления.

3.3.2 Схема системы управления терминалами.

3.3.3 Распределенная схема управления терминалами.

3.3.4 Интерфейс рабочего окружения пользователя.

3.3.5 Системные требования.

3.4 Выводы.

4 МОДЕЛЬ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ.

4.1 Апробация системы.

4.2 Построение модели системы.

4.2.1 Проблема расчета вычислительной мощности.

4.2.2 Построение имитационных моделей.".

4.3 Модель поведения пользователей.

4.3.1 Алгоритм моделирования поведения пользователя.

4.3.2 Сбор статистических данных.

4.3.3 Анализ статистических данных.

4.3.4 Построение генераторов случайных чисел.

4.3.5 Анализ распределений случайной величины.

4.4 Модель обработки запросов на сервере.

4.4.1 Алгоритм моделирования динамики обработки запросов.

4.4.2 Сбор статистических данных.

4.4.3 Анализ статистических данных.

4.4.4 Построение генераторов случайных чисел.

4.4.5 Анализ распределений случайной величины.

4.5 Расчет вычислительной мощности комплекса.

4.5.1 Сбор и анализ статистических данных.

4.5.2 Оценка адекватности имитационной модели.

4.5.3 Моделирование серверной части системы и расчет зависимостей.

4.6 Методика развертывания системы.

4.6.1 Инвентаризация серверного оборудования.

4.6.2 Измерение производительности оборудования.

4.6.3 Выбор схемы развертывания АС.

4.6.4 Определение входных параметров имитационной модели.

4.6.5 Проведение вычислительных экспериментов и расчет вычислительной мощности комплекса.

4.7 Выводы.

5 СТЕНД ДЛЯ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ.

5.1 Типовые схемы развертывания.

5.2 Виртуализация и экспериментальный стенд.

5.3 Доработка гипервизора Хеы.

5.4 Выводы.

Актуальность проблемы. В настоящее время наиболее перспективным направлением развития технологий проведения экзаменов является активное применение сетевых информационных технологий. Использование компьютерных и интернет-технологий позволяет повысить эффективность таких мероприятий и снизить затраты, связанные с их организацией и проведением.

Наиболее известный общероссийский экзамен для школьников - это единый государственный экзамен (ЕГЭ). Опыт проведения ЕГЭ с 2004 года в различных регионах РФ показывает, что существенным нсдостагком этого экзамена является «бланковая технология» его проведения. Наиболее остро проблема обозначается при проведении экзаменов по информатике без использования компьютеров, т.к. использование компьютеров позволяет испытуемым не только продемонстрировать навыки работы на персональных компьютерах, что является одной из целей изучения информатики в школе, но и дает возможность проверить и оценить навыки применения информационных технологий и технологий программирования при выполнении практических заданий из курса информатики. Однако процесс планирования, организации и проведения интернет-экзаменов является весьма нетривиальной задачей. На данный момент недостаточно наработок в этой области и требуется разработка современных моделей, методик и алгоритмов, описывающих процесс планирования подобных мероприятий, и специализированных сетевых распределенных многопользовательских автоматизированных систем (АС) для организации и проведения интернет-экзаменов.

Подобные системы должны учитывать специфические требования, предъявляемые к проведению таких мероприятий. Технологии АС должны обеспечивать удаленное компьютерное тестирование школьников в реальном масштабе времени с применением стандартных интернет-технологий по заданиям, аналогичным заданиям ЕГЭ по информатике. Сценарии тестирования в системе должны быть гибкими и легко настраиваемыми на вариативные по структуре и содержанию экзаменационные работы по информатике в компьютерном виде. Система должна включать инструменты для проведения педагогических измерений, которые обладают расширенными возможностями и включают различные типы тестовых заданий, в том числе содержат механизмы проверки заданий с неразрешимым множеством правильных ответов - виртуальную лабораторию, среда которой позволит школьникам продемонстрировать навыки написания и отладки программ на различных языках программирования, а экспертам - проверить работоспособность написанных программ, что, с одной стороны, обеспечит равные условия для школ, имеющих различное материально-техническое обеспечение для подготовки школьников по информатике, а, с другой стороны, повысит объективность проверки таких заданий экспертами.

Система должна обеспечивать мониторинг работы системы в режиме реального времени в соответствии с правами доступа пользователей, а также формирование отчетов о сдаче экзамена для каждого школьника в отдельности и по всем участникам экзамена, об экспертизе, проведенной экспертом ЕГЭ, об итоговой оценке экзамена с учетом рассмотрения апелляций.

Технологии АС должны обеспечивать высокий уровень надежности, безопасности и устойчивости к сбоям. Необходимо гарантировать защиту от несанкционированного доступа, от возможных сбоев в работе компьютеров и компьютерных сетей, а также учитывать требования приемных экзаменационных комиссий вузов по соблюдению секретности и документирования проводимых испытаний. Система должна быть масштабируема и при необходимости должна без труда позволять наращивать вычислительную мощность. Повысить надежность системы возможно за счет использования нескольких взаимодействующих между собой узлов, где каждый узел представляет собой автономную систему, состоящую из одного или нескольких вычислительных комплексов. Использование одновременно нескольких узлов обусловлено высокими требованиями обеспечения значительного количества активных сессий пользователей, инвариантности пользовательских данных по отношению к сбоям аппаратного и программного обеспечения. Для определения характеристик развертываемой системы в условиях действующих ограничений необходимы соответствующие методики и алгоритмы, от качества которых зависит эффективность системы в целом.

Цель диссертационной работы - разработка и исследование автоматизированной системы для проведения интернет-экзаменов. Для достижения данной цели были поставлены и решены следующие задачи: а) Анализ требований к организации и проведению интернет-экзаменов; б) Разработка модели проведения интернет-экзаменов, включая этапы подготовки мероприятия, обработки и анализа результатов испытаний; в) Разработка структуры АС, удовлетворяющей требованиям к организации и проведению интернет-экзаменов; г) Разработка методики развертывания АС в соответствии со спецификацией конкретного мероприятия; д) Проведение апробации полученных результатов.

Научная новизна. На защиту выносятся результаты, обладающие научной новизной: а) Разработана модель проведения, мониторинга и оценивания результатов интернет-экзамена, включающая расширенные возможности для проведения педагогических измерений, мониторинга хода экзамена в реальном масштабе времени и многоуровневой независимой экспертизы; б) Предложена структура АС, удовлетворяющая требованиям к организации и проведению интернет-экзаменов и обеспечивающая возможность управления вычислительной мощностью в условиях многократного раздельного резервирования программных и аппаратных элементов при наличии многоуровневой системы безопасности, основанной на правилах защиты от несанкционированного доступа и методах шифрования данных при передаче и хранении; в) Предложена методика планирования развертывания АС с заданными параметрами вычислительной мощности, основанная на использовании имитационной модели системы, параметры которой уточняются в ходе экспериментов на разработанном стенде.

Методы исследования. В работе использованы теория вычислительных процессов и систем, методы дискретного анализа, теория систем массового обслуживания и методы имитационного моделирования, методы теории вероятности и математической статистики, методы проектирования программных систем и построения графических человеко-машинных интерфейсов.

Достоверность научных положений, выводов и практических рекомендаций, полученных в диссертации, подтверждается строгостью формального построения задачи, адекватностью применяемых методов исследования и валидацией модели, а также сопоставлением результатов расчетов с данными эксперимента, результатами компьютерного моделирования и материалами литературных источников.

Практическая значимость подтверждается использованием результатов исследования при выполнении следующих научно-исследовательских работ: «Апробация проведения экзаменов по информатике в компьютерном виде при проведении процедур оценки качества образования в 2007 году на примере единого государственного экзамена (ЕГЭ)» (ГК № П229 от 18 июня 2007 г.), «Совершенствование технологии проведения единого государственного экзамена по информатике в компьютерном виде» (ГК № П248 от 18 июня 2008 г.), «Разработка информационно-аналитической системы (программного комплекса) обеспечения взаимодействия специализированного интернет-портала молодых ученых и специалистов с научно-образовательными сообществами федеральных округов и отдельных субъектов Российской Федерации» (ГК № П2664 от 7 декабря 2009 г.). Результаты, представленные в диссертации, используются при проведении Открытой олимпиады Санкт-Петербурга по кибернетике среди школьных команд (http://cyber-net.spb.ru/), Всероссийской студенческой олимпиады по направлению «Оптотехника» (http://faculty.ifmo.ru/vso/), Всероссийской студенческой компьютерной олимпиады по основам технологии приборостроения (http://www.ifmo.ru/conferens/158/conf158.htm).

Апробация результатов работы. Основные положения диссертационной работы докладывались на следующих научно-технических конференциях: Всероссийская научно-методическая конференция «Телематика'2008» (СПб., 2008), XXXVII Научная и учебно-методическая конференция профессорско-преподавательского и научного состава СПбГУ ИТМО (СПб., 2008), V Всероссийская межвузовской конференции молодых ученых (СПб., 2008), Всероссийская научно-методическая конференция «Телематика'2009» (СПб., 2009), XXXVIII Научная и учебно-методическая конференция профессорско-преподавательского и научного состава СПбГУ ИТМО (СПб., 2009), VI Всероссийская межвузовская конференция молодых ученых (СПб., 2009), Международная научно-практическая конференция-выставка «Единая образовательная информационная среда: проблемы и пути развития» (Томск, 2009), Всероссийская научно-методическая конференция «Телематика'2010» (СПб., 2010), Всероссийская научно-практическая конференция с международным участием «Информационные технологии в обеспечении нового качества высшего образования» (Москва,

2010), XXXVIV Научная и учебно-методическая конференция профессорско-преподавательского и научного состава СПбГУ ИТМО (СПб., 2010), VII Всероссийская межвузовская конференция молодых ученых (СПб., 2010), XXXVV Научная и учебно-методическая конференция профессорско-преподавательского и научного состава СПбГУ ИТМО (СПб., 2011), VIII Всероссийская межвузовская конференция молодых ученых (СПб.,

2011), Международная научно-практическая конференция «Дистанционные технологии в образовании - 2011» (Караганда, 2011), Международная научно-практическая конференция «Новые информационные технологии в образовании» (Екатеринбург, 2011), Международная конференция «Информационные технологии в образовании и науке» (Самара, 2011).

Публикации. Основные научные результаты диссертационного исследования с необходимой полнотой изложены в 11 печатных работах, в том числе в 2 статьях, опубликованных в рецензируемых научных журналах, рекомендованных ВАК Минобрнауки РФ для представления основных результатов диссертаций на соискание ученой степени кандидата наук. В работах, выполненных в соавторстве, личный вклад соискателя составляет 50%.

Структура диссертации. Диссертация содержит введение, пять глав, заключение, список литературы, содержащий 95 наименований. Основная часть работы изложена на 145 страницах машинописного текста и содержит 79 рисунков и 15 таблиц.

Результаты исследования обсуждались на 16 научно-технических конференциях, использовались при выполнении 3 научно-исследовательских работ и применяются для проведения 3 ежегодных олимпиад.

ЗАКЛЮЧЕНИЕ

В результате диссертационного исследования была разработана автоматизированная система для проведения интернет-экзаменов и решены следующие основные задачи: а) на основе анализа требований к организации и проведению интернет-экзаменов разработана спецификация требований к автоматизированной системе; б) разработана модель проведения, мониторинга и оценивания результатов интернет-экзамена, включающая расширенные возможности для проведения педагогических измерений, мониторинга хода экзамена в реальном масштабе времени и многоуровневой независимой экспертизы; в) предложена структура АС, удовлетворяющая требованиям к организации и проведению интернет-экзаменов и обеспечивающая возможность управления вычислительной мощностью в условиях многократного раздельного резервирования программных и аппаратных элементов при наличии многоуровневой системы безопасности, основанной на правилах защиты от несанкционированного доступа и методах шифрования данных при передаче и хранении; г) разработана методика планирования развертывания АС с заданными параметрами вычислительной мощности, основанная на использовании имитационной модели системы, параметры которой уточняются в ходе экспериментов на разработанном стенде.

В ходе апробации, в которой приняло участие 677 испытуемых, была развернута сетевая АС на двух территориально распределенных центрах обработки данных, размещенных в Санкт-Петербурге и Псковской области и объединенных между собой высокоскоростным защищенным каналом связи со скоростью 100'Мбит/с. Каждый центр обработки данных был подключен к сети Интернет с использованием аппаратного сетевого экрана для защиты соединения серверов с глобальной сетью и включал в себя два сервера, объединенных в кластер таким образом, чтобы выход из строя одного из серверов кластер а не приводил к остановке работы системы в целом. Данные, полученные в результате апробации, подтвердили адекватность математических расчетов и продемонстрировали высокую эффективность предложенных решений.

1. Ардышева Л.А., Каратуева H.A., Логинова С.А., Манцивода A.B., Францев И.А. Виртуальные представительства и моделирование практического обучения // Сборник трудов Всероссийской научно-методической конференции «Телематика'2004»,- СПб, 2004. С.553-555.

2. Асташкина В. А., Лямин A.B. Архитектура клиентской части виртуальной лаборатории по созданию моделей на языке GPSS // Труды XVI Всероссийской научно-методической конференции «Телематика'2009».- Санкт-Петербург, 2009. Т. 2. - С. 348.

3. Белов В.Ю., Лобачев С.Л., Солдаткин В.И. К вопросу о программной реализации системы сетевого дистанционного образования // Материалы 6-й Международной конференции «Дистанционное образование в России: проблемы и перспективы». М.:- 1998.-С. 95-97.

4. Бердникова Е.А., Лямин A.B., Русак A.B. Средства построения адаптивных обучающих диалогов в системе AcademicNT на основе концептуальной модели предметной области // Научно-технический вестник СПбГУ ИТМО. Выпуск 61. СПб: СПбГУ ИТМО, 2009.-С. 105-110.

5. Бухараев Р.Г., Захаров В.М. Управляемые генераторы случайных кодов. Казань: Издво Казан, ун-та, 1978. 160 с.

6. Варжапетян А.Г. Классификация и перспективы компьютерного моделирования Качество и ИЛИ (САЬЗ)-тсхнологии №2 (6), апрель-июнь 2005г. С.25-28.

7. Васильев В.Н., Гутель Ю.В., Ижванов Ю.Л., Тихонов А.Н., Хоружников С.Э. Сеть RUNNet в телекоммуникационной инфраструктуре единой образовательной информационной среды // «Системы управления сферой образования: Сборник статей». М.: МГИУ, 2003. -С.33-39.

8. Васильев В.Н., Лисицына Л.С., Лямин A.B. Технология проведения ЕГЭ по информатике в компьютерной форме // Научно-технический вестник СПбГУ ИТМО. Выпуск 45. Информационные технологии. СПб: СПбГУ ИТМО, 2007. - С. 126-143.

9. Васильев В.Н., Лямин A.B., Чежин М.С. Система дистанционного обучения второго поколения // Научно-технический вестник СПбГУ ИТМО. Выпуск 45. Информационные технологии. СПб: СПбГУ ИТМО, 2007. - С. 148-157.

10. Васильев В.Н., Павлова A.A., Чежин М.С. Жизненный цикл электронного учебно-методического комплекса в системе дистанционного обучения университета // Научно-технический вестник СПбГУ ИТМО. Выпуск 61. СПб: СПбГУ ИТМО, 2009. - С.94-99.

11. Вашенков O.E., Волкова A.A., Лямин A.B. Примеры реализации сетевых виртуальных лабораторий в среде системы дистанционного обучения // Научно-техническийвестник СПбГУ ИТМО. Выпуск 45. Информационные технологии. СПб: СПбГУ ИТМО, 2007.-С. 157-164.

12. Вашенков O.E., Лямин A.B. Механизм реализации виртуальных лабораторий в информационно-образовательной среде AcademicNT // Открытое образование. 2009. - № 4. -С.24-33.

13. Вержбицкий В.В. Подготовка к созданию системы дистанционного образования в России // Дистанционное образование. 1997. - №2. - С. 14-19.

14. Вишневский В.М. Теоретические аспекты проектирования компьютерных сетей. Москва, Техносфера, 2003. 512 с.

15. Гамаюн И.П. Разработка имитационных моделей на основе сетей Петри: Учебное пособие. Харьков: НТУ «ХПИ», 2002. 143 с.

16. Глазунов Л.П., Грабовецкий В.П., Щербаков О.В. Основы теории надежности АСУ //- Л.: Энергоатомиздат. 1984. - 413 с.

17. Грачев В.В., Минзов A.C. Оценка эффективности системы дистанционного обучения // Дистанционное образование. 1999. - №3. - С.28-32.

18. Дакота М., Саганич А. XML и Java 2 // СПб:Издательский дом «Питер», 2001, 377с.

19. Домнин А.О. Аналитическая модель клиент-серверного приложения // Информационные технологии. 2008. - N 7. - С. 13-16.

20. Дунаев С.Б., Коровкин С.Д., Старых В.А. Спецификация и форматы обмена данными в разнородных информационных системах на базе XML-технологий // Сборник статей «Системы управления сферой образования»,- М.: МГИУ, 2003,- С.200-219.

21. Душкин A.B. Распознавание и оценка угроз несанкционированного воздействия на защищенные информационно-телекоммуникационные системы // Информационные технологии. 2008. - N 3. - С.71-75.

22. Емельянов П.В. Коротаев К.С. Математическая модель обеспечения гарантий выделения ресурсов операционной системы // Информационные технологии. 2008. - N 3. -С.83-85.

23. Жожикашвили В.А., Вишневский В.М. Сети массового обслуживания. Теория и применение к сетям ЭВМ. // М.: Радио и связь, 1988. 192 с.

24. Захаров В.Н. Виртуализация как информационная технология // Системы и средства информатики. Москва: Институт проблем информатики РАН, - 2006. - С.279-298.

25. Зимин A.M. Автоматизированный лабораторный практикум с удаленным доступом в техническом университете // Информационные технологии, №2,- 2002.- С.39-43.

26. Иванников А.Д., Тихонов А.Н. Основные положения концепции создания системы образовательных порталов // Сборник научных статей «Интернет-порталы: содержание и технологи»,- Вып. 1, М.: Просвещение, ГНИИ ИТТ «Информика» 2003,- С.8-18.

27. Иванов В.Б., Петров Б.Е., Савкин И.Н. Технология сервер тонкие клиенты в учебных компьютерных классах // Компьютерные инструменты в образовании. - Санкт-Петербург: Центр информатизации образования «КИО». - 2008. - С.21-24.

28. Иглин С.П. Математические расчеты на базе Matlab // СПб: Издательство «BHV-Санкт-Петербург», 2005. 640 с.

29. Иыуду К.А. Надежность, контроль и диагностика вычислительных машин и систем // М.: Высшая школа. 1989. - 215 с.

30. Кельтон В., Лоу А. Имитационное моделирование. Классика CS. 3-е изд. // «СПб.: Пи-тер; Киев: Издательская группа BHV», 2004. 847 с.

31. Кондратов В., Королев С. Matlab как система программирования научно-технических расчетов // М.:Мир. 2002.

32. Котенко В.В., Румянцев К.Е., Евсеев A.C., Котенко C.B. Виртуализация корпоративных компьютерных сетей // Информационное противодействие угрозам терроризма. Таганрог, 2006. - С. 164-167.

33. Кофман Ф., Крюон Р. Теория массового обслуживания. Теория и приложения. // М.: Мир, 1965.-302 с.

34. Коханенко И.К. Правила распределения моделей по узлам вычислительной сети //

35. Информационные технологии, №2, 2008. Издательство «Новые технологии». С.36-41.

36. Кривилев А. Основы компьютерной математики с использованием системы MATLAB. Лекс-Книга, 2005.

37. Кулагин В.П. Моделирование структур параллельных вычислительных систем на основе сетевых моделей: Учебное пособие. // Москва: Московский государственный институт электроники и математики (технический университет), 1998. 102 с.

38. Кулаков В.К., Старых В.А Адаптивная система электронного документооборота в управлении организацией // «Системы управления сферой образования: Сборник статей». М.: МГИУ, 2003. - С.58-66.

39. Лобачев С.Л. Анализ опыта поддержки пользователей распределенной образовательной системы // Материалы Всероссийской научно- методической конференции «Телематика'2004» Санкт-Петербург, 2004,- С.569-571.

40. Лобачев С.Л. Оптимизация процесса обновления ПО в территориально-распределенной информационно-образовательной среде открытого образования // «Информационные технологии»,- 2004.-№2, С.47-52.

41. Лямин А.В, Скшидлевский A.A. Планирование развертывания сетевой информационно-образовательной среды AcademicNT // Материалы международной конференции «Информационные технологии в образовании и науке 2011» - Самара, 2011. -С.434-437.

42. Лямин A.B., Плешкова М.В. Автоматизация процессов построения электронных курсов // Труды XVI Всероссийской научно-методической конференции «Телематика'2009».-Санкт-Петербург, 2009. Т. 2. - С.363-364.

43. Лямин A.B., Скшидлевский A.A. Разработка поведенческой модели испытуемого при проведении педагогических измерений // Труды XVI Всероссийской научно-методической конференции «Телематика'2009».- Санкт-Петербург, 2009. Т. 2. - С.349.

44. Лямин A.B., Чежин М.С. Типовая структура системы дистанционного обучения // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики №15. Санкт-Петербург, 2004. С.376-381.

45. Максимова Ю.Д. Вероятностные разделы математики. СПб: «Иван Федоров», 2001.-592 с.

46. Наместников A.A. Разработка имитационных моделей в среде MATLAB: методические указания. Ульяновск: УлГТУ, 2004. 72 с.

47. Немцев О.В. Технология создания учебных материалов для дистанционного обучения// Дистанционное образование. 1999. - №3. - С.49-52.

48. Печенкин, А. Оценка эффективности e-Learning проектов // e-LearningWorld. 2004.- №2. С. 16-17.

49. Рубин Ю.Б. Самойлов В.А. Система дистанционного образования в МЭСИ // Дистанционное образование. 1996, - №1. - С.86-91.

50. Рыбалко A.A. Виртуализация как основа систем компьютерной безопасности нового поколения // Вестник Московского авиационного института. Москва, 2009. - С.2.

51. Скшидлевский A.A. Модель проведения олимпиад и экзаменов в компьютерной форме // Материалы международной научно-практической конференции «Дистанционные технологии в образовании 2011»- Караганда, КЭУ, 2011. - С. 141 -143.

52. Скшидлевский A.A. Управление работой компьютерного класса, построенного на основе терминальной системы // Вестник VI Всероссийской межвузовской конференции молодых ученых. Сборник научных трудов. СПб.: СПбГУ ИТМО, 2009. - С.282-287.

53. Смирнов С.В., Дмитраков П.В., Волохов Д.В. «Тонкий клиент» для «толстого» программного обеспечения // Нефтяное хозяйство. Москва: ЗАО «Издательство «Нефтяное хозяйство». - 2010. - С. 18-21.

54. Столингс В. Операционные системы (Operating Systems: Internals and Design Principles) // M., «Вильяме», 2004. 848 с.

55. Струнин В.И., Тимкин C.JI. Проблемы внедрения сетевых технологий обучения в учебный процесс вуза // Материалы Всероссийской научно-методической конференции «Телематика'2004»,- СПб, 2004. С.596-597.

56. Таненбаум Э., М ван Стен. Распределенные системы. Принципы и парадигмы. (Серия «Классика computer science»). СПб: Питер, 2003. - 877 с.

57. Танненбаум Э. Современные операционные системы. СПб. Литер, 2005. - 1038 с.

58. Твердохлебов P.E., Перегуда А.И. Математическая модель надежности распределенных вычислительных систем // Методы менеджмента качества, 2006, № 3. С.42-48.

59. Трусова П.В. Введение.в математическое моделирование: Учеб. пособие. М.: Логос, 2005. - 440 с.

60. Черняк Л.С. Виртуализация на фоне новых протоколов // Открытые системы. СУБД. Москва: Издательство «Открытые системы». - 2009. - С. 18-23.

61. Черняк Л.С. Виртуализация серверов стандартной архитектуры // Открытые системы. СУБД. Москва: Издательство «Открытые системы». - 2008. - С.40-47.

62. Шелухин О.И., Тенякешев A.M., Осин A.B. Моделирование информационных систем.- М.: Радиотехника, 2005. 368 с.

63. Шеннон Р. Имитационное моделирование систем искусство и наука. - М.: Мир, 1978.-418 с.

64. Шрайбер Т. Дж. Моделирование на GPSS. М., Машиностроение, 1980. - 592 с.

65. Щенников С.А. Открытое дистанционное образование М.: Наука. - 2002. - 527 с.

66. Юнусов Р.В. Анализ надежности аппаратно-программного информационно-управляющего комплекса // Вестник НИИ СУВПТ: Сб. научн. тр. Красноярск: НИИ СУВПТ, 2003.-Вып. 11.- С. 103-106.

67. Юнусов, Р.В. Оценка надежности программного обеспечения клиент-сервер на примере комплексной системы управления предприятием «Галактика» // Вестник НИИ

68. СУВПТ. Красноярск: НИИ СУВПТ, 2001. - Вып.7. - С. 107-112.

69. Field A.J., Harrison P.G., Parry J. Response times in Client-Server Systems // Lecture Notes in Computer Science. 1998. Vol. 1469. P. 75-86.

70. Gordon W.J., Newell GF. Closed queuing systems with exponential servers // Oper. Res. 1967. Vol. 15 Issue 2. P.254-265.

71. Gubenko G. Dynamic load Balancing for Distributed Memory Multi processors // Journal of parallel and distributed computing. 1989. N 7. P.279-301.

72. Komaralingam A., Elleithy K.M. Using a Queuing Model to Analyze the Perfomance of Web Servers. 2002.

73. Lyamin A.V., Vashenkov O.E. Virtual environment and instruments for student olympiad on cybernetics // Proceedings of 8th IFAC Symposium on Advances in Control Education. -Kumamoto, JAPAN, 2009.