автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Математическое и программное обеспечение системы дистанционного обучения по математическим дисциплинам

На правах рукописи

ПАНАРИН СЕРГЕИ ИГОРЕВИЧ

МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ СИСТЕМЫ ДИСТАНЦИОННОГО ОБУЧЕНИЯ ПО МАТЕМАТИЧЕСКИМ ДИСЦИПЛИНАМ

05.13.11 Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей 05.13.01 Системный анализ, управление и обработка информации (авиационная и ракетно-космическая техника)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

2 НЮН 2011

Москва - 2011

4848915

4848915

Работа выполнена на кафедре «Теория вероятностей» Московского авиационного института (государственного технического университета) МАИ

Научный руководитель: доктор физико-математических наук,

профессор

Кибзун Андрей Иванович

Официальные оппоненты: доктор физико-математических наук,

профессор Пантелеев Андрей Владимирович

. кандидат физико-математических наук, в.н.с. ВЦ РАН Бродский Юрий Игоревич

Ведущая организация: Уфимский государственный авиационный

технический университет (УГАТУ)

Защита состоится «17» июня 2011 г. в 10 ч. 00 мин. на заседании Диссертационного совета Д 212.125.04 при Московском авиационном институте по адресу: 125993, г. Москва, Волоколамское шоссе, д. 4.

С диссертацией можно ознакомиться в библиотеке Московского авиационного института.

Автореферат разослан <?/•£» -^iit'nS, 2011 г.

Ученый секретарь Диссертационного совета Д 212.125.04,

кандидат физико-математических наук, доцент / М.В. Ротанина.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Объект исследования. Объектом исследования в диссертационной работе является программное и математическое обеспечение систем дистанционного обучения (СДО) по математическим дисциплинам.

Актуальность работы. Задача создания автоматизированных систем, призванных обучать без помощи человека, имеет более чем 30-летшою историю. Исследуются различные направления, такие как проектировании обучающих систем и комплексов, проблемы разработки программного обеспечения, управление проектами разработки, статистическая обработка результатов студентов, в комплексе позволяющие создавать сложные и функциональные системы.

С развитием технологий появилась возможность создавать обучающие системы на качественно новом уровне. Одним из видов таких систем являются системы дистанционного обучения (СДО), которые обладают рядом преимуществ - доступностью в любое время без необходимости находиться в учебной аудитории. Особое место среди СДО занимают СДО, доступные через интернет.

В данный момент среди систем можно выделить следующие: СДО «Прометей», системы обучения компании ФИЗИКОН, виртуальный преподаватель «ИНФОРМГИДРО», образовательный портал Центра дистанционного обучения, СДО «Доцент», разработки ИПУ РАН (работы под руководством академика С.Н. Васильева). Среди вузовских разработок можно выделить системы МГУ им. Ломоносова (работы В.А. Сухомлина), БНТУ, МАИ (работы А.В. Пантелеева, А.В. Наумова, Т.А. Летовой), МФТИ (работы И.Г. Проценко). Самой популярной свободно-распространяемой системой является Moodle, также известна система eFront. Важно отметить, что несмотря на наличие свободно-распространяемых и вузовских СДО, перечисленные системы не являются специализированными по математическим дисциплинам и, в большинстве случаев, автоматизация обучения в этих системах не является комплексной, поэтому разработка такой СДО является актуальной. Также актуальной является интеграция со ставшими популярными социальными сетями, которая в перечисленных системах отсутствует.

В работах зарубежных авторов О. Коплана, В. Ваде, Я. Тана особое

внимание уделяется использованию мобильных технологий в обучении.

Важным элементом СДО является подсистема обработки результатов обучения студентов, позволяющая мотивировать студентов, привнося соревновательный аспект в обучение. Теоретические основы обработки результатов тестов были заложены в 60-е годы Г.Рашем. Развивали его идеи Б. Райт, Г. Мастере, Т. Бонд, Ч. Фокс. В России данным направлением исследований активно занимались Ю.М. Нейман, В.А. Хлебников, Е.Ю. Кар-данова.

Система дистанционного обучения по сути является программной системой. Основные результаты проектирования и разработки программных систем изложены в работах Э. Гамма, Р. Хелма, Р. Джонсона. Дж. Влис-сидеса, Ю.И. Бродского, Ф. Крачтена, A.M. Марасанова, М. Фаулера.

Цели и задачи работы. Целью диссертационной работы является разработка системы дистанционного обучения по математическим дисциплинам, предназначенной для работы в интернете, с оптимизацией выбора проектных решений. Задачи работы:

1) провести анализ подходов и методов проектирования и разработки программных систем с точки зрения СДО;

2) выработать принципы проектирования архитектуры специализированной СДО;

3) разработать модульную архитектуру специализированной СДО;

4) разработать стохастическую модель выбора проектных решений СДО на этапе проектирования и предложить алгоритм ее оптимизации;

5) разработать рекуррентный алгоритм вычисления оценки студента при работе в СДО;

6) разработать на основе предложенной архитектуры специализированную СДО по математическим дисциплинам, предназначенную для работы и интернете.

Методы исследования. Для исследования теоретических проблем использовались методы системного анализа, стохастического моделирования, линейной алгебры, теории оптимизации, нелинейного программирования, целочисленного программирования. Для исследования прикладных задач использовались методы объектно-ориентированного анализа и проектирования.

Достоверность результатов обеспечивается строгостью постановок и доказательств утверждений; корректным использованием стандартов; корректным использованием математических моделей современной теории системного анализа; рассмотрением численных примеров, которые демонстрируют достоверность полученных теоретических результатов.

Научная новизна работы.

1. Выполнен анализ подходов и методов проектирования и разработки программных систем с точки зрения СДО.

2. Выработаны принципы проектирования архитектуры специализированной СДО по математическим дисциплинам на основе архитектурных шаблонов (MVC (Model-View-Controller), микроархитектурных шаблонов) и концепции AJAX.

3. Разработана модульная архитектура специализированной СДО по математическим дисциплинам.

4. Разработана стохастическая модель выбора проектных решений СДО на этапе проектирования.

5. Разработан рекуррентный алгоритм вычисления оценки студента при работе в С ДО, основанный на логистической модели обработки тестов и методе максимального правдоподобия.

Практическая значимость. Полученные результаты позволяют использовать разработанную систему дистанционного обучения CLASS.NET в учебном процессе при подготовке квалифицированных кадров для аэрокосмической промышленности, а также оптимизировать проектирование программных систем с учетом требований по модифицируемости, например, специализированного программного обеспечения в области авиационно-космической техники.

Апробация работы. Результаты работы докладывались и обсуждались на следующих конференциях: Всероссийская конференция молодых ученых и студентов «Информационные технологии в авиационной и космической технике» (Москва, 2008); VII Международная конференция «Авиация и космонавтика» (Москва, 2008); XIV Международная конференция «Системный анализ управление и навигация» (Евпатория, Украина, 2009); 52 научная конференция МФТИ «Современные проблемы фундаментальных и прикладных наук» (Долгопрудный, 2009); Российская школа - кои-

ферепция с международным участием «Математика, информатика, их приложения и роль в образовании» (Москва, 2009), I Международная конференция «Интеллектуальные технологии и средства реабилитации людей с ограниченными возможностями» (ИТСР-2010) (Москва, 2010), а также на научных семинарах под руководством проф. А.И. Кибзуна (МАИ, 2010).

Сведения о внедрении. Разработанная система дистанционного обучения CLASS.NET внедрена в учебный процесс в МАИ, в частности, на ее основе создан компьютерный учебник по курсу «Теория вероятностей и математическая статистика», о чем свидетельствует акт о внедрении.

Публикации. Основные результаты диссертации опубликованы в 3 статьях [1-3] в журналах, входящих в перечень ВАК, статьях в других журналах [5), сборниках тезисов [G-10] научных конференций.

Структура и объем диссертации. Диссертация состоит из введения, четырехглав, заключения и списка литературы (121 источник). Объем диссертации — 131 м.п.с.

СОДЕРЖАНИЕ РАБОТЫ

Во введении указан объект исследования, обоснована актуальность проведенной работы, сформулированы ее цели и задачи, рассмотрена научная новизна и практическая значимость, описана структура диссертации.

В первой главе приводятся основные понятия и определения, относящиеся к системам дистанционного обучения (СДО). Рассматривается жизненный цикл программной системы, где особое внимание уделяется этапам анализа требований, проектирования и тестирования. В рамках этапа проектирования описываются понятия архитектуры, архитектурных представлений и архитектурных шаблонов. Архитектура разрабатываемой СДО использует описанное представление и включает некоторые архитектурные шаблоны (шаблоны проектирования).

С учетом особенностей СДО, работающих в интернете, были выработаны базовые принципы проектирования архитектуры специализированной СДО на основе архитектурных шаблонов (MVC, микроархитектурных шаблонов) и концепции AJAX. Основыми макроархитектурными шаблонами СДО выбраны MVC и Многоуровневый.

Принимая по внимание интерактивный характер работы СДО, для этапа проектирования и реализации был выбран объектно-ориентированный подход, язык моделирования - UML.

Также в главе анализируются различные технологии разработки СДО: языки программирования, форматы храпения учебных курсов и другие.

Предложен формат хранения учебных курсов на основе XML и MathML, поддерживающий вывод математических формул. В качестве удобного шаб-лонизатора предложен XSL.

Выбраны следующие технологии: язык программирования - РНР; среда тестирования - PHPUnit; среда разработки - Eclipse; библиотека для AJAX - jQuery.

Предложена организация поддержки пользователей СДО через социальную сеть (путем создания группы в социальной сети «вКоптактс»),

Во второй главе рассматривается проблема проектирования СДО с учетом критически важного требования к модифицируемости системы на этапе поддержки и сопровождения.

Для решения проблемы строится стохастическая модель и формулируется задача выбора оптимальных проектных решений. В разработанной математической модели детерминированными являются следующие параметры:

М число типов требований к системе;

К - число технических решений, доступных для реализации и ориентированных на соответствующий тип требований;

сцс - затраты на реализацию к-го технического решения для г-го типа требований, г — 1, М, к = 1, К, с^ > 0, измеряются в определенной валюте;

Стах ~ максимальные затраты на создание системы, также измеряются в определенной валюте;

d,:k - экономия времени па этапе поддержки (далее просто «выгода») от реализации к-то технического решения для г-го типа требований, i = 1 ,М,к = 1 ,К, dik > 0, измеряются в определенной валюте.

Предполагается, что затраты на некоторое техническое решение не зависят от затрат на другие решения. Выгода от некоторого решения также не зависит от выгод от других решений.

Пусть случайная величина X с дискретным распределением с реализа-

циями {1,2,... ,М} моделирует появление требования г-го типа, для которого можно использовать различные технические решения, V{X — i} = Pi, г = 1, М. Вероятности Pi считаются известными (определяются на основе статистики или, если данных недостаточно, как экспертные оценки). Введем матрицу оптимизационных переменных следующего вида

u±\\uik\\,i = KM,k = Tj<,

где элемент щь матрицы и принимает значение 1, если для г-го типа требований принято к-е техническое решение, и 0 в противном случае. Через Urn обозначим множество всех матриц и, т.е. всех матриц размера М х К с элементами 0 или 1.

Таким образом, затраты на реализацию технических решений равны

м К

С (и) = Y1^2CikUik-i=i fc=i

Затраты на реализацию решений должны быть ограничены С (и) < Стах, где константа Стах > 0 задана.

Тогда экономия времени на этапе поддержки («выгода») от реализации технических решений будет равна

М К

D(u, X) 4 £ г0(Х - j)

i=1 к=1

где

,, ч д ]ссли х =

10{х) = <

I 0, если х ф 0.

В качестве критерия оптимальности рассмотрим среднюю «выгоду»:

м К

г=1 к=1

Задача, оптимизации критерия (1) примет вид

и* = argmax-R(u), С(и)<Стах, (2)

■uet/oi

U0i = {Щк 6 {0,1},г = Т7М, fc = l^T} • (3)

В работе предлагается решение сформулированной оптимизационной задачи (2)-(3), принадлежащей к классу задач целочисленного программирования, с помощью модификации алгоритма ветвей и границ, который заключается в разбиении всего множества, стратегий на непересекающиеся подмножества (ветви) и последовательном вычислении верхних оценок для каждой ветви с отсечением «плохих» ветвей, с заведомо неоптимальным значением верхней оценки.

Рассматриваемая в главе 2 модель и алгоритм применяются в главе 4 для оптимизации проектирования разрабатываемой СДО CLASS.NET.

В третьей главе исследуется проблема оценивания результатов обучения студентов в СДО и описывается формирование и вычисление интегрального рейтинга студентов с помощью статистической обработки результатов тестов.

Рассматривается группа из N студентов, отвечающих на L вопросов теста. Ответ каждого студента может быть либо правильным, либо неправильным и моделируется дискретной случайной величиной с двумя реализациями {0,1 }, где г - номер студента в группе, г = 1,N, j - номер задания теста, j : 1, L. Случайные величины fy , j = 1, L, считаются независимыми так же, как и i = 1, N.

В модели Раша постулируется, что все случайные величины имеют одинаковое распределение, которое имеет два параметра Д и 0 один связан с заданием (А), другой - со студентом (9). Параметры Д и 0 являются безразмерными и могут быть любыми положительными числами, т.е. Д 6 (0, +оо), 0 £ (0,+оо). Вводятся обозначения для логарифмического преобразования этих параметров в = In 0,5 = In Д. Полу чившиеся (5 и в могут принимать любые действительные значения, т.е. 5 G (—оо, +оо), в 6 (—00, +оо) и называются сложностью задания (5) и уровнем подготовки студента (в).

Очевидно, что правильность ответа зависит как от сложности 5j j-го задания, так и от уровня подготовки г-го студента = Sj).

Вводится обозначение

ДМ,) = V{iij = 1} = 1 - = 0}, i = Ijv, j = I^L, (4)

где функция /(вi, Sj) принимает значения от 0 до 1.

Реализации случайных величии fy, которые наблюдаются, образуют матрицу ||ху||, где хц е {0,1}, г - номер студента в группе, i = 1,N, j - номер задания теста, j = 1,L.

Задача ставится следующим образом: по имеющимся наблюдениям ||ху|| оценить неизвестные параметры и 6j, г = 1,N, j = 1, L.

Для формулировки этой задачи рассматривается логистическая модель случайных величин которая задает функцию /(•) из (4) в виде

ДДу «-«.....W-V...I. (Ч

Для решения поставленной задачи используется процедура совместного оценивания неизвестных параметров, основанная на методе максимального правдоподобия. С этой целью вводятся обозначения

Через пГ обозначим количество студентов, набравших одинаковый балл г. Функция правдоподобия в данном случае имеет вид

Оценки параметров в и 5 можно получить, найдя максимум логарифмической функции правдоподобия. Максимум ищется через равенство нулю частных производных логарифмической функции правдободобия. В результате приравнивания частных производных к нулю получается система нелинейных уравнений.

Система редуцируется до системы с 2L — 1 уравнениями, т.к. уравнения для пг студентов с номерами ц, ?2,..., гПг, набравших одинаковый балл ги = пг = ... = пПг = г, совпадут

L

r-^2f(e гА) = о, г = 1,2,... ,1» — 1,

к=1 L-1

-sj + nkf(8k, Sj) = 0, j = 1,2,..., L.

Система (6) имеет бесконечное количество решений, так как во все уравнения входят разности параметров — 5j. Таким образом, для получения единственного решения, к системе нужно добавить еще одно уравнение с ограничением, задающим «начало отсчета». В качестве начала отсчета выбирается 0 и система (6) дополняется следующим уравнением

Х> = 0. (7)

Jt=i

Решая систему, получаем оценки 6i и 6j параметров di, 5j.

Численно систему (6),(7) можно решить, например, с помощью метода Ньютона. Заметим, что система (6),(7) имеет размерность 2L— 1, а количество уравнений 2L. Искусственно добавим новую переменную A S R1 для получения системы размерности 2L, которая будет иметь вид

f-f 1 + exp (вт - Sk)

(8)

j = 2,..., L.

1 + exP № ~ si>

В диссертации доказано следующее утверждение:

Теорема 3.2 Система нелинейных уравнений (8),(7) имеет единственное решение, которое можно получить методом Ньютона для любых начальных приближений из шара {\у — i/o|| < kt0, где - наименьший корень уравнения ht2 -1 +1 = 0, у0 = (0,..., 0) ё JR2^ у = (в, 8, А) 6 H2L,

В главе 3 также определяется максимально достижимая статистическая точность оценок неизвестных параметров.

После рассмотрения модели, которая позволяет построить оценки параметров студентов и заданий для одного теста, а также алгоритма, позволяющего вычислить эти оценки, далее в главе 3 рассматривается задача построения интегральной оценки студента. Такая оценка является общей оценкой работы студента с системой дистанционного обучения в течение семестра.

Под интегральной оценкой будем понимать оценку, полученную по К тестам, рассматривая их как один большой тест.

Алгоритм вычисления интегральной оценки состоит в следующем:

• в начале вычисляется оценка уровня подготовки студента по первому тесту;

• затем рекуррентно пересчитывается полученная оценка уровня подготовки студента с учетом данных об ответах студента в очередном задании очередного теста с вычислением оценки уровня сложности этого очередного задания.

Для каждого следующего теста используется оценка, полученная в предыдущих тестах как начальное приближение новой оценки при решении модифицированной системы уравнений (9), где отсутствует ограничение на fa = О, L — L +1. Оценки сложности предыдущих L заданий фиксированы и вновь не вычисляются, поэтому система имеет не 2L, а всего L неизвестных:

(yj е*Р {Or ~ fa) | ехр (дг - 6-L) ^ 1 + ехр (вт - fa) 1 + ехр (вг — 5[)

^ 1 + ехр (вк — Si) ~~

Предложенный рекуррентный алгоритм существенно уменьшает время вычислений, сокращая размерность решаемой для каждого задания системы уравнений в 2 раза. На одном из примеров показано, что вычисление оценок модифицированной системы заняло в 3 раза меньше времени, чем решение полной системы.

В завершении главы 3 проводится анализ соответствия модели данным на основе исследования остатков между ожидаемой вероятностью правильного ответа студента и его фактическим ответом.

В четвертой главе описывается, как разработанные в предыдущих главах модели и алгоритмы применяются для проектирования и реализации СДО CLASS.NET по математическим дисциплинам, доступной через интернет.

0,r = l,L-l,

соч

В начале главы 4 описываются функциональные и нефункциональные требования к разрабатываемой СДО. Функциональные требования к системе:

1) поддержка вывода формул и выражений в силу специфики математических курсов, изобилующих различными формулами;

2) наличие адаптивной системы помощи, ссылок и подсказок для повышения качества обучения и мгновенного перемещения между разделами;

3) возможность генерации задач по шаблону (параметрические задачи) для создания большого количества однотипных задач с разными данными;

4) поддержка числового, селективного и формульного ввода ответа для полноценного обучения математическим дисциплинам;

5) наличие удобного инструмента создания (редактирования) теоретической и практической части курсов;

G) поддержка удаленного обучения (через Интернет), для наличия доступа к курсам для студентов из дома, других городов (в принципе, практически из любой точки мира);

7) высокий уровень защита от сбоев с возможностью восстановления с точностью до решаемой задачи (система резервного копирования);

8) возможность создания курсов на других языках (помимо русского) как перспектива развития системы для обучения иностранных студентов.

Нефункциональные требования к системе:

1) наличие приятного внешнего вида и удобного интерфейса, необходимых для быстрого освоения и удобства при работе;

2) платформонезависимость системы;

3) высокая скорость работы системы;

4) масштабируемость системы для возможности простого увеличения количества пользователей;

5) минимизация объема передаваемой информации между серверной и клиентской частями системы для возможности доступа более широкого круга студентов за счет минимизации расходов на интернет;

6) низкие аппаратные и программные требования к компьютеру студента для возможности доступа более широкого круга пользователей;

7) наличие зашиты от взломов и основных типов уязвимостей.

Нефункциональные требования к СДО CLASS.NET можно сгруппиро-

вать в три основных класса требований: модифицируемость, производительность и безопасность. Дополнительным требованием является использование при разработке только программных средств, распространяемых бесплатно и находящихся в свободном доступе.

Результаты этапа анализа требований представлены в виде описания основных акторов и прецедентов. Выделены следующие основные акторы системы дистанционного обучения CLASS.NET: Студент (student), Преподаватель (teacher), Администратор (admin), Гость (guest).

Далее в главе 4 описываются результаты проектирования - архитектура системы, описанная с помощью системы представлений «4+1», которая рассматривается в главе 1. Общая архитектура системы CLASS.NET является многоуровневой с использованием архитектурного шаблона Модель-Вид-Контроллер (MVC) и представлена на Рис. 1. На каждой странице системы CLASS.NET располагаются определенные компоненты, каждый из которых содержит собственный Контроллер запросов пользователя (например, с номером задачи) и шаблон. Контроллер компонента обращается к сущностям Интерфейсного уровня, которые инкапсулируют взаимодействие с Базовым уровнем, отвечающим за взаимодействие с Базой Данных, файловым хранилищем и Базовым Видом (XSLT-шаблонизатором). В результате Контроллер компонента возвращает ответ пользователю, который отображается на экране пользователя в браузере.

Диаграмма основных классов СДО CLASS.NET представлена на Рис. 2.

В рамках разработки архитектуры используется оптимизация выбора проектных решений на основе стохастической модели, представленной в главе 2. В результате оптимизации было получено, что оптимальными техническими решениями будет выбор следующих шаблонов проектирования: «Компоновщик» (Composite), «Декоратор» (Decorator), «Наблюдатель» (Observer).

В результате была разработана структура модулей СДО CLASS.NET, представленная на Рис. 3.

В модуле Практики реализованы следующие типы ввода ответа: Строковый (Число, Число в виде простой дроби, Строка символов); Селективный 1 (выбор одной альтернативы из многих); Селективный 2 (выбор нескольких альтернатив из многих); Формульный (ввод ответа задачи в виде ма-

Рис. 1: Многоуровневая архитектура системы CLASS.NET на основе архитектурного шаблона Модель-Вид-Контроллер

тематического выражения в специальном редакторе). В модуле Практики также реализована поддержка параметрических задач - задач, текст которых генерируется по шаблону индивидуально для каждого студента.

В модуле Статистики на основании данных об ответах студентов, используя модель и алгоритм вычисления рейтинга из главы 3, формируется и вычисляется интегральный рейтинг студентов в СДО.

Далее представлено описание концепции AJAX, которая используется для реализации нефункционального требования по производительности.

В следующей части главы 4 рассматривается разработанная система тестирования, позволяющая эффективно вести сопровождение системы и ее инкрементальную доработку.

В завершающей части главы 4 представлен внешний вид разработанной СДО CLASS.NET при различных состояниях системы. На Рис. 4 представлен внешний вид системы при работе с задачами для самообучения.

К ключевым преимуществам СДО CLASS.NET можно отнести приятный внешний вид, простоту, наличие социальной состовляющей (рейтинг,

Пользователь

ФИО : String 1 номерГрулпы; int

тилПолъзователя: List

принадлежит

Состояние пользователи

текущийРаздел : int комераЗадачИзСгжскаДляРешет номерСессии: int рейтинг: double

эаписатьСписокЗадач(списокЗадач: List): boolean

Курс те о вии принадлежит Параг&аф теории

номерКурса ; int наэваниеКуоса : String XML.file : String номврПараграфа : int названиеПа pa графа : String

соответствует

получитьКодМенюО : String вывести Раздел (СЕТ. st ring : String): String загрузитьКурсИзПапкл<(имяПапкм: String): boolean

Раздел практики

сгенбрироватьСписокЗадачДляПользоаателяО : List

Рис. 2: Диаграмма основных классов системы CLASS.NET

поддержка в социальной сети) и встроенную систему сбора обратной связи для постоянного повышения качества системы и учебных материалов.

Основные результаты работы, выносимые на защиту

1. Выполнен анализ подходов и методов проектирования и разработки программных систем с точки зрения СДО [3,7.10].

Модуль Теоретической части

Модуль Практической части

Административный Н Модуль создания/ модуль Н редактирования курсов

Рис. 3: Модули системы CLASS.NET

2. Выработаны принципы проектирования архитектуры специализированной СДО по математическим дисциплинам па основе архитектурных шаблонов (MVC, микроархитектурных шаблонов) и концепции AJAX (1-3,7,10].

3. Разработана модульная архитектура специализированной СДО по математическим дисциплинам [1,6,7].

4. Разработана стохастическая модель выбора проектных решений СДО на этапе проектирования [2,3,9].

5. Разработан рекуррентный алгоритм вычисления оценки студента при работе в СДО, основанный на логистической модели обработки тестов и методе максимального правдоподобия [4-5,8].

6. На основе разработанной архитектуры выполнена программная реализация специализированной СДО по математическим дисциплинам CLASS.NET, предназначенная для работы в интернете [1,6,10].

Публикации в журналах из перечня ВАК

1. Кибзун А.И., Вишняков Б.В., Панарин С.И. Оболочка системы дистанционного обучения по математическим курсам // Вестник компьютерных и информационных технологий, 2008, № 10. С. 43-48.

***S3 v *

Компьютерный курс по ТВиМС

Теоретическая масть : Практическая масть ■ Калькулятор j Результаты i Выход

ацдаышы! шин

= Я9 УЕДЕНЫ» еяевЕздвшии»

Задача 9.2.2

Закон г. зеяройеквт&№ сг-уне&хно штора z-(Xff за твбыл-й

Найти ррб распpewexjn и «апеямлчгосмк дооСй.чуе «й»чя5юй ге."о' Г-*"ЧХ. Г)

Р£ рКЯМЯИ»»»» »д«1

Подсказка №1 (осталось подсказок: 3)

Последняя 1512200

ttxtepHCt j Зашищсьны! (кжи

Рис. 4: Внешний вид СДО CLASS.NET

2. Кибзун А.И.. Панкрин С.И. Стохастическая модель модифицируемости системы дистанционного обучения // Вестник Московского а,виа,-ционного института, 2009, Т. 16, №7, С. 76-79.

3. Кибзун А.И., Панарин С.И. Стохастический подход к управлению модифицируемостью системы дистанционного обучения / / Вестник компьютерных и информационных технологий, 2010, №12, С. 40-49.

4. Кибзун А.И., Панарин С.И. Формирование интегрального рейтинга с помощью статистической обработки результатов тестов // Автоматика и Телемеханика, 2011, №10 (принята к публикации).

Публикации п других изданиях

5. Панарин С.И. Повышение эффективности обучении студентов аэрокосмических специальностей с помощью специализированного рейтинга // Электронный журнал Труды Московского авиационного института, 2011, №44.

, 6. Панарин С.И. Система дистанционного обучения по математическим дисциплинам через Интернет // Тезисы доклада на конференции «Информационные технологии в авиационной и космической технике -2008», МАИ. С. 61-62.

7. Кибзун А.И., Панарин С.И. Особенности проектирования специализированной СДО по математическим курсам CLASS.NET // Тезисы международной конференции «Авиация и космонавтика - 2009», МАИ. С. 35-3G.

8. Кибзун А.И., Панарин С.И. Статистическая обработка результатов обучения в СДО CLASS.NET: новые решения // Тезисы доклада на международной конференции «Системный анализ, управление и навигация», Евпатория, 2009. С. 123.

9. Кибзун А.И., Панарин С.И. Стохастический подход к модифицируемости системы // Труды 52-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук», 2009, Т.2., 4.VII., С. 20-22.

10. Кибзун А.И., Панарин С.И. Математическое и программное обеспечение системы дистанционного обучения по математическим дисциплинам // Тезисы доклада на международной конференции «Интеллектуальные технологии и средства реабилитации людей с ограниченными возможностями» (ИТСР-2010), Москва, 2010. С.45-46.

Подписано в печать:

11.05.2011

Заказ Л» 5504 Тираж - 100 экз. Печать трафаретная. Объем: 1,25 усл.п.л. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 www.autoreferat.ru

Введение

1 Разработка специализированных систем дистанционного обучения

1.1. Введение.

1.2. Основные понятия, используемые при проектировании СДО . 21 1.2.1. СДО как программная система, работающая в интернете

1.3. Жизненный цикл программной системы.

1.3.1. Процессы разработки программных систем

1.3.2. Подходы к созданию программных систем.

1.4. Этап анализа требований.

1.4.1. Моделирование функциональных требований с помощью вариантов использования.

1.5. Этап проектирования.

1.5.1. Архитектура и архитектурные представления.

1.5.2. Архитектурные стили (макроархитектурные шаблоны)

1.5.3. Шаблоны проектирования (микроархитектурные шаблоны)

1.6. Этап тестирования.

1.6.1. Принципы тестирования.

1.7. Технологии создания СДО, доступных через интернет.

1.7.1. Базовые технологии (HTML, CSS, JavaScript).

1.7.2. XML/XSL/MathML.

1.7.3. Языки программирования, СУБД.

1.7.4. Концепция AJAX.

1.7.5. Поддержка пользователей через социальную сеть «вКонтакте»

1.8. Вьшоды.

2 Оптимизация выбора технических решений на этапе проектирования СДО с учетом модифицируемости

2.1. Введение.

2.2. Техническая постановка задачи.

2.2.1. Принципы выбора технических решений в системе на этапе проектирования.

2.3. Математическая постановка задачи.

2.3.1. Стохастическая модель.

2.4. Алгоритм решения оптимизационной задачи.

2.5. Определение затрат и выгод технических решений.

2.0. Выводы.

3 Формирование интегрального рейтинга студентов СДО с помощью статистической обработки результатов тестов

3.1. Введение.

3.2. Описание модели наблюдений.

3.3. Оценивание уровней сложностей заданий методом максимального правдоподобия

3.4. Алгоритм вычисления оценок сложностей заданий.

3.5. Рекуррентный алгоритм вычисления интегральной оценки студента

3.6. Проверка соответствия модели экспериментальным данным.

3.7. Выводы.

4 Специализированная СДО по математическим курсам CLASS.NET, доступная через интернет

4.1. Введение.Э

4.2. Требования к системе.

4.2.1. Функциональные требования.

4.2.2. Нефункциональные требования.

4.2.3. Основные акторы и прецеденты.

4.3. Этап проектирования.

4.3.i. Применение оптимизационного подхода для выбора технических решений на этапе проектирования.

4.3.2. Общая архитектура системы.

4.3.3. Учебные курсы.

4.3.4. Ядро системы .LOI

4.3.5. Структура системы.

4.4. Этап программирования

4.4.1. Применение концепции AJAX.

4.5. Этап тестирования.

4.5.1. Пример кода тестов.

4.6. Внешний вид системы CLASS.NET.

4.6.1. Практическая часть.

4.7. Выводы.

Обьектом исследования в диссертационной работе является программное и математическое обеспечение систем дистанционного обучения (СДО) по математическим дисциплинам. СДО в работе рассматривается как средство повышения качества подготовки высококвалифицированных кадров для аэрокосмической промышленности.

Задача создания автоматизированных систем, призванных обучать без помощи человека, имеет более чем 30-летнюю историю. Исследуются различные направления, такие как: проектирование обучающих; систем и комплексов, проблемы разработки программного обеспечения, управление проектами разработки, статистическая обработка результатов студентов, в комплексе позволяющие создавать сложные и функциональные системы.

Однако, несмотря на достаточное количество существующих обучающих систем, на сегодняшний день они не имеют очень широкого распространения, потому как уровень традиционных систем автоматизированного обучения, реализующих схему «вывод текста - контрольный вопрос - сличение ответа с образцом», несравним с уровнем проблемного эксперта: предметные знания представлены в них пассивно и значительно упрощены. Обучающие системы, осуществляющие контроль знаний, как правило, представляют собой программы-тесты. При таком подходе к оцениванию знаний можно отметить следующие недостатки: присутствует элсмен г угадывания ответа, существует возможность обратной проверки, ведется весьма ограниченный диалог с пользователем (как правило, два сообщения: «Верно» и «Неверно).

Для устранения указанных недостатков в работе [44] предлагается обеспечи ть возможность ввода ответа в произвольной форме, аналогичной записи в тетради. Задача такого рода решается при помощи системы искусственного интеллекта.

Обучающие системы, описанные в работе, были реализованы как экспертные системы, для чего был создан специализированный язык представления знании Тгее-ПЕРАЬ. Такая реализация обучающих систем дает возможность наполнения и динамического изменения баз знаний экспертом-методистом, что позволяет осуществить диверсифицированный подход к ученику и воссоздать эффект присутствия преподавателя при контроле знаний.

В работе [43] рассматривается проблема обеспечения индивидуального задания каждому ученику. Предлагаемый в статье метод основан на клонировании шаблона документа. При этом шаблон документа представляет из себя параметризованное задание или матрицу задания, а клоны - это варианты, где конкретизированы некоторые переменные. Условия перебора параметров также задаются в документе матрице отдельной формулой, что позволяет создать различные 'типы заданий. То есть преподаватель не ограничен в выборе типа задач и при желании может параметризировать любой пример (правда, следует учесть, что существуют частные случаи заданий с одним единственным вариантом).

В работе [69] рассматривается методологическая и технологическая концепция проектирования компьютерных систем на основе методов программной инженерии, имеющих междисциплинарный характер и учитывающая как технические аспекты проблемы, так и гуманитарные, а также методы идентификации ключевых абстракций и механизмов области абстракций на основе синтеза структурного н объектно-ориентированного анализа.

В работе [70] предлагаются технические решения ускорения процесса проектирования компьютерных обучающих за счет включения в архитектуру визуальных модельных каркасов. Также рассмотрены технические решения адаптивности визуальных моделей проектируемых систем к изменениям функциональных требований в течение всего жизненного цикла разработки за счет применения проектных образцов.

В работе [53] представлены результаты разработки комплекса программ управления процессами дистанционного образования, выполненные при непосредственном участии автора как главного конструктора разработок, системного аналитика и исполнителя. В качестве ведущей рассматривается концепция теории массового обслуживания. Разработанная система получила, название МОТОР.

Подсистема МОТ решает проблемы автоматизации различных служб вуза, выполняя весь набор функций, необходимых для работы университета как производственной организации: приемной комиссии, деканата, кафедр, финансово-бухгалтерских и других служб вуза, что позволяет организовывать управление обслуживанием традиционных университетских процессов и их версиями для случайных потоков заявок.

Подсистема ТОР предназначена для проектирования электронных учебников и других учебных ресурсов в единой среде на основе концепции многократно используемых учебных комплектов, является единым хранилищем учебных объектов и инструментарием для управления учебным процессом при изучении дисциплины.

В работах [33-37] разработаны теоретические основы и практические рекомендации для построения эффективной системы управления производственно-образовательных комплексов.

В работе [47] высказывается идея о применении статистической теории оценивания параметров к задаче тестирования и приводятся примеры ее реализации.

Помимо теоретических исследований, разрабатываются свободно-распространяемые и вузовские СДО.

Одной из самых эффективных [72] свободно-распространяемых систем является Моос11е (http://wwvv.raoodle.org/) [78]. Проект был задуман для распространения социо-конструктивистского подхода в обучении. Этот подход подразумевает следующее:

1) новые знания могут приобретаться только па основе ранее приобретенных знаний и уже имеющегося индивидуального опыта;

2) процесс обучения будет намного эффективнее, когда обучаемый передает другими словами пли объясняет другим полученные знания.

Однако данная система обладает рядом недостатков (отсутствие полноценного перевода на русский язык, ограниченный набор типов заданий и собственная логика процесса обучения, большой размер и сложность), что не позволило применять ее и потребовало разработки собственной СДО.

Так как СДО обладает рядом преимуществ при организации учебного процесса в вузе, то во многих вузах ведутся разработки собственных СДО.

Эффективность применения электронных учебно-методических материалов и лабораторных практикумов отмечается многими авторами, в том числе и и в Белорусском национальном техническом университете (БЫТУ) [48].

На кафедре инженерной математики БНТУ разработаны две части электронного конспекта лекций по <,Высшей математике» и лабораторные практикумы по «Информатике» и «Высшей математике» для студентов инженерных специальностей приборостроительного и механико-технологического факультетов.

Автоматизация контроля знаний в БНТУ реализована с помощью тестирования. Создание тестов было проведено на базе специализированных программ, таких как TeachPro, TestMaster, TestLab.

В рамках национального проекта «Образование» создается Виртуальным Национальный университет ИТ-образования [63|. Данный проект направлен на достижение качественно нового уровня подготовки востребованных научных и профессиональных кадров в области информационных технологий на основе разработки и внедрения новых образовательных стандартов, стандартов электронного и мобильного обучения, инновационных педагогических технологий и образовательных ресурсов, а также на основе глубокой инфюрматизацни образовательных бизнес-процессов.

Опыт стран, добившихся реальных результатов в в построении информационного общества показывает ведущую роль в достижении общественного прогресса открытого электронного образования (е-learning или е-обучения), представляющего собой комплекс технологий и стандартов информатизации образовательной деятельности, производства знаний, управления знаниями, а также инновационных образовательных решений.

Уже на начальном этапе проекта его соразработчиками и участниками стали многие университеты, институты и организации, включая ННГУ, СПбГУ, МЭСИ, МИРЭА, ТПГУ, «Дубна», ИПИ РАН, ИТМ, и ВТ, ЛАНИТ, Яндекс и др.

Разработка электронных учебников осуществляется в соответствии с рекомендациями международных консорциумов ACM, IEEE к содержанию курсов, и в соответствии с международными стандартами SCORM, IMS и др. к технологическим условиям создания электронных учебных материалов.

Важно отметить, что несмотря на наличие свободно-распространяемых и вузовских СДО, перечисленные системы не предназначены для работы с математическими дисциплинами, поэтому разработка такой СДО является актуальной.

В данной работе будет осуществляться разработка математического и программного обеспечения СДО для работы с математическими курсами. При разработке программной части будут использоваться результаты из области программной инженерии, идеи параметризации заданий [43]. Разработка математического обеспечения будет основываться на результатах статистической теории оценивания неизвестных параметров в задаче тестирования [46,47].

Целью исследования является разработка системы дистанционного обучения (СДО) по математическим дисциплинам, предназначенной для работы в интернете, с оптимизацией выбора проектных решений. Для достижения поставленной цели предлагается решить следующие задачи:

1) провести анализ подходов и методов проектирования и разработки программных систем с точки зрения СДО;

2) выработать принципы проектирования архитектуры специализированной СДО;

3) разрабогать модульную архитектуру специализированной СДО;

4) разработать стохастическую модель управления модифицируемостью СДО на этапе проектирования и предложить алгоритм ее оптимизации;

5) разработать рекуррентный алгоритм вычисления оценки студента при работе в СДО;

6) разработать на основе предложенной архитектуры специализированную СДО по математическим дисциплинам, предназначенную для работы в интернете.

Сведения о внедрении. СДО CLASS.NET внедрена в учебный процесс в МАИ, о чем есть соответствующие акты.

Основные результаты диссертации опубликованы в 3 статьях [22, 26, 27] в журналах, входящих в Перечень ВАК, сгатьях в других журналах [52] и тезисах научных конференций [28-30,51].

Диссертация состоит из четырех глав, заключения и списка литературы (121 источник). Объем диссертации включает 131 машинописную страницу, включая 26 рисунков, 3 таблицы.

Краткое содержание основных результатов работы по главам состоит в следующем.

В первой главе приводятся основные понятия и определения, относящиеся к системам дистанционного обучения (СДО). Рассматривается жизненный цикл программной системы, где особое внимание уделяется этапам анализа требований, проектирования и тестирования. В рамках этапа проектирования описываются понятия архитектуры, архитектурных представлений и архитектурных шаблонов. Архитектура разрабатываемой СДО использует описанное представление и включает некоторые архитектурные шаблоны (шаблоны проектирования).

С учетом особенностей СДО, работающих в интернете, были выработаны базовые принципы проектирования архитектуры специализированной СДО на основе архитектурных шаблонов (MVC, микроархитектурных шаблонов) и концепции AJAX. Осповыми макроархигектурными шаблонами СДО выбраны следующие:

• M VC,

• Многоуровневый.

Принимая во внимание интерактивный характер работы СДО, для этапа проектирования и реализации был выбран объектно-ориентированный подход, язык моделирования - UML.

Также в главе анализируются различные технологии разработки СДО: языки программирования, форматы хранения учебных курсов и другие.

Предложен формат хранения учебных курсов на основе XML и MathML, поддерживающий вывод математических формул. В качестве удобного шаблони-загора предложен XSL.

Выбраны следующие технологии:

• Язык программирования - PHP;

• Среда тестирования - PHPUnit;

• Среда разработки - Eclipse;

• Библиотека для AJAX - jQuery.

Предложена организация поддержки пользователей СДО через социальную сеть (путем создания группы в социальной сети «вКонтакте»).

Во второй главе рассматривается проблема проектирования СДО с учетом критически важного требования к модифицируемости системы на этапе поддержки и сопровождения.

Для решения проблемы строится стохастическая модель и формулируется задача выбора оптимальных проектных решений. В разработанной математической модели детерминированными являются следующие параметры:

М - число типов требований к системе;

К - число технических решений, доступных для реализации и ориентированных на соответствующий тип требований; с;/,; - затраты на реализацию к-vo технического решения для г-го типа требований, i — 1, М, к = 1, К. Измеряются в определенной валюте (например, рублях);

От<и; - максимальные затраты на создание системы. Также измеряются в определенной валюте;

1г/; - экономия времени на этапе поддержки (далее просто «выгода») от реализации к-то технического решения для ¿-го типа требований, г — 1, Л/, к — 1. К. Измеряются в определенной валюте (например, рублях);

Предполагается, что затраты на некоторое техническое решение не зависят от затрат на другие решения. Выгода от некоторого решения также не зависит от выгод от других решений.

Пусть случайная величина X имеет дискретное распределение с реализациями { 1,2, .,М} моделирует появление требования ?-го типа, для которого можно использовать различные технические решения, V{X = г} = ph ¿ = 1, М. Вероятности Pi считаются известными (определяются на основе статистики или, если данных недостаточно, как экспертные оценки).

Введем матрицу оптимизационных переменных следующего вида и = { игк }, i — 1, М, к = 1, К, где элемент матрицы и принимает значение 1, если для ¿-го тина требований принято к-с техническое решение, и 0 в противном случае. Через Uq[ обозначим множество всех матриц и, т.е. всех матриц размера М х К с элементами 0 или 1.

Таким образом затраты на реализацию технических решений будут равны м к

С(и) i=l k= 1

Затраты на реализацию решений должны быть ограничены С (и) ^ Стаг, где константа С7ГМГ > 0 задана.

Тогда экономия времени на этапе поддержки («выгода») от реализации технических решений будет равна

М К

D(u, X) = ^ lo(X - *) dikUik, i=1 fc=l где

1, если x — 0; 0, если х ф 0.

В качестве критерия оптимальности рассмотрим среднюю «выгоду»:

М К

R(u) 4 M[D(u,X)] = X^p^fc«*. (1) г=1 fe=i

Задача, оптимизации критерия (1) примет вид и* = arg max R(u), С{и) < Стах, (2) u£Uoi и01 = {щк е { 0,1},г = 1.М,к = 1,К}. (3)

В работе предлагается решение сформулированной оптимизационной задачи (2)~(3), принадлежащей к классу задач целочисленного программирования, с помощью модификации алгоритма ветвей и границ.

Рассматриваемая в главе 2 модель и алгоритм применяются в главе 4 для оптимизации проектирования разрабатываемой СДО CLASS.NET.

В третьей главе исследуется проблема объективного оценивания результатов студентов в СДО и описывается формирование и вычисление интегрального рейтинга студентов с помощью статистической обработки результатов тестов.

Рассматривается группа из N студентов, отвечающих на Ь вопросов теста. Ответ каждого студента, может быть либо правильным, либо неправильным и моделируется дискретной случайной величиной с двумя реализациями {0,1 }, где ?" - номер студента в группе, i = 1, N, j - номер задания теста, j = I, L.

Случайные величины 3 ~ 1, Ь, считаются независимыми так же, как и г — 1, N. Предположение о независимости случайных величин основывается па выполнении стандартных требований при проведении процедуры тестирования, когда все варианты теста принадлежат разным разделам курса, мало связанным между собой, и студенты при тестировании не обмениваются информацией. Ниже предполагается, что N > / .

В модели [112] постулируется, что все случайные величины имеют одинаковое распределение, которое имеет два параметра А и в - один связан с заданием (А), другой - со студентом (©). Параметры А и © являются безразмерными н могут быть любыми положительными числами, т.е. А € (0, +со), 0 € (0, + оо). Вводятся обозначения для логарифмического преобразования этих параметров 0 = 1п 0, ё == 1п А. Получившиеся 5 и в могут принимать любые действительные значения, т.е. 6 6 (—со,+оо), в 6 (—оо,+оо) и называются сложностью задания (7)) и уровнем подготовки студента (в).

Очевидно, что правильность ответа зависит как от сложности 6, у-го задания, так и от уровня подготовки в, г-го студента ^ = А)

Вводится обозначение

Ж-А) = = 1} = 1 - = 0}, » = = 17Х, (4) где функция /(вг,6у) принимает значения от 0 до 1.

Реализации случайных величин которые наблюдаются, образуют матрицу где 6 {0,1}, г - номер студента в группе, г = 1. АГ, у' - номер задания теста, ] = 1 ,Ь.

Задача ставится следующим образом: по имеющимся наблюдениям | ¡.гу, 11 оцепить неизвестные параметры и в3, г = 1, ЛГ, у — 1, Ь.

Для формулировки этой задачи рассматривается логистическая модель случайных величин , которая задаст функцию /(•) из (4) в виде

Для решения поставленной задачи используется процедура совместного оценивания неизвестных параметров, основанная на методе максимального правдоподобия. С этой целью вводятся обозначения

N Ь

А , А V"

Через пг обозначим количество студентов, набравших одинаковый балл г. Функция правдоподобия в данном случае имеет вид

Цх, в, 6) = 6,) = г = 1, ЛГ,; = 1, ехр (хгу(вг -<$,))

ПП?

1111 где х = со1(а;п, • • • ----ЗД,. ,хмь), 6 — со1(0ь . ,0дО> ^ = • • •

Из структуры (функции правдоподобия видно, что ее значение не изменится, если ко нем параметрам добавить одну и ту же константу. Поэтому введем дополнительное условие, характеризующее «начало отсчета»: ь

Х> = о. (б) к=\

Оценим параметры в и 6, найдя максимум логарифмической функции правдоподобия при условии (6). Для этого воспользуемся методом множителей Лагран-жа. Введем Лагранжиан ь

Ь(х. в, 6, А) = 1п Ь(х, в, + Л 6к. (7) к= 1

Максимум ищется через равенство нулю частных производных Лагранжиана. В результате приравнивания частных производных к нулю получается система нелинейных уравнений. Эта система редуцируется до системы с 2Ь — 1 уравнениями, т.к. уравнения для пг студентов с номерами г15 г2,., г„г, набравших одинаковый первичный балл гч = г;2 = . = г^ — г, совпадут, т.е. среди N студентов количество различных оценок не превышает количество возможных первичных баллов, за исключением нуля и максимального Ь (всего количество оценок будет равно £-—!).

Таким образом получаем систему ь г-]Г/(6>7А) = 0, г = 1, 2, 1, с=1 + + Л = .7 = 1,2 (8)

4 = 0

V А = 1 из 2Ь уравнений относительно 2Ь неизвестных.

Решая систему (8), можно получить оценки вг, (У,- параметров дг, <5,, г = 1, £ — 1, = 1, Ь. Численно систему (8) можно решить, например, с помощью метода Ньютона.

В главе 3 показана сходимость метода Ньютона для системы (8) с нулевым начальным приближением. Также определяется максимально достижимая статистическая точность оценок неизвестных параметров.

Далее рассматривается процедура вычисления оценок каждого студента с последующим ее уточнением на основе дополнительных тестов, учитывая сложность решенных студентом задач.

Вначале из логистической шкалы уровнен сложностей заданий происходит возврат в прежнюю шкалу

4* = е>Ф<*7, ] = 1, Ь, (9) где 5j - оценки сложностей заданий, полученные как решение системы (8). Оценка уровня студента вычисляется на основе тех задач, которые он решил, с учетом пх сложности я.д.

0г = к' 3 • 100%, г = 1, (10)

1 А; где = 1, если студент решил ,/-ю задачу и х1з =0, если не решил.

Под интегральной оценкой будем понимать оценку, полученную по К тестам, рассматривая их как один большой тест. Алгоритм вычисления интегральной оценки состоит из 2 шагов - начального и рекуррентного.

Начальный шаг. Для каждого студента вычисляется оценка уровня подготовки для первого теста Т\ с экспериментальными данными Положим, что число заданий теста Т\ равно Ь\ - решается система (8), находятся сложности заданий 5], ] — 1, и оценки студентов О -, г = 1,АГ по формуле (10).

Рекуррентный шаг. На этом шаге производится рекуррентный пересчет оценок студентов. С этой целью вычисляются оценки 0~, г = 1, N для новой серии экспериментальных данных где./ — 1, Ьо- Уточнение оценок студентов вычисляется как арифметическое среднее о2 ^ + ^ ©г =-¡5-, г =

После к-го теста в качестве оценки г-го студента принимается г/с-1 гк к - 1)©Г + = V--^ I = 1? дг.

Вычисление интегрального рейтинга с помощью рекуррентного алгоритма проиллюстрировано на примере обработки ответов 145 студентов в СДО CLASS.NET.

В завершении главы 3 проводится анализ соответствия модели данным на основе исследования остатков между ожидаемой вероятностью правильного ответа студента и его фактическим ответом. Такой анализ основан на результатах работы [115].

В четвертой главе описывается, как разработанные в предыдущих главах модели и алг оритмы применяются для проектирования и реализации СДО CLASS.NET по математическим дисциплинам, доступной через интернет.

В начале главы 4 описываются функциональные и нефункциональные требования к разрабатываемой СДО. Функциональные требования к системе:

1) поддержка вывода формул и выражений в силу специфики математических курсов, изобилующих различными формулами;

2) наличие адаптивной системы помощи, ссылок и подсказок для повышения качества обучения и мгновенного перемещения между разделами;

3) возможность генерации задач по шаблону (параметрические задачи) для создания большого количества однотипных задал с разными данными;

4) поддержка числового, селективного и формульного ввода ответа для полноценного обучения математическим дисциплинам;

5) наличие удобного инструмента создания (редактирования) теоретической и практической части курсов;

6) поддержка удаленного обучения (через Интернет), для наличия доступа, к курсам для студентов из дома, других городов (в принципе, практически из любой точки мира);

7) высокий уровень защита от сбоев с возможностью восстановления с точностью до решаемой задачи (система резервного копирования);

8) возможность создания курсов на других языках (помимо русского) как перспектива развития системы для обучения иностранных студентов.

Нефункциональные требования к системе:

1) наличие приятного внешнего вида и удобного интерфейса, необходимых для быстрого освоения и удобства при работе;

2) платформонезависимость системы;

3) высокая скорость работы системы;

4) масштабируемость системы для возможности простого увеличения количества пользователей;

5) минимизация объема передаваемой информации между серверной и клиентской частями системы для возможности доступа более широкого круга студентов за счет минимизации расходов па интернет;

6) низкие аппаратные и программные требования к компьютеру студента для возможности доступа более широкого круга пользователей;

7) наличие зашиты от взломов и основных типов уязвимостей веб-приложений.

Нефункциональные требования к СДО CLASS.NET можно сгруппировать в три основных класса требований:

1. Модифицируемость,

2. Производительность,

3. Безопасность.

Дополнительным требованием является использование при разработке только программных средств, распространяемых бесплатно и находящихся в свободном доступе.

Результаты этапа анализа требований представлены в виде описания основных акторов и прецедентов. Прецедент - описание последовательности действий, включая альтернативные и ошибочные последовательности, которые система, подсистема, или класс могут осуществлять, взаимодействуя с внешними акторами. Актор - роль, которую исполняют пользователи прецедентов во время взаимодействия с системой.

Выделены следующие основные акторы системы дистанционного обучения CLASS.NET:

1. Студент (student),

2. Преподаватель (teacher),

3. Администратор (admin),

4. Гость (guest).

Далее в главе 4 описываются результаты проектирования - архитектура системы, описанная с помощью системы представлений «4+1», которая рассматривается в главе 1. Общая архитектура системы CLASS.NET является многоуровневой:

1) Вазовый уровень: Вазовые Модели (БД, файлы) - класс DB библиотеки PEAR и другие; Базовый Вид - основной шаблонизатор (XSLT);

2) Интерфейсный уровень (API системы): Основных сущности системы - CTask, С User, CTheory Paragraph и прочие, инкапсулирующие взаимодействие с базовыми Моделями;

3) Компонентный уровень: Контроллеры страниц, вызывающие Компоненты; Компоненты, содержащие собственные Контроллеры, Виды (конкретные шаблоны) и использующие Интерфейсный уровень (API системы).

В рамках разработки архитектуры используется оптимизация выбора проектных решений на основе стохастической модели, представленной в главе 2. В результате оптимизации было получено, что оптимальными техническими решениями будет выбор следующих шаблонов проектирования: «Компоновщик» (Composite). «Декоратор» (Decorator), «Наблюдатель» (Observei).

В результате была разработана следующая структура, модулей СДО CLASS.NET: Ядро, Модуль Теории, Модуль Практики, Модуль Статистики, Модуль Создания/редактирования курсов, Административный модуль. В модуле Практики реализованы следующие типы ввода ответа:

1) Строковый a) Число (с точкой или запятой в виде разделителя целой и дробной части); b) Число в виде простой дроби (со символом «/» в качестве дробной черты), что важно для некоторых задач, например, по теории вероятностей; c) Строка символов (слово, словосочетания, предложение);

2) Селективный 1 - выбор одной альтернативы из многих;

3) Селективный 2 - выбор нескольких альтернатив из многих;

4) Формульный - ввод ответа задачи в виде математического выражения в специальном редакторе.

В модули1, Практики также реализована поддержка параметрических задач - задач, текст которых генерируется по шаблону индивидуально для каждого студента.

В модуле Статистики на основании данных об ответах студентов, используя модель и алгоритм вычисления рейтинга из главы 3, формируется и вычисляется интегральный рейтинг студентов в СДО.

Далее представлено описание концепции AJAX, которая используется в рамках реализации нефункционального требования по производительности.

В следующей части главы 4 рассматривается разработанная система тестирования, позволяющая эффективно вести сопровождение системы и ее инкрементальную доработку.

В завершающей части главы 4 представлен внешний вид разработанной СДО CLASS.NET при различных состояниях системы.

Основные результаты, выносимые на защиту:

1) выполнен анализ подходов и методов проектирования и разработки программных систем с точки зрения СДО;

2) выработаны принципы проектирования архитектуры специализированной СДО по математическим дисциплинам на основе архитектурных шаблонов (MVC, микроархитектурных шаблонов) и концепции AJAX;

3) разработана модульная архитектура специализированной СДО по математическим дисциплинам;

4) разра,ботана стохастическая модель выбора проектных решений СДО на этане проектирования и предложен алгоритм ее оптимизации;

5) разработан рекуррентный алгоритм вычисления оценки студента при работе в СДО, основанный на логистической модели обработки тестов и методе максимального правдоподобия;

6) на основе разработанной архитектуры выполнена программная реализация специализированной СДО по математическим дисциплинам CLASS.NET, предназначенная для работы в интернете.

Заключение

В диссертации исследуется программное и математическое обеспечение систем дистанционного обучения (СДО) по математическим дисциплинам. В частности, в первой главе приводятся основные понятия и определения, относящиеся к системам дистанционного обучения (СДО) и представлены результаты анализа подходов, методов проектирования и разработки программных систем с точки зрения СДО, а также осуществлен выбор технологий и инструментов разработки программного обеспечения СДО по математическим дисциплинам. Во второй главе рассматривается проблема проектирования СДО с учетом критически важного требования к модифицируемости системы на этапе поддержки и сопровождения. Для решения проблемы строится стохастическая модель и формулируется задача выбора оптимальных проектных решений и предлагается алгоритм решения сформулированной оптимизационной задачи, принадлежащий к классу алгоритмов целочисленного программирования. В третьей главе исследуется проблема оценки уровня подготовки студентов в СДО по результатам тестов. На основе логистической модели Раша строится интегральный рейтинг студентов. Предлагается рекуррентный алгоритм вычисления рейтинга, основанный на методе Ньютона. Показана сходимость алгоритма и соответствие эмпирических данных предположениям модели. В четвертой главе описывается, как разработанные в предыдущих главах модели и алгоритмы применяются для проектирования и реализации специализированной СДО CLASS.NET по математическим дисциплинам. Представляется архитектура системы, ее основные возможности и примеры ее работы.

Основным итогом диссертации является разработка специализированной системы дистанционного обучения CLASS.NET по математическим дисциплинам, доступной через интернет.

1. Анисимов В.И., Сидоркина А.Г. База методов автоматизированного проектирования образовательного курса // Известия СПбГЭТУ «ЛЭТИ». серия «Информатика, управление и компьютерные технологии», 2002, вып. 1, с. 3-4.

2. Ар.юу Д., Нейгптадт A. UML2 и Унифицированный процесс. Практический объектно-ориентированный анализ и проектирование. СПб: Символ-Плюс,2007.

3. Бсртсекас Д. Условная оптимизация и методы множителей Лагранжа. AI.: Радио и связь, 1987.

4. Благодатских В.А. Стандартизация разработки программных средств: учеб. Пособие / В.А. Благодатских, В.А. Волнин, К.Ф. Поскакалов, под ред. О.С. Разумова. М.: Финансы и статистика, 2006.

5. Бродский Ю. И. Проблемы создания центра имитационного моделирования в Internet. Моделирование, декомпозиция и оптимизация сложных динамических процессов, М.: ВЦ РАН, С. 29-35.

6. Буч Г., Рамбо Д. Якобсон И. Язык UML. Руководство пользователя. М.: ДМК Пресс, 2007.

7. Ван дер Варден Б.Л. Математическая статистика. М.: Издательство Иностранной Литературы, 1960.

8. Гагарина Л.Г., Виснадул Б.Д., Игошин A.B. Основы технологии разработки программных продуктов: Учебное пособие. М.: ФОРУМ: ИНФРА-М, 2006

9. Гамма Э., Хелм Р., Джонсон Р., Влиссидес Дою. Приемы объектно-ориентированного проектирования. Паттерны проектирования. СПб: Питер,2008.

10. Гласс Док., Стен ли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. 495 с.

11. Гудман С., Хидетииеми С. Введение в разработку и анализ алгоритмов. М.: Мир, 1981.

12. Дейт, К. Введение в системы баз данных. М.: Наука, 1980.

13. Друкер П. Задачи менеджмента в XXI веке. М.: Издательский дом "Вильяме 2007.

14. Ивченко ГЛ., Медведев Ю.И. Математическая статистика. М.: Высшая школа, 1984.

15. Йордон ЭАргила К. Объектно-ориентированный анализ и проектирование систем. М.: Издательство «ЛОРИ», 2007.

16. Калман Р. Фалб П., Арбиб М. Очерки по математической теории систем. М.: Мир, 1971.

17. Кан Ю.С., Кибзун А.И. Задачи стохастического программирования с вероятностными критериями, М.: Физматлит, 2009.

18. Каррано Ф.М., Причард Дж.Дж. Абстракция данных и решение задач на С++. Стены и зеркала, 3-е издание.: Пер. с англ. М.: Издательский дом «Вильяме», 2003.

19. Кериевски Док. Рефакторинг с использованием шаблонов. М.: Издательский дом «Вильяме», 2008.

20. Кибауи А.И., Вишняков Б.В., Панарин С.И. Оболочка системы дистанционного обучения по математическим курсам // Вестник компьютерных и информационных технологий, 2008, N0. 10. С. 43 48.

21. Кибзун А.И., Каролинская С.Н., Шаюков Р.И. Система дистанционного обучения по математическим дисциплинам в вузе // Вестник компьютерных и информационных технологий, 2006, №4, с. 29-36.

22. Кибзун А.И., Каролинская С.Н. Графоориентированный подход к построению компьютерного учебника по математическим дисциплинам для втуза: тезисы 9-й Международной конференции «Системный анализ и управление». М.: МАИ, 2004.

23. Кибзун А.И., Малышев В.В. Анализ и синтез высокоточного управления летательными аппаратами. М.: Машиностроение, 1987.

24. Кибзун А.И., Панарин С.И. Стохастическая модель модифицируемости системы дистанционного обучения // Вестник МАИ, 2009, Т.16, №7, С.76-79.

25. Кибзун А.И., Панарин С.И. Стохастический подход к управлению модифицируемостью системы дистанционного обучения / / Вестник компьютерных и информационных технологий, 2010, №12, С. 40-49.

26. Кибзун А.И., Панарин С.И. Сведение многопараметрической задачи кван-тильной оптимизации к однопараметрической задаче / / Тезисы доклада на международной конференции «Системный анализ, управление и навигация», Евпатория: 2008. С. 76-77.

27. Кибзун А.И., Панарин С.И. Особенности проектирования специализированной СДО по математическим курсам CLASS.NET // Тезисы международной конференции «Авиация и космонавтика 2009», МАИ. С. 35-36.

28. Кибзун А.П., Панарин С.И. Стохастический подход к модфицируемости системы // Труды 52-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук», 2009, Т.2., Ч.УН., С. 20-22.

29. Кибзун A.IL, Чу мин Ю.В., Штоков Р.И. Применение web-технологий при дистанционном обучении: тезисы 10-й Международной конференции «Системный анализ, управление и навигация». М.: МАИ, 2005.

30. Колмогоров А.Н., Фомин C.B. Элементы теории функций и функционального анализа. М.: Физматлит, 2004.

31. Коськин A.B., Константинов И.С., Мельников A.A., Гаценко О.Б. Выбор технологии информационного обмена в телекоммуникационной образовательной сети Орловской области // Индустрия образования. Сборник научных трудов - М.: МГИУ, 2002. - Вып. 2-е. 76-84.

32. Коськин A.B., Лазарев С.А., Савин Л.А., Савина O.A. Автоматизированная система контроля и оценки знаний «АСКОЗ» // Известия ОрелГТУ. Научный журнал. Серия «Информационные системы и технологии», 2004. №4. - с. 814.

33. Косъкин A.B., Веригин А.Н., Константинов И.С. Организационные системы в сфере образования // М.-Машиностроение-1, 2004. 326 с.

34. Косъкин, И.С. Константинов A.B. Роль и информатизации в процессе развития университетских учебно-научно-производственных комплексов // Известия ОрелГТУ. Научный журнал. Серия «Информационные системы и технологии», 2006. №1(5) - с. 15-27.

35. Коськин A.B. Особенности разработки технического обеспечения информационно-телекоммуникационной среды регионального образовательного комплекса // Вестник компьютерных и информационных технологий. М.: Машиностроение, 2006. №8. - с. 35-41.

36. Крачтеп Ф. Введение в Rational Unified Process. М.:Издательский дом «Вильяме», 2002.

37. Криспин Л., Грегори Дж. Гибкое тестирование: практическое руководство для тестнровгциков ПО и гибких команд. М.: Издательский дом «Вильяме», 2010.

38. Крянев A.B., Лукин Г.В. Методы обработки неопределенных данных. М.: Физматлит, 2006.

39. Левин В.И. Структурно-логические методы исследования сложных систем с применением ЭВМ. М.: Гл. ред. физ.-мат. лит., 1987.

40. МакГрегор Дою., Сайке Д. Тестирование объектно-ориентированного программного обеспечения. Киев: DiaSoft, 2002. 432 с.

41. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М.: «Прометей», 2000.

42. Орлов С.А. Технологии разработки программного обеспечения: Учебник для вузов. 3-е изд. СПб.: Питер, 2004.

43. Ольфер В.Г., Олифер H.A. Сетевые операционные системы. СПб.: Питер, 2003.

44. Панарии С.И. Система дистанционного обучения через Интернет // Тезисы доклада на конференции «Информационные технологии в авиации и космонавтике 2008», МАИ. С. 61-62.

45. Панарии С.И. Повышение эффективности обучения студентов аэрокоемнче-ских специальностей с помощью специализированного рейтинга // Электронный журнал Труды Московского авиационного института, 2011, №44.

46. Панова В.М., Исаев Ю.В., Соснин П.II. Университетская интегрированная информационная система МОТОР // Ульяновск, УлГТУ, 2005.

47. Пантелеев A.B., Летова. Т.А. Методы оптимизации в примерах и задачах. -М.: Высшая школа, 2005.

48. Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов. М.: Из-во НМЦ СПО Минобразования РФ, 1998.

49. Поляк Б. Т. Метод Ньютона и его роль в оптимизации и вычислительной математике // Труды Института системного анализа РАН, 2006, №28, С.44-62.

50. Поляк Б. Т. Введение в оптимизацию. М.: Наука, 1983.

51. Сидоркина И.Г. Информационные и лингвистические компоненты автоматизированного проектирования инструментов открытого образования. Йошкар-Ола: изд-во МарГТУ, НИЦ ГА. 2001.

52. Сидоркана И. Г. Программное обеспечение системы дистанционного образования // Информационные ресурсы и их использование в регионах. Чебоксары: изд-во ЧГУ, 1998. с. 64-71.

53. Сидоркина И.Г., Рубцов A.B. Использование систем быстрой разработки приложений для проектирования образовательных систем // Научно-методическая деятельность ВУЗа. Кн. 1. Йошкар-Ола, изд-во МарГТУ, 1999. - с. 166-167.

54. Сидоркина И. Г. Подготовка структуры и наполнения курса для самообучения и дистанционного обучения // Информационные технологии в электротехнике и электроэнергетике: Сборник. Чебоксары, Нзд-во ЧГУ, 2000. с. 414-416.

55. Сидоркина И.Г. Автоматизированное проектирование образовательного курса // Проектирование и технология электронных средств, 2002. №4. - с. 52-55.

56. Солодовников В.В., Тумаркин В.И. Теория сложности и проектирование систем управления. М.: Наука, 1990.

57. Томас Д. Хэнссон Д.Х. Гибкая разработка веб-приложений в среде Rails. СПб.: Питер, 2008.

58. Фаулер М. UML. Основы, 3-е издание. Пер. с англ. - СПб.: Символ-Плюс, 2007.

59. Фаулер М. Рефакторинг: улучшение существующего кода. СПб: Символ-Плюс,, 2008.

60. Форсье Дэ1С., Биссекс П., Чан У. Django. Разработка веб-приложений па Python. СПб.: Символ-Плюс, 2010.

61. Черткова Е.А. Разработка компьютерных обучающих систем. Саратов: Саратовский Государственный Технический Университет, 2005.

62. Черткова Е.А. Применение проектных паттернов для разработки компьютерных обучающих систем // Вестник Тамбовского государственного технического университета. 2007. Т. 13. №1А. - с. 13-19.

63. Шварц Рэндал Л., Кристиансен Т. Изучаем Perl. СПб.: BHV, 2002. 288 с.

64. Якушин A.B. Использование LMS в учебном процессе педагогического вуза // Сборник докладов II международной научно-практической конференции

65. Современные информационные технологии и ИТ-образование Москва, МГУ им. Ломоносова, 2006. с. 189-193.

66. Янченко С.II. Математическая модель оценки результатов тестирования. // Тезисы докладов Всероссийской конференции «Развитие системы тестирования в России». Москва, 2000, ч. 4, С. 54-56.

67. Система дистанционного обучения «Прометей»: http://www.prometeus.ru

68. Раинкина JI.H. Виртуальный преподаватель «ИНФОРМГИДРО», Educational Technology & Society 8(2) 2005, ISSN 1436-4522, pp. 298-312

69. Образовательный портал Центра дистанционного обучения: http: //dlc.miein.cdu.ru

70. Система дистанционного обучения «Доцент»: http://www.uniar.ru/dt-docent.html

71. Moodle.org: open-source community-based tools for learning Электронный ресурс. // URL: http://www.moodle.org (режим доступа: свободный, дата обращения: 15.03.2011).

72. Исследование операций: В 2-х томах. Пер. с англ./Под ред. Дж. Моудера, С.Элмаграби. М.: Мир, 1981. Т. 1.

73. Исследование операций: В 2-х томах. Пер. с англ./Под ред. Дж. Моудера, С.Элмаграби. М.: Мир, 1981. Т. 2.

74. Aggarwal N. Prakash N., Sofat S. Web hypermedia content management system effort estimation model // SIGSOFT Software Engineering Notes 34, 2 (Feb. 2009), P. 1-7.

75. Audrich D. Rascli models for measurement, Sage University Paper series on Quantitative Applications in the Social Sciences, series no. 07-068, Beverly Hills: Sage Publications, 1988.

76. Bass L., Clements P., Kazmaa R. Software Architecture in Practice, second ed., Addison-Wesley, 2003.

77. Beck K. Extreme Programming Explained: Embrace Change. 2nd edition, Addison-Wesley, 2004.

78. Bergmann S. PHPUnit Pocket Guide. O'Reilly Media, 2005.

79. Birge J., Louveaux F. Introduction to Stochastic Programming. Springer Verlag, New York, 1997.

80. Boehm B. W. Software engineering economics, Englewood Cliffb, NJ: Pientice Hall, 1981.

81. Bochm B. W. et al. Software Cost Estimation with COCOMO II, Prentice Hall, 2001.

82. Bond T.G., Fox Ch.M. Applying the Rasch model: Fundamental measurement in the human sciences, Mahwah, NJ: Lawrence Erlbaum Associates, Publishers, 2007.

83. Brown C.T., Gheorghiu Gh., Huggms J. An Introduction to Testing Web Applications with twill and Selenium. O'Reilly Media, 2007.

84. Bush R.R., Mosteller F. Stochastic Models of Learning, Wiley, N.Y., 1955. Pp. xvi+365.

85. Chidamber S.R., Kemerer C.F. A Metrics Suite for Object Oriented Design, IEEE Transactions on Software Engineering, Vol. 20, No.G, June 1994, pp. 476-493.

86. Conte S.D., Dunsmore H.E., Shen V. Y. Software Engineering Metrics and Models: The Benjamin Cummings Publishing Company, 1986.

87. DeMarco T. Structured Analysis and System Specification. Englewood Cliffs, NJ: Prentice-Hall, 1979.

88. Fenton N.E., Pflccger S.L. Software Metrics: A Rigorous & Practical Approach, second ed., International Thomson Computer Press, 1998.

89. Fisher G. On the existence and uniqueness of maximum-likelihood estimates in the Rasch model // Psychoinetrika, 1981, 46. P. 59-77.

90. Gil J., Ma man /. Micro patterns in Java code // In Proceedings of the OOPSLA '05 (San Diego, CA, USA, 16-20.10.2005). ACM, New York, NY, P. 97-116.

91. Grady R. Practical Software Metrics for Project, Management and Process Improvement. Englewood Cliffs, NJ: Prentice-Hall, 1992, p. 32.

92. Jacobson L, Booch G., Rumbaugh J. The Unified Software Development Process, Addison-Wesley, 1999.

93. Kali P., Wallace S.W. Stochastic Programming // Chichester: John Wiley & Sons, 1994.

94. Kan S.H. Metrics and Models in Software Quality Engineering, second ed., Addison-Wesley, 2002.

95. Keller-McNulty S., McNulty M. S., Gustafson D. A. Stochastic models for software science // Journal of Systems and Software 16, 1 (Aug. 1991), P. 59-68.

96. Kibzun A.I., Kan Yu.S. Stochastic Programming Problems with Probability and Quantile Functions // Chichester: John Wiley & Sons, 1996.

97. Kirn S., Pan K, Whitehead E. J. Micro pattern evolution // In Proceedings of the 2006 international Workshop on Mining Software Repositories (Shanghai, China, May 22 23, 2006). MSR '06. ACM, New York, NY, P. 40-46.

98. Krasner G. E., Pope S.T. A cookbook for using the model-view controller user interface paradigm in smalltalk-80 // Journal of Object Oriented Programming, l(3):26-49, 1988.

99. Marti K. Stochastic Optimization Methods. 2nd ed. Springer, 2008.

100. Ng T. H., Cheung S. C., Chan W. K., Yu Y. T. Work experience versus refactoring to design patterns: a controlled experiment // In Proceedings of the SIGSOFT '06/FSE-14 (Portland, OR, USA, 05-11.11.2006). ACM, New York, NY, P. 12-22.

101. Prekopa A., Szantai T. Flood Control Reservoire System Design // Math. Prog. Study, 1978, 9, P. 138-151.

102. Prekopa A. Stochastic Programming. Dordrecht: Kluwer Academic Publishers.

103. Rasch G. Probabilistic models for some intelligence and attainment tests. Chicago: The University of Chicago Press, 1980.

104. Richardson C. ORM in Dynamic Languages // Queue 6, 3 (May. 2008), P. 28-37.

105. Royce W. Managing the development of large software systems: concepts and techniques. Proc. IEEE WESTCON, Los Angeles, August 1970, pp. 1-9.

106. Smith R.M., Schumacker R.E., Btish M.J. Using item mean squares to evaluate fit to the Rasch model // Journal of Outcome Measurement, 1998, 2(1). P. 66-78.

107. Wage H.J., Konsta Vesterinen Doctrine ORM for PHP. Scnsio SA, 2009.

108. Wright B.D., Masters G.N. Rating scales analysis. Chicago: MESA Press, 1982.

109. Zheng Y., Xa R. A Composite Stochastic Process Model for Software Reliability // CSSE, vol. 2, pp.658-661, International Conference on Computer Science and Software Engineering, 2008.

110. Studies in mathematical psychology / Ed. by Richard C. Atkinson, Stanford University Press, Stanford, CA, 1964.1995.