автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Математическое и алгоритмическое обеспечение сервисно-ориентированной среды поддержки управления качеством программных систем

На правах рукописи

Протас Дмитрий Владимирович

Математическое и алгоритмическое обеспечение сервисно-ориентированной среды поддержки управления качеством программных систем

Специальность 05.13.11 — Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва - 2006

Работа*"выпслнена~на кафедре автоматизагрии систем вычислительных комплексов Московского государственного университета имени М.В. Ломоносова.

Научный руководитель: доктор технических наук, профессор

Сухомлин Владимир Александрович

Официальные оппоненты: доктор технических наук, профессор

Сорокин Михаил Николаевич

кандидат технических наук, доцент Щипин Юрий Константинович

Ведущая организация:

Московский государственный университет печати

Защита состоится "17" октября 2006 г. в 12 час. 00 мин. на заседании диссертационного совета Д212.119.02 в Московском государственном университете приборостроения и информатики (МГУПИ) по адресу: 107996 Москва, Стромынка, 20 (тел. 268-01-01).

С диссертацией можно ознакомиться в библиотеке МГУПИ. Автореферат разослан 2006 г.

Ученый секретарь диссертационного

совета Д 212.119.02

д. т.н., доцент

Е.В. Никульчев

Общая характеристика работы

Актуальность проблемы исследования. В настоящее время компьютерные технологии используются практически во всех областях человеческой деятельности. Сфера применения специализированных программных систем (ПС) постоянно расширяется, проникая в области с низкой формализацией требований. В связи с этим необходимо привлечение новых методов разработки и оценки качества ПС, ориентированных на анализ неформальных требований пользователей. В условиях постоянно растущей конкуренции между разработчиками ПС необходимо не просто предоставить заказчику программный продукт, корректно отрабатывающий заложенный в техническом задании алгоритм, а систему, полностью удовлетворяющую разумным требованиям с меньшими, по сравнению с конкурентами, затратами, или систему, обеспечивающую максимальный уровень качества в рамках фиксированного бюджета. Для этого необходима разработка комплексной процедуры менеджмента качества, основанной на использовании современных информационных технологий.

Стандарт ISO 9001:2000 содержит основные требования к системам менеджмента качества, в основе которых лежит ориентация на пользователя. Дополнительно требуется не только следить за текущим уровнем качества, но и использовать количественные методы с целью прогнозирования его изменения. Требуется собирать отзывы потребителей, хранить их, анализировать и, по возможности, прогнозировать.

Поскольку в настоящее время комплексные программные решения поддержки управления качеством ПС, основанные на сборе и анализе количественных данных, недостаточно развиты, то их создание представляется актуальной задачей в области разработки ПС.

Степень научной разработанности проблемы исследования.

Существенный вклад в создание современной методологии разработки ПС внесли Г. Буч, А. Якобсон, Д. Рамбо, К. Бек, М. Полк и др. Ведущими российскими специалистами в области обеспечения, контроля и оценки качества ПС являются В.В. Липаев, А.И. Костогрызов, М.Г Круглов, О.П. Глудкин, Г.Н. Калянов И другие.

Современные формальные методы оценки качества ПС основаны на автоматизированном тестировании и анализе формальной спецификации. Неформальные методы предполагают автоматизированный сбор отзывов пользователей с целью их дальнейшего структурирования и анализа с применением Case-средств.

Формальные методы поддержки обеспечения качества ПС на основе математических моделей ориентированы на анализ некоторой сбалансированной системы показателей качества, значения которых формируются на основании точных измерений или экспертной оценки. В частности, П.А. Ивойлов предложил общую математическую модель комплексной оценки качества продукции, показатели которой поддаются точному измерению. В.Н. Бабешко и И.В. Королев в своих работах предложили технологии создания автоматизированных средств оценки качества ПС учебного назначения, ориентированные на сбор некоторой статистики, на основании которой пользователю предлагалось самостоятельно принять решения о возможных улучшениях. А.И. Гусевой была предложена иерархическая взвешенная модель оценки качества программного обеспечения обучающих систем. Однако, не предложены математические модели и программные решения, ориентированные не только на оценку текущего уровня качества ПС, но и на управление качеством на основе отзывов потребителей (пользователей), в соответствии с требованиями стандарта ISO 9001:2000.

Цель исследования. Целью диссертационной работы являются разработка технологии оценки качества ПС, ориентированной на формальный анализ отзывов пользователей, и создание сервисно-ориентированной среды поддержки управления качеством ПС на основе математических оценочных моделей.

Достижение поставленных целей осуществлялось путем решения следующих задач:

• создание технологии оценки качества ПС, основанной на анализе и прогнозировании отзывов пользователей;

• создание математической модели обеспечения качества ПС, ориентированной на использование математических методов оценки качества;

• разработка вычислительных процедур оценки качества ПС;

• разработка сервисно-ориентированной среды поддержки управления качеством ПС, частично автоматизирующей построение математических моделей обеспечения и оценки качества;

• внедрение и апробация созданной сервисно-ориентированной среды.

Объект исследования — программная система и математические модели

обеспечения и оценки качества программных систем на основе отзывов пользователей.

Предмет исследования — методы построения математических моделей программных решений поддержки обеспечения и оценки качества программных систем на основе отзывов пользователей.

Теоретическая и методологическая основа исследования. В основе комплексной процедуры управления качеством ПС, предложенной в диссертационной работе, лежат рекомендации, методологии MSF и требования стандарта ISO 9001:2000, регламентирующие итерационный процесс разработки ПС, ориентированный на анализ требований потребителей.

Диссертационное исследование базируется на применении методики объектно-ориентированного анализа для построения иерархических моделей показателей качества ПС. На построенную иерархическую модель накладывается авторская математическая модель обеспечения и оценки качества ПС.

При решении поставленных задач использовались специальные методы прикладного социологического исследования: экспертные оценки и анкетирование.

В работе использована методология структурного анализа и проектирования, методы решения задач математического программирования, методы многокритериальной оптимизации и теории принятия решений, методы математической статистики* метод анализа иерархий, общенаучные методы сравнительного анализа и аналогий.

Научная новизна:

1. Создана технология оценки и управления качеством программных систем на основе формального анализа отзывов пользователей.

2. Разработаны методика и алгоритм прогнозирования значений показателей качества программных систем.

3. Разработана методика оптимизации вычислительной стратегии оценки качества программных систем на временном интервале.

4. Разработана методика построения сервисно-ориентированной среды поддержки управления качеством программных систем.

Практическая значимость исследования. Результаты могут быть использованы для построения автоматизированных систем поддержки управления качеством ПС.

На базе созданной технологии, методик и алгоритмов разработана сервисно-ориентированная среда поддержки построения, оптимизации и численного решения математических оптимизационных моделей управления качеством ПС, позволяющая не только оценивать текущий уровень качества, но и управлять качеством создаваемых ПС на основе математических моделей.

Апробация работы. Теоретические положения, методологические подходы и практические результаты, изложенные в диссертационной работе,

докладывались и обсуждались на 1-ой международной научно-практической конференции "Современные информационные технологии в ИТ-образовании" (МГУ), Международном научном симпозиуме, посвященном 140-летию МГТУ "МАМИ" (МАМИ), Международной научно-практической конференции "Качество дистанционного образования" (МГИУ, ЛИНК), Международной научно-практической конференции "Проблемы и перспективы сотрудничества государств-участников СНГ в формировании единого (общего) образовательного пространства" (РУДН).

Публикации. Основные результаты, полученные при выполнении диссертационной работы, опубликованы в 10 печатных работах.

Структура диссертационной работы. Диссертационная работа состоит из введения, четырех глав, заключения, библиографии и приложений. Диссертационная работа содержит: 125 страниц, 36 рисунков, 18.таблиц. Библиографический список — 83 наименования.

Содержание работы

Во введении обосновывается актуальность и степень научной разработанности проблемы исследования, формируются цели и указываются методы исследования, описывается научная новизна результатов, практическая ценность работы, приводится список конференций, на которых проведена апробация результатов исследования, приводится структура работы.

Первая глава является обзорной и содержит базовые понятия в области современной методологии управления (менеджмента) качеством ПС. Приведен обзор подходов к трактовке понятий "качество" и "управление качеством". В.В. Липаев определяет фундаментальную категорию "качество" как "совокупность технических, технологических и эксплуатационных характеристик продукции или процессов, посредством которых они способны отвечать требованиям потребителя и удовлетворять его при применении". В настоящее время основными документами, регламентирующим требования к менеджменту качества является стандарт ISO 9001:2000. В соответствии со стандартом, "обеспечение качества" - это "совокупность планируемых и систематически проводимых мероприятий, необходимых для уверенности в том, что продукция или процесс удовлетворяет определенным требованиям потребителей к качеству".

Анализируя современные технологии разработки ПС в контексте Capability Maturity Model (СММ) можно заключить, что Rational Unified Process (RUP) и eXtreeme Programming (XP) обеспечивают достижение второго и третьего уровней СММ, a Microsoft Solutions Framework (MSF) может обеспечить

четвертый и пятый уровни улучшения за счет более эффективного управления рисками. Из описания М8Б можно сделать вывод, что для эффективного управления проектами в области разработки ПС необходимо вести итерационную разработку в тесном контакте с пользователями, собирая их отзывы и, по возможности, прогнозируя требования. Для эффективного прогнозирования требований необходимо привлечение соответствующего математического аппарата.

В развитие технологии МЭБ с целью придания дополнительного формализма в области прогнозирования требований потребителей и оценки качества, в рамках диссертационного исследования предложена следующая технология итерационной оценки качества ПС:

1. Построение иерархической модели показателей качества, о значениях которых может судить пользователь, за счет привлечения экспертов предметной области. Для построения формальной модели оценки качества ПС необходимо структурировать предметную область с целью определения показателей качества, которым может дать оценку пользователь.

2. Построение единой количественной оценки качества ПС. Каждому показателю в рамках иерархической модели приписывается числовая величина - "значимость показателя", что позволяет в соответствии с иерархической моделью, дополненной операторами преобразований (тем самым, получая математическую модель оценки качества ПС), сводить отдельные значения показателей качества в единую количественную характеристику.

3. Построение математической модели обеспечения качества ПС. Построенная математическая модель дополняется функцией оценки трудоемкости изменения показателей качества, тем самым, получая модель обеспечения требуемого уровня качества оптимальным образом. Таким образом, задача обеспечения требуемого уровня качества ПС сводится к оптимизационной задаче при минимизации трудоемкости работ для обеспечения заданного уровня качества.

4. Формирование показателей качества на основании отзывов. Для формирования текущих значений показателей качества необходимо проведение опроса пользователей, которые дают численную оценку качества по каждому показателю в отдельности.

5. Формирование оптимальной стратегии. В случае согласованности пользовательских оценок возможно построение оптимальной стратегии улучшения за счет подстановки значений показателей качества в модель обеспечения требуемого уровня качества и нахождения оптимального решения. Решением является набор показателей, требующих улучшения

(с учетом величины изменения каждого показателя). Однако подставляются не текущие значения показателей качества, сформированные на основе отзывов потребителей, а предполагаемые значения на момент следующей итерации оценки качества, сформированные на основании прогноза. Для того чтобы определить магистральные направления улучшения, количество показателей, требующих улучшения, искусственно ограничивается.

6. Внедрение выбранной стратегии, контроль выполнения и. при необходимости, корректировка модели в соответствии с шагами 4-6.

Существенным отличием описанной технологии от существующих аналогов (работы П.А. Ивойлова, В.Н. Бабешко, И.В. Королева, А.И. Гусевой) является автоматизированное построение стратегии обеспечения заданного уровня качества ПС оптимальным образом (в соответствии с заданным критерием оптимальности) на основе математических моделей обеспечения и оценки качества, ориентированных на анализ отзывов конечных потребителей ПС, и присутствие дискретной динамической модели изменения отзывов потребителей во времени.

Для построения математической модели оценки качества ПС в рамках диссертационной работы предлагается использовать иерархическую систему показателей качества. Предложено рассматривать оценку "качества ПС" по составному критерию, постепенно детализируя его до тех пор, пока не будет достигнут уровень абстракции, приемлемый для формирования количественных характеристик «ь .... а„ (п — количество показателей). Далее строится формальная модель преобразований, основанная на сведении значений отдельных показателей качеств в единую количественную характеристику 0(аь ...,а„). Получение количественной характеристики является важным для выбора лучшего решения при наличии нескольких альтернатив изменения различных показателей качества.

Для представления модели оценки качества удобнее всего использовать нотацию семантической сета, так как строится иерархическая система. В качестве объектов (вершин) будут выступать показатели различных уровней трактовки понятия качества. Присутствие нескольких вариантов внутри свертки определяет альтернативу для некоторой составляющей (несколько вариантов реализации) или, наоборот, требует реализации всех перечисленных составляющих (рис. 1).

Рис. 1. Графическое представление иерархии составных критериев Предложенная модель представляется через переменные, константы, алгебраические операции и операторы минимума и максимума в форме Бэкуса-Наура:

exp: CONST \VAR

| exp + exp | exp - exp \ exp * exp \ exp/exp

| exp m exp \ exp Mexp

\(exp)

Константами выступают веса показателей или иные экспертные оценки, переменными являются показатели качества. Таким образом, проведя формализацию (представив в виде польской записи) можно итерационно подставлять значения показателей качества, получая значения функции оценки составного критерия качества.

Вводится функция трудоемкости обеспечения заданного уровня качества (затраты для обеспечения заданного уровня качества, сроки выполнения и тому подобное), позволяющая свести вычисления к решению задачи оптимального управления. В рамках диссертационной работы функция оценки трудозатрат в общем виде не рассматривается, так как ее вид сильно зависит от специфики предметной области ПС. В качестве функции оценки трудоемкости могут выступать: сумма превращений функции Гаусса по каждому показателю в отдельности (Д.П. Костомаров), выбор из множества решений с фиксированной трудоемкостью, обеспечивающих заданный уровень качества (У. Мур), оценка на основании нескольких взвешенных критериев и другие. Проведенное исследование показало, что в общем виде, функция трудоемкости зависит от текущих значений показателей качества и изменения каждого из них Н(а\, ...,а„Аау...,Аап) и является кусочно-непрерывной по переменным изменения показателей качества.

Таким образом, на основании проведенного анализа, в рамках диссертационного исследования предлагается следующая формальная постановка задачи обеспечения качества ПС:

Пусть п — количество показателей качества, к — значение, ограничивающее количество показателей, по которым одновременно ведется поиск, t — номер итерации оценки качества, я, = a,{t) — значение ¿-ого показателя качества для итерации /, Ла; - изменения значение i-oro показателя качества, Q' - требуемый уровень качества, Q(ah ...,а„) - функция оценки качества; Н(аь...,ап &aj, ...,Аа„) - функция оценки трудоемкости и выполнены соотношения, St, s, у, А, А, — вспомогательные переменные:

а,, (Да, + а,) 6 [0,1], Да, ^ 0, S, е {0,1} г = Т^п Тогда, при условии, что выполнены соотношения:

ßia.+^O-a,), ...,a„ + Sn(l-a„))>Q';

. ЭД>0: Vie{l..n} Va,,...,a„ 3e: Vy>0

VAj: OiSAj^A Ve 3/>0:

.....й,+Д,+Г ,...,я„)-Я(а1.....а,+Д„...,а,,)[<гг,

предлагается следующая математическая постановка задачи обеспечения требуемого уровня качества при минимальной трудоемкости, допускающая эвристическое решение:

ßfo+tf.Ae,.....a„ + S„Aa„)>Q\

.....ап, SxДа,,..., SnAa„)-> min,

£ «У, S к .

i=i

Поставленная задача является разрешимой благодаря условию (I). Приведенные условия являются достаточными для использования метода прямого дискретного перебора для решения поставленной задачи - условие (2). Использование прямого перебора является необходимым, так как никаких других предположений, помимо перечисленных условий, о свойствах функции оценки трудоемкости не делается.

Решением поставленной задачи является набор показателей а„ где 3t— 1, на которых достигается минимальное значение функции трудоемкости при обеспечении уровня качества не ниже заданного. В качестве стратегии обеспечения требуемого уровня качества предлагается подобрать решения, улучшающие полученные показатели на величины Да, соответственно. Как отмечалось выше, число таких показателей искусственно ограничивается сверху с целью сосредоточения усилий на основных направлениях улучшения.

0) (2)

Значения а, формируются на основании отзывов пользователей ПС. Предлагаемый алгоритм управления базой отзывов пользователей основан на использовании динамической модели изменения каждого показателя в отдельности во времени. Введя параметр t — время, можно решать задачу обеспечения требуемого уровня качества для заданной в будущем временной точки. Так как, в соответствии со стандартом ISO 9001:2000, процесс оценки качества ПС ведется с определенной периодичностью (графиком аудита), функцию зависимости значений показателей от времени a,(t) предлагается описывать при помощи дискретной динамической модели изменения данных во времени:

«(0=Ё *!*(*- ')-£>,«с- о.

. /=о /=о

где t — номер цикла (периода аудита); i - задержка по циклам; x(t)~ нерекурсивная часть уравнения; zt - коэфф. нерекурсивной части уравнения при x(t - /); yt - коэфф. рекурсивной части уравнения при a(t - i).

Предлагается построить линейную зависимость по двум соседним временным точкам, при условии отсутствия управляющих воздействий на показатель на данном интервале, и на основании нее строить прогнозы изменения значения показателя качества при помощи уравнения: a(i + Т) = a(i + Т -1) + a{i -1) - a(i - 2),

где Г > 1 - порядковый номер будущего аудита, 1-1 и г-2 - рассматриваемые временные точки.

Таким образом, предлагаемый алгоритм управления базой отзывов пользователей состоит из следующих шагов:

1. По каждому показателю выбрать две соседние временные точки в прошлом, максимально близко расположенные к текущему моменту, между которыми не было оказано управляющего воздействия на показатель.

2. Для выбранных точек сформировать значения показателя на основании отзывов пользователей ПС (средних значений).

3. Построить прогноз значения показателя, где i — такое что, /-1 и г-2 -рассматриваемые временные точки, i+T - временная точка в будущем, на которую делается прогноз.

В соответствии с заданными условиями, в качестве модели обеспечения качества ПС выступает и — мерное пространство (и - количество показателей качества ПС) от текущего значения рассматриваемого показателя качества до 1 (абсолютного значения) с шагом Д (что обеспечивает £ погрешность). В узлах

заданы: уровень качества ПС в узле в заданный момент времени, в соответствии с иерархической моделью оценки качества - q, и значение трудоемкости обеспечения данного уровня качества в узле - h. Задача обеспечения требуемого уровня качества Q' сводится к нахождению вершины внутри пространства, для которой:

qZQ', V(«7',A'): h'<h => q'<Q'.

Решением является набор параметров, определяющих координаты узла (значения' улучшений по каждому показателю). Заметим, что, в рамках диссертационного исследования, в соответствии с рекомендациями MSF, предъявленными к одному циклу итерации, рассматривается лишь подпространство, где возможно улучшение не более пяти показателей одновременно.

Необходимо отметить, что подход, оценки качества ПС на основе иерархической модели показателей качества, значения которых формируют пользователи, не применим для комплексной оценки качества ПС, так как пользователь не всегда может достоверно судить о качестве программной реализации предложенных сервисов. Однако, возможна достоверная оценка бизнес-логики и интерфейсной приемлемости (usability), что существенно влияет на общий уровень качества ПС.

Таким образом, предлагаемая в рамках диссертационной работы технология оценки качества ПС дополняет существующие методы и средства верификации и валидации для комплексной оценки качества ПС. Предложена методика автоматизации построения стратегии обеспечения заданного уровня качества на основе оптимизационной модели.

Вторая глава посвящена анализу создаваемых математических моделей обеспечения и оценки качества ПС на предмет оценки адекватности, возможности программной реализации и оптимизации вычислений.

Согласно принятой классификации ПС, созданная в рамках диссертационного исследования сервисно-ориентированная среда поддержки управления качеством ПС, является экспертной системой (ЭС), в которой присутствуют: решатель (интерпретатор), рабочая память, база знаний, компонента приобретения знаний, объяснительная компонента, диалоговая компонента. Для рассматриваемой задачи центральным является вопрос построения решателя и компоненты приобретения знаний.

При реализации компоненты приобретения знаний одной из основных неформальных составляющих создания (модификации) модели оценки качества ПС является построение весов (значимости) отдельных показателей, для чего оправдано привлечение экспертных оценок. Анализ экспертных оценок на согласованность базируется на сравнении рассчитанных на основе экспертного опроса значений коэффициентов конкордации Кендала W с их табличными

значениями Коэффициент конкордации IV интерпретируется как

нормированная сумма отклонений суммарного ранга /-ой характеристики от среднего суммарного ранга Я.

Так как быстродействие метода прямого дискретного перебора существенно зависит от размерности решаемой задачи, в рамках диссертационного исследования предлагается снижать размерность первоначальной задачи за счет введения краткосрочных эвристических зависимостей между значениями показателями качества ПС. Созданный алгоритм основан на том, что в рамках описанной модели оценки качества ПС можно предположить, что некоторые показатели могут быть явно выражены через другие, т.е. являются полностью зависимыми. По этим переменным поиск (перебор) можно не вести, предварительно выразив их через другие. В рамках экспериментального внедрения было показано, что введение эвристических зависимостей между показателями качества при наличии механизма построения таких зависимостей не оказывает существенного влияния на точность функции оценки качества.

Получаемый теоретический выигрыш в быстродействии при построении выборки к элементов из п+а при а зависимых переменных можно рассчитать по формуле:

/(и, а ,к) = = ГТ Г1 + _) Ск„ Ж п-к + гГ

где к — количество критериев; количество независимых переменных; а - количество зависимых переменных. Для к=5, п= 44, а=8 теоретический выигрыш составляет примерно 2,4 раза.

В рамках созданной сервисно-ориентированной среды был реализован алгоритм поддержки построения явного вида взаимозависимостей для двух показателей на множестве полиномов не выше второй степени. Наилучшее приближение выбирается методом наименьших квадратов. Аналогичный механизм используется для построения прогнозов изменения показателей качества для регрессионного метода временного ряда. В рамках экспериментального внедрения было показано, что использование полиномов не выше второй степени, дополненных операторами минимизации и максимизации, дает достаточную точность приближения и не приводит к существенному увеличению вычислительной сложности.

Таким образом, имея систему зависимостей между показателями качества задачу минимизации размерности пространства решений можно поставить следующим образом: пусть есть система зависимостей показателей качества (один показатель выражается через другие); требуется найти минимальное количество переменных, через которые выражаются все остальные переменные.

Предлагается следующий алгоритм решения описанной задачи:

1. Построение матрицы зависимостей между переменными по следующим правилам (для п переменных):

• первые п строк образуют единичную квадратную матрицу, т.к. каждая из переменных зависит от самой себя;

• для каждой зависимости добавляется строка (связь переменной и строки запоминается, номер переменной при этом также запоминается):

ш=1, если г-ая переменная зависит от /-ой по всем у в рамках одной зависимости, 0 - иначе.

2. Нахождение зависимостей по матрице:

• если матрица нулевая или состоит из нулей, то решение найдено;

• если матрица не нулевая, для каждого столбца отдельно производятся следующие действия:

a) столбец вычеркивается, номер переменной столбца помещается во множество решений (локальное);

b) если при этом появились нулевые строки, то соответствующие им переменные в строках также вычеркиваются в столбцах без занесения во множество решений. Повторять пункт Ь) пока возможно.

c) применить шаг 2 к оставшейся подматрице.

• из множества всех полученных по столбцам решений выбирается решение, содержащее наименьшее количество переменных.

За счет введения дополнительных преобразований для получения значений всех показателей реальный выигрыш в быстродействии для задачи обеспечения качества электронных учебных пособий, рассмотренной ниже, составил при к—5, и=44, а=8 примерно 100% (в 2 раза быстрее).

В третьей главе описывается созданная в рамках опытной реализации сервисно-ориентированная среда поддержки управления качеством ПС на основе рассмотренных математических моделей.

Среда состоит из пяти модулей (каждый модуль реализует отдельный сервис):

• модуль построения связей внутри математической модели обеспечения и оценки качества;

• модуль построения прогнозов изменения показателей качества;

• модуль оценки согласованности экспертных оценок;

• модуль контроля качества (рбор данных и формирование значений показателей качества);

• центральный модуль оценки качества и построения оптимальной стратегии обеспечения требуемого уровня качества.

Возможны следующие независимые сценарии использования среды в соответствии с предложенной технологией:

• поддержка построения математических моделей обеспечения и оценки качества;

• оптимизация математической модели оценки качества для численного решения;

• загрузка и выгрузка результатов опросов;

• прогнозирование изменения значений показателей качества;

• вынесение оптимального экспертного решения.

Для тестирования созданной сервисно-ориентированной среды использовался модифицированный метод сандвича.

Четвертая глава посвящена описанию внедрения и апробации созданной сервисно-ориентированной среды.

На основе созданной сервисно-ориентированной среды была создана прикладная программная система "Комплекс программ поддержки обеспечения и контроля качества электронных учебных пособий". В качестве модели оценки качества электронных учебных пособий (ЭУП) использовалась иерархическая модель А.И. Гусевой, основанная на интегрированной оценке взвешенных показателей качества ПС. Данная модель была предложена в рамках докторского диссертационного исследования "Оценка качества методического, математического и программного обеспечения распределенных обучающих систем" и прошла апробацию в Московском инженерно-физическом институте (государственном университете).

Итоговая оценка качества ЭУП производится по 52-м взвешенным показателям качества, таким как: адаптивность к знаниям, адаптивность к форме обучения, интерактивность, наличие встроенных средств общения, наличие встроенных средств контроля знаний и сбора статистики, возможность распечатать материал, сложность интерфейса программной оболочки и другим. Каждое из полученных значений показателей качества перемножается на вес показателя, полученный Гусевой А.И. в ходе экспертной оценки, и таким образом получается итоговая оценка качества.

В качестве функции трудоемкости выступала сумма трудоемкости изменения каждого показателя качества в отдельности — Аа, • (2а, + Аа1).

Таким образом, предлагается следующая формальная постановка задачи обеспечения и оценки качества ЭУП:

52 52

м 1=1

при £ 5, < 5 8) е {0;1},

(=1

где а1 - значение г-ого показателя качества, й,- - вес »-ого показателя качества, Да(— изменения значение г-ого показателя качества,

- требуемый уровень качества, - вспомогательная переменная.

В рамках экспериментального внедрения рассматривалось "мгновенное увеличение качества", поэтому значение ( выбиралось равным 0 ("значения показателей не успевали устаревать").

Для данной модели при помощи программного комплекса были выявлены 8 показателей качества, являющихся полностью зависимыми, для которых были построены эмпирические зависимости.

Экспериментальное внедрение программного комплекса поддержки обеспечения и контроля качества ЭУП проводилось при разработке ЭУП в следующих организациях:

• на кафедре "Управление персоналом и новые информационные технологии в управлении" факультета "Управление и право" Московского государственного университета приборостроения и информатики (достигнуто улучшение на 25%);

• на кафедре Автоматизации систем вычислительных комплексов факультета Вычислительной математики и кибернетики (ВМиК) МГУ имени М.В. Ломоносова (достигнуто улучшение на 18%);

• в Институте дистанционного обучения (ИДО) Московского государственного индустриального университета (достигнуто улучшение на 19%).

Анализируя результаты экспериментального внедрения программного комплекса поддержки обеспечения и контроля качества ЭУП можно сделать следующий вывод:

• при выборе методики улучшения без использования функции оценки трудоемкости рост удовлетворенности потребителей составил 25%;

• при выборе методики улучшения с использованием функции оценки трудоемкости рост удовлетворенности потребителей составил 41,67% (разница между полученными оценками составила более 15%, что выходит за рамки статистической погрешности);

• использование методики, основанной на использовании функции оценки трудоемкости, обеспечило больший рост качества ЭУП (на 66,67%);

• оценки, полученные с использованием и без использования эвристических зависимостей, отличаются не более чем на 5%, что находится в пределах статистической погрешности;

• использование эвристических методик снижения размерности обеспечило вычислительный выигрыш примерно в 2 раза.

Рис. 2. Сравнение двух методик улучшений по итогам внедрения в МГУПИ

(пользовательская оценка, математическая оценка без эвристик снижения размерности, математическая оценка с эвристиками снижения размерности) Независимое внедрение программного комплекса поддержки обеспечения и контроля качества ПС, созданного на основе сервисно-ориентированной среды поддержки управления качеством ПС, проходило в рамках системы менеджмента качества ООО "Ай-Ферст" (РОСС 1Ш.ИК16.К00003 от 01.09.2004). По итогам внедрения зафиксировано улучшение качества создаваемых программных систем компании на 22% от первоначальной величины в соответствии с внутренними метриками компании.

Основные результаты и выводы:

1. Создана новая технология оценки качества ПС, ориентированная на формальный анализ отзывов пользователей и позволяющая не только оценивать текущий уровень качества, но и управлять качеством создаваемых ПС на основе математических моделей.

2. Создана методика построения математических моделей обеспечения качества ПС на основе математических методов оценки качества и дискретно-разностной модели изменения данных (отзывов пользователей) во времени.

3. Создан алгоритм устранения зависимых переменных задачи обеспечения требуемого уровня качества ПС через анализ формального представления графа зависимостей и решения задачи поиска пространства минимальной размерности.

4. Создана сервисно-ориентированная среда поддержки управления качеством ПС, ориентированная на сбор и анализ мнений потребителей и вынесение экспертного решения о необходимых действиях по обеспечению требуемого уровня качества оптимальным образом.

5. На базе созданной сервисно-ориентированной среды разработан и апробирован программный комплекс поддержки обеспечения и контроля

качества ЭУП на базе математической модели обеспечения и оценки качества ЭУП.

Публикации.

Основные результаты диссертации опубликованы в следующих работах:

1. Зубков В.Г., Протас Д.В., Комплекс программ обеспечения качества открытого образования // Право и образование. - 2005. № 5. — С. 50-60

2. Протас Д.В., Виноградова И.А. Эвристические методы снижения размерности задачи нелинейной оптимизации. // ИНФО-Рутения. Образование и наука. - 2006. - Вып. 1. - С. 203-207

3. Протас Д.В, Математические модели обеспечения качества открытого дистанционного образования // Материалы межд. науч.-практ. конф. Качество дистанционного образования. Концепции, проблемы, решения. - М.: МГИУ, 2004. - С. 260-262.

4. Протас Д.В. Математические модели управления качеством учебных курсов // Сб. межд. науч. симп., посвященного 140-лешю МГТУ "МАМИ". - М.:МАМИ, 2005. - С. 50-58

5. Протас Д.В. Методы и средства автоматизации проверки соответствия систем дистанционного обучения стандартам и профилям. // Сб. науч. тр. межд. науч.-практ. конф. Проблемы и перспективы сотрудничества государств-участников СНГ в ' формировании единого (общего) образовательного пространства. - М.: РУДН, 2004. - С. 306-309

6. Протас Д.В. Модель обеспечения и контроля качества при дистанционной форме обучения // МГИУ. Актуальные проблемы права. ~ 2005. - Вып.5 Т.1. - С. 17-20

7. Протас Д.В. Основы разработки электронных учебных систем // МГИУ. Актуальные проблемы гуманитарных, социальных, экономических и технических наук.-2003.-ВЫП.2Т.1.-С. 155-166

8. Протас Д.В. Современные методы и средства обеспечения и контроля качества электронных учебных пособий //Тез. докл. науч.-практ. конф. Современные информационные технологии и ИТ-образование. - М.: МАКС Пресс, 2005. - С. 786-794

9. Протас Д.В., Зубков В.Г. Стандарты дистанционного обучения // ИНФО-Рутения. Образование и наука. - 2006. - Вып. 1. - С. 84-90

10. Протас Д.В. Программное обеспечение "Программный комплекс поддержки обеспечения и контроля качества электронных учебных пособий" / Свидетельство об официальной регистрации программ для ЭВМ № 2006611104. Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 27.03,2006.

Принято к исполнению 14/09/2006 Исполнено 14/09/2006

Заказ № 630 Тираж: 100 экз.

ООО «11-й ФОРМАТ» ИНН 7726330900 Москва, Варшавское ш., 36 (495) 975-78-56

www.autoreferat.ru

ОГЛАВЛЕНИЕ.

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩЕЙ МЕТОДОЛОГИИ УПРАВЛЕНИЯ КАЧЕСТВОМ ПРОГРАММНЫХ СИСТЕМ.

1.1 Анализ основных подходов управления качеством.

1.2 Анализ современных технологий разработки программных систем.

1.3 Технология оценки качества программных систем на основе математических моделей.

1.4 Математическая модель обеспечения и оценки качества программных систем.

Актуальность проблемы исследования. В настоящее время компьютерные технологии используются практически во всех областях человеческой деятельности. Сфера применения специализированных программных систем (ПС) постоянно расширяется, проникая в области с низкой формализацией требований. В связи с этим необходимо привлечение новых методов разработки и оценки качества ПС, ориентированных на анализ неформальных требований пользователей. В условиях постоянно растущей конкуренции между разработчиками ПС необходимо не просто предоставить заказчику программный продукт, корректно отрабатывающий заложенный в техническом задании алгоритм, а систему, полностью удовлетворяющую разумным требованиям с меньшими, по сравнению с конкурентами, затратами, или систему, обеспечивающую максимальный уровень качества в рамках фиксированного бюджета. Для этого необходима разработка комплексной процедуры менеджмента качества, основанной на использовании современных информационных технологий.

Стандарт ISO 9001:2000 содержит основные требования к системам менеджмента качества, в основе которых лежит ориентация на пользователя. Дополнительно требуется не только следить за текущим уровнем качества, но и использовать количественные методы с целью прогнозирования его изменения. Требуется собирать отзывы потребителей, хранить их, анализировать и, по возможности, прогнозировать.

Поскольку в настоящее время комплексные программные решения поддержки управления качеством ПС, основанные на сборе и анализе количественных данных, не достаточно развиты, то их создание представляется актуальной задачей в области разработки ПС.

Степень научной разработанности проблемы исследования. Существенный вклад в создание современной методологии разработки ПС внесли Г. Буч, А. Якобсон, Д. Рамбо, К. Бек, М. Полк и др. Ведущими российскими специалистами в области обеспечения, контроля и оценки качества ПС являются В.В. Липаев, А.И. Костогрызов, М.Г Круглов, О.П. Глудкин, Г.Н. Калянов и другие.

Современные формальные методы оценки качества ПС основаны на автоматизированном тестировании и анализе формальной спецификации. Неформальные методы предполагают автоматизированный сбор отзывов пользователей с целью их дальнейшего структурирования и анализа с применением Case-средств.

Формальные методы поддержки обеспечения качества ПС на основе математических моделей ориентированы на анализ некоторой сбалансированной системы показателей качества, значения которых формируются на основании точных измерений или экспертной оценки. В частности, П.А. Ивойлов предложил общую математическую модель комплексной оценки качества продукции, показатели которой поддаются точному измерению. В.Н. Бабешко и И.В. Королев в своих работах предложили технологии создания автоматизированных средств оценки качества ПС учебного назначения, ориентированные на сбор некоторой статистики, на основании которой пользователю предлагалось самостоятельно принять решения о возможных улучшениях. А.И. Гусевой была предложена иерархическая взвешенная модель оценки качества программного обеспечения обучающих систем. Однако не предложены математические модели и программные решения, ориентированные не только на оценку текущего уровня качества ПС, но и на управление качеством на основе отзывов потребителей (пользователей), в соответствии с требованиями стандарта ISO 9001:2000.

Цель исследования. Целью диссертационной работы являются разработка технологии оценки качества ПС, ориентированной на формальный анализ отзывов пользователей, и создание сервисно-ориентированной среды поддержки управления качеством ПС на основе математических оценочных моделей.

Достижение поставленных целей осуществлялось путем решения следующих задач:

• создание технологии оценки качества ПС, основанной на анализе и прогнозировании отзывов пользователей;

• создание математической модели обеспечения качества ПС, ориентированной на использование математических методов оценки качества;

• разработка вычислительных процедур оценки качества ПС;

• разработка сервисно-ориентированной среды поддержки управления качеством ПС, частично автоматизирующей построение математических моделей обеспечения и оценки качества;

• внедрение и апробация созданной сервисно-ориентированной среды.

Объект исследования — программная система и математические модели обеспечения и оценки качества программных систем на основе отзывов пользователей.

Предмет исследования — методы построения математических моделей программных решений поддержки обеспечения и оценки качества программных систем на основе отзывов пользователей.

Теоретическая и методологическая основа исследования. В основе комплексной процедуры управления качеством ПС, предложенной в диссертационной работе, лежат рекомендации методологии MSF и требования стандарта ISO 9001:2000, регламентирующие итерационный процесс разработки ПС, ориентированный на анализ требований потребителей.

Диссертационное исследование базируется на применении методики объектно-ориентированного анализа для построения иерархических моделей показателей качества ПС. На построенную иерархическую модель накладывается авторская математическая модель обеспечения и оценки качества ПС.

При решении поставленных задач использовались специальные методы прикладного социологического исследования: экспертные оценки и анкетирование.

В работе использована методология структурного анализа и проектирования, методы решения задач математического программирования, методы многокритериальной оптимизации и теории принятия решений, методы математической статистики, метод анализа иерархий, общенаучные методы сравнительного анализа и аналогий.

Научная новизна. Научная новизна диссертационной работы заключается в следующем:

1. Создана технология оценки и управления качеством программных систем на основе формального анализа отзывов пользователей.

2. Разработаны методика и алгоритм прогнозирования значений показателей качества программных систем.

3. Разработана методика оптимизации вычислительной стратегии оценки качества программных систем на временном интервале.

4. Разработана методика построения сервисно-ориентированной среды поддержки управления качеством программных систем.

Практическая значимость исследования. Результаты могут быть использованы для построения автоматизированных систем поддержки управления качеством ПС.

На базе созданной технологии, методик и алгоритмов разработана сервисно-ориентированная среда поддержки построения, оптимизации и численного решения математических оптимизационных моделей управления качеством ПС, позволяющая не только оценивать текущий уровень качества, но и управлять качеством создаваемых ПС на основе математических моделей.

Апробация работы. Теоретические положения, методологические подходы и практические результаты, изложенные в диссертационной работе, докладывались и обсуждались на 1-ой международной научно-практической конференции "Современные информационные технологии в ИТ-образовании" (МГУ), Международном научном симпозиуме, посвященном 140-летию МГТУ "МАМИ" (МАМИ), Международной научно-практической конференции "Качество дистанционного образования" (МГИУ, ЛИНК), Международной научно-практической конференции "Проблемы и перспективы сотрудничества государств-участников СНГ в формировании единого (общего) образовательного пространства" (РУДН).

Публикации. Основные результаты, полученные при выполнении диссертационной работы, опубликованы в 10 печатных работах.

Структура диссертационной работы. Диссертационная работа состоит из введения, четырех глав, заключения, библиографии и приложений. Диссертационная работа содержит: 125 страниц, 36 рисунков, 18 таблиц. Библиографический список — 83 наименования.

4.5 Основные выводы по главе

1. На основании существующей методики оценки качества ЭУП разработана математическая модель обеспечения и оценки качества ЭУП.

Предложенная математическая была реализована в рамках сервисно-ориентированной среды в виде программного комплекса с использованием эвристических методик снижения размерности.

2. Экспериментальное внедрение подтвердило применимость данной математической модели для решения задачи обеспечения и оценки качества ЭУП. Предложенная методика оптимизации численного решения дала результаты, близкие к результатам прямых вычислений при существенном снижении вычислительных затрат.

3. Независимое внедрение программного комплекса показало, что созданная технология оценки качества программных систем применима для широкого класса программных систем. Использование теоретических разработок и практически значимых методик обеспечения и контроля качества позволяет существенно повышать качество создаваемых программных систем.

ЗАКЛЮЧЕНИЕ

В ходе реализации целей и решения задач диссертационного исследования получены следующие основные результаты:

1. Создана новая технология оценки качества ПС, ориентированная на формальный анализ отзывов пользователей и позволяющая не только оценивать текущий уровень качества, но и управлять качеством создаваемых ПС на основе математических моделей.

2. Создана методика построения математических моделей обеспечения качества ПС на основе математических методов оценки качества и дискретно-разностной модели изменения данных (отзывов пользователей) во времени.

3. Создан алгоритм устранения зависимых переменных задачи обеспечения требуемого уровня качества ПС через анализ формального представления графа зависимостей и решения задачи поиска пространства минимальной размерности.

4. Создана сервисно-ориентированная среда поддержки управления качеством ПС, ориентированная на сбор и анализ мнений потребителей и вынесение экспертного решения о необходимых действиях по обеспечению требуемого уровня качества оптимальным образом.

5. На базе созданной сервисно-ориентированной среды разработан и апробирован программный комплекс поддержки обеспечения и контроля качества ЭУП на базе математической модели обеспечения и оценки качества ЭУП.

1. Агапов А.С. Оценка и аттестация зрелости процессов создания и сопровождения программных средств и информационных систем (1.O / IEC TR 15504 - СММ). - СПб.: Книга и бизнес, 2001. - 348 с.

2. Айвазян С.А., Бухштабер В.М., Еников И.С., Мешалкин Л.Д Прикладная статистика: классификация и снижение размерности. М.: Финансы и статистика, 1989. - 607 с.

3. Амблер С. Гибкие технологии: экстремальное программирование и унифицированный процесс разработки. СПб.: Питер, 2005. - 416 с.

4. Андреев А.А. Введение в дистанционное обучение. Учебно-методическое пособие. М: ВУ, 1997. - С. 85.

5. Бабешко В.Н. Разработка системы оценки качества программных комплексов для дистанционного обучения: Дис. канд. техн. наук. М., 2003.-208 с.

6. Балат Л.Г. Приближенное вычисление линейной функции на вершинах единичного n-мерного куба // Исследование по дискретной оптимизации.-М.: Наука, 1976.-С. 156-169.

7. Бейзер Б. Тестирование черного ящика. Технологии функционального тестирования программного обеспечения и систем. СПб.: Питер, 2004. - 320 с.

8. Бек К. Экстремальное программирование: разработка через тестирование. СПб.: Питер, 2003. - 224 с.

9. Беллман Р. Динамическое программирование. М.: ИЛ, 1960. - 120 с.

10. Беллман Р., Дрейфук С. Прикладные задачи динамического программирования. М.: Наука, 1965. - 457 с.

11. Бергстрем С., Роберг Л. Rational Unified Process путь к успеху. Руководство по внедрению RUP. - М.: КУДИЦ-Образ, 2004. - 256 с.

12. Бершадский А.В. Исследование и разработка сценарных методов управления рисками: Дис. канд. физ.-мат. наук. М., 2002 . - 156 с.

13. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М.: Наука, 1973. -159 с.

14. Боровиков В. STATISTICA. Искусство анализа данных на компьютере: Для профессионалов. 2-е изд. СПб.: Питер, 2003. - 688 с.

15. Боэм Б. Инженерное проектирование программного обеспечения. Пер. с англ. М.: Радио и связь, 1985. - 200 с.

16. Боэм Б., Браун Д., Каспар X., Липов М., Мак-Леод Г., Мерит М. Характеристики качества программного обеспечения: Пер. с англ. М: Мир, 1981.-206 с.

17. Браверманн Э.М., Мучник И.Б. Структурные методы в обработке эмпирических данных. М.: Наука, 1983. - 287 с.

18. Бусленко Н.П., Калашников В.В., Коваленко И.Н., Лекции по теории сложных систем. -М.: Советское радио, 1973.-425 с.

19. Винниченко И. В. Автоматизация процессов тестирования. СПб: Питер, 2005.-208 с.

20. Виштынецкий Е.И., Кривошеев А.О. Вопросы применения информационных технологий в сфере образования и обучения // Информационные технологии №2 1998. С. 32-36.

21. Габасов Р., Кириллова Ф.М. Основы динамического программирования. Минск: Изд-во БГУ, 1975.

22. Гетчет С.и другие Microsoft Solutions Framework Модель процессов MSF вер.3.1. Официальная версия документа с сайта Microsoft.

23. Гличев А.В. Основы управления качеством продукции. М.: АМИ. -1998.

24. Глудкин О.П. Всеобщее управление качеством: Учебник для вузов. М.: Радио и связь, 1999.

25. Горленко О.А., Мирошников В.В. Создание систем менеджмента качества в организации: Монография. М.: Машиностроение-1, 2002. -126 е.: ил.

26. Гохмах О.Г., Леонтьев Л.П. Проблемы управления учебным процессом: Математические модели. Рига: Знание, 1984. -239 с.

27. Гречихин А.А. Древе Ю.Г. Вузовская учебная книга. Типология, стандартизация, компьютеризация: Учебно-методическое пособий в помощь авт. и ред. М.: Логос, 2000. - 255 с.

28. Гусева А.И. Оценка качества методического, математического и программного обеспечения распределенных обучающих систем: Дис. докт. техн. наук. М., 2004. - 320 с.

29. Денисова Ж.А., Моргунова Е.Б. Организационное поведение. М., МГАПИ, 2005.

30. Евтушенко Ю.Г. Методы решения экстремальных задач и их применение в системах оптимизации. М.: Наука, 1982.

31. Емельянов С.В. Проблемы вычислений в распределенной среде. Модели обработки. М.: КомКнига, 2005. - 224с.

32. Жамбю М. Иерархический кластер-анализ и соответствия. Пер. с фр. -М.: Финансы и статистика, 1988. 342с.

33. Зайцева Ж.Н., Рубин Ю.Б., Солдаткин В.И., Титарев Л.Г., Тихомиров В.П., Хорошилов А.В., Ярных В.В. Открытое образование: предпосылки, проблемы и тенденции развития / Под общей редакцией В.П.Тихомирова. М.: Изд-во МЭСИ, 2000.

34. Ивлева Е.В. Разработка и исследование интеллектуальных контролирующих систем с настраиваемой нечеткой экспертной подсистемой выставления оценок : Дис. канд. техн. наук. Рязань, 2004. -177 с.

35. Костомаров Д.П., Корухова J1.C., Манжелей С. Г. Программирование и численные методы. М.: Издательство Московского университета, 2001.

36. Костомаров Д.П., Фаворский А.П. Вводные лекции по численным методам М.: Логос, 2004.

37. Красноженова Г.Ф., Сосновой А.П., Ратников П.В. Мотивация трудовой деятельности. М., МГАПИ, 2005.

38. Краснощеков П.С. Математические модели в исследовании операций. -М.: Наука, 1984.

39. Круглов М.Г., Шушков Г.М. Управление качеством TQM. М.:МГТУ СТАНКИН, 1999.

40. Липаев В.В., Костогрызов А.И. Качество программного обеспечения. -М. Финансы и статистика, 1983. 123 с.

41. Липаев В.В., Костогрызов А.И.Сертификация систем качества на соответствие стандартам серии ISO 9000 для предприятий -разработчиков программных средств. Методическое руководство. М.: МГТУ "Станкин" 2000. - 132 с.

42. Липаев В.В. Обеспечение качества программных средств. М.: СИНТЕГ, 2001.

43. Липаев В.В. Выбор и оценивание характеристик качества программных средств. М.: СИНТЕГ, 2001.

44. Липаев В.В. Требования к структуре и содержанию документации на прикладные программные средства информационных систем. М.: МГТУ "Станкин", 1999. - 77 с.

45. Литвак Б.Г. Экспертная информация: методы получения и анализа. М.: Радио и связь, 1982. - 104 с.

46. Макгрегор Д., Сайке Д. Тестирование объектно-ориентрованного программного обеспечения. М.: Diasoft, 2002. - 220 с.

47. Мишин В.М. Управление качеством: Учебное пособие для вузов. М.: ЮНИТИ-ДАНА, 2002. - 303 с.

48. Мур Дж., Уэдерфорд J1. и др. Экономическое моделирование в Microsoft Excel, 6-е изд.: Пер. с англ. М.: Вильяме, 2004 - 1024 е.: ил.

49. Мушик Э., Мюллер П. Методы принятия технических решений: Пер. с англ. М.: Мир, 1990. - 247 е.: ил.

50. Неприков А.А. Разработка инструментальных средств оценки качества Интернет-ориентированных систем управления данными : Дис. канд. техн. наук. Воронеж, 2003. - 160 с.

51. Никифоров А.Д. Управление качеством: Учеб. Пособие для вузов. М.: Дрофа, 2004.-720 е.: ил.

52. Пащенко Д. В. Математическое и программное обеспечение систем принятия решений в посткатастрофических ситуациях : Дис. канд. техн. наук. Пенза, 2003. - 271 с.

53. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа: Учеб. 2-е изд., доп. Томск: HTJ1,1997. - 396 с.

54. Подиновский В.В. Количественная важность критериев // Автоматика и телефеханика, №5,2000. С. 110-123.

55. Полис Г., Огастин JL, Jloy К., Мадхар Д. Разработка программных проектов на основе Rational Unified Process (RUP) M: Бином-Пресс, 2005.-256 с.

56. Протас Д.В., Зубков В.Г. Комплекс программ обеспечения качества открытого образования // Право и образования. 2005. № 5. - С. 50-60.

57. Протас Д.В. Математические модели управления качеством учебных курсов // Сб. межд. науч. симп., посвященного 140-летию МГТУ "МАМИ". М.:МАМИ, 2005. - С. 50-58.

58. Протас Д.В. Модель обеспечения и контроля качества при дистанционной форме обучения // МГИУ. Актуальные проблемы права. -2005. Вып.5 Т.1. -С. 17-20.

59. Протас Д.В. Основы разработки электронных учебных систем // МГИУ. Актуальные проблемы гуманитарных, социальных, экономических и технических наук. -2003. -Вып.2 Т.1. С. 155-166.

60. Протас Д.В. Современные методы и средства обеспечения и контроля качества электронных учебных пособий //Тез. докл. науч.-практ. конф. Современные информационные технологии и ИТ-образование. М.: МАКС Пресс, 2005. - С. 786-794.

61. Протас Д.В., Зубков В.Г. Стандарты дистанционного обучения // ИНФО-Рутения. Образование и наука. 2006. - Вып. 1. - С. 84-90.

62. Протас Д.В., Виноградова И.А. Эвристические методы снижения размерности задачи нелинейной оптимизации. // ИНФО-Рутения. Образование и наука. 2006. - Вып. 1. - С. 203-207.

63. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.

64. Сергиенко И.В. Математические модели и методы решения дискретных задач оптимизации. Киев: Наукова Думка, 1980.

65. Соммервилл Я. Инженерия программного обеспечения. М: Вильяме. -2002. - 800с.

66. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л. Виртуальная образовательная среда: предпосылки, принципы, организация. Монография / Международная академия открытого образования. -М.: МЭСИ, 1999.

67. Уотерман Д. Руководство по экспертным системам. М.: Мир, 1989 -388 с.

68. Шадрин А.Д. Менеджмент качества. От основ к практике. М.: ООО "НТК "Трек", 2004.- 360 е., ил.

69. Шевелева С. Открытая модель образования (синергетический подход). -М.: Магистр. 1997.

70. Штайер Р. Многокритериальная оптимизация. Теория, вычисления и приложения. М.: Радио и связь, 1992.

71. Экенроде Р.Т. Взвешенные многомерные критерии. / В кн. Статистическое измерение качественных характеристик. М. Статистика, 1972. - 135 с.

72. Эфрон Б. Нетрадиционные методы многомерного статистического анализа // Сб. статей: Пер с англ. / Предисловие Адлера Ю.П., Кошевника Ю.В. М.: Финансы и статистика, 1988. - 263 с.

73. Якобсон А., Буч Г., Рамбо Дж. Унифицированный процесс разработки программного обеспечения. СПб: Питер, 2002. - 420с

74. Официальная версия стандарта ИСО 9001:2000.

75. Acrobat 6.0 Professional. Официальная документация.

76. Beizer В. Software testing techniques. N.Y.: Van Nostrand Reinhold. 1990.

77. Easton E., Ritchie D. "Expert System" for Special-Education Students. // Education computer news. 1990, №11.- C.2-4.

78. Jay J. Schlickman ISO 9001: 2000 Quality Management System Design. -ISBN 1580535267,2003.

79. Microsoft HTMLHelpWorkshop. Официальная документация.

80. Ray Tricker ISO 9001:2000 Audit Procedures, Second Edition. ISBN 0750666153 2005.

81. Sommerville I. Software engineering. Addison-Wesley. Lancaster University. -2000.ч Михайлов Б.М.

82. Акт о внедрении результатов научно-исследовательских разработок в практическую деятельность

83. Использование теоретических разработок и практически значимых методик обеспечения и контроля качества, предложенных Д.В. Протасом, позволило повысить качество создаваемых электронных учебных пособий.1. Зав. кафедрой v

84. Управление персоналом и новые информационныетехнологии в управлениид.с.н., проф.1. Красноженова Г.Ф.1. УТВЕРЖДАЮ дВМиК МГУ

85. Акт о внедрении результатов научно-исследовательских разработок в практическую деятельность

86. По итогам внедрения, на основании опроса студентов (трех учебных групп общей численностью 60 человек) было зафиксировано улучшение качества переработанного за один месяц электронного учебного пособия на 18%.

87. Зав. кафедрой автоматизации системвычислительных комплексов чл.-к. РАН, дф-м.н., проф.1. Королев Л.Н.

88. Старший преподаватель к.ф-м.н.1. Петровский М.И.1. УТВЕРЖДАЮный директор ерст"1. Лрманов Т.В. я 2006 г.

89. Акт о внедрении результатов научно-исследовательских разработок в практическую деятельность

90. Созданный программный комплекс может существенно помочь разработчикам при итерационной разработке программного обеспечения за счет поддержки комплекса мероприятий по сбору и анализу отзывов конечных пользователей.

91. По итогам внедрения было зафиксировано улучшение качества создаваемых программных систем на 22% от первоначальной величины в соответствии свнутренними метриками качества компании.

92. Заместитель генерального директора по технологиям

93. Заместитель генерального директора по качеству1. Кузьмин В.В.1. Линник М.И.

94. ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ Государственное образовательноеучреждение высшего профессионального образования

95. Акт о внедрении результатов научно-исследовательских разработок в практическую деятельность

96. Планируется более широкое внедрение программного комплекса благодаря встроенной возможности сбора отзывов студентов о качестве электронных учебных пособий через Интернет.

97. Зам. директора по техническому и информационному обеспечению к.т.н., доцент1. Утверждаю

98. Проректор по заочной (дистанционной) форме обучения к.т.н, доцент

99. Зав. кафедрой экономики, менеджмента инвестиций ИДО к.т.н, профессор1. Бочков В.Е.