автореферат диссертации по машиностроению и машиноведению, 05.02.23, диссертация на тему:Разработка нормативно-методического и информационного обеспечения процесса сертификации программной продукции

На правах рукописи

Поляков Сергей Дмитриевич

□031Т6ЭТЭ

РАЗРАБОТКА НОРМАТИВНО-МЕТОДИЧЕСКОГО И ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ПРОЦЕССА СЕРТИФИКАЦИИ ПРОГРАММНОЙ ПРОДУКЦИИ

Специальность 05 02.23 - Стандартизация и управление качеством продукции

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 2007

003176973

Работа выполнена на кафедре «Информационные системы» Государственного образовательного учреждения высшего профессионального образования Московский государственный технологический университет «Станкин»

Научный руководитель

доктор технических наук, профессор Позднеев Борис Михайлович

Официальные оппоненты

доктор технических наук, профессор Круглое Виктор Иванович

кандидат технических наук, доцент Шишков Григорий Михайлович

Ведущая организация-

ГОУ ВПО «Московский государственный институт электроники и математики (технический университет)» (МИЭМ)

Защита состоится 19 сентября 2007 года в 15.00 часов на заседании диссертационного совета Д212.110 03 при ГОУ ВПО «МАТИ» - Российском государственном технологическом университете имени К Э. Циолковского по адресу 121552, Москва, ул Оршанская, д 3

Отзыв на автореферат в одном экземпляре (заверенный печатью) просим направлять по адресу 121552, Москва, ул Оршанская, д 3, ГОУ ВПО «МАТИ» Российский государственный технологический университет имени КЭ Циолковского

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО «МАТИ» -РГТУим К Э Циолковского

Автореферат разослан 22 июня 2007 года

Ученый секретарь диссертационного Совета кандидат технических наук, доцент

С А Одиноков

ОБЩИЕ ХАРАКТЕРИСТИКИ РАБОТЫ Актуальность темы

Разработка качественного программного обеспечения в различных областях науки и техники является основой создания наукоемких технологий, которые в современных условиях существенным образом влияют на уровень развития и конкурентоспособность национальной экономики различных стран мира Для Российской Федерации решение этой задачи приобретает первостепенное значение, которое, в конечном счете, позволит значительно увеличить высокотехнологичный сектор экономики

Эффективным и действенным механизмом подтверждения качества продукции, услуг, процессов и иных объектов, является подтверждение соответствия этих объектов установленным требованиям нормативных документов

Подтверждение соответствия требованиям международных и национальных стандартов ГОСТ Р ИСО 9001-2001, ISO/IEC 90003 2004, ISO/IEC 15504-15 2003-2006 определяет качество программной продукции со стороны системы менеджмента качества и процессов зрелости производства разработчика Однако эти требования являются дополняющими (ГОСТ Р ИСО 9001) и не могут полностью обеспечить гарантию качества конечной программной продукции, подтверждение которой должно осуществляться в рамках добровольной, обязательной сертификации или декларирования соответствия

Программная продукция является принципиально новым и наукоемким объектом, и может являться компонентом информационной или информационно-управляющей системы, обеспечивающей технологии информационной поддержки жизненного цикла изделий (ЙПИ-технологии - CAD, САМ, CAI, САРР, ERP), что предполагает нетривиальное решение задачи разработки требований и методологии сертификации такой продукции

Рост конкуренции на рынке IT технологий предполагает сокращение жизненного цикла программной продукции при условии постоянного повышения ее качества В сложившихся условиях, процесс сертификации, являясь компонентой этого жизненного цикла, может быть конкурентоспособной услугой лишь в случае существенного сокращения сроков полных циклов сертификации при обеспечении высокого уровня качества оценки соответствия

В Российской Федерации к настоящему времени не сформирован цивилизованный рынок услуг по сертификации программной продукции, который ограничен уровнем качества предлагаемых разработок и услуг по независимой оценке соответствия, обусловленных фактически отсутствующей базой нормативно-технического и методического обеспечения в этой области

Достаточно слабая база научно-методических центров систем сертификации и отсутствие системной методологии подтверждения соответствия программных продуктов в документах международного и национального уровня не

позволяют обеспечить единые методические подходы при формировании компонентов оценки, сертификационных испытаниях, обработке, оценке соответствия и документировании полученных результатов

Органы по сертификации и испытательные лаборатории вынуждены разрабатывать собственные локализованные методики, не адаптированные под весь спектр возможного применения при сертификации нормативно-технических документов с различной степенью обобщения требований (спецификации требований, технические условия для однородной продукции, национальные и международные стандарты) по отношению к специфике программной продукции Эти методики характеризуются отсутствием или низким уровнем обобщения результатов испытаний, что при сертификации достаточно сложных программных комплексов не позволяет адекватно принимать решение об их соответствии требованиям нормативных документов

Указанные негативные моменты предопределяют низкое качество предоставляемых услуг по сертификации программной продукции, обуславливают высокие материальные и временные затраты, приводят к частичной или полной несопоставимости результатов испытаний и усложняют взаимное доверие и признание сертификатов соответствия различными органами и системами сертификации

Предложенное в диссертации нормативно-методическое и информационное обеспечение направлено на снижение указанных негативных аспектов и ориентировано на поддержку процесса сертификации программной продукции требованиям широкого спектра нормативно-технических документов, в том числе международных и национальных стандартов Предложенный комплекс принципов, моделей, процессов и методик разработан для повышения качества и конкурентоспособности программной продукции и услуг по независимой оценке соответствия этой продукции на внутреннем и международном рынках, содействия приобретателям в компетентном выборе такой продукции, формирования условий для обеспечения свободного перемещения программной продукции по территории Российской Федерации, а также осуществления международного экономического, научно-технического сотрудничества и международной торговли

Целью диссертационной работы является повышение качества оценки соответствия программной продукции на основе разработки нормативно-методического и информационного обеспечения процесса ее сертификации Задачи диссертационно1 о исследования:

- провести анализ российского законодательства, международных и национальных стандартов и состояния сертификации программной продукции в Российской Федерации,

- разработать методические принципы создания моделей оценки, тестирования и оценки соответствия программной продукции требованиям нормативных документов на основе метода анализа иерархий и комплексного метода квалиметрии,

- разработать функциональные модели создания нормативно-методического обеспечения для информационной поддержки процесса сертификации программной продукции,

- апробировать нормативно-методическое и информационное обеспечение в одной из систем сертификации Российской Федерации

Объект исследования - повышение качества программной продукции

Предмет исследования - процесс сертификации программной продукции

Методы исследования

При выполнении диссертационной работы использовались методы теории систем и системного анализа, менеджмента качества, квалиметрии, анализа иерархий, линейной нормализации, функционального моделирования процессов

Научная новизна результатов исследования:

- разработаны оригинальные методические принципы создания моделей оценки соответствия программной продукции требованиям широкого спектра нормативно-технических документов, а также принципы получения комплексных оценок компонентов моделей с учетом комплексного метода квалиметрии,

- разработаны функциональные модели создания типового нормативно-методического обеспечения для информационной поддержки процесса сертификации программной продукции,

- впервые разработан комплекс методических и отчетных документов при апробации нормативно-методического и информационного обеспечения

Практическая значимость:

- разработанные методические принципы позволяют создавать модели оценки соответствия программной продукции широкому спектру нормативно-технических документов, осуществлять их адаптацию в зависимости от специфики программной продукции, производить обработку результатов тестирования и оценку соответствия программной продукции,

- предложенные функциональные модели создания нормативно-методического обеспечения для сертификации программной продукции представляют собой последовательный комплекс взаимосвязанных информационных потоков и процессов разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности при подтверждении соответствия программной продукции,

- разработанные модели оценки соответствия требованиям основных международных и национальных стандартов, применяемых при сертификации программной продукции, а также практическая реализация пред-

лагаемых решений на примере конкретного программного продукта в одной из систем сертификации Российской Федерации предложены в качестве практического руководства при применении созданного нормативно-методического обеспечения,

- разработанное в диссертационной работе нормативно-методическое и информационное обеспечение предлагается для методической поддержки научно-методических центров систем сертификации Российской Федерации, органов по сертификации и независимых технически компетентных испытательных лабораторий программной продукции,

- разработанные в диссертации методические решения могут быть использованы органами по обязательной сертификации программной продукции, а также учитываться разработчиками на этапах формирования требований, тестирования и квалификационных испытаний программного обеспечения

Апробация и внедрение результатов работы

Обоснованность научных положений, принципов и выводов определяется их конкретным применением и апробацией в Системе добровольной сертификации информационно-коммуникационных технологий в образовании (Система ИНКОМГЕХСЕРТ)

Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения при выполнении научно-исследовательских работ в рамках научных программ Минобрнауки и государственных контрактов ГОУ МГТУ «Станкин» по Федеральной целевой программы «Развитие единой образовательной информационной среды (2001-2005 годы)», а также рядом инициативных проектов в области сертификации программной продукции

Результаты диссертационной работы были представлены на шести Всероссийских и международных конференциях (Всероссийская научно-практическая конференция «Человеческое измерение в информационном обществе» (Москва, ВВЦ 2003 г), XIV конференция-выставка «Информационные технологии в образовании» (Москва, 2004г), Международная научно-практическая конференция «Проблемы и перспективы сотрудничества государств участников СНГ в формировании единого (общего) образовательного пространства» (2004 г), II Всероссийская научно-практическая конференция «Образовательная среда сегодня и завтра» (Москва, ВВЦ, 2005 г )) Материалы диссертации были использованы в научно-практической работе «Создание и внедрение в сфере образования системы обеспечения качества и сертификации информационно-программных средств», удостоенной премии Правительства Российской Федерации в области образования за 2001 год

Публикации

По материалам диссертации опубликовано 10 печатных работ

Структура диссертации

Диссертация состоит из введения, 4 глав, заключения и 6 приложений Основная часть работы изложена на 144 страницах, содержит 12 таблиц и 36 рисунков

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении приводится краткое обоснование необходимости и актуальности решаемой проблемы, цель и основные задачи исследования, определена научная новизна и практическая ценность работы

В первой главе диссертационной работы дано подробное обоснование разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции

Проведен анализ состояния российского законодательства в области технического регулирования и подтверждения соответствия программной продукции На основе проведенного анализа установлена сфера применения предлагаемых в диссертации разработок—добровольное подтверждение соответствия программной продукции

Проведенный анализ основных международных и национальных стандартов в области менеджмента качества, жизненного цикла информационных систем, оценки качества и документирования программного обеспечения позволяет констатировать принципиальное отсутствие в документах этого уровня целостного методического и информационного обеспечения подтверждения соответствия программной продукции, что не позволяет решать взаимосвязанные задачи

- создания моделей оценки программной продукции конкретным требованиям широкого спектра нормативно-технических документов,

- разработки детальных спецификаций тестирования, тестов и тестовых случаев и регистрации тестовых результатов,

- комплексной обработки результатов сертификационных испытаний программных продуктов,

- оценки соответствия программной продукции установленным требованиям нормативных документов,

- последовательного документирования результатов сертификации и разработки комплекса методических и отчетных документов процесса сертификации программной продукции

Для детализации причин и локализации возникающих проблем подтверждения соответствия в диссертационной работе был проведен анализ процесса сертификации программной продукции в нескольких системах сертификации Российской Федерации

Детальный анализ процесса подтверждения соответствия в системах сертификации ГОСТ Р, «РОСИНФОСЕРТ», «ИНКОМТЕХСЕРТ» выявил критичные компоненты процесса сертификации, среди которых разработка методического обеспечения для сертификационных испытаний и оценки соответствия программной продукции является одной из ключевых задач

В первой главе диссертации, на основе проведенного анализа российского законодательства, международных и национальных стандартов и сертификации в Российской Федерации обоснована необходимость и актуальность разработки

нормативно-методического и информационного обеспечения процесса сертификации программной продукции В первой главе, также, сформулированы педь и подробно описаны задачи исследования

Во второй и третьей главе представлено нормативно-методическое и информационное обеспечение процесса сертификации программной продукции

Во второй главе предложены методические принципы для поддержки процесса сертификации программной продукции, разработанные на основе методов анализа иерархий и комплексного метода квалиметрии

Приведено обоснование, терминологическая база, модель требований и общие принципы построения модели оценки соответствия программной продукции

На основе международных и национальных стандартов в области менеджмента качества и информационных технологий (ГОСТ Р ИСО/МЭК 9000-2001, ГОСТ Р ИСО/МЭК 12207-99, КОЛЕС 9126-1-4 2001-2004, КОЛЕС 14598-16 1999-2001, ГОСТ Р ИСО/МЭК 12119-2000) разработан ряд специфических терминов, используемых в дальнейшем для построения моделей оценки соответствия программной продукции, в том числе формулировка требований, требование к характеристике, объект требований, элемент требований, компонент требований, объект оценки, элемент оценки, компонент оценки, элемент оценки соответствия, оценка элемента, оценка компонента и др

Строгая иерархия требований нормативно-технических документов не исключает смысловую иерархическую и семантическую несогласованность компонентов требований на уровне объектов требований и требований к характеристикам, существенным образом ослабляя иерархические связи В связи с этим, в общем случае, не представляется возможным формальное отображение компонентов требований в компоненты оценки Для полного учета требований нормативного документа, при построении модели оценки, необходимо обеспечить иерархию компонентов оценки с «сильными связями» на основе их иерархической и семантической согласованности

Модель оценки представляет собой декомпозицию компонентов оценки, построенную на основе неформальной трансформации компонентов требований нормативного документа Общая структура модели оценки представлена на рис 1

Результатом трансформации требований в модель оценки, в соответствии с введенной в диссертации терминологией, должна стать упорядоченная иерархическая совокупность объектов оценки, характеристик и элементов оценки

В общем случае требования на модель оценки могут быть отображены не полностью Эта особенность характеризуется степенью покрытия моделью требований модели оценки или степенью покрытия компонентами требований

компонентов оценки, которая может быть вычислена по формуле й = > гДе

Я — степень покрытия моделью требований модели оценки, а — число не покрытых компонент оценки компонентами требований, Ъ - общее число компонентов оценки, 0<а<Ъ

Рис 1 Общая модель оценки программной продукции

Степень покрытия требованиями модели оценки зависит от степени обобщения того или иного документа к специфике конкретного программного продукта Тогда + Л = 1, где 5 — степень обобщения нормативного документа в

зависимости от специфики программного продукта, 5 = —, 0 <а<Ь

Ъ

Графическая интерпретация взаимосвязи степени покрытия требованиями и степени обобщения нормативных документов представлены на рисунке 2

Предложены оригинальные принципы индексации компонентов в модели оценки программной продукции

Обозначим через Р - ,Р™ | - совокупность компонентов оценки со

сквозной нумерацией слева направо по уровням иерархии в модели оценки

Каждый элемент Р^ характеризуется своим номером г в пределах данной модели от 1 до п, 1=0, 1, ,п, где п - общее число компонентов оценки Верхний индекс к определяет номер родственного компонента Р^, расположенного на предыдущем уровне иерархии

Для разработки модели оценки и получения комплексных оценок компонентов в созданной модели необходимо поставить в соответствие каждому элементу Р^ еР весовой коэффициент «а*

Для решения этих задач в работе приведены методы экспертной оцепки применительно к компонентам оценки программной продукции, в том числе

в

л

Международные и национальные стандарты с общими требованиями к ПП

Специфическая область

Область обобщения

Нормативно-технические документы с требованиями к ПП в конкретных областях применения

Специфическая область

V Область обобщения

Технические условия стребованиями к _ПП общего функционального назначения

Специфическая область

Спецификации требований ПП

Рис 2 Нормативно-технические документы в зависимости от степени покрытия требованиями модели оценки и степени их обобщения относительно специфики программной продукции

метод экспертного ранжирования, метод непосредственной оценки, а также метод экспертных предпочтений

Из перечисленных, в качестве основного можно предложить метод экспертных предпочтений, поскольку вследствие своей специфики и более точного способа оценки уровня доверия к полученным суждениям экспертов, может быть применен для обработки мнений менее квалифицированных экспертов или мнений всего лишь одного привлекаемого эксперта

Для реализации метода экспертных предпочтений за основу принят метод анализа иерархий в части определения собственного вектора и главного собственного значения приоритетов

Пусть Р\, Р2, , Рп ~~ совокупность компонентов оценки какого-либо уровня иерархии Количественные суждения об относительном весе каждой пары компонентов (Р„ Р)) представим с помощью квадратной матрицы парных сравнений А = (¿г;/), (г, у = 1, 2, , п)

Элементы ау этой матрицы определяются по следующим правилам

1 Для любых г ап = 1

2 Если а;/ = а, то а^ = 1/а, а Ф 0 (свойство обратносимметричности)

В общем виде матица парных сравнений имеет вид

А =

1

1/а12

«12 1

п

а2п

О)

1 /а[п l/a2n 1

Нашей целью является получение на основе количественных суждений о парах (Р„ Pj) множества весовых коэффициентов а>\, аг}, , со„, поставленных в соответствие компонентам Р\, Pj, , Рп, те требуется найти зависимость веса со, от суждений a,j

Один из основных методов определения вектора со = (cü\, со2, , (оп) основывается на утверждениях линейной алгебры Искомый вектор приоритетов является собственным вектором матрицы парных сравнений, соответствующим наибольшему собственному значению Лпах

В связи с этим можно сформулировать следующую задачу если А — матрица значений парных сравнений, то для нахождения вектора приоритетов нужно найти вектор со, который удовлетворяет соотношению А со — Л,шхсс>

Это уравнение, записанное поэлементно, выглядит следующим образом

Асу =

а\2 а1 п "й),"

а2\ а22 а2п СО 2 II М «2

ап2 апп_ соп со„

(2)

или

¿ (avC0j ) = ¿max®, > гДе ' = 1, 2,

7=1

,п

Первым этапом решения векторного уравнения (2) является нахождение Лпах — наибольшего собственного значения матрицы А

Величины Л\, Л.2, , Л„, удовлетворяющие условию Лж = АпаЛ называются собственными (характеристическими) значениями матрицы А, а ненулевой вектор х - ее собственным (характеристическим) вектором

Для получения нетривиального (ненулевого) решения уравнения (А -Л)х ~ О матрица А-ЛЕ должна быть вырожденной, т е ее определитель (йе1) должен быть равен 0 Этот определитель представляет собой полином п-ой степени от Л Условие равенства определителя 0 приводит к уравнению и-ой степени, которое называется характеристическим уравнением матрицы А Корни этого характеристического уравнения с1е1.(/1 - ЛЕ)= Л" + 1цЛ" 1 + Ь^Х' 2 + + Ъ„ = 0 являются искомыми собственными значениями

Собственные значения матрицы можно получить, используя стандартные численные методы В настоящее время существуют пакеты прикладных программ (МаЛСас1, \latLab), позволяющие находить корни характеристических уравнений

На втором этапе, после определения Лщах - максимального из найденных собственных значений, решается векторное уравнение А а = Лпах® относительно собственного вектора ю

Следует заметить, что, так как матрица (А-Л,пах£) ~ вырожденная, то существует зависимость между ее строками Собственный вектор получается в результате присваивания произвольного значения одному из них 0, Однако, в большинстве случаев, желательно иметь нормализованное решение, поэтому

1 " / \ " одно из уравнений системы а1 =-/СЦ/®./) можно заменить на У/^ = 1.

Лпах у=] к=\

Это обеспечит единственность решения системы уравнений

На третьем этапе требуется оценить уровень доверия к полученным результатам с помощью так называемого индекса согласованности (ИС) ИС выражает степень отклонения рассогласованной матрицы от идеально согласованной

Матрица называется согласованной, если суждения эксперта совершенны при всех сравнениях, т е для всех г, ], к выполняется условие а,^ = ау а^ Индекс согласованности вычисляется по формуле _ Лпах ~ п

Малое значение индекса согласованности (приводится в различных литературных источниках меньшее или равное 0 1), свидетельствует о приемлемой степени согласованности суждений Достаточно большой индекс согласованности может служить основанием для пересмотра суждений эксперта

С этой целью, для плохо согласованной матрицы А с собственным вектором а>, соответствующему наибольшему собственному значению Лпах> формируется новая матрица В абсолютных разностей В = (6у), где Ьц = |ау - со, 1со^\, 1,)= 1,2, , п

Далее предлагается пересмотреть суждения для строки с наибольшим отклонением Желательно иметь такую процедуру изменения матрицы парных сравнений, при которой а у приближалось бы к со, 1со}

Процедура состоит в нахождении самой несогласованной строки к в мат-

После чего все элементы ¿-ой строки заменяются соответствующими отклонениями элементов собственного вектора, а/д ~ (/"1, , п), и осуществляется пересчет вектора приоритетов

Очевидно, что при новом индексе согласованности, превосходящем допускаемое значение (например, значение 0 1), процедуру пересмотра суждений можно повторять несколько раз для улучшения согласованности Однако, следует избегать чрезмерного повторения и попытаться улучшить суждения естественным образом Приведены также приближенные решения метода экспертных предпочтений

и-1

рице В, т е такой, что ^^ - сок I т} | = т \а!} -ф,/со]

п

Приведены принципы тестирования программной продукции Выделены статическое и динамическое тестирование, экспериментальные, экспертные и социологические методы при сертификационных испытаниях программной продукции Определен процесс тестирования, а также тесты и тестовые случаи Определены элементы тестирования и взаимосвязь результатов выполнения тестов с моделью оценки Приведены принципы формирования оценочных шкал для определения экспертных значений элементов оценки

Предложены методические принципы оценки соответствия программной продукции. Предложена линейная нормализация применительно к рассматриваемым компонентам оценки (тестовым результатам) программной продукции Для решения задачи линейной нормализации, в общем случае, определяется вектор исходных значений свойств \at\ Расчетные нормализованные значения этих свойств Ь, зависят от величины интервала [aimm a,max] и определяются по следующим формулам

bt = ———' m-n—, если b, максимизируются 0< b, < 1 (3)

a/max — "mm

bi = —''ir,JX—a'—, если b, минимизируются 0< b, < 1 (4)

ai max — °imin

где, в общем случае, cii max — максимальное значение свойства, cij m ■ п минимальное значение свойства

Применительно к программной продукции предложены следующие формулы линейной нормализации

Элемент оценки изменяется в интервалах {Ргктт, и [^шш < и если

рк __ рк

Ъ, максимизируется 0< Ь, <1, то Ь, = - г'-£ГШу-, при Ptk > Р,кттАоп Рк

min don ~ ^/min

принимает значение Р,ттдоп и bl — 1

к к к

Элемент оценки изменяется в интервале [Z3,mm, Р,тах] и [Р;тт, и если

Ь, минимизируется 0< Ь, <1, то Ь, = -.Р,тах ~Р'-, при Рк < РкaXf)o„ Р,к

рк _рА

( max I max doп

при1шмает значение Р,тахдоп и b, — 1

Варианты возможных интервалов элементов оценки приведены в таблице 1 В соответствии с основными положениями квалиметрии и с учетом специфики программной продукции в качестве формул линейной зависимости между

к к значением элемента оценки Рг и его оценкой К, , предложены формулы линейной нормализации элементов оценки, причем Ь,=Кк

Определение качественных элементарных свойств Ptk осуществляется на основе зависимостей, определяемых экспертным способом по шкале от 0 до 1

Таблица 1

Вычисление нормализованных значений элементов оценки _в зависимости от области их определения_

№ Область определения элементов оценки Интерпретация области определения элементов оценки Вычисление нормализованного значения

1 0 < Рк < 1 (-> 1) Элемент может принимать значение от 0 до 1 (чем ближе значение к 1, тем лучше) при Pk>Pkmmijm,b,= 1 рк при Р,к<Р,ктт0ш> Ь, '- "i min don

2 0< Рк< 1 (->0) Элемент может принимать значения от 0 до 1 (чем ближе значение к 0» тем лучше) при Рк < Pkmàxi>0„,b, = l при Pt>PL^äo«, Ъ - imAKtkjn

3 0 < Рк (- > OD) Элемент может принимать значения от 0 и выше (чем больше значение, тем лучше) при Рк > РкттЛ„, Ь, - 1 рк при Р,к<РкттАоп, ъ, = -fJ- min don

4 0< Рк (-> 0) Элемент может принимать значения от 0 и выше (чем меньше значение, тем лучше) при Рк < Ркт^п„, Ь, = 1 рк nniT Рк^Рк h 'max до" при rt ^t-jmâxôon, п, - ^

Специфика подтверждения соответствия программной продукции предполагает наличие допускаемого максимального или минимального значения по

этой шкале Допускаемое максимальное или минимальное значение Р,^оп мо-

L

жет назначаться экспертно для каждого элемента оценю! Р,

Предложена формула расчета относительных взаимосвязанных допускаемых значении элементов оценки множества Р1(),т на основе известных весовых коэффициентов

Р* - ai як /о

4<кт ~ ' ~J--di >

ах

гДе р,доп — компонент множества Р^д(т = {Ркдо„,Рк+\доп, > р«)оп } является допустимым значением компонента оценки Рк множества Pf! = , Р/ j с весок к к к к к выми коэффициентами as ,û>v+i, ■,(ol , <aimax = тах со, , 8, - допустимое от-

/=<¡,4 +1, ,/

клонение

Предложены принципы комплексирования оценок компонентов программной продукции, разработанные на основе комплексного метода квали-метрии Индексация оценки элементов Kf соответствует индексации компонентов оценки Р1 программной продукции

Нашей целью является получение комплексных значений оценок компонентов на основе известных значений оценок элементов с использованием соответствующих весовых коэффициентов

В зависимости от степени разброса значений весовых коэффициентов предложены способы получения оценок компонешов К^ средневзвешенный арифметический, геометрический или средневзвешенный гармонический показатель

Значение любой средневзвешенной арифметической оценки (рис 3)

может быть получено суммированием всех произведений значений родственных оценок компонентов/элементов, находящихся на следующем уровне иерархии, и их весовых коэффициентов

Тогда К[ = ),

(6)

где 5 — номер первой оценки родственного компонента/элемента на следующем уровне иерархии, а I - номер последней оценки родственного компонента/элемента на следующем уровне иерархии

Рис 3 Фрагмент иерархической модели оценок

Общая комплексная оценка объекта (программного продукта, документации и др , в зависимости от нормативного документа) в этом случае вычисляется по следующей формуле

*о = £(<Ч°), (7)

;=1

причем щ — число компонентов на первом уровне иерархии

Для средневзвешенного геометрического показателя соответственно

Ч = ' А'о = Г№°Г° («)

( = 1 !=Г

Для средневзвешенного гармонического показателя соответственно

^^Г^-^о- (9)

„к 1а „О

Определены схемы оценки соответствия программной продукции в зависимости от степени обобщения нормативных документов и степени тестового покрытия

Рассмотрена жесткая схема оценки соответствия, свойственная нормативным документам с нулевой степенью обобщения (например, спецификации требований). При достаточно высокой степени обобщения нормативных документов (международные и национальные стандарты с общими требованиями) определены особенности гибкой схемы оценки соответствия. Указанные схемы рассмофены, также, применительно к нормативным документам с общими требованиями к классу аналогичных программных продуктов по функциональному назначению.

Для графического представления степени соответствия программного продукта требованиям нормативного документа предложены оценочные циклограммы для жесткой и гибкой схемы оценки соответствия. Пример оценочной цшсло1раммы для гибкой схемы оценки соответствия представлен на рисунке 4.

В третьей главе на основе предложенных методических принципов разработаны функциональные модели, отражающие совокупность процессов создания типового нормативно-методического обеспечения для сертификации программной продукции (рис. 5).

Процесс создания модели оценки соответствия нормативному документу обеспечивается методическими принципами разработки модели оценки программной продукции и включает анализ структуры и иерархии требований нормативного документа.

Рис. 4. Оценочная циклограмма, где 1, 2, 3,..., 8 - компоненты оценки

Методические принципы разработки модели оценки _программной продукции_

Принципы тестирования

Методы экспертной оценки

Нормативный документ

Программный продукт

Российское законодательтво стандарты

Принципы нормализации элементов оценки

Принципы комплексирования оценок

Разработка нормативно-методического обеспечения процесса сертификации программной продукции

Испытательная лаборатория

Орган по сертификации

Принципы оценки соотвествия программной продукции

Модель оценки соответствия нормативному документу

Модель оценки программного продукта требованиям нормативного документа

Методика и протокол испытаний

Методика оценки соответствия

Отчет о сертификации ПП

Научно-методический центр системы сертификации

Рис 5 Процесс создания нормативно-методического обеспечения

Разработка модели оценки программного продукта осуществляется на основе методических принципов разработки модели оценки программной продукции и методов экспертной оценки Процесс включает анализ специфики и степени обобщения нормативного документа по отношению к программному продукту, разработку методики определения весовых коэффициентов, разработку адаптированной модели оценки соответствия нормативному докуме1пу, доработку адаптированной модели оценки соответствия нормативному документу с учетом специфики программного продукта, а также формирование окончательной модели оценки соответствия с учетом степени тестового покрытия Функциональная модель создания типового нормативно-методического обеспечения представлена на рис 6

В зависимости от степени обобщения нормативных документов и специфики программного продукта предложены несколько взаимосвязанных типов моделей оценки, являющихся продуктом разработки процесса создания методического обеспечения (рис 7)

Методика и протокол испытаний разрабатывается на основе принципов тестирования программной продукции Процесс включает анализ модели оценки, определение элементов тестирования, разработку тестов и тестовых случаев, планирование испытаний, разработку структуры методики и протокола испытаний, а также форм документирования результатов тестирования программной продукции

Процесс создания методики оценки соответствия разработан на основе методических подходов оценки соответствия, в том числе принципов нормализации элементов и принципов комплексирования оценок элементов и включает структуру методики и форму документирования результатов оценки соответствия, а также структуру отчета о результатах сертификации программного продукта

Рис 6 Основные взаимосвязи процесса создания методического обеспечения

Степень иерархического соотвествия требованиям Н

Степень семантического соотвествия требованиям Т

С

Требования нормативно-технических документов

Модель оценки соответствия I —| НМЦ

Рис 7 Модели оценки и их основные характеристики

Пример результатов документирования оценки соответствия программной продукции представлен в таблице 2

(О

о

Пример результатов документирования оценки соответствия программной продукции

Таблица 2

Наименование компонента оценки Уровни иерархической модели оценки Обозначения компонентов оценки Весовые коэффициенты Значения компонент Допустимое отклонение Значение оценок компонент

1 2 3 4 обозначения значения тестированные нормативные допустимые 51 Нормализованные К* Комплексные АГ/

1 Документация 0,45 — — — — 0,97

2 Описание продукта Pi ®з 0,45 0,8 - 0,768 0,05 1,0 —

3 Документация пользователя Р! ®4 0,55 — — — — — 0,945

4 Полнота документации пользователя р4 co¡ 0,28 0,95 - 0,95 0,05 1,0 -

5 Правильность документации пользователя Р4 4 Я, 0,25 1,0 - 0,842 0,05 1,0 -

6 Непротиворечивость документации пользователя р4 '10 <а40 0,25 0,7 — 0,842 0,05 0,83 -

7 Понятность документации пользователя р4 4 соп 0,22 0,7 — 0,735 0,05 0,95 —

8 Программы и данные p¡ 0,55 — — — — — 0,954

9 Функциональные возможности р; а>\ 0,4 — - — — — 0,935

10 Устанавливаемое^(инсталлируе-мость) р5 12 0,25 1,0 - 0,95 0,05 1,0 —

11 Реализуемость функций Р5 мз 0]„ 0,25 — — - - — 0,9

12 Время транзакции при запросе пользователя по одной базе данных р13 •46 ofj 0,5 1,5 с не более 2с - — 1,0 -

13 Число одновременно задаваемых характеристик для поиска информации в базе данных п13 17 a\i 0,5 4 не менее 5 — — 0,8 —

14 Правильность программ и данных р5 14 col 0,25 1,0 — 1,0 0,0 1,0 —

15 Непротиворечивость программ и данных Р' 15 m\¡ 0,25 0,8 — 0,95 0,05 0,84 —

16 Надежность рi 0¡ 0,4 0,9 — 0 95 0,05 0,95 —

17 Практичность pí а1 0,2 0,5 — 0,45 0,05 1,0 -

В четвертой главе, на основе предложенных методических принципов и функциональных моделей осуществлена разработка и приведены результаты апробации нормативно-методического и информационного обеспечения в Системе добровольной сертификации информационно-коммуникационных технологий в образовании (Система ИНКОМТЕХСЕРТ)

Разработаны нормативно-методические документы, включающие модели оценки соответствия программной продукции требованиям национальных стандартов ГОСТ Р ИСО/МЭК 12119-2000 и ГОСТ Р ИСО 9127-94, апробированные в рамках Научно-методического центра Системы сертификации ИНКОМТЕХСЕРТ Даны ссылки на приведенные в приложении нормативно-методические документы, включающие модели оценки, методику и протокол испытаний и методики оценки соответствия, апробированные на примере программного продукта «Система дифференцированного Интернет-обучения ГЕКАДЕМ», версия 3 0

В заключении приведены основные выводы по результатам диссертационной работы

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1 Разработанное нормативно-методическое и информационное обеспечение процесса сертификации позволило повысить качество подтверждения соответствия программной продукции, благодаря более полному учету требований нормативно-технических документов и специфики сертифицируемых программных продуктов, локализации оценочных факторов при принятии решений о соответствии этих продуктов высшим иерархическим уровням требований нормативных документов и применении единых методических подходов к оценке соответствия программной продукции

2 Проведенный анализ российского законодательства, международных и национальных стандартов и состояния сертификации в Российской Федерации позволил обосновать актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции

3 Методические принципы построения оригинальных моделей оценки, тестирования и оценки соответствия, разработанные с учетом метода анализа иерархий и комплексного метода квалиметрии, позволили разработать функциональные модели создания типового нормативно-методического обеспечения процесса сертификации программной продукции

4 Разработанные функциональные модели создания типовых нормативно-методических документов, представляющие собой взаимосвязанные процессы разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности, предложены в качестве комплексной нормативно-методической и информационной поддержки научно-методических центров, органов по сертификации и технически компетентных испытательных лабораторий программной продукции систем сертификации Российской Федерации

5 Разработанные впервые модели оценки соответствия требованиям базовых национальных стандартов, а также комплекс методических и отчетных документов, включающий адаптированные модели оценки, методику и протокол испытаний, отчет о результатах сертификации, апробированы в рамках добровольного подтверждения соответствия реального программного продукта в одной из систем сертификации Российской Федерации

6 Достоверность теоретических положений и применимость результатов диссертации были подтверждены при выполнении научно-практической работы «Создание и внедрение в сфере образования системы обеспечения качества и сертификации информационно-программных средств», удостоенной премии Правительства Российской Федерации в области образования за 2001 год

По теме диссертации опубликовано 10 печатных трудов

1 Позднеев Б М, Поляков С Д Стандартизация и сертификация как основа обеспечения качества информационно-программных средств учебного назначения / Научно-практический журнал «Открытое образование» №4 -М МЭСИ, 2002 г С 12-25

2 Позднеев Б М, Поляков С Д Качество и сертификация программных средств в сфере образования / Научно-технический журнал «Сертификация» №4 -ВНИИС, 2002 С 27-29

3 Соломенцев Ю М , Климанов В П , Липаев В В , Мордвинов В А, Позднеев Б М , Поляков С Д, Роберт И В, Скуратов А К Обеспечение качества и сертификация программных средств в сфере образования / Менеджмент проектов информационных систем в образовании Аналитический обзор - НИИВО, 2003 С 67

4 Поляков С Д Нормативно-правовые основы процесса сертификации информационно-программных средств в системе образования / «Информационные технологии в образовании» XIV конференция-выставка Сборник трудов участников конференции Часть IV -М МИФИ, 2004 С 189-192

5 Поляков СД Разработка нормативно-правового обеспечения для оценки качества и сертификации информационных ресурсов в системе образования / «Образовательная среда сегодня и завтра» Материалы II Всероссийской научно-практической конференции (Москва, 28 09 - 01 10 2005) / Редсовет Отв В И Солдаткин - М Рособразова-ние, 2005 С 125-127

6 Поляков С Д Правовые основы и порядок сертификации программных средств для дистанционного обучения в системе образования / Образовательная среда сегодня и завтра Материалы всероссийской научно-практической конференции (Москва, 29 09 - 02 10 2004) /Редкол В И Солдаткин (пред ) и др РГИОО - М Рособразование, 2004 С 64-66

7 Позднеев Б М, Поляков С Д Обеспечение качества на основе сертификации информационных образовательных ресурсов / Материалы конференции в рамках выставки-ярмарки «Современная образовательная среда» ВВЦ, 1-3 ноября 2002 г - ЗАО «ОП ВВЦ «Наука и образование», 2002 С 72-73

8 Поляков А А., Позднеев Б М , Поляков С Д Развитие отраслевой системы сертификации информационно-коммуникационных технологий в сфере образования / «Системы управления сферой образования» Сборник статей -М МГИУ, 2003 С 17-25

9 Позднеев Б М , Поляков С Д Сертификация e-learnmg решений / ГОУ Журнал «Мир электронного обучения» (e-Learnmg World) № 1 - М МЭСИ, изд «Мастер печати», 2004 С 10-13

10 Б М Позднеев, С Д Поляков Развитие сертификации информационно-коммуникационных технологий и информационных ресурсов в системе дистанционного обучения / Образовательная среда сегодня и завтра Материалы всероссийской научно-практической конференции (Москва, 29 09 - 02 10 2004) / Редкол В И Солдаткин (пред) и др РГИОО -М Рособразование, 2004 -С 131-132

Автореферат на соискание ученой степени кандидата технических наук

Поляков Сергей Дмитриевич

Разработка нормативно-методического и информационного обеспечения процесса сертификации программной продукции

Лицензия на издательскую деятельность ЛР № 01741 от 11 05 2000 Подписано в печать 19 06 2007 Формат 60x90/16 Учиздл 1,5 Тираж 100 экз Заказ № 123

Отпечатано в Издательском Центре МГТУ «СТАНКИН» 103055, Москва, Вадковский пер, д За

Введение.

Глава 1. Обоснование разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции.

1.1. Анализ состояния подтверждения соответствия программной продукции в Российской Федерации.

1.1.1. Анализ состояния российского законодательства в области технического регулирования и подтверждения соответствия программной продукции.

1.1.2. Анализ международных и национальных стандартов в области создания и оценки качества программной продукции

1.1.3. Анализ состояния сертификации программной продукции.

1.2. Актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции.

Цель и задачи исследования.

Глава 2. Разработка методических принципов для оценки соответствия программной продукции требованиям нормативных документов.

2.1. Обоснование и методические принципы разработки модели оценки соответствия программной продукции.

2.2. Применение методов экспертной оценки к компонентам модели оценки программной продукции.

2.3. Разработка принципов тестирования программной продукции.

2.4. Разработка методических принципов оценки соответствия программной продукции.

Выводы по главе 2.

Глава 3. Разработка функциональных моделей создания типового нормативно-методического обеспечения процесса сертификации программной продукции.

3.1. Разработка модели оценки соответствия нормативному документу.

3.1.1. Анализ требований нормативного документа.

3.1.2. Разработка модели оценки соответствия нормативному документу.

3.2. Разработка модели оценки соответствия программного продукта.

3.2.1. Анализ программного продукта.

3.2.2. Разработка методики определения весовых коэффициентов компонентов оценки.

3.2.3. Определение весовых коэффициентов компонентов в модели оценки соответствия нормативному документу.

3.2.4. Разработка модели оценки программного продукта.

3.2.5. Определение весовых коэффициентов компонентов оценки соответствия непокрытых требованиями нормативного документа.

3.3. Разработка методики и протокола испытаний.

3.4. Разработка методики оценки соответствия программного продукта.

3.4.1. Разработка методики нормализации элементов оценки.

3.4.2. Разработка методики получения комплексных оценок компонентов (методика комплексирования).

3.4.3. Разработка формы документирования результатов оценки соответствия.

3.4.4. Разработка структуры отчета о результатах сертификации программного продукта.

Выводы по главе 3.

Глава 4. Разработка и апробация нормативно-методического и информационного обеспечения для сертификации программной продукции.

4.1. Разработка моделей оценки соответствия национальным стандартам

ГОСТ Р ИСО/МЭК 12119 - 2000 и ГОСТ Р ИСО 9127 - 94.

4.1.1. Анализ требований национального стандарта

ГОСТ Р ИСО/МЭК 12119-2000.

4.1.2. Разработка модели оценки соответствия национальному стандарту

ГОСТ Р ИСО МЭК 12119-2000.

4.1.3. Апробация моделей оценки соответствия ГОСТ Р ИСО/МЭК 12119 — и ГОСТ Р ИСО 9127-94.

4.2. Разработка и апробация нормативно-методического и информационного обеспечения на примере программного продукта «Система дифференцированного Интернет-обучения ГЕКАДЕМ», версия 3.0.

Выводы по главе 4.

Актуальность темы

В соответствии с Доктриной информационной безопасности Российской Федерации одной из составляющих национальных интересов России в информационной сфере является развитие современных информационных технологий, отечественной индустрии информации, в том числе индустрии средств информатизации, телекоммуникации и связи, обеспечение потребностей внутреннего рынка ее продукцией и выход этой продукции на мировой рынок, а также обеспечение накопления, сохранности и эффективного использования отечественных информационных ресурсов. В современных условиях только на этой основе можно решать проблемы создания наукоемких технологий, технологического перевооружения промышленности, приумножения достижений отечественной науки и техники. Россия должна занять достойное место среди мировых лидеров микроэлектронной и компьютерной промышленности [38].

Доктриной информационной безопасности определены основные задачи для достижения поставленных целей, предусматривающие развитие отечественной индустрии . информационных услуг, производство в Российской Федерации конкурентоспособных" средств и систем информатизации для расширения участия России в международной кооперации производителей этих средств и систем, а также приоритетное развитие и * государственная поддержка фундаментальных и прикладных исследований и разработок в сферах информатизации, телекоммуникации и связи [38].

В соответствии с законодательством Российской Федерации [84, 85], международной и*. национальной практикой [21, 43, 46-51, 104-107, 109-111,135-139], безопасность и качество средств и систем информатизации должно обеспечиваться процессами их жизненного цикла, установленными требованиями технических регламентов, стандартов, договоров и других нормативно-технических документов.

С точки зрения продукции средства и системы информатизации попадают в область технического регулирования, определенную Федеральным законом «О техническом регулировании» [84], а также регламентируются рядом других федеральных законов и законодательных актов [59-70, 84-89].

Эффективным и действенным механизмом удостоверения качества продукции, услуг, процессов и иных объектов, является подтверждение соответствия этих объектов установленным требованиям нормативных документов.

Подтверждение соответствия требованиям международных и национальных стандартов ISO 9001 [13], ISO 90003 [149], ISO/IEC 15504 [135-139] определяет качество программной продукции со стороны системы менеджмента качества и процессов зрелости производства разработчика. Однако эти требования являются дополняющими [13] и не могут полностью обеспечить гарантию качества конечной программной продукции, подтверждение которой должно осуществляться в рамках добровольной, обязательной сертификации или декларирования соответствия.

Программная продукция является принципиально новым и наукоемким объектом, и может являться компонентом информационной или информационно-управляющей системы, обеспечивающей технологии информационной поддержки жизненного цикла изделий (ИПИ-технологии - CAD, САМ, CAI, САРР, ERP), что предполагает нетривиальное решение задачи разработки требований и методологии подтверждения соответствия такой продукции.

Органы по сертификации и испытательные лаборатории вынуждены разрабатывать собственные локализованные методики не адаптированные под весь спектр возможного применения при сертификации нормативно-технических документов с различной степенью обобщения требований (спецификации требований, технические условия для однородной продукции, национальные и международные стандарты) по отношению к специфике программной продукции. Эти методики характеризуются отсутствием или низким уровнем обобщения результатов испытаний, что при сертификации достаточно сложных программных комплексов не позволяет адекватно принимать решение о их соответствии требованиям нормативных документов.

В настоящей диссертационной работе рассматриваются программные средства и информационные продукты вычислительной техники (далее программная продукция), определенные 50 ООО классом Общероссийского классификатора продукции (ОКП) [54], и предлагается комплекс решений для поддержки процесса сертификации программной продукции. В работе не рассматривается программная продукция, подпадающая под действие обязательных требований безопасности технических регламентов, а также процессы, связанные с обязательным подтверждением соответствия этим требованиям [66, 67,72].

В Российской Федерации к настоящему времени не сформирован цивилизованный рынок услуг по подтверждению соответствия программной продукции, который ограничен уровнем качества предлагаемых разработок и услуг по независимой оценке соответствия, обусловленных недостаточным применением при разработке программной продукции международных и национальных стандартов и фактически отсутствующей базой нормативно-технического и методического обеспечения в этой области.

Достаточно слабая база научно-методических центров систем сертификации и отсутствие универсальных методических принципов и моделей оценки соответствия программных продуктов в документах международного и национального уровня не позволяет обеспечить единые подходы при формировании компонентов оценки, сертификационных испытаниях, обработке и оценке соответствия полученных результатов требованиям нормативно-технических документов. Указанные негативные моменты предопределяют низкое качество предоставляемых услуг по сертификации программной продукции, обуславливают высокие материальные и временные затраты, приводят к частичной или полной несопоставимости результатов испытаний и усложняют взаимное доверие и признание сертификатов соответствия различными органами и системами сертификации.

Рост конкуренции на рынке IT технологий предполагает сокращение жизненного цикла программной продукции при условии постоянного повышения ее качества. В сложившихся условиях, процесс сертификации, являясь компонентой этого жизненного цикла, может быть конкурентоспособной услугой лишь в случае существенного сокращения сроков полных циклов сертификации при обеспечении высокого уровня качества оценки соответствия.

Предложенное в диссертации нормативно-методическое и информационное обеспечение направлено на снижение указанных негативных аспектов и ориентировано на поддержку процесса сертификации программной продукции требованиям широкого спектра нормативно-технических документов, в том числе международных и национальных стандартов. Предложенный комплекс принципов, моделей, процессов и методик разработан для повышения качества и конкурентоспособности программной продукции и услуг по независимой оценке соответствия этой продукции на внутреннем и международном рынках, содействия приобретателям в компетентном выборе такой продукции, формирования условий для обеспечения свободного перемещения программной продукции по территории Российской Федерации, а также осуществления международного экономического, научно-технического сотрудничества и международной торговли [84], что подтверждает актуальность разработки нормативно-методического и информационного обеспечения.

Целью диссертационной работы является повышение качества оценки соответствия программной продукции на основе разработки нормативно-методического и информационного обеспечения процесса ее сертификации.

Для достижеиия поставленной цели были сформулированы следующие задачи:

- провести анализ российского законодательства, международных и национальных стандартов и состояния сертификации программной продукции в Российской Федерации;

- разработать методические принципы создания моделей оценки, тестирования и оценки соответствия программной продукции требованиям нормативных документов на основе метода анализа иерархий и комплексного метода квалиметрии;

- разработать функциональные модели создания нормативно-методического обеспечения для информационной поддержки процесса сертификации программной продукции;

- апробировать нормативно-методическое и информационное обеспечение в одной из систем сертификации Российской Федерации.

К наиболее значимым результатам диссертации, обладающим научной новизной, следует отнести:

- разработаны оригинальные методические принципы создания моделей оценки соответствия программной продукции требованиям широкого спектра нормативно-технических документов, а также принципы получения комплексных оценок компонентов с учетом комплексного метода квалиметрии;

- функциональные модели создания типового нормативно-методического обеспечения для информационной поддержки процесса сертификации программной продукции;

- комплекс методических и отчетных документов при апробации нормативно-методического и информационного обеспечения.

Практическая значимость работы состоит в следующем:

1. Разработанные методические принципы, основанные на анализе иерархической и семантической согласованности требований нормативного документа, позволяют создавать модели оценки соответствия программной продукции широкому спектру нормативно-технических документов, в том числе: международным и национальным стандартам, стандартам организаций, нормативным документам, содержащим требования систем сертификации, спецификациям требований в технических заданиях, определенные условиями договоров;

2. Предложенные функциональные модели создания типового нормативно-методического обеспечения для сертификации программной продукции, представляют собой последовательный комплекс взаимосвязанных информационных потоков и процессов разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности при сертификации программной продукции;

3. В зависимости от степени обобщения нормативного документа по отношению к программному продукту предложены принципы адаптации модели оценки соответствия требованиям нормативного документа. Созданная модель позволяет учесть специфику конкретного программного продукта (уникальные особенности и характеристики) по отношению к общим требованиям нормативного документа.

4. Предложенные принципы оценки соответствия, основанные на методах квалиметрии, обеспечивают обработку результатов сертификационных испытаний, результатом которых является нормализованные значения элементов оценки и комплексные оценки компонентов на различных уровнях иерархии модели оценки, что позволяет определять степень соответствия программного продукта любым уровням иерархии требований нормативного документа и локализовать факторы при принятии решения о соответствии программного продукта этим требованиям.

5. Обозначены жесткий и гибкий подходы к оценке соответствии нормативным документам в зависимости от степени обобщения требований этих документов по отношению к программной продукции, что вытекает из конфигурации разработанной модели оценки соответствия. Для качественных элементов оценки предложен расчет их относительных допускаемых значений с использованием известных весовых коэффициентов.

6. Разработанные модели оценки соответствия требованиям основных международных и национальных стандартов, применяемых при сертификации программной продукции, а также практическая реализация предлагаемых решений на примере конкретного программного продукта в одной из систем добровольной сертификации Российской Федерации могут быть использованы в качестве практического > руководства при применении предлагаемого нормативно-методического обеспечения.

7. Предлагаемые в диссертационной работе функциональные модели ориентированы на информационно-методическую поддержку сертификации программной продукции требованиям, нормативных документов с целью компенсации недостаточной методической базы в международных и национальных стандартах, методической поддержки научно-методических центров систем сертификации Российской Федерации, органов по сертификации и независимых технически компетентных испытательных лабораторий программной продукции.

8. Разработанные в диссертации методические решения могут быть использованы органами по обязательной сертификации программной продукции, а также учитываться разработчиками в жизненном цикле программного обеспечения на этапах формирования требований, тестирования и квалификационных испытаний.

9. Предлагаемые методические подходы могут быть использованы при формировании структуры требований при разработке нормативно-технических и методических документов различного уровня, в том числе стандартов организаций и национальных стандартов в области оценки качества программной продукции.

10. Разработанное нормативно-методическое и информационное обеспечение при соответствующем применении и тиражировании может способствовать существенному повышению качества программной продукции, предоставляемых услуг по ее сертификации, сокращению временных и стоимостных параметров подтверждения соответствия, а также повышению взаимного доверия и признания результатов сертификационных испытаний различными системами сертификации Российской Федерации,

Апробация и внедрение результатов работы

Обоснованность научных положений, принципов и выводов определяется конкретным применением и апробацией в Системе добровольной сертификации ИНКОМТЕХСЕРТ.

Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения в рамках выполнения научно-исследовательских работ и. государственных контрактов ГОУ МГТУ «Станкин», а также рядом инициативных проектов, в том числе:

Разработка нормативно-правового обеспечения для оценки качества и сертификации информационных ресурсов в системе образования» (2005г.) по ведомственной научной программе Минобрнауки «Развитие научного потенциала высшей школы»;

Разработка проектов базовых национальных стандартов в области создания и применения электронных образовательных ресурсов (ЭОР), создание методической базы для разработчиков ЭОР» (2005г.) по государственному контракту «Разработка унифицированных требований к созданию электронных образовательных ресурсов».

Разработка организационно-методического и нормативно-технического обеспечения для стандартизации и сертификации информационно-коммуникационных технологий и развития информационных систем управления образованием» (2004г.) в рамках Федеральной целевой программе «Развитие единой образовательной информационной среды (2001-2005 годы)»;

Обеспечение качества образовательных информационных ресурсов на основе разработки нормативно-технических требований к продукции и развития отраслевой системы сертификации» (2004г.) по научно-технической программе Минобразования «Развитие информационных ресурсов и технологий. Индустрия образования»;

Развитие и информационно-технологическая поддержка отраслевой системы сертификации» (2003г.) в рамках Федеральной целевой программе «Развитие единой образовательной информационной среды (2001-2005 годы)»;

Создание отраслевого ресурсного центра регистрации, стандартизации и сертификации информационных ресурсов системы образования (ОСРЦ-ИР)» (2003г.) в рамках Федеральной целевой программе «Развитие единой образовательной информационной среды (2001-2005 годы)»;

Создание информационного и организационно-методического обеспечения для развития отраслевой подсистемы сертификации в области информационных технологий» (2001-2002г.) по научно-технической программе «Научное, научно-методическое, материально-техническое и информационное обеспечение индустрии образования»;

Разработка технических условий и проведение сертификационных испытаний Системы дистанционного обучения «Прометей» (2001г.)

Разработка технических условий и проведение сертификационных испытаний программных средств «Глобальная информационно-аналитическая торговая система (ГИАТС)» (2002г.)

Разработка технических условий и проведение сертификационных испытаний программных средств «Распределенная электронная библиотека информационной образовательной среды открытого образования» (2002 г.)

Результаты диссертационной работы отражены в 10 печатных трудах и были представлены на Всероссийской конференции «Современная образовательная среда» (ВВЦ, 2001г.), Всероссийской конференции в рамках выставки-ярмарки «Современная образовательная среда» (Москва, ВВЦ, 2002 г.), Всероссийской научно-практической конференции «Человеческое измерение в информационном обществе» (Москва, ВВЦ 2003 г.), XIV конференции-выставке «Информационные технологии в образовании» (Москва, 2004г.), Всероссийская научно-практическая конференция «Образовательная среда сегодня и завтра» (Москва, ВВЦ, 2004 г.), Международная научно-практическая конференция «Проблемы и перспективы сотрудничества государств участников СНГ в формировании единого (общего) образовательного пространства» (2004 г.), II Всероссийской научно-практической конференции «Образовательная среда сегодня и завтра» (Москва, ВВЦ, 2005 г.).

Материалы диссертации были использованы в научно-практической работе «Создание и внедрение в сфере образования системы обеспечения качества и сертификации информационно-программных средств», удостоенной премии Правительства Российской Федерации в области образования за 2001 год.

Во введении приводится краткое обоснование необходимости и актуальности решаемой проблемы, цель и основные задачи исследования, определена научная новизна и практическая ценность работы.

В первой главе диссертационной работы дано подробное обоснование разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции.

Проведен анализ состояния российского законодательства в области технического регулирования и подтверждения соответствия программной продукции на основе Федерального закона «О техническом регулировании» [84], «Об информации, информационных технологиях и о защите информации» [85], «О защите прав потребителей» [87], «О государственной тайне» [86], «О размещении заказов на поставки товаров, выполнение работ и оказание услуг для государственных и муниципальных нужд» [88], «О персональных данных» [89] и ряда Постановлений Правительства РФ и Федерального агентства по техническому регулированию и метрологии в области обязательного и добровольного подтверждения соответствия продукции, услуг и систем менеджмента качества. На основе проведенного анализа установлена сфера применения предлагаемых в диссертации разработок - добровольное подтверждение соответствия программной продукции.

Проведенный анализ основных международных и национальных стандартов в области менеджмента качества [12-14, 18, 149], жизненного цикла информационных систем [20-24, 29-31, 34-37, 109-111, 130, 131, 122-127, 135-140, 142, 144, 145-149], оценки качества и документирования программного обеспечения [15-17, 19, 28, 31-33, 103, 108-111, 143] позволяет констатировать принципиальное отсутствие в документах этого уровня целостного методического обеспечения для подтверждения соответствия программной продукции.

Для детализации причин и локализации возникающих проблем подтверждения соответствия в диссертационной работе был проведен анализ процесса сертификации программной продукции в системах добровольной сертификации Российской Федерации.

Детальный анализ этого процесса позволяет говорить о его критичных компонентах, среди которых разработка методического обеспечения для сертификационных испытаний и оценки соответствия.

Несмотря на общий прядок подтверждения соответствия, в различных системах сертификации Российской Федерации отсутствуют единые методические принципы, модели и универсальные методические подходы оценки соответствия программных продуктов требованиям широкого спектра нормативно-технических документов. Фактически отсутствуют технологии обработки и обобщения результатов сертификационных испытаний.

Не предусматривается комплексная оценка соответствия высшим иерархическим уровням требований нормативных документов, необходимая для определения степени соответствия программного продукта этим уровням требований для локализации оценочных факторов при принятии решений о соответствии программного продукта установленным требованиям нормативного документа

В первой главе диссертации, на основе проведенного анализа российского законодательства, международных и национальных стандартов и добровольной сертификации в Российской Федерации обоснована необходимость и актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции.

В первой главе, также, сформулированы цель и подробно описаны задачи исследования.

Во второй главе представлены методические принципы для поддержки процесса сертификации программной продукции, разработанные на основе методов анализа иерархий и комплексного метода квалиметрии:

- принципы создания иерархической модели оценки соответствия программной продукции;

- методы экспертной оценки мнений экспертов для определения согласованных весовых коэффициентов при построении моделей оценки программной продукции;

- принципы статического и динамического тестирования применительно к сертификационным испытаниям программной продукции;

- принципы оценки соответствия программной продукции требованиям нормативных документов, включая принципы линейной нормализации значений элементов оценки и получения комплексных значений оценок компонентов.

В третьей главе, на основе разработанных принципов, предложены функциональные модели создания типового нормативно-методического обеспечения, представляющие собой последовательный комплекс взаимосвязанных информационных потоков и процессов разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности при сертификации программной продукции.

Функциональные модели включают процессы создания:

- модели оценки соответствия нормативному документу;

- модели оценки соответствия программного продукта;

- методики и протокола испытаний;

- методики оценки соответствия программного продукта требованиям нормативного документа и формирования отчета о результатах сертификационных испытаний.

В четвертой главе, на основе предложенных методических принципов и функциональных моделей осуществлена разработка и приведены результаты апробации нормативно-методического и информационного обеспечения в Системе добровольной сертификации информационно-коммуникационных технологий в образовании (Система ИНКОМТЕХСЕРТ).

Приведены методические документы, включающие модели оценки соответствия программной продукции требованиям национальных стандартов ГОСТ Р ИСО/МЭК 121192000 и ГОСТ Р ИСО 9127-94, апробированные в рамках Научно-методического центра Системы сертификации ИНКОМТЕХСЕРТ;

Приведены ссылки на приложения к работе, содержащие нормативно-методические документы, включающие модели оценки, методику и протокол испытаний, методику оценки соответствия, апробированные на примере программного продукта «Система дифференцированного Интернет-обучения ГЕКАДЕМ», версия 3.0 в рамках его сертификации в Системе ИНКОМТЕХСЕРТ.

В заключении приведены основные выводы по результатам диссертационной работы.

На защиту выносятся:

- методические принципы создания моделей оценки соответствия программной продукции;

- функциональные модели создания типового нормативно-методического обеспечения процесса сертификации программной продукции;

- модели оценки соответствия программной продукции требованиям национальных стандартов ГОСТ Р ИСО/МЭК 12119 и ГОСТ Р ИСО 9127-94;

- результаты апробации нормативно-методического обеспечения на примере сертификации реального программного продукта в одной из систем сертификации Российской Федерации.

Выводы по главе 4

Разработаны и апробированы методические документы, включающие модели оценки соответствия программной продукции требованиям национальных стандартов ГОСТ Р ИСО/МЭК 12119-2000 и ГОСТ Р ИСО 9127-94 в рамках Научно-методического центра Системы сертификации ИНКОМТЕХСЕРТ.

Осуществлена разработка и апробация типового нормативно-методического обеспечения процесса сертификации и принципов оценки соответствия программной продукции требованиям нормативных документов в Системе добровольной сертификации информационно-коммуникационных технологий в образовании (Система ИНКОМТЕХСЕРТ) на примере программного продукта «Система дифференцированного Интернет-обучения ГЕКАДЕМ», версия 3.0 (Система ГЕКАДЕМ).

132 —

Разработаны и апробированы методические документы при сертификации в Системе ИНКОМТЕХСЕРТ программного продукта Система ГЕКАДЕМ, включающие модели оценки этого программного продукта требованиям национальных стандартов ГОСТ Р ИСО/МЭК 12119-2000 и ГОСТ Р ИСО 9127-94, методику, протокол испытаний, а также отчет о его сертификации.

Заключение

Проведенный анализ и полученные результаты в диссертационной работе позволяют сделать следующие основные выводы:

1. Разработанное нормативно-методическое и информационное обеспечение процесса сертификации позволило повысить качество подтверждения соответствия программной продукции, благодаря более полному учету требований нормативно-технических документов и специфики сертифицируемых программных продуктов, локализации оценочных факторов при принятии решений о соответствии этих продуктов высшим иерархическим уровням требований нормативных документов и применении единых методических подходов к оценке соответствия программной продукции;

2. Проведенный анализ российского законодательства, международных и национальных стандартов и состояния сертификации в Российской Федерации позволил обосновать актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции;

3. Методические принципы построения оригинальных моделей оценки, тестирования и оценки соответствия, разработанные с учетом метода анализа иерархий и комплексного метода квалиметрии, позволили разработать функциональные модели создания типового нормативно-методического обеспечения процесса сертификации программной продукции;

4. Разработанные функциональные модели создания типовых нормативно-методических документов, представляющие собой взаимосвязанные процессы разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности, предложены в качестве комплексной нормативно-методической и информационной поддержки научно-методических центров, органов по сертификации и технически компетентных испытательных лабораторий программной продукции систем сертификации Российской Федерации; 133 —

5. Разработанные впервые модели оценки соответствия требованиям базовых национальных стандартов, а также комплекс методических и отчетных документов, включающий адаптированные модели оценки, методику и протокол испытаний, отчет о результатах сертификации апробированы в рамках добровольного подтверждения соответствия реального программного продукта в одной из систем сертификации Российской Федерации;

6. Достоверность теоретических положений и применимость результатов диссертации были подтверждены при выполнении научно-практической работы «Создание и внедрение в сфере образования системы обеспечения качества и сертификации информационно-программных средств», удостоенной премии Правительства Российской Федерации в области образования за 2001 год.

1. Авгушевич И.В., Головин Г.С. От государственной системы нормирования к национальной системе технического регулирования. М.: НТК «Трек», 2006. -136 е., илл.

2. Азгальдов Г.Г., Райхман Э.П. О квалиметрии. М.: Изд.стандартов, 1973. - 172 с.

3. Азгальдов Г. Г. Теория и практика оценки качества товаров (основы квалиметрии). -М.: Экономика, 1982. 236 с.

4. Андрианов Ю.М., Субетто А.И. Квалиметрия в машиностроении. JI.j Машиностроение. Ленингр. Отд-ние, 1990. - 216 е., ил.

5. Анисимов В.П., Яцук А.В. Метрология стандартизация и сертификация: Учебное пособие. М.: Альфа-М: ИНФРА-М, 2006. - 252 е.: ил. (серия «Сервис»).

6. Аронов И.З., Теркель А.Л., Рыбакова A.M. Словарь-справочник по техническому регулированию. М.: РИА «Стандарты и качество». - М.: РИА «Стандарты и качество», 2006. - 288 с.

7. Афонина А.В., Курноскина О.Г., Мизюн Н.В. Комментарий к Федеральному закону «О техническом регулировании» (Постатейный) / Под ред. А.Н. Гришечкина. М.: Издательство - торговая корпорация «Дашков и К0», 2005. 252 с.

8. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. 2-е изд., перераб. и доп. - М.: Статистика, 1980. - 263 е., ил.

9. Бузов Б. А. Управление качеством продукции. Технический регламент, стандартизация и сертификация. Изд. Academia, 2006. 176 с.

10. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь.

11. ГОСТ Р ИСО 9001-2001. Системы менеджмента качества. Требования.

12. ГОСТ Р ИСО 9004-2001. Системы менеджмента качества. Рекомендации по улучшению деятельности.

13. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению.

14. ГОСТ Р ИСО 9127-94. Системы обработки информации. Документация пользователя и информация на упаковке для потребительских программных пакетов.

15. ГОСТ Р ИСО/МЭК ТО 9294-93. Информационная технология. Руководство по управлению документированием программного обеспечения.

16. ГОСТ Р ИСО 10006-2005. Системы менеджмента качества. Руководство по менеджменту качества при проектировании.

17. ГОСТ Р ИСО/МЭК 12119-2000. Информационная технология. Пакеты программ. Требования к качеству и тестирование.

18. ГОСТ Р ИСО/МЭК ТО 12182-2002. Информационная технология. Классификация программных средств.

19. ГОСТ Р ИСО/МЭК 12207-99. Информационная технология. Процессы жизненного цикла программных средств.

20. ГОСТ Р ИСО/МЭК 14764-2002. Информационная технология. Сопровождение программных средств.

21. ГОСТ Р ИСО/МЭК 15026-2002. Информационная технология. Уровни целостности систем и программных средств.

22. ГОСТ Р ИСО/МЭК ТО 15271-2002. Информационная технология. Руководство по применению ГОСТ Р ИСО/МЭК 12207 (Процессы жизненного цикла программных средств).

23. ГОСТ Р ИСО/МЭК 15408-1-2002. Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 1. Введение и общая модель.

24. ГОСТ Р ИСО/МЭК 15408-2-2002. Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 2. Функциональные требования безопасности.

25. ГОСТ Р ИСО/МЭК 15408-3-2002. Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 3. Требования доверия к безопасности.

26. ГОСТ Р ИСО/МЭК 15910-2002, Информационная технология. Процесс создания документации пользователя программного средства.

27. ГОСТ Р ИСО/МЭК ТО 16326-2002. Программная инженерия. Руководство по применению ГОСТ Р ИСО/МЭК 12207 при управлении проектом.

28. ГОСТ Р 50.1.028-2001, Информационные технологии поддержки жизненного цикла продукции. Методология функционального моделирования

29. ГОСТ Р 51904-2002. Программное обеспечение встроенных систем. Общие требования к разработке и документированию.

30. ГОСТ 28195-89. Оценка качества программных средств. Общие положения.

31. ГОСТ 28806-90, Качество программных средств. Термины и определения.

32. ГОСТ 34.201-89. Информационная технология. Комплекс стандартов на автоматизированные системы. Виды, комплектность и обозначение документов при создании автоматизированных систем.

33. ГОСТ 34.601-90. Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания.

34. ГОСТ 34.602-89. Информационная технология. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы.

35. ГОСТ 34.603-92. Информационная технология. Виды испытаний автоматизированных систем.136 —

36. Доктрина информационной безопасности Российской Федерации (утв. Президентом РФ от 9 сентября 2000 г. № Пр-1895)

37. Калбертсон Роберт, Браун Крис, Кобб Гери. Быстрое тестирование.: Пер. с англ. М.: Издательский дом «Вильяме», 2002. 384 е.: ил.

38. Калянов Г.Н. Моделирование, анализ, реорганизация и автоматизация бизнес-процессов. Учеб. пособие. Издательство: Финансы и статистика, 2006. 240 с.

39. Калянов Г.Н. CASE-технологии и консалтинг в автоматизации бизнес-процессов // М: Горячая линия Телеком, 2000, - 320 с.

40. Калянов Г.Н. Теория и практика реорганизации бизнес-процессов // М: СИНТЕГ, 2000,-212 с.

41. Костогрызов А.И., Нистратов Г.А. "Стандартизация, математическое моделирование, рациональное управление и сертификация в области системной и программной инженерии: М.: Изд. «Вооружения и конверсия», 2004,395 с.

42. Круглов М.Г. Менеджмент качества, как он есть / М.Г. Круглов, Г.М. Шишков. -М.: Эксмо, 2006.-544 с.

43. Крылова Г.Д. Основы стандартизации, сертификации, метрологии: Учебник для вузов.- 3-е изд., перераб. И доп. М.: ЮНИТИ - ДАНА, 2006. - 671 с.

44. Липаев В.В. Выбор и оценивание характеристик качества программных средств. Методы и стандарты. Серия "Информационные технологии". М.:СИНТЕГ, 2001. -228 е., 20 ил.

45. Липаев В.В. Качество программных средств. Методические рекомендации. Под общей ред. проф., д.т.н. А.А. Полякова. М: Янус-К, 2002.400 е., 47 илл.

46. Липаев В.В. Методы обеспечения качества крупномасштабных программных средств М.: СИНТЕГ, 2003. 520 е., ил. (Серия "Управление качеством").

47. Липаев В.В. Системное проектирование сложных программных средств для информационных систем. Издание второе, переработанное и дополненное. Серия «Управление качеством». М.: СИНТЕГ, 2002. 268 с.

48. Липаев В.В. Тестирование программных средств. Методическое руководство.- М.: МГТУ "Станкин", 1999. 118с., 15 илл.

49. Липаев В.В. Функциональная безопасность программных средств. М.: СИНТЕГ, 2004. 348 с. (Серия "Управление качеством").

50. Метрология, стандартизация, сертификация и электроизмерительная техника: Учебное пособие / К.К. Ким, Г.Н. Анисимов, В.Ю. Барбарович, Б.А. Литвинов. -Спб.: Питер, 2006. 368 е.: ил.137 —

51. Мишин В.М. Управление качеством. Учебник для студентов вузов, обучающихся по специальности «Менеджмент организаций» (061100) / В.М. Мишин 2-е. Изд. Перераб. И доп - М.: ЮНИТИ-ДАНА, 2005. - 463 с.

52. Оценка и аттестация процессов создания и сопровождения программных средств и информационных систем (ISO/IEC TR 15504-СММ). М.: Книга и бизнес. 2001.

53. Постановление Госстандарта РФ от 10.05.2000г. № 26 «Об утверждении Правил по проведению сертификации в Российской Федерации».

54. Постановление Госстандарта РФ от 21.09.1994г. № 15 «Порядок проведения сертификации продукции в Российской Федерации» (с изменениями от 25 июля 1996 г., 11 июля 2002 г.).

55. Постановление Госстандарта России от 05.07.2002 № 56 «Правила сертификации работ и услуг в Российской Федерации»138 —

56. Постановление Госстандарта России от 29 января 2003 г. № 37 «Временный порядок сертификации систем менеджмента качества на соответствие ГОСТ Р ИС09001-2001 (ИСО 9001:2000)» (Р 50.3.005-2003).

57. Постановление Госстандарта России от 17 марта 1998 г. № 11 «Положение о Системе сертификации ГОСТ Р».

58. Постановлением Госстандарта РФ от 29 июня 1998 г. № 50 "Об утверждении нормативных документов Системы сертификации ГОСТ Р при проведении добровольной сертификации продукции (работ, услуг)"

59. Постановление Правительства РФ от 2 июня 2001 г. № 436 "О создании и введении в действие федерального каталога продукции для федеральных государственных нужд" (с изменениями от 8 августа 2003 г.).

60. Постановление Правительства Российской Федерации от 17 июня 2004 г. № 294 "О федеральном агентстве по техническому регулированию и метрологии" (с изм. и доп. от 27 октября 2004 г.).139 —

61. Правила функционирования Системы добровольной сертификации информационно-коммуникационных технологий в образовании. Регистрационные документы Системы «ИНКОМТЕХСЕРТ», Москва, 71 с.

62. Процессный подход в стандартах ИСО серии 9000 и на практике / кол. Авт. Под общей ред. Герасимовой Г.Е. М.: ООО НТК «Трек», 2005. - 168 е., ил.

63. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с англ. М.: «Радио и связь», 1993. - 320 е.: ил.

64. Сергеев А.Г., Латышев М.В. Сертификация: Учебное пособие для студентов вузов. Изд. 2-е перераб. И доп. М.: Логос, 2002.264 е.: ил.

65. Сарофанова Е.В. Метрология, стандартизация и сертификация: Учеб. Пособие. -М.: Издательство РИОР, 2005. 96 с.

66. Федеральный закон от 27 декабря 2002г. № 184 «О техническом регулировании».

67. Федеральный закон РФ от 27.07.2006 г. № 149-ФЗ «Об информации, информационных технологиях и о защите информации»

68. Федеральный закон РФ от 21 июля 1993 года № 5485-1 "О Государственной тайне"

69. Федеральный закон РФ 7 февраля 1992 г. № 2300-1 «О защите прав потребителей»

70. Федеральный закон Российской Федерации от 21 июля 2005 года Ы94-Ф3 «О размещении заказов на поставки товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд»

71. Федеральный закон Российской Федерации от 27 июля 2006 г. N 152-ФЗ «О персональных данных»

72. Федютн В.К. Основы квалиметрии. Управление качеством продукции. Учебное пособие. -М.: Информационно-издательский дом «Филинъ», 2004.-296 с.

73. Фомин В.Н., Чиннов И.Н. Сертификация продукции: принципы и их реализация. Изд. ЦЕМ, 2002.-416 е.: ил

74. Шадрин А.Д. Менеджмент качества. От основ к практике. М.: ООО НТК «Трек», 2006., 3-е изд. - 360 е., ил.

75. Шаффер Дональд Ф., Фастрелл Роберт Т., Шафер Линда И. Управление программными проектами: достижение оптимального качества при минимуме затрат.: Пер. с англ. М.: Издательский дом «Вильяме», 2003. - 1136 е.: ил.141 —

76. Шелобаев С.И. Экономико-математические методы и модели: Уч. Пособие для вузов. 2-е изд. И М.: ЮНИТИ-ДАНА. 2005. - 287 с.

77. Шишкин Е.В., Чхартишвили А.Г. Математические методы и модели в управлении. Уч. Пособие 3 изд. - М.: 2004. - 440 с.

78. Boehm Barry, et al. «Developing Multimedia Application with the Win Spiral Model». Proceedings? ESEC/FSE 97 and ASM Software Engineering Notes. November. NY: Association for Computing Machinery, 1997.

79. Gause Donald С end Gerald M. Weinberg. Exploring Requirements: Quality Before Design. NY: Dorset House, 1989.

80. ISO/IEC 6592:2000. Information technology Guidelines for the documentation of computer-based application systems.

81. ISO/IEC 9126-1:2001. Software engineering -- Product quality -- Part I: Quality model.

82. ISO/IEC TR 9126-2:2003. Software engineering Product quality - Part 2: External metrics.

83. ISO/IEC TR 9126-3:2003. Software engineering ~ Product quality ~ Part 3: Internal metrics.

84. ISO/IEC TR 9126-4:2004. Software engineering Product quality ~ Part 4: Quality in use metrics.

85. ISO/IEC TR 9294:2005. Information technology ~ Guidelines for the management of software documentation.

86. ISO/IEC 12207:1995. Информационные технологии. Процессы жизненного цикла программного обеспечения.

87. ISO/IEC 12207:1995/Amd. 1:2002. Information technology — Software life cycle processes. AMENDMENT 1.

88. ISO/IEC 12207:1995/Amd.2:2004. . Information technology — Software life cycle processes. AMENDMENT 1.

89. ISO/IEC 13335-1:2004. Information technology -- Security techniques -- Management of information and communications technology security -- Part 1: Concepts and models for information and communications technology security management.

90. ISO/IEC TR 13335-3:1998. Information technology -- Guidelines for the management of IT Security ~ Part 3: Techniques for the management of IT. Security.

91. ISO/IEC TR 13335-4:2000. Information technology -- Guidelines for the management of IT Security — Part 4: Selection of safeguards.

92. ISO/IEC TR 13335-5:2001. Information technology -- Guidelines for the management of IT Security — Part 5: Management guidance on network security.

93. ISO/IEC 14143-1:1998. Information technology — Software measurement — Functional size measurement Part 1: Definition of concepts.

94. ISO/IEC 14143-2:2002. Information technology ~ Software measurement Functional size measurement ~ Part 2: Conformity evaluation of software size measurement methods to ISO/IEC 14143-1:1998.

95. ISO/IEC TR 14143-3:2003. Information technology Software measurement -Functional size measurement — Part 3: Verification of functional size measurement methods.

96. ISO/IEC TR 14143-4:2002. Information technology Software measurement -Functional size measurement — Part 4: Reference model.

97. ISO/IEC TR 14143-5:2004. Information technology Software measurement -Functional size measurement — Part 5: Determination of functional domains for use with functional size measurement.

98. ISO/IEC TR 14143-6:2006. Information technology -- Software measurement -Functional size measurement — Part 6: Guide for use of ISO/IEC 14143 series and related International Standards.

99. ISO/IEC 14598-1:1999. Information technology -- Software product evaluation -- Part 1: General overview.

100. ISO/IEC 14598-2:2000. Software engineering ~ Product evaluation Part 2: Planning and management.

101. ISO/IEC 14598-3:2000. Software engineering Product evaluation - Part 3: Process for developers.143 —

102. ISO/IEC 14598-4:1999. Software engineering -- Product evaluation Part 4: Process for acquirers.

103. ISO/IEC 14598-5:1998. Information technology -- Software product evaluation Part 5: Process for evaluators.

104. ISO/IEC 14598-6:2001. Software engineering ~ Product evaluation -- Part 6: Documentation of evaluation modules.

105. ISO/IEC 14756:1999. Information technology ~ Measurement and rating of performance of computer-based software systems.

106. ISO/IEC TR 14759:1999. Software engineering Mock up and prototype - A categorization of software mock up and prototype models and their use.

107. КОЛЕС 15288:2002. Systems engineering ~ System life cycle processes.

108. КОЛЕС 15289:2006. Systems and software engineering Content of systems and software life cycle process information products (Documentation).

109. КОЛЕС 15408-1:2005. Information technology Security techniques -- Evaluation criteria for IT security — Part 1: Introduction and general model

110. КОЛЕС 15408-2:2005. Information technology Security techniques - Evaluation criteria for IT security — Part 2: Security functional requirements.

111. КОЛЕС 15408-3:2005. Information technology Security techniques ~ Evaluation criteria for IT security — Part 3: Security assurance requirements.

112. КОЛЕС 15504-1:2004. Information technology -- Process assessment Part 1: Concepts and vocabulary.

113. ISO/IEC 15504-2:2003. Information technology Process assessment -- Part 2: Performing an assessment.

114. КОЛЕС 15504-3:2004. Information technology Process assessment - Part 3: Guidance on performing an assessment.

115. КОЛЕС 15504-4:2004. Information technology -- Process assessment -- Part 4: Guidance on use for process improvement and process capability determination.

116. КОЛЕС TR 15504-5:2006. Information technology Process Assessment -- Part 5: An exemplar Process Assessment Model.

117. КОЛЕС 15846:1998. Information technology -- Software life cycle processes -Configuration Management.

118. ISO/IEC 15939:2002. Software engineering. Software measurement process.

119. КОЛЕС 16085:2004. Information technology ~ Software life cycle processes Risk management.

120. ISO/IEC 18019:2004. Software and system engineering Guidelines for the design and preparation of user documentation for application software.

121. ISO/IEC TR 19759:2005. Software Engineering -- Guide to the Software Engineering Body of Knowledge (SWEBOK).

122. ISO/IEC TR 19760:2003. Systems engineering A guide for the application of ISO/IEC 15288 (System life cycle processes).

123. ISO/IEC 25000:2005. Software Engineering Software product Quality Requirements and Evaluation (SQuaRE) — Guide to SquaRE.

124. ISO/IEC 25051:2006. Software engineering -- Software product Quality Requirements and Evaluation (SQuaRE) — Requirements for quality of Commercial Off- The-Self (COTS) software product and instructions for testing.

125. ISO/IEC 25062:2006. Software engineering Software product Quality Requirements and Evaluation (SQuaRE) — Common Industry Format (CIF) for usability test reports.

126. ISO/IEC 90003:2004. Software engineering ~ Guidelines for the application of ISO 9001:2000 to computer software.

127. ISO/IEC Guide 7:1994. Guidelines for drafting of standards suitable for use for conformity assessment.

128. ISO/IEC Guide 28:2004. Conformity assessment Guidance on a third-party certification system for products.

129. Peldschus F. (1986). Zur Anwendung der Theorie der Spiele fur Aufgaben der Bautechnologie. Dissertation В. TH Leipzig, 119 s.

130. Pressman Roger S. Software Engineering: A Practitioner's Approach, 5th ed. Boston? MAA Course Technology, 2001.

131. Weitendorf D. (1976). Beitrag zur Optimierung der raumlichen Struktur eines Gebaudes.Dissertation A, Hochschule fur Architektur und Bauwesen. Weimar.

132. Zavadskas E., Peldschus F., Kaklauskas A. (1994). Multiple Criteria Evaluation of Projects in Construction. Vilnius: Technika.145 —

133. ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ РОССИЙСКОЙ ФЕДЕРАЦИИ

134. ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ «СТАНКИН»1. На правах рукописи1. ПОЛЯКОВ СЕРГЕЙ ДМИТРИЕВИЧ

135. РАЗРАБОТКА НОРМАТИВНО-МЕТОДИЧЕСКОГО И ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ПРОЦЕССА СЕРТИФИКАЦИИ ПРОГРАММНОЙ ПРОДУКЦИИ0502.23. Стандартизация и управление качеством продукции