автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Технология комплексной оценки качества интеллектуальных программных продуктов двойного применения в процессе сертификационных испытаний

Введение.

1. Анализ существующих подходов и постановка задачи комплексной оценки качества программных продуктов двойного применения для систем специального назначения.

1.1 Нормативно-правовая база, юридические и нормативно-организационные основы качества и информационной безопасности программных продуктов.

1.2 Существующие интеллектуальные программные продукты и области их применения в системах специального назначения.

1.3 Современные технологии, методы и средства сертификации и оценки качества программных продуктов.

1.4 Обоснование необходимости проведения комплексной оценки качества и информационной безопасности интеллектуальных программных продуктов двойного применения для систем специального назначения. Постановка задачи исследования.

Выводы.

2. Теоретические основы оценки качества интеллектуальных программных продуктов в процессе их сертификационных испытаний.

2.1 Анализ факторов, влияющих на качество функционирования интеллектуальных программных продуктов и безопасность информации в системах специального назначения.

2.2 Структурно-функциональные особенности интеллектуальных компонент систем специального назначения как объектов сертификации.

2.3 Выбор и обоснование критериев и показателей комплексной оценки качества сертифицируемых интеллектуальных программных продуктов.

2.4 Модель комплексной оценки качества и безопасности интеллектуальных программных продуктов.

Выводы.

3. Критерии и методы комплексной оценки качества и безопасности интеллектуальных программных продуктов при применении в системах специального назначения.

3.1 Критерии и методы оценки функциональных возможностей сертифицируемых интеллектуальных программных продуктов.

3.2 Критерии и методы оценки конструктивных особенностей сертифицируемых интеллектуальных программных продуктов.

3.3 Критерии и методы оценки потребительских свойств интеллектуальных программных продуктов.

3.4 Технология комплексной оценки интеллектуальных программных продуктов.

3.5 Методика определения критериев и показателей при групповой оценке качества интеллектуальных программных продуктов.

Выводы.

4. Экспериментальная проверка технологии и практическая оценка программных компонент в процессе сертификационных испытаний интеллектуальных программных продуктов.

4.1 Инструментальные средства поддержки сертификационных испытаний и оценки интеллектуальных программных продуктов в процессе экспериментальной проверки.

4.2 Результаты экспериментальной проверки технологии оценки качества интеллектуальных программных продуктов.

4.3 Рекомендации по практическому использованию технологии и дальнейшему развитию работ в области сертификации интеллектуальных программных продуктов двойного применения.

Выводы.

Современный этап развития общества характеризуется широким использованием средств компьютеризации, интеллектуализацией процессов обработки информации. Создано и создается большое количество автоматизированных информационных систем специального назначения (ССН) на государственном и ведомственном уровне. Все большее распространение получают системы и программные средства ориентированные на интеллектуализацию процессов подготовки и принятия решений на основе обработки знаний. Внедрение этих средств, с одной стороны, на несколько порядков увеличивает объем и интеллектуализацию процессов обработки информации, что позволяет повысить оперативность и качество решения задач, а с другой стороны - ставит пользователей информации в жесткую зависимость от правильности функционирования аппаратно-программных средств, т.к. все больше функций, которые раньше решал человек, перекладывается на эти средства. От надежности функционирования аппаратно-программных средств и уровня интеллектуализации программного обеспечения существенно зависит качество принимаемых решений и эффективность всего процесса управления и производства. Особую остроту приобретает проблема повышения качества функционирования и защиты информации, в интеллектуализированных автоматизированных системах специального назначения. Однако, проблема дальнейшего совершенствования и развития таких систем с целью более эффективного удовлетворения потребностей управленческих структур в объективной, достоверной и своевременной информации по-прежнему остается одной из важнейших в области автоматизации государственного строительства.

В настоящее время получила широкое развитие индустрия производства программных продуктов (ПП). Каждый программный продукт по-своему интеллектуален. Особое место здесь занимают ПП, ориентированные на обработку знаний и решение задач логического вывода. В работе в качестве интеллектуального программного продукта (ИПП) рассматриваются программы, функционирование которых опирается на знания о некоторой предметной области и механизм логического вывода. В отличие от программ, манипулирующих с базами данных, содержащих совокупность сведений и фактов о качественных и количественных характеристиках конкретных объектов, ИПП имеют дело с базами знаний, содержащих концептуальные, понятийные знания, выраженные на естественном языке в терминах предметной области.

За счет большого функционального разнообразия, массовости и высокой степени коммерциализации отечественные и импортные программные продукты общего применения составляют основу современных информационных систем различного назначения. При создании критически важных государственных и ведомственных ССН перед разработчиками возникает проблема: создавать их на базе уникального (специально разрабатываемого) программного обеспечения, либо разрабатывать их с использованием компонентов ИПП общего назначения. На первоначальном этапе развития автоматизированных ССН предпочтение отдавалось первому подходу. С точки зрения состояния экономики, корпоративных интересов, консолидации и минимизации вложений, а также сокращения сроков разработки на практике в современных условиях обычно предпочтение отдают второму подходу. В связи с этим возникает проблема выбора из общего количества производимых (имеющихся на рынке) ИПП тех, которые могут быть использованы для проектирования и разработки ССН. ИПП, которые могут быть использованы как для построения систем общего назначения, так и для проектирования и разработки ССН, будем называть интеллектуальными программными продуктами двойного применения.

При использовании ИПП двойного применения в ССН к ним предъявляются повышенные требования по качеству и обеспечению информационной безопасности. Выполнение этих требований должно быть удостоверено и гарантировано компетентными организациями путем регламентированных испытаний. В условиях рыночной экономики директивные ограничения на использование программных продуктов, как правило, малоэффективны. Отечественная и зарубежная практика показывает, что одним из направлений решения этой проблемы является создание эффективной системы сертификации программных продуктов в процессе проектирования критически важных систем.

Под сертификацией в общем случае понимается действие третьей стороны (не заказчика и не разработчика) доказывающее (обеспечивающее необходимую уверенность), что должным образом идентифицированная продукция, процесс или услуга соответствуют стандарту или другому нормативному документу.

Процесс сертификации базируется на использовании требований нормативных документов и методик проверки их выполнения. Качество ИПП двойного применения может быть удостоверено в процессе проведения двух видов сертификационных испытаний:

-испытания и оценки качества процесса обеспечения жизненного цикла ИПП;

-испытания и оценки качества готового ИПП с полным комплектом эксплуатационной документации.

Не умоляя важности и значимости первого вида испытаний, в работе основное внимание сосредоточено на создании технологии комплексной оценки качества готовых ИПП. Это обусловлено тем, что в настоящее время рынок насыщен готовыми программными продуктами, а процессы их производства являются фирменными секретами.

Осознание того факта, что использование "интеллектуальных" ЭВМ, новейших информационных технологий приведет к тому, что в ближайшее время, наряду с "традиционным "оружием, реальным оружием противоборства станет информация и информационные технологии, обуславливает необходимость рассматривать информационные системы и их элементы как важнейшие объекты информационной войны [53,20,28]. В этих условиях логика информатизации и противоборства между государствами требует изыскания качественно новых и более эффективных подходов к обеспечению надежного и безопасного функционирования ССН. Этим порождается сложная организационная и научно-техническая проблема создания и использования в них таких технологий, технических и программных средств, которые гарантировали бы необходимый уровень качества их функционирования и отвечали бы современным требованиям информационной безопасности в условиях действия существующих угроз. Поэтому решение проблемы оценки качества сертифицируемых ИПП неотделимо от анализа их информационной безопасности.

Методологическую основу сертификации ИПП составляют принципы и методы сертификации программных продуктов, манипулирующих с данными. Развитие сертификации ПП в настоящее время осуществляется в основном по четырем направлениям [2,20,38,52,64,81,109].

Первое, наиболее широко использующееся направление, поддерживается Международной организацией стандартизации (International Standarts Organization - ISO) и Международной комиссией по электротехнике (International Electrotechnical Commission - IEC). В его рамках осуществляется стандартизация наиболее общих технологических методов и процессов, имеющих значение для международной кооперации. Особое внимание уделяется стандартам по взаимодействию систем и качеству программных изделий.Стандарты ISO/IEC носят преимущественно рекомендательный характер.

Второе направление активно поддерживается в США Институтом Инженеров электротехники и радиоэлектроники (Institute of Electrotechnical and Electronics Engineers - IEEE) совместно с Американским национальным институтом стандартов (National Institute of Standards and Technology -NIST, бывший ANSI). В его рамках разработано наибольшее число стандартов, послуживших базой для последующего создания международных стандартов ISO/IEC [61,81].

Третье направление поддерживается министерством обороны США (Departament of Defence - DOD). Разработанные в рамках данного направления стандарты регламентируют процессы и документы от анализа требований к автоматизированной информационной системе, до завершения официальных испытаний и имеют обязательный характер для фирм, работающих по заказам министерства обороны США.

Четвертое направление развивается в рамках Европейской стратегической программы исследований и разработок в области информационных технологий (ESPRIT). Программа поддерживает ряд перспективных направлений, в их числе анализ и регламентирование качества программных систем. По данному направлению разрабатываются стандарты, в той или иной мере отражающие процессы проектирования, испытаний, поддержки эксплуатации и сопровождения программных систем и их компонентов. Стандарты ориентированы на современную культуру промышленного проектирования и сертификации программных изделий высокого качества. Применение таких стандартов при создании простых ординарных программ не всегда оправдано, однако такая стандартизация поддерживается рядом крупных зарубежных фирм. При этом каждая фирма с целью повышения конкурентоспособности производимых средств развивает свое приоритетное направление в области сертификации.

В нашей стране широко ведутся работы по сертификации программных продуктов и объективно сформировались предпосылки для научно-технического скачка в решении проблемы сертификации качества компьютерных систем и элементов программного обеспечения. Такими предпосылками являются:

-накопление значительного опыта в создании и эксплуатации компьютерных систем различного функционального назначения.

Носителями такого опыта являются, прежде всего, научно-исследовательские организации и предприятия-разработчики бывшего военно-промышленного комплекса (ВПК);

-наличие научных исследований и практика создания отечественных 1111, сопоставимых по своим характеристикам с лучшими зарубежными образцами;

-развитие рыночных отношений, что в известной мере стимулирует негосударственные предприятия к повышению качества разрабатываемой продукции и получению документа (сертификата), подтверждающего достигнутый уровень качества и безопасности;

-наличие отечественного научно-методического потенциала в области оценки и повышения уровня качества функционирования компьютерных систем и отдельных компонентов программного обеспечения.

В последние годы значительное внимание уделяется поиску путей сертификации ИНН. Существуют работы, в которых исследуют отдельные аспекты качества и безопасности ИПП. Однако, эти работы не носят системного характера и сертификационной направленности. Так, в [91,63] рассматриваются вопросы теоретической надежности интеллектуальных систем. Работы [21,46] посвящены анализу разных аспектов оценки точности, которые содержат достаточно полную методологию экспертной оценки проектных решений для систем с базами знаний. Цикл работ Б.И.Когана [40,41,42 и др.], а также работа [50] посвящены разработке и анализу методов измерения баз знаний экспертных систем. В работах [26,78,79] сделаны попытки создания системы классификации интеллектуальных программ и выделения их характерных признаков. Однако предлагаемые подходы не согласуются с принятой классификацией и методологией оценки обычных программных средств.

Значительный вклад в решение проблемы сертификации средств информатизации, вносят научно-исследовательские организации РАН, МО. Исследования, проведенные специалистами этих и других организаций [78,79,33], показывают, что на современном этапе имеется необходимый отечественный потенциал для решения вопросов сертификации программных продуктов в ССН. При этом отмечается, что ориентация на зарубежные методы и средства сертификации по соображениям безопасности ССН нецелесообразна, основное внимание должно быть сосредоточено на разработке отечественных методов проведения сертификационных испытаний и оценки качества программного обеспечения на этапе создания ССН как с использованием отечественного оборудования, так и импортных аппаратно-программных средств.

Таким образом, в результате проводимых работ в нашей стране и за рубежом создана определенная нормативно-правовая и методологическая база сертификации программных продуктов. Однако имеющиеся стандарты дают лишь краткое толкование показателей качества ПП и не определяют способы манипулирования ими с целью получения интегральной оценки качества и не отражают требования к технологии проведения сертификационных испытаний ИПП. Несмотря на очевидные преимущества интеллектуальных программных продуктов, их массовому применению в ССН препятствует отсутствие отлаженной системы контроля качества и оценки влияния на информационную безопасность и, как следствие, недоверие пользователя к результатам, получаемым в процессе их функционирования. Предпринимаемые специалистами по сертификационным испытаниям попытки механического переноса методов сертификации обычных ПП на ИПП часто приводит к обратному эффекту [43].

Необходимость создания методологического аппарата оценки качества ИПП на этапе создания ССН диктуется потребностями практики иметь систему интегральных показателей, позволяющих всесторонне оценить наличие и потенциальную степень воздействия на качество функционирования ССН угрожающих факторов, нарушающих расчетное функционирование системы, приводящих к появлению ложных результатов, несанкционированному съему, уничтожению или модификации информации за счет обхода или нейтрализации механизмов защиты.

По данным отечественных [2] и зарубежных экспертов [20], наиболее существенной проблемой при проведении сертификации является слабая проработка технических методов проведения и оценки результатов сертификационных испытаний ПП. Практически отсутствуют работы по технической оценке качества ИЛИ. На наш взгляд, это обусловлено, с одной стороны, научной сложностью объекта исследования, а с другой -невыгодностью для производителей И1111 открывать исходные тексты программ, раскрывая тем самым используемые технологические решения и так называемые "ноу-хау".

Интеллектуальные средства программного обеспечения в ССН в основном определяют семантику обработки знаний и решают задачи логического вывода. Они являются не только объемными программными продуктами, но и сложными интеллектуальными изделиями. В общей постановке проблема верификации программного обеспечения представляет собой практически неразрешимую задачу, что является причиной того, что организация-разработчик не может гарантировать абсолютной надежности созданного программного продукта, а лишь декларирует ее. Положение усугубляется еще и тем, что при создании ССН разработчики вынуждены использовать зарубежные программные средства и программные технологии, в которых могут быть "дефекты", преднамеренно вносимые на этапе создания программных продуктов с целью нарушения качества обработки и информационной безопасности. Кроме того, часто разработчики для решения тех или иных задач при проектировании ССН, используют программные продукты "неадекватные" фирменным оригиналам. В сложившихся условиях, при отсутствии исходных текстов полностью устранить действие негативных факторов, влияющих на качество функционирования и информационную безопасность ССН, не представляется возможным. В этих условиях основой технической сертификации ИПП являются испытания программного продукта с целью выявления скрытых функциональных и конструктивных возможностей, определения средств конспиративного съема информации, а также оценка степени его соответствия, по заданному набору параметров техническим требованиям ССН, стандартам и нормативно-правовым документам. В технической сертификации ИПП следует выделить два аспекта: организационный и технологический. Организационный аспект связан с формализацией требований, стандартов и нормативно-правовых актов, на соответствие которым должно оцениваться качество ИПП. Технологический аспект связан с определением конструктивных и функциональных параметров сертифицируемого ИПП, с помощью которых оценивается наличие негативных математических и программных дефектов, влияющих на качество функционирования системы и ее информационную безопасность, а также на соответствие лицензионному фирменному оригиналу. Выявление скрытых структурно-функциональных возможностей и определение средств конспиративного съема информации, влияющих на качество и информационную безопасность ССН, в процессе сертификационных испытаний связано с решением научно-технической проблемы логико-семантического анализа программных продуктов.

Решение задачи технической сертификации по своей трудоемкости и сложности зачастую соизмеримо с разработкой самого программного продукта и требует значительных материальных затрат и привлечения высококлассных специалистов. Положение усугубляется большим разнообразием ИПП и тем, что собственники программных продуктов не хотят представлять исходные тексты, без которых процесс сертификации затруднен. Поэтому на базе единой методологии сертификации, для каждого класса продуктов требуется создавать свои методы, методики исследования и оценки результатов сертификационных испытаний.

Учитывая, что к настоящему времени уже сформировались основные понятия и устоялась методологическая база сертификации ПП, связанных с обработкой данных, это позволяет разработать научно-обоснованный подход к оценке качества интеллектуальных ПП, который, с одной стороны, был бы согласован с требованиями международных и отечественных стандартов, а с другой стороны, позволял бы создать методы и средства оценки качества и безопасности интеллектуальных программ с учетом их специфики и требований практики сертификации. Такой подход мог бы быть положен в основу методики сертификационных испытаний достаточно широкого класса интеллектуальных продуктов ССН, связанных с обработкой знаний.

Таким образом, возросшая потребность использования в ССН интеллектуальных программных средств, отсутствие комплексных разработок в области их сертификационных испытаний обусловили целесообразность постановки и решения научной задачи - разработки технологии оценки качества и безопасности ИПП в процессе их сертификационных испытаний.

Актуальность темы исследования определяется необходимостью разработки теоретических основ и практических рекомендаций по решению важной народнохозяйственной задачи, направленной на обеспечение высокой эффективности и безопасности создаваемых ССН, уменьшения трудоемкости их проектирования и сокращения сроков внедрения в систему государственного управления.

Целью исследования является создание технологии комплексной оценки качества и безопасности сертифицируемых интеллектуальных программных продуктов двойного применения при их использовании в ссн.

Для достижения поставленной цели в диссертации решаются следующие основные научно-технические задачи:

1. Проводится анализ существующих подходов и технологий оценки программных продуктов.

2. Определяются угрожающие факторы воздействия и дается оценка уязвимости И! 111 к воздействию этих факторов.

3. Разрабатываются основные критерии и методы оценки качества И1Ш, планируемых к использованию в ССН.

4. Разрабатывается теоретическая модель оценки качества И1Ш.

5. Разрабатываются общая и частные методики оценки качества ИПП.

6. Проводятся экспериментальные исследования по применению технологии оценки качества сертифицируемых ИПП в соответствии с выдвинутыми теоретическими положениями.

Объектом исследования являются функции, процессы, состав и структура интеллектуальных программных продуктов, основанных на знаниях, и угрожающие факторы, влияющие на их качество.

Предметом исследования являются показатели качества программных продуктов, методы и средства оценки степени соответствия сертифицируемых ИПП существующим стандартам и требованиям к качеству функционирования их в ССН.

Границы исследования. Теоретические и экспериментальные исследования проводились для наиболее распространенного класса интеллектуальных программных продуктов, основных на знаниях и используемых в цикле управления государственными и военными органами в различных звеньях управления.

Методы исследования. При проведении исследований были использованы следующие теории, концепции, положения и методы:

-современные методологические подходы принятые для сертификации программных продуктов;

-существующие положения отечественных и международных стандартов и нормативно-правовых актов, принятых в России и в ряде ведомств;

-теория искусственного интеллекта;

-теория вероятностей и надежности для оценки качества функционирования автоматизированных информационных систем и компонент программного обеспечения;

-теория алгоритмов и программирования;

-методы системного анализа при разработке теоретической модели оценки функциональных возможностей и качества ИПП;

-методы экспертных оценок при исследовании соответствия конструктивных и функциональных компонент И1111 фирменным оригиналам;

-методы математической статистики при оценке сертификационных параметров и обработке результатов экспериментальных исследований.

Достоверность полученных результатов проведенных исследований определяется корректным использованием математических и экспертных методов распознавания угрожающих факторов, выявления скрытых функциональных возможностей и определения средств конспиративного съема информации, корректным построением модели оценки качества ИГШ, обоснованным выбором критериев и методов оценки, а также результатами экспериментов и практической оценкой ИПП на сертификационном центре.

Научная новизна работы нашла выражение в следующих полученных автором результатах:

-поставлена задача оценки качества сертифицируемых ИПП и определен научно обоснованный подход ее решения;

-определены структурно-функциональные особенности ИПП двойного применения, как объектов сертификации и показано их отличие от "традиционных" ПП;

-разработана модель оценки качества ИПП, являющаяся развитием общей модели стандарта 180/1ЕС 9126 для конкретного класса 1111;

-разработана система критериев и методы их определения в процессе комплексной оценки качества и безопасности сертифицируемых ИПП;

-разработана общая и частные методики оценки качества, отличие которых от существующих подходов в интеграционной оценке качества и распределении значимых критериев оценки по этапам жизненного цикла сертифицируемого продукта.

Положения, выносимые на защиту:

1 .Результаты анализа факторов, влияющих на качество функционирования ИПП.

2.Результаты исследования структурно-функциональных особенностей ИПП, как объектов сертификационных испытаний.

3.Система показателей оценки качества и методы их определения в сертифицируемых ИПП.

4.Модель оценки качества ИПП.

5.Общая и частные методики оценки качества и алгоритм работы должностных лиц при сертификационных испытаниях ИПП.

Диссертация состоит из введения, четырех разделов, выводов и заключения.

Выводы по четвертой главе.

1.Процесс оценки сертифицируемых ИПП является весьма трудоемким. Разработанная программа ЕХРЕИТКА, является прототипом системы поддержки сертификационных испытаний ИПП. Она позволяет:

-обрабатывать результаты оценки качества ИПП, осуществлять проверку согласованности полученных оценок по отдельности и в совокупности с учетом их групповой принадлежности;

-моделировать процесс оценки качества ИПП путем задания произвольных результатов оценок группам специалистов при различном распределении значимых критериев.

Экспериментальная проверка данной программы показала пригодность ее для обработки результатов оценки качества ИПП.

2.Результаты сравнения предложенной технологии с существующими методами и подходами оценки качества программных продуктов свидетельствуют о ее применимости для практической оценки качества и безопасности сертифицируемых ИПП. Экспериментальные исследования показали, что система критериев обладает достаточной информативностью и позволяет дать всестороннюю оценку качества и обнаружить скрытые недостатки в ИПП с учетом особенностей их проектирования.

3.Разработанная технология предполагает использование широкого круга специалистов для оценки качества и поиска закладных устройств в ИПП, представленных исходными кодами. Хотя эта задача до сих пор не получила удовлетворительного решения, предложенная система оценок позволяет проводить приемлемый для практики инженерный анализ и оценку пригодности ИПП для ССН. Исследование входящей в состав технологии методики расчета групповых значений показало ее пригодность для проведения проверок согласованности полученных оценок различными группами специалистов.

Заключение.

В диссертации изложены результаты решения научно-технической задачи по разработке технологии оценки качества и безопасности интеллектуальных программных продуктов двойного применения в процессе их сертификационных испытаний. Решение этой задачи обеспечивает возможность выбора и использования в системах специального назначения интеллектуальных программных продуктов двойного применения.

В результате решения поставленной задачи получены следующие научные и практические результаты:

Проведен анализ факторов, приводящих к нарушению качества и безопасности ИПП, изучены их структурно-функциональные особенности и дана оценка степени уязвимости элементов ИПП. На основе полученных данных сформулирована задача оценки качества ИПП при их сертификации. В работе показано, что при любой форме представления знаний (фреймы, сети, продукции) в процессе сертификации в испытуемой программе необходимо выявить все возможные состояния и провести их оценку по критериальным признакам, т.е. решить задачу экспертной классификации. Такой подход положен в основу разработанной технологии. Предложенная технология представляет собой совокупность логически и функционально связанных между собой приемов и методов определения состояний испытываемого ИПП, последовательное выполнение которых приводит к определению показателей качества и безопасности для формулирования заключения (сертификата) о соответствии ИПП требованиям ССН. В отличие от существующих подходов оценки качества программных продуктов она позволяет получать приемлемые для практики инженерные оценки качества и безопасности сертифицируемых программных продуктов, связанных с обработкой знаний.

2.Разработана 9-уровневая модель оценки качества ИПП, согласованная с требованиями международных и отечественных стандартов и объединяющая принятые характеристики качества традиционных программ со сложившейся к настоящему времени системой характеристик интеллектуальных программ. Модель обеспечивает:

-проведение комплексной оценки функциональных, структурных и потребительских свойств сертифицируемого ИПП;

-участие в оценке нескольких категорий специалистов одновременно;

-снижение трудоемкости и затрат времени на проведение сертификационных испытаний.

3.Для оценки оперативной и технической целесообразности принимаемых решений по использованию ИПП в работе предложена система интегральных и частных показателей оценки качества, а также даны методы их определения. Разработанная Система критериальной оценки включает в себя 82 показателя, которые позволяют оценивать функциональные, структурные и потребительские свойства сертифицируемых ИПП с учетом особенностей как самих ИПП, так и процессов их разработки. Проведенные в работе исследования и их экспериментальная проверка показала, что они позволяют достаточно полно и всесторонне оценить степень соответствия выбранных ИПП требованиям ССН и нормативных документов.

4.Разработана методика групповой оценки качества с возможностью распределения критериев оценки по категориям специалистов, участвующих в сертификационных испытаниях. Исследование методов расчета групповых значений показало их пригодность для проведения проверок согласованности полученных оценок различными группами специалистов. Предложенный метод расчета показателей межгрупповой согласованности позволяет выявить скрытые недостатки ИПП.

5.Учитывая большую трудоемкость процесса оценки ИПП и обработки результатов, был разработан функциональный модуль для целевой обработки групповых результатов, который может служить прототипом системы поддержки сертификационных испытаний ИПП. Практическая проверка алгоритма обработки групповых результатов оценки качества свидетельствует о том, что он позволяет выявлять несогласованность в оценках групп специалистов и тем самым способствует обнаружению скрытых дефектов (закладок) в теле ИПП. Кроме того использование в процессе оценки разработанной программы ЕХРЕЕТКА показало, что применение подобных средств позволит поднять уровень автоматизации процесса оценки качества программных продуктов с 27,9% до 31,7%).

6.Апробация и внедрение полученных результатов осуществлена в ходе исследования. Отдельные результаты использованы при разработке ряда ССН, а вся технология прошла экспериментальную проверку в ходе сертификационных испытаний экспертной системы в ССН. Результаты сравнения предложенной технологии с существующими методами и подходами оценки качества программных продуктов свидетельствуют о ее применимости для практической оценки качества и безопасности сертифицируемых ИПП.

Предложенная технология оценки, система критериев оценки качества и безопасности ИПП и разработанные алгоритмы обработки результатов оценки могут найти применение:

-в федеральных и ведомственных органах по сертификации программных продуктов в интересах ССН;

-в научно-исследовательских и проектных организациях, занятых проектированием ССН;

119

-при разработке стандартов, регламентирующих качество И1111, а также при разработке требований к перспективным И1111 и требований к программному обеспечению ССН;

-в организациях и фирмах разработчиках ИПП при анализе качества и сравнительной оценке качества различных прототипов, а также технологий их разработки;

-в компьютеризированных органах управления различного уровня при анализе и оценке приобретаемых или принимаемых в эксплуатацию ИПП, а также при определении уровня защищенности собственного информационного ресурса;

-в учебных заведениях при подготовке специалистов по аттестации программных средств и защите информационных ресурсов компьютерных систем.

1. Акшонин A.B. Диссертация канд.техн.наук. -М.: ВВИА им. проф. Н.Е.Жуковского, 1991.

2. Абламский B.JI., Барабанов В.В., Борисов С.Я., Шувалов А.И. Качество продукции и сертификация как средство обеспечения конкурентоспособности промышленности России. /В сб. "Сертификация-конверсия-рынок" -М.: ВИМИ,1994. Вып.3-4, с.29-37.

3. Агафонов В.Н., Дегтярь М.Н. Общая характеристика систем баз знаний и экспертных систем. //Системы управления базами данных и знаний. Справочное издание под ред. Наумова А.Н. -М.: Финансы и статистика, 1991, с.5-27.

4. Азгальдов Е.Е. Количественная оценка качества продукции -квалиметрия (некоторые актуальные проблемы). -М.: Знание, 1986.

5. Автоматизированное рабочее место для расчета трудоемкости разработки и сопровождения программных средств ЭВМ на основе укрупненных норм времени. Руководство пользователя. -Тверь: НИИ "Центрпрограммсистем",1996.

6. Брябрин В.М. Программное обеспечение персональных ЭВМ. -М.:Наука,1988.

7. Бешелов С.Д. , Гурвич Ф.Г. Математико-статистические методы экспертных оценок. -М.:Статистика,1980.

8. Борковский А.Б. Англо-русский словарь по программированию и информатике. -М.: Русский язык, 1989.

9. Белов В.В., Красоткин М.Ю. Особенности сертификации программных систем, основанных на знаниях. // Сб. Научно-методических материалов ВВИА им. проф. Н.Е.Жуковского.-М.: 1998,с.19.

10. Будянский И. А. Анализ ошибок и оценка надёжности программного обеспечения автоматизированных систем. //Механизация и автоматизация управления, №2, 1986,с.17-19.

11. Вирковский С.В., Смолян Г.Л. Основные положения концепции информационной безопасности РФ. Научно-методический сборник "Межотраслевая информационная служба",выпуск 3-4. -М.: 1994.

12. Вентцель Е.С., Овчаров J1.A. Теория вероятности и ее инженерные приложения. -М.: Наука, 1988.

13. Вентцель Е.С., Овчаров JI.A. Теория случайных процессов и ее инженерные приложения. -М.: Наука, 1991.14