автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Информационное обеспечение оценки качества программного продукта при управлении процессом тестирования технической документации

На правах рукописи

Мишкутёнок Владимир Владимирович

Информационное обеспечение оценки качества программного продукта при управлении процессом тестирования технической документации

Специальность: 05.13.06 Автоматизация и управление технологическими процессами и производствами (технические системы)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург 2005

Работа выполнена в государственном образовательном учреждении Высшего профессионального образования «Санкт-Петербургский государственный университет аэрокосмического приборостроения

Научный руководитель:

доктор технических наук, профессор Варжапстяп Артемий Георгиевич Официальные оппоненты:

доктор технических паук, профессор Марлей Владимир Евгеньевич кандидат технических наук, доцент Татарникова Татьяна Михайловна

Ведущая организация: Саню-Петербургский институт информатики и автоматизации Российской академии наук

¿V 200^'года в /У

Защита состоится ___и 7 200*7 года в / / часов на

заседании диссертационного совета Д223.009.03 в Санкт-Петсрбур| ском государственном университете водных коммуникаций по адресу: 198035, Санкт-Петербург, ул. Двинская, 5/7.

С диссертацией можно ознакомиться в библиотеке университета

Автореферат разослан _' ^ _ 2005

Ученый секретарь диссертационного совета,

д.т.н., профессор В.В. Фомин

I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Современные промышленные, финансовые, военные или другие сложные системы в подавляющем числе случаев используют компьютерные средства и комплексы для обеспечения сбора, обработки, хранения, представления требуемой информации и надежного выполнения технологических операций. Широкое использование компьютеров привело к возрастанию сложности информационных систем (ИС) во много раз. По мере расширения применения и увеличения сложности ИС выделились области, в которых ошибки или недостаточное качество программного обеспечения либо данных могут нанести ущерб, значительно превышающий положительный эффект от их использования. Понятно, что нынешняя сложность программных сред измеряется не столько количеством областей применения, сколько множеством вариантов их функционального поведения в зависимости от субъективной обстановки. Существует риск потенциального снижения качества создаваемых систем, повышающийся вследствие невозможности проведения полного объема натурных испытаний. Причем объективная недостижимость полного объема испытаний связана с бесконечным множеством возможных сценариев эксплуатации ИС, семантическим многообразием исходной формализованной информации, подлежащей оперативной обработке во времени, и множеством функций программного обеспечения, реализующего эту обработку и подлежащего соответствующим проверкам. Быстрое увеличение количества современных комплексов программ при одновременном росте ответственности выполняемых функций резко повысило требования со стороны пользователей и заказчиков к их качеству и безопасности.

Таким образом, актуальность проблемы индустрии информационных технологий (ИТ) заключается в конфликте возникающем между заказчиком и разработчиком, выраженном:

• несовершенством формализации требований заказчика при подготовке технического задания на создание программных комплексов и информационных проектов;

• избыточностью номенклатуры документов предлагающей стандартизированные и нормативные подходы для реализации различных информационно-технических решений и концепций;

• ошибками, в программном коде, приводящими к увеличению сроков сдачи проекта за счет дополнительного тестирования;

• сложностью комплексной оценки качества программного обеспечения.

Практически для всего программного обеспечения в тех или иных вариантах может быть сформулирована следующая целевая функция - это удовлетворение потребностей в обеспечении надежного и своевременного

представления полной, достоверной и конфиденциальной информации для ее последующего функционального практического применения. Совокупность свойств предполагает качество функционирования программного обеспечения (ПО). Наряду с этим большинство программных комплексов базируется на применении довольно универсальных технологий сбора, хранения, обработки и представления информации, что позволяет осуществить их формализацию.

Цель исследования повышение эффективности процессов принятия решения о качестве программного обеспечения для пользователя в сервисных сферах применения продуктов на основе разработки и автоматизации процедур определения и формализации семантического предствления программного продукта.

В соответствии с поставленной целью в диссертации решены следующие задачи.

• Системный анализ основных факторов и закономерностей, определяющих качество программного обеспечения.

• Разработка моделей автоматизированных процедур: выбора нормативных документов для определения показателей качества, формализации требований заказчика, определения корреляции метрик характеризующих программный продукт (ПП), принятия решений о качестве ПО с учетом предпочтений пользователя.

• Разработка информационного и протраммного обеспечения реализующего методику частотно-контекстного определения семантики документа, структурирования функций качества, сбора и обработки статистики необходимой в принятии решения о качестве программного продукта.

• Разработка парадигмы оптимизации тестирования программного обеспечения фрагментированных процессов разработки.

Объектом исследования являются процессы оценки и принятия решения профаммных средств сервисного направления для конечного пользователя, обеспечивающих качество ПО.

Предметом исследования в работе являются процессы поддержки выбора программного обеспечения с учетом предпочтений для конечного пользователя.

Методами исследования являются принципы системного анализа, теории управления качеством, методы классификации, квалиметрии, математического моделирования, теории графов, теории автоматов, математической статистики, теории принятия решений, методы прикладного программирования.

Основные теоретические результаты подтверждены экспериментально при физическом моделировании, а также при внедрении основных выводов и положений диссертационной работы. На защиту выносятся:

1. Модели реализации автоматизированных процедур градации стандартов, структурирования функции качества программного обеспечения, оптимальных статистических решений распределения метрик качества ПО.

2. Предмстно-орентированная модель обеспечения качества программных продуктов в процессе жизненного цикла.

3. Программно-математическое обеспечение процессов частотно-контекстного определения семантики документа, структурирования функций качества, сбора и обработки статистики необходимой в принятии решения о качестве пр01раммного продукта.

4. Результаты экспериментальной оценки качества выборки ПО с учетом предпочтения пользователя на основе автоматизированных процедур принятия решения.

Научная новизна:

• Разработана методика автоматизированной градации стандартов, в которой предлагается ранжировать нормативные документы, используя автоматизированные методы распознавания контекстных образов основанные на графовых моделях.

• Произведена автоматизация структурирования функции качества ПО с целью определения весовых коэффициентов, корреляций и свертывания показателей качества с учетом требований заказчика.

• Разработана методика оптимальных статистических решений распределения метрик качества ПО, необходимая для выбора базовых (эталонных) показателей качества.

• Обоснованы методы воздействия на лицо принимающее решение (ЛПР), и механизмы адагггаиии, улучшающие качество выбора, при построении автоматизированных процедур оценивания программного продукта.

Достоверность научных положений, выводов и рекомендаций,

содержащихся в диссертации, обеспечивается выбором и соответствующим применением современных методов исследований, корректностью формулировок и логически строгим построением доказательств, утверждений и следствий, вводимых допущений и ограничений, обоснованным выводом соотношений и правил, на основании которых производится построение моделей; подтверждается непротиворечивостью

результатов компьютерного моделирования и экспериментальных данных, согласованностью полученных результатов с известными работами в данной предметной области.

Практическая значимость. Разработано информационно-программное обеспечение, повышающее эффективность процессов принятия решения о качестве программного продукта в различных сферах применения с учетом желаний заказчика (пользователя). Предложена методика внедрения тест-циклов на этапе разработки программного обеспечения, повышающая качество производства продукта в целом.

Апробация работы. Основные научные данные и практические результаты были доложены на Санкт-Петербургском конкурсе грантов для сгудетов, аспирантов, молодых ученых и специалистов, СПб, 2001; 3-еЙ международной конференции «Приборостроение в экологии и безопасности человека», СПбГУАП, 2002; Всероссийской молодежной научной конференции «VII Королевские чтения», Самара, 2003; Международном семинаре по перспективным программным технологиям, Судак, 2004; Восьмой научной сессии аспирантов и соискателей СПбГУАП, 2005, посвященной всемирному дню космонавтики 2005.

Принималось участие в подготовке заключения о перспективе развития проекта «Консалтинг производителей программного обеспечения» СПИИРАН, 2005г.

Публикации. Основные результаты исследования по теме диссертации отражены в 11 печатных работах.

Реализация результатов. Основные положения диссертации, разработанные модели, рекомендации и методики использованы и внедрены в учебном процессе Санкт-Петербургского государственного университета аэрокосмическо! о приборостроения, на холдинговой компании 'Ленинец», ОАО «Авангард», ЗАО «Пантес».

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка используемых источников и приложения. Общий объем работы составляет 181 страницу, в том числе 73 рисунка, 24 формулы, 21 таблица, список используемых источников из 136 наименований.

II. ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, показано, что в ИТ-индустрии существуют проблемы обеспечения качества ПП, связанные с избыточностью и высокой коррелированностью показателей и параметров ПО. Описаны вопросы автоматизации систем принятия решения с учетом их особенностей применения в различных сферах.

В первой главе приводится обзор и сравнение основных методов, технологий и стандартов, определяющих качество программного обеспечения на сегодняшний день, изложены основные задачи исследования диссертационной работы.

Проводится анализ и сравнение наиболее актуальных методологий и стандартов с целью выявления основных положений ориентации предметной области. Среди них методологии CASE, СММ SEI, SPICE, стандарты ISO 9126, ГОСТ Р ИСО/МЭК 9126, ISO 14598 и др. Сделан обзор автоматизированного инструментария по тестированию компании IBM. В ходе анализа были выделены основные показатели, характеристики и метрики, необходимые в процессе оценки качества программного обеспечения (Таблица 1).

Таблица 1

Оценка программного обеспечения Функциональные Набор агрибутов, относящихся к сути набора возможности функций и их конкретным свойствам.

Набор атрибутов, относящихся к способности ПО сохранять свой уровень качества функционирования при установленных условиях за установленный период времени.

Набор атрибутов, относящихся к объему работ,

„ требуемых для использования и индивидуальной

Практичность

оценки такого использования определенным или

предполагаемым кругом пользователей.

Набор атрибутов, относящихся к соотношению

между уровнем качества функционирования ПО и .Эффективность -

объемом используемых ресурсов при установленных

условиях.

Набор атрибутов, относящихся к объему работ, Сопровождаемость требуемых для проведения конкретных изменений (модификаций).

, _ Набор атрибутов, относящихся к способности ПО

Мобильность

быть перенесенным из одного окружения в другое.

Кроме того, в данной главе были сформулированы цели и задачи работы, определяющие основное направление и ориентиры диссертационного исследования, которые заключаются в реализации адекватного представления информационных потребностей пользователя при выборе программного обеспечения на основе предъявляемого им образца, выступающего в качестве эталона информационных потребностей.

Во второй главе на основании опыта, полученного в процессе исследования, предлагаются к рассмотрению методы оценки качества ПО, условно классифицируемые по следующим областям:

• машинное представление текстов на предмет выявления его качественных и количественных параметров,

• структурирования функции качества применительно к ИТ-технологиям,

• автоматизированная верификация программного обеспечения,

• автоматизированные системы принятия решения.

Методы машинного представления текстов

Методы машинного представления текстов на предмет выявления его качественных и количественных параметров сводятся к анализу синтаксиса и семантики текста.

При анализе синтаксиса используется модель структурного представления текста. Текст рассматривается в виде информационного по 1 ока, образованного информационными элементами - словами. Если последовательно брать слова из текста, начиная с самого первого и кончая последним, то это как раз и будет информационный поток F. При этом наборе всех слов в тексте можно выделить конечное множество уникальных информационных элементов: I {ib i2, i„}, где i - информационный элемен! соответствующий определенному слову из текста. Информационный поток F будет представлен в виде последовательного чередования этих элементов (рис. 1).

F=-(i|,i2, (1)

Рис. 1. Информационный поток

Информационный поток также может быть представлен в виде набора связей:

F= (г,, г2, ....г.,,), (2)

где: г, = (i;, i,+i) - связь между двумя информационными элементами, последовательно идущими в информационном потоке.

Для каждого информационного элемента из множества I, входящего в структуру МП, R), существует набор пар связей, где: r„ ц - входная связь, г1+ь rJ+1 выходная связь, п - число пар связей. Входная связь означает, что данная связь предшествует выходной в наборе связей, описывающих поток, проходящий через данный информационный элемент. Если проиндексировать связи в наборе, описывающие поток, то индекс входной связи будет на единицу меньше выходной. Количество пар связей в наборе

R(i), характеризует число связей данного информационного элемента с другими информационными элементами в структуре M(I, R)n(R(i)) - n(R(i)) равно числу повторений слова в тексте. Обозначим количество пар связей как:

d(i) - степень информационного элемента d(i) - n(R(i)), V/е/, 0<d(i)<n(l)~l.

d(M(I, R))max - максимальная степень информационного элемента для информационной структуры M(I, R): d(M(I, R))max = шах d(i), i е / . d(M(I, R))min - минимальная степень информационного элемента для информационной структуры M(I, R): d(M(l, R))min - min d(i), /" e /. r+(F, i„ e), r~(F, ik, ij, e) - расстояние между двумя информационными элементами в потоке F, е F , где: е - вхождение информационного элемента ^ в поток F, его порядковый номер в потоке; т+ - означает, что расстояние измеряется по ходу информационного потока; г" - означает, что расстояние измеряется обратно ходу информационного потока. Расстояние измеряется в количестве информационных элементов находящихся между ik и ir плюс 1.

rmin(F, ik, ij) - минимальное расстояние между двумя информационными элементами в потоке, 1к,1; е/г .

Информационный поток относительно некоторого информационного элемента i можно описать как:

F(i,e,[r\r4), (3)

где е - вхождение информационного элемента ¡к в погок F, его порядковый номер в потоке; [г, г'] - окрестность, для которой определяется поток.

P(i, е, [г, r+]) = (i -f,..., i - 2. i -1, i, i + 1, i + 2,..., i + r+), где i±n - обозначает индексацию некоторого информационного элемента в наборе F относительно информационного элемента i;

i + 1 - обозначает информационный элемент, следующий сразу за i в информационном потоке F;

i - 1 - обозначает информационный элемент, предшествующий i, в информационном потоке F.

Обозначим множество всех информационных потоков относительно информационного элемента i для всех его вхождений в поток F:

dU)

D{F,i,[r yr1 ]) = (JFe(i,e,[r-,r+}), (4)

При анализе семантики предлагается опираться на следующие основные методы и алгоритмы:

• Алг оритм ГОЗ - позволяет создавать и анализировать дерево решений, относигся к индуктивным алгоритмам. Наиболее известным, современным алгоритмом, основанным на ШЗ, является С4.5 [(2шп1ап, 1996].

• Метод оптимальных тематических характеристик - представляет алгоритм поиска оптимальных параметров выделения тематика.

• Метод частот но-контекстной классификации тематики текста - суть метода заключается в выделении первичного набора ключевых элементов за счет количества их повторений в тексте и последующем дополнением контекстом, на основе анализа структурных особенностей мульти графа.

Структурирование функции качества

При структурировании функции качества (СФК) была применена японская методология, ставящая цель гарантировать качество с самой первой сгадии создания и развития нового продукта. Профиль качества, модель которого была предложена Н. Кано, включает три составляющих профиля качества: базовое, желаемое и требуемое качество.

На рис. 2 представлена типичная зависимость степени удовлетворенности потребителя (ось ординат) от степени реализации ожидаемых им параметров качества (ось абсцисс) в предлагаемом ему продукте для трех составляющих профиля качества.

Рис. 2. Удовлетворенность потребителя

Дом Качества (ДК) - инструмент управления качеством объединяющий ключевые элементы СФК, который также называется Матрицей Планирования Продукта (МПП). На рис 5 приведен пример дома качества для программного обеспечения.

Под начальным продуктом понимается та продукция, которая уже производится, но не вполне отвечает запросам. Обычным методом оценки этой величины является опрос потребителей, дающий оценку в виде смысловых градаций или уровней. Число градаций (очень плохо, плохо, нейтрально, хорошо, очень хорошо, не используется) колеблется от 4-х (в крайних случаях) до 10-ти градаций, затем переводимых в числа, когда наилучшему исполнению присваивается наибольшее число. При этом в столбце составляется перечень запросов, а в верхней строке - шкала градаций. По каждому запросу вводится одна оценка.

Затем вычисляются средневзвешенные значения по каждому запросу с помощью выражения:

где х - средневзвешенное значение, п: - число отметивших запрос], ! - оценка свойства /', N общее число опрошенных. X для какого-то ]-го запроса помещается в раздел предплановой матрицы ДК.

Методы тестирования

Многолетний опыт показал, что единственный универсальный метод тестирования создать невозможно и следует применять упорядоченный ряд значительно различающихся методов. Каждый метод отличается целевыми задачами тестирования, проверяемыми компонентами программы и методами оценки результатов. Только совместное и систематическое применение различных методов тестирования позволяет достигать высокое качество функционирования сложных комплексов программ. На выбор эффективных методов тестирования и последовательность их применения в наибольшей степени влияют основные характеристики тестируемых объектов:

• класс комплекса программ, определяющийся глубиной связи его функционирования с реальным временем и случайными воздействиями из внешней среды, а также требования к качеству обработки информации и надежности функционирования;

• сложность или масштаб (объем, размеры) комплекса программ и его компонентов, являющихся конечными результатами проектирования;

• преобладающие элементы в программах: осуществляющие вычисления сложных выражений и преобразования измеряемых величин или обрабатывающие логические и символьные данные для подготовки и отображения решений.

(5)

х =

N

Основная часть применяемых методов тестирования является в той или иной степени автоматизированной. Также нужно отметить зависимость выбора технологии тестирования от различных моделей жизненного цикла ПО (каскадный, спиральный) и различные подходы к созданию ПО (структурный, объектно-ориентированный).

Стохастические методы тестирования предполагают использование исходных данных в виде совокупностей случайных величин, описываемых их распределениями и основными параметрами распределений. Таким распределениям исходных данных должны соответствовать эталонные распределения результатов, которые в совокупности образуют тесты. Полученные в процессе тестирования данные обобщаются и представляются распределениями случайных выходных величин, которые сопоставляются с эталонными распределениями. Оценка качества функционирования программ и результатов тестирования производится по степени соответствия полученных распределений и их параметров эталонным распределениям.

Практический опыт показал, что наиболее существенными факторами, влияющими на статистические характеристики обнаруживаемых дефектов программ, являются:

• методология, технология и уровень автоматизации обеспечения ЖЦ ПС, а также непосредственного программирования его компонентов;

• длительность с начала процесса тестирования и текущий этап разработки программ;

• класс ПС, масштаб (размер) и типы тестируемых объектов -программных компонентов, в которых выявляются дефекты;

• методы, виды и уровень автоматизации тестирования, а также их адекватность характеристикам отлаживаемых компонентов, предполагаемым и проявляющимся в программах ошибкам;

• виды и достоверность эталонов, которые используются при обнаружении ошибок.

В основе большинства методов тестирования заложены математические модели и метрики, оценивающие отдельные производственные и эксплуатационные свойства ПО для последующего сравнения с эталоном. Однако их универсальность, не учет области применения разрабатываемого ПО, необоснованное их использование в разноплановых процедурах принятия решений не дают достаточно адекватную оценку тестирования. Ниже, в Таблице 2, приведены модели и метрики, хорошо зарекомендовавшие себя при тестировании ПО.

Таблица 2

Модели и метрики тестирования

Название модели

Формула, обозначение

МЕТРИКИ СЛОЖНОСТИ

Метрики Холстеда

- длина программы;

- объем программы

- оценка ее реализации.

- трудность ее понимания,

- трудоемкость кодирования,

- уровень языка выражения,

- информационное содержание;

- оптимальная модульность;

N=ll[l0gl П1 +П210&П2

V = N log2 п L'= (2n2)/(n,N2) Et - V/ L* D-(n,N2)(2n,)= 1/L* ' = V/ DJ - V/ L*2 1 = V/D M-n2"/6

Метрики Джилба

- количество операторов цикла,

- количество операторов условия,

- число модулей или подсистем,

- отношение числа связей между модулями к числу модулей,

- отношение числа ненормальных выходов из множества операторов к общему числу операторов,

L Foop

Ьи-L mod f=N',sv/I

f* = N'sv/L

Метрики Мак-Кейба

- цикломатическое число,

- цикломатическая сложность; Метрика Чеиена

- мера трудности понимания программ на основе входных и выходных данных,

v(G)

X(G) = m- n t p - A.(G)-U-m-nJ-2

H = О 5T+P+2M+3C

Метрика Шрадевида

- число путей в управляющем графе

Метрика Майерса

- интервальная мера;

S = SP,С,

-V:]

Метрика Хансена

- пара (цикломатическое число, число операторов)

{v.N>

Метрика Чена

- топологическая мера Чена,

Метрика Вудворда

- узловая мера (число узлов передач управления). Метрика Кулика

- нормальное число (число простейших циклов в нормальной схеме ир01раммы).

Метрика Хура

- цикломагическое число сети Петри, отражающей управляющую структуру программы

M(G) = (v(G),N,Qo)

¥ %

Nonn (Pj

МО'р)

Методы принятия решения

Основой для принятия решений служат автоматизированные экспертные системы. Общая структура предлагаемой системы, представлена на рис. 3, здесь стрелками показаны основные потоки информации между модулями.

• База знаний содержит фактические знания, касающиеся предметной области, и сведения об имеющихся неопределенностях.

• Динамическая база данных пациентов содержит информацию о конкретных программах и их свойствах.

• Консультирующая программа задает вопросы, выводит заключения системы и дает советы для конкретного случая, используя информацию о программе и статические знания.

• Объясняющая программа отвечает на вопросы и дает пользователю информацию о том, на чем основываются рекомендации или заключения, сформулированные системой. При этом программа приводит трассировку процесса выработки рекомендаций.

• Программа восприятия знаний служит для обновления знаний, хранящихся в системе, в процессе ее эксплуатации.

Рис 3. Структура системы

В третьей главе рассматриваются основные результаты реализации блоков представленного подхода на основе предложенных в работе моделей, методов и алгоритмов. В структуре алгоритма комплексной оценки качества программного продукта, в соответствии со стандартом ISO 9126, есть структурные блоки, требующие определенных доработок. Это блоки «Выбор номенклатуры единичных показателей качества», «Определение весовых

коэффициентов, корреляций, свертывание показателей качества», «Выбор базовых показателей качества» и «Тестирование программного обеспечения». Рассмотрим ниже каждый более подробно.

Блок «Выбор номенклатуры единичных показателей качества» представляет двух шаговую структуру. На первом шаге выполняется анализ технической документации на ПП (техническое задание, проектная документация, нормативно-технические документы и др.) и информации соответствующей области применения продукта с целью получить информационную модель для последующего выбора показателей качества. На данный момент, как показывает практика, не существует единой общепризнанной системы определения «границ» таких моделей, и рекомендацией к ограничению служит только экспертная точка зрения. Так же известно, что при использовании сверхбольших объемов информационных моделей происходит резкое усложнение выбора. Для решения описанной выше проблемы предлагается использовать методику градации стандартов. В методике предлагается ранжировать нормативные документы, используя автоматизированные методы распознавания контекстных образов, основанные на графовых моделях.

Различные свойства ПО но разному оказывают влияние на качество продукции, в целом Показатели качества и отЕюсительные показатели качества должны учитываться при их свертывании (сведении) с целью определения уровня качества ПП при комплексной оценке ее качества с определенными поправками, так называемыми весовыми коэффициентами. Такие функции исполняются в блоке «Определение весовых коэффициентов, корреляций, свертывание показателей качества». Из названия блока следуют его задачи:

• Определение корреляции метрик;

• Определение степени значимости (весов) метрик;

• Свертывать метрик в факторы, факторы в показатели.

При определении весовых коэффициентов существенную роль играки непараметрические параметры, получаемые из требований пользователя, называемые «голос пользователя». Несмотря на то, что методов извлечения и обработки таких параметров достаточно много, наиболее перспективным по ряду причин является система структурирования функции качества (СФК), которая позволяет эффективно решать не только задачи определения весовых коэффициентов, но также и определение корреляции и свертывания параметров ПИ.

Для иллюстрации выбора задачи и уровня улучшения рассмотрим пример в Таблице 3.

Таблица 3

Уровень улучшения

Номер запроса потребителя Степень удовлетворения начальным продуктом Задача Уровень улучшения

1 1 3 3

2 2 4 2

3 3 5 1 67

4 1 2 2

5 4 5 1.25

Поясним данные таблицы. Предположим, что характеристики начального продукта ранжированы в соответствии с запросами потребителя

о

по 5-ти балльной шкале. Степень удовлетворения ■ представлена во 2-м

п

столбце, задачи, сформулированные командой указаны в 3-м столбце,

у

тогда уровень улучшения ' будет равен:

у, = С,/В, (6)

и для конечного продукта необходимо улучшение в У раз, значение которого приведено в 4-м столбце.

Наибольшее значение У приводит к наибольшим сложностям для команды, но наилучшим образом удовлетворяет запросы. Улучшение конечного продукта на десятки процентов вполне реально и не потребует значительных усилий, но улучшение в несколько раз (для случаев 1, 2, 4) может поставить невыполнимые задачи и вообще привести к прекращению проекта.

Однако необходимо иметь ввиду стартовые значения запросов потребителя: если они низки (случай 1,4) , то повысить характеристики качества вполне возможно и процесс улучшения от 1 до 2 проще, чем о г 4 до 5, так что арифметические вычисления уровня улучшения могут привести к неверным решениям. Поэтому приходится прибегать: во-первых, к вычислению разности улучшения А}', а, во-вторых, к использованию понятия степени сложности, устанавливаемого непосредственно.

Разность улучшения определяется из выражения:

= -У,-5, (7)

Из выражения видно, что независимо от высокого или низкого уровня начального продукта, все приращения имеют примерно одинаковое влияние на все строки запроса потребителя. Но на практике пользуются эмпирическим коэффициентом степени сложности следующего вида:

1 нет изменений; 2. - улучшение возможно; 3 - улучшение затруднено.

Вес строки в разделе информации и принятых решениях МШ1 представляет

собой обобщение весовой характеристики для каждого запроса < и определяется:

где вес строки - общая весовая характеристика,

I У

S

- значимость для потребителя,

- уровень улучшения (устанавливается командой),

- точка продаж (определяется командой).

Подставляя вместо У его значение из П), получим: 2

В,

(8)

Наибольшее значение 7. представляет основной интерес для команды как лучшее удовлетворение запросов потребителя Многие команды видят в получении интегральной характеристики хороший механизм для принятия решений организацией в целом, которая должна определять приоритеты и цели для всех проектов Приведем фрагмент оценок 2 для различных вариантов значений разделов - Таблица 4.

Таблица 4

Задание Z в предплановой матрице

Раздел Минимальное значение Максимальное значение

/4 - значимость для потребителя (абсолюты.) 1 5 100 5

10 - значимость для потребителя (относит) 1 I

Использование, удовлетворяющее

потребителя 1 5

Исполнение, прогииостоящес конкуренту

С - цель 1 5

У - уровень улучшений 02 5

Точка продаж 1 1.5

- вес строки для 1,

2о - вес строки для /„ 02 02 37 5 750

Нормализованное значение I определяется как

2.

■100

Выражение чаще используется для получения значений в процентах, чем в частях от 1 или 10.

Очевидно, что 7и и 7 несут одинаковую информацию и, если запрос А имеет вдвое больший вес для 2 , то соответственно процентное отношение будет также вдвое больше. Перевод 2, в 2 удобен для дальнейших вычислений; например, для определения зависимостей или в технической матрице использование 2 приводит к обозримым цифрам, которые удобны для анализа и принятия решений.

Накопленный нормализованный вес строки

не обязателен для

применения. Обычно получив значение ', команда перестраивает список

запросов в порядке убывания. ^ показывает - насколько суммарный вес строки улучшает удовлетворенность потребителя после выполнения первого

запроса, затем второго и т.д.

представляет собой результат

последовательного суммирования что позволяет видеть какой процент еще остался не использованным для удовлетворения потребителя. Например, из Таблицы 5 видно, что первые три запроса уже удовлетворяют потребителя на 50%.

Таблица 5

Пример ¡аполнения предплановой матрицы

---—^Характеристики Запрос —----------1 2-1 2-2 2-3 2-4 2-5 2-6 2-7 2-8 (%) 2-9 (%)

Возможность сохранения | выбранного стиля | 81 4.6 3.8 46 1.0 1.5 559 19 19

Простота получения необходимой 1 информации I 80 4.7 4.6 4.7 1.0 1.2 451 16 35

Управление нажатием пальца 83 3 1 4.4 44 1 42 I 2 438 16 51

Интуитивное управление 84 2.9 28 33 1 14 1 5 416 14 65

Возможность быстрого отыскания части документа | 48 3.1 44 4 5 1.45 1 5 324 И 76

Наличие шрифтов разного видд и | размера 1 45 4.6 3.8 4.6 1.0 1 5 311 11 87

Возможность рассмотрения выбранного шрифта 42 4.7 4.6 47 1.0 1 2 237 8 95

Возможность регулировки скорости перемещения курсора 49 29 28 29 1 0 ! 0 142 5 100

Суммарное значение 1 2878 100

В ходе исследования был разработан автоматизированный вариант системы СФК в виде законченного программного продукта, с помощью которого можно успешно выполнять все функции блока.

Полученные результаты необходимы для выбора базовых (эталонных) показателей качества, определяемых с помощью разработанной методики оптимальных статистических решений, в блоке «Выбор базовых показателей качества». Методика основывается на статистическом матричном анализе средних. Основной и бесспорно играющей самую значительную роль в определении качества ПО является процедура тестирования. Следуя методологии RUP (Rational Unit Process), тестирование должно начинаться с самых ранних этапов создания IЮ. В результате исследования предлагается концепция внедрения процедуры тестирования на этапе разработки в виде тео-циклов.Основные результаты исследования в области схематично представлены на рис. 4.

Рис 4 Объекты исследования в формировании качества ПО

В четвертой главе приведены результаты экспериментальных исследований разработанной методологии на заданной коллекции файловых менеджеров, а также выполнена оценка их эффективности и корректности. Приводятся их наиболее важные фрагменты в псевдокоде с конкретными значениями. (С^, LISP, XML и др.).

Ниже приведен перечень практически реализованных частей системы:

• Разработана система сбора информации: представлены листинги ингерактивных форм по сбору информации (Perl, CGI, DHTML); разработан перечень документов проведения экспертизы ПС.

• Программная реализация графов структурного представления текста произвольного содержания (С++):

Info Analyzer - основной класс, отвечающий за обработку информационной структуры;

InfoElement - класс, отвечающий за представление и хранение информационных элементов;

InfoConverter - класс, преобразующий текст в набор связанных информационных элементов (формирование информационной структуры);

InfoDocument - класс для загрузки документов различных форматов и преобразования их в текст;

InfoSearcher - класс, отвечающий за контекстный анализ. InfoScttings - класс, отвечающий за настройки, в том числе за организацию списка игнорируемых слов;

Morpho - класс, отвечающий за морфологический анализ (приведение слов к базовой форме).

• Прохраммная реализация структурирования функций качества, зарегистрированная в фонде алгоритмов и программ (С н+)

• Программная реализация обработки составных утверждений и метавысказываний. (CLIPS)

• Разработан макетный программный комплекс, состоящий из:

- подсистемы управления (монитор), которая организует работу системы в целом;

- подсистемы контроля знаний;

- набора баз знаний, реализующих управление процессом и контролем знаний.

• Выполнена оценка по формальным параметрам программ управления файлами под платформу Win32

• Проведено исследование вычисления степени тематической принадлежности текста к образцу

• Предложено представление работы аппаратно-программной среды рис. 5.

Cbop статистики,

нормативные документы и др.

Интерактивное анкетирование

Результаты

Классификаюр данных

/УУ >

С

База

данных -J

Классификатор знаний

/УУ>

База знаний

Рис 5 Схематичное представление работы анпаратно программной среды системы

III. ЗАКЛЮЧЕНИЕ

В работе рассмотрены теоретические и практические вопросы решения задач автоматизации принятия решения о качестве ПП. На основании анализа текущего состояния развития качества ПП и предложенных подходов предлагается:

• Методика градации стандартов

• Методика тест-циклов

• Методика оптимальных статистических решений

• Автоматизация структурирования функции качества

• Автоматизация принятия решения о качестве ПП

• Автоматизация сбора данных требований потребителя

• Экспериментальная оценка корректности и эффективности выносимых на защиту результатов

Разработанная модель, метод и алгоритмы позволяют значительно повысить точность и адекватность анализа ПО. Их реализация применительно к решению задач повышает качество и эффективность ПО.

Программное обеспечение, разработанное в рамках диссертационной работы, нашло свое применение в ряде инженерных проектов, ориентированных на решение задач консалтинга и информационно-справочного обеспечения.

Разработанный аппарат исследования позволяет на основании проверенных оценок показателей формальных показателей провести объективный выбор конкретного ПО, отвечающего индивидуальным требованиям потребителя.

ОСНОВНЫЕ ПОЛОЖЕНИЯ ДИССЕРТАЦИИ ОТРАЖЕНЫ В СЛЕДУЮЩИХ ПУБЛИКАЦИЯХ

1. Мишкутёнок В.В., Оценка эффективности прикладных пакетов по фактическим параметрам программ // Международный семинар по перспективным программным технологиям 2001. М: МГУ, 2001. С. 45-47.

2. Мишкутёнок В.В., Алгоритм и программа оценки эффективности прикладных пакетов для учебного процесса // 54-ая Санкт-Петербургская научно-техническая конференция ГУАП 2001. CI (б: СПГУАП, 2001. С.86-89.

3. Мишкутёнок В.В.. Санфиров C.B., Проектирование и построение вычислительной системы и сети кафедры для повышения эффективности проведения учебного процесса // 55-ая Санкт-Петербургская научно-гехническая конференция ГУАП 2001. СПб: СПГУАП, 2001. С. 80-83.

4. Мишкутёнок В.В., Оценка качества программного обеспечения // 3-я международная конференция «Приборостроение в экологии и безопасности человека» СПб ГУАП IEHS'02. СПб: СПГУАП, 2002. С. 112.

5. Мишкутёнок В.В., Оценка качества программного обеспечения с точки зрения конечного пользователя // Шестая научная сессия аспирантов и соискателей СПб ГУАП, посвященной Всемирному дню космонавтики 2003. СПб: СПГУАП, 2003. С. 145-154.

6. Мишкутёнок В.В., Оценка качества программного обеспечения методами оптимальных статистических решений И Всероссийская молодежная научная конференция «VII Королевские чтения» 2003. Самара: СГАУ им. С.П. Королёва, 2003. С. 163-172

7. Варжапетян А.Г., Мишкутёнок В.В., Магрица СФК - инструмент прогнозирования в технических системах // Системность структур техники и бизнеса, Сборник трудов летней школы семинара аспирантов и студентов

Г СПб ГУАП. СПБ: Политехника, 2003. С. 296-312

8. Мишкутёнок В.В., Оценка качества программного обеспечения // Международный симпозиум «Аэрокосмические приборные технологии» по направлению «Надежность и безопасность полетов». СПб: СПГУАП. 2004. С. 87-94.

9. Мишкутёнок В.В., Пименов Д.Н. Анализ качества программных продуктов на рынке с позиции конечного пользователя // Международный семинар по перспективным программным технологиям 2004. М: МГУ, 2004 С. 134-136.

10. Мишкутёнок В.В., Пименов Д.Н., Программный продукт «Программа автоматизации построения «Дома качества». Свидетельство об официальной регистрации программы для ЭВМ №2004611571, 2004г.

11. Мишкутёнок В.В., А'ГМ-анапиз в системах принятия решений // Восьмой научной сессии аспирантов и соискателей ГУАП, посвященной Всемирному дню космонавтики. СПб СПГУАП, 2005. С.93-96.

г

Формат 60x84 1/16 Бумага офсетная Печать офсетная Тираж 100 ">кз Заказ № 439

Отдел оперативной полиграфии ГОУ ВПГО «СПбГ'УАП» 190000 Санкт-Петербург, ул Б Морская, д 67

РЯБ Русский фонд

2007-4 5441

¿1 тъШ

УСЛОВНЫЕ ОБОЗНАЧЕНИЯ.

ВВЕДЕНИЕ.

1. ОБЗОР ОСНОВНЫХ МЕТОДОВ, ТЕХНОЛОГИЙ И СТАНДАРТОВ, ОПРЕДЕЛЯЮЩИХ

КАЧЕСТВО ПО.И

1.1 Введение в определение уровня программных продуктов.

Стандарты и программные продукты.

CASE-технологии.

Capability Maturity Model (СMM).

ISO/1EC 15504 (SPICE).

ISO 9126:1991 (ГОСТ P ИСО / МЭК 9126-93).

Показатели качества ПО.

1.2 Обзор методов анализа программного обеспечения.

Методологии стандарта ISO 14598.

Методология и инструментарий IBM Rational.

Выводы.

2. МЕТОДЫ ПРИНЯТИЯ РЕШЕНИЯ О КАЧЕСТВЕ ПС.

Введение.

2.1. Автоматизированная система градации стандартов.

Апачиз синтаксиса.

Анализ семантики.

2.2. Структурирование функции качества.

Идеология метода СФК.

Ключевые элементы и инструменты СФК:.

Дом Качества (ДК).

2.3. Методы верификации ПП.

2.4. Методы принятия решения.

Выводы.

3. РЕАЛИЗАЦИЯ МЕТОДОВ ПРОЕДЛОЖЕННЫХ МОДЕЛЕЙ.

Введение.

3.1. Автоматизированная система градации стандартов.

3.2. Программный продукт HQEasy.

3.3. Методика оптимальных статистических решений.

3.4. Методика тест-циклов.

Выводы.

4. ОЦЕНКА ЭФФЕКТИВНОСТИ И КОРРЕКТНОСТИ ПРАКТИЧЕСКИХ ИССЛЕДОВАНИЙ.

Введение.

4.1. Описание программного комплекса.

4.2. Экспериментальное применение системы.

Выводы.

Обязательным условием разработки любого программного продукта (ПП) является наличие заказчика (потребителя), а цель разработки -формируют его требования. Потребителей условно можно разделить на конкретного заказчика, который знает какой должен быть «релиз» ПП и массового потребителя, неопределенного в своих требованиях, а соответственно и в качестве желаемого продукта. Следствие такого разделения приводит к делению понятия качества ПП на «качество разработчика ПП» и «качество пользователя ПП». Качество разработчика ПП

При ориентации разработчика на конкретного заказчика, качество ПП регулируется степенью формализации требований, количеством ошибок в коде программы, временем выполнения заказа. Количество ошибок в коде программы и время выполнения заказа зависит от освоенных разработчиком технологий программирования, стандартов, методов тестирования, т.е. качество разработчика ПП определяется качеством нормативной документации и методами контроля её исполнения. Качество разработчика ПП понятие далеко не новое, количество предлагаемых стандартов, технологий разработки программного обеспечения, методов его тестирования очень большое, как показывает практика, многие производители, утверждая свою позицию, приводят статистику ошибок на количество строк в программном коде. Обширный анализ данной области можно найти в трудах профессора Липаева В.В. [36-42], стандартах ИСО и др. источниках, тем не менее, диаграмма доходов российского рынка от средств автоматизированного тестирования программного обеспечения (рис. 1)[3] показывает преобладание зарубежных компаний в силу перечисленных ниже сложностей. Проблемы достижения качества разработчика ПП

• Несовершенство методов формализации требований заказчика при подготовке технического задания на создание программных комплексов и информационных проектов

• Избыточность номенклатуры документов предлагающей стандартизированные и нормативные подходы для реализации различных информационно-технических решений и концепций

• Многообразие узко направленных методов тестирования 1111, приводящих к увеличению времени ввода в эксплуатацию

Решение обозначенных проблем повысит рыночную долю российского производителя ПЛ.

Ш Mercury Interactive

Rational

Compuware

Segue Software 0 Empirix

Ш RadView Software

Borland Software

McCabe & Associates

Quest Software

Telelogic

Другие

Рис. 1. Доходы российского рынка средств автоматизированного тестирования программного обеспечения

Качество пользователя ПП

Хорошо известная фраза разработчиков ПП «потребитель сам не знает, что хочет», раскрывает массового потребителя как непараметрический объект, динамически изменяющий свои свойства во времени, делая неполноценным понятие качество ПП, показывая слабую изученность данной области. Причинами такого явления могут быть: большой масштаб области; субъективность мнений, порождающая сложные высококоррелированные связи; плохо адаптированные для информационных технологий закономерности изменения функции качества и в следствие плохая предсказуемость.

400 350 300 250 200 150 100 50 0

Mercury Interactive Rational

Compuware Segue Software Empirix

RadVew Software Borland Software McCabe & Associates Quest Software Telelogic Другие

Однако, являясь прибыльной и важной с позиции государства, заинтересованного в повышении качества информатизации страны, затрагивающая практически все отрасли область, требует более детального изучения. Наиболее близкими к качеству 1III с позиции потребителя, автору видятся методы определения качества японских ученых [14, 19, 32].

Массовый потребитель не обращается к разработчику, а ждет его предложений, которые могут его удовлетворить. Сложно определить границы требуемого качества, складывается ощущение независимости от потребителя, но проблемы определенные ниже, с которыми сталкиваются и разработчик, и массовый пользователь, отрицательно сказываются на качестве ПЛ.

Проблемы достижения качества пользователя ПП

• Сильная коррелированность метрик характеризующих программный продукт, факторов и закономерностей, определяющих качество программного обеспечения

• Несовершенство методов формализации требований заказчика при подготовке технического задания на создание программных комплексов и информационных проектов

• Почти полное отсутствие автоматизированных методов определения метрик характеризующих качество ПП, их взаимосвязанности, важности (избыточности) для пользователя

• Отсутствие комплексной методологии оценки качества ПП, при огромном количестве 1111 направленных на выполнение одинаковых функций

• Неопределенность понятий «качественный ПП», «качественный процесс разработки ПП», «качественная ИС», в силу абстракции стандартов, регламентирующих понятие «качество», прозрачной для особенностей Г1Г1

Отмеченные недостатки качества разработчика ПП и качества пользователя ПП определяют нишу диссертационного исследования. Актуальность, которой подчеркивают действия российских и зарубежных фирм по созданию дорогостоющих отделов, решающих эти вопросы.

На практике исследование проводится с сервисными ПП -отвечающими за автоматизацию обслуживания ЭВМ, в частности файловыми менеджерами.

Цель исследования - повышение эффективности процессов принятия решения о качестве программного обеспечения для пользователя в сервисных сферах применения продуктов на основе разработки и автоматизации процедур определения и формализации семантического представления программного продукта.

В соответствии с поставленной целью в диссертации решены следующие задачи.

• Системный анализ основных факторов и закономерностей, определяющих качество программного обеспечения.

• Разработка моделей автоматизированных процедур: выбор нормативных документов для определения показателей качества, формализация требований заказчика, определение корреляции метрик характеризующих программный продукт (ПП), принятие решений о качестве ПО с учетом предпочтений пользователя.

• Разработка информационного и программного обеспечения реализующего методику частотно-контекстного определения семантики документа, структурирования функций качества, сбора и обработки статистики необходимой в принятии решения о качестве программного продукта.

• Разработка парадигмы оптимизации тестирования программного обеспечения фрагментированных процессов разработки.

Методами исследования являются принципы системного анализа, теории управления качеством, методы классификации, квалиметрии, математического моделирования, теории графов, теории автоматов, математической статистики, теории принятия решений, методы прикладного программирования.

Научная новизна состоит в том, что разработанная модель, метод и алгоритмы позволяют эффективнее решать задачи обеспечения качества ПО с позиции конечного пользователя по количественным и качественным оценкам.

• Разработана методика автоматизированной градации стандартов, в которой предлагается ранжировать нормативные документы, используя автоматизированные методы распознавания контекстных образов основанные на графовых моделях.

• Произведена автоматизация структурирования функции качества ПО с целью определения весовых коэффициентов, корреляций и свертывания показателей качества с учетом требований заказчика.

• Разработана методика оптимальных статистических решений распределения метрик качества ПО, необходимая для выбора базовых (эталонных) показателей качества.

• Обоснованы методы воздействия на лицо принимающее решение

ЛПР), и механизмы адаптации, улучшающие качество выбора, при построении автоматизированных процедур оценивания программного * продукта.

Результаты исследования

Основные теоретические результаты подтверждены экспериментально при физическом моделировании, а также при внедрении основных выводов и положений диссертационной работы. Правительство Санкт-Петербурга отметило важность полученных результатов, оказывая материальную л поддержку в виде гранта.

Основные положения диссертации, разработанные модели, рекомендации и методики использованы и внедрены в учебном процессе Санкт-Петербургского государственного университета аэрокосмического приборостроения, на холдинговой компании «Ленинец», ОАО «Авангард», ЗАО «Пантес». Программа автоматизации структурирования функции качества является официально зарегистрированным программным продуктом I» в российском фонде алгоритмов и программ.

Основные результаты исследования по теме диссертации отражены в 11 печатных работах.

Структура диссертации

Диссертация состоит из введения, четырех глав, заключения, списка используемых источников и приложения. Общий объем работы составляет 181 страницу, в том числе 73 рисунка, 24 формулы, 21 таблица, список I используемых источников из 136 наименований.

Выводы

Результаты экспериментальных исследований успешно подтвердили выдвинутые ранее теоретические положения. Тестирование программной реализации разработанного метода и алгоритмов показало высокую точность и корректность полученных значений.

Вместе с тем, стоит отметить сложность оценки полученных результатов, и значительное влияние субъективной составляющей, присутствующей при оценке. Отчасти это вызвано характером и особенностью решаемых в данной работе задач, отчасти отсутствием формализованных методик оценки подобных исследований. Разработка таких методик может значительно упростить анализ результатов и однозначно определить их корректность и точность.

ЗАКЛЮЧЕНИЕ

В работе рассмотрены теоретические и практические вопросы решения задачи автоматизации принятия решения о качестве ПП. Можно выделить следующие основные результаты, полученные в диссертации:

• Проведен системный анализ основных факторов и закономерностей, определяющих качество программного обеспечения.

• Разработаны модели: выбора нормативных документов для определения показателей качества, формализация требований заказчика, определение корреляции метрик характеризующих программный продукт (ПП), принятие решений о качестве ПО с учетом предпочтений пользователя.

• Разработано программное обеспечение реализующего методику частотно-контекстного определения семантики документа, структурирования функций качества, сбора и обработки статистики необходимой в принятии решения о качестве программного продукта.

• Предложена парадигма оптимизации тестирования ПП фрагментированных процессов разработки.

Разработанная модель, метод и алгоритмы позволяют значительно повысить точность и адекватность анализа ПП. Их реализация применительно к решению задач позволяет значительно повысить качество и эффективность ПП. Программное обеспечение, разработанное в рамках диссертационной работы, нашло свое применение в ряде инженерных проектов, ориентированных на решение задач консалтинга и информационно-справочного обеспечения.

Разработанный аппарат исследования позволяет на основании проверенных оценок показателей формальных показателей провести объективный выбор конкретного ПО, отвечающего индивидуальным требованиям потребителя.

Основные положения и отдельные результаты работы докладывались и обсуждались на 6 международных и 8 российских конференциях. Правительство Санкт-Петербурга отметило важность полученных результатов, оказывая материальную поддержку в виде гранта. Принималось участие в подготовке заключения о перспективе развития проекта «Консалтинг производителей программного обеспечения» СПИИРАН, 2005г. Прототип инновационной коммерческой системы на основе результатов диссертационной работы был представлен в фонд Бортника по программе СТАРТ 2005 и рекомендован для следующего этапа конкурсного отбора.

1. Агафонов В.Н. Спецификация программ: Понятийные средства и их организация. Новосибирск: Наука, 1987.

2. Безкоровайный М. М., Костогрызов А. И., Львов В. М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем. М.: "Вооружение, политика, конверсия, 2001, 303с

3. Безопасность информации. Сборник материалов международной конференции. М.: СИП РИА. 1997.

4. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях//Вопросы анализа и процедуры принятия решений. М.: Мир, 1976.

5. Боэм Б.У. Инженерное проектирование программного обеспечения: Пер. с англ. / Под ред. А.А. Красилова. М.: Радио и связь, 1985.

6. Бурков В.Н., Новиков Д.А. Как управлять проектами. М.:СИНТЕГ.1997.

7. Буч Г. Объектно-ориентированное проектирование с примерами применения. Пер с англ.- М.: Конкорд, 1992.

8. Варжапетян А.Г. и др. Принятие решений о качестве , управляемом заказчиком . М Вузовская книга , 2004 , 390 с.

9. Варжапетян А.Г. и др. Системы Управления. Инжиниринг качества . М. Вузовская книга .2001, 319 с.

10. Варжапетян А.Г., Анохин В.В., Варжапетян А.А., Коршунов Г.И, Левицкий Т.Г., Семенова Е.Г.: Системы управления. Инжиниринг качест-ва: Монография. М., Вузовская книга, 2001. - 326 с.

11. Варжапетян А.Г., Мишкутёнок В.В., Матрица СФК инструмент прогнозирования в технических системах // Системность структур техники и бизнеса, Сборник трудов летней школы семинара аспирантов и студентов СПб ГУАП. СПБ: Политехника, 2003. С. 296-312

12. Введение в операционные системы, А. Колин, МИР 1975

13. Вендров A.M. CASE технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика,1998.

14. Гантер Р. Методы управления проектированием программного обеспечения: Пер. с англ. /Под ред. Е.К. Масловского. М.:Мир, 1981.

15. Герасименко В.А. Защита информации в автоматизированных системах обработки данных. Книга 1 и 2. М.: Энергоатомиздат, 1994.16,17,18,19,2021,22,23