автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Многоатрибутивное формирование N-вариантных программных структур мультиверсионных систем управления

На правах рукописи

ЕЖЕМАНСКАЯ Светлана Николаевна

Многоатрибутивное формирование N-вариантных программных структур мультиверсионных систем

управления

05.13.01 — Системный анализ, управление и обработка информации

Автореферат диссертации на соискание ученой степени кандидата технических наук

Красноярск - 2005

Работа выполнена в Государственном университете цветных металлов и золота на кафедре Информационных технологий (г. Красноярск)

Научный руководитель

доктор технических наук,

профессор Ковалев Игорь Владимирович

Официальные оппоненты

доктор технических наук, профессор Петров Михаил Николаевич

кандидат технических наук, доцент Тынченко Сергей Васильевич

Ведущая организация: Государственный научно-исследовательский институт информационных технологий и телекоммуникаций «Информи ка» (г. Москва)

Защита состоится «25» октября 2005 года в 12.00 на заседании диссертационного совета Д 212.046.01 при Научно-исследовательском институте систем управления, волновых процессов и технологий по адресу: ул. Баумана, 20 В, Красноярск, 660028.

С диссертацией можно ознакомиться в библиотеке НИИ СУВПТ.

Автореферат разослан «24» сентября 2005 гола

Ученый секретарь диссертационного совета

Н.А. Смирнов

/54 2в

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы характеризуется тем, что методология мультиверсиоиного проектирования современных, критичных по надежности систем управления, выполняющих ключевые функции многих технологических, производственных и организационных процессов, включает этап формирования И-вариантных программных структур, реализуемых на базе универсальных или специализированных ЭВМ. Сложность подобных процессов наряду с моделями объекта управление определяет и сложность программных средств системы управления. А от качества функционирования подобных систем зависят безопасность человеческих жизней и экономическая стабильность как отдельных предприятий, так и целых регионов.

Ы-вариантное программирование, реализующее методологию избыточности, является одним из наиболее распространенных подходов к реализации отказоустойчивости программных систем. В то время, как разработка программного обеспечения имеет характерные особенности, накладывающие ограничения на реализацию программной составляющей критичных по надежности систем управления, методология мультиверсиоиного проектирования, как один из подходов к реализации идеи введения избыточных аналогичных элементов в структуру системы программного обеспечения, на практике доказала свою эффективность. С использованием данной методологии были реализованы программные комплексы систем управления летательными аппаратами, атомными электростанциями и т.п.

В настоящий момент времени на этапе проектирования системы управления немалое значение приобретают время и финансовые средства, затраченные на разработку. Эффективность технологий проектирования программных структур отражается непосредственно на совокупных затратах на создание комплексов управления объектами. Кроме того, доступность инструментальных средств автоматизации для разработки Ы-вариантных комплексов программного обеспечения определяет длительность создания комплекса программ и общую производительность труда специалистов в коллективе разработчиков.

Формирование избыточного комплекса программ, как один из этапов проектирования мультиверсионной системы управления, во многом определяет общие показатели производительности. Рациональное структурное построение Ы-вариантных программных комплексов гарантирует достаточно полное использование ресурсов ЭВМ, являющееся залогом качественного решения функциональных задач систем управления. В свою очередь, задачи формирования Ы-вариантной структуры, которые могут решаться в любых программных средствах, абстрагированы от конкретной

управляющей системы, что позволяет рассматривать методы их решения отдельно от целевого назначения системы управления.

Кроме того, технологические особенности проектирования N-вариантных комплексов программного обеспечения, дополняя проблему структурного программного проектирования, выводят ее в разряд общих проблем разработки методов и автоматизированных систем проектирования сложных программных комплексов систем управления. Потенциальная возможность широкого применения таких систем для различных программных средств делает рентабельной их разработку.

Поэтому проблеме формирования программных комплексов, проектируемых на основе принципов программной избыточности, в настоящее время уделяется значительное внимание. Проблематика проектирования программных комплексов с использованием методологии N-вариантного программирования рассматривалась в работах А.Авижиениса, Н.Ашрафи, О.Бермана, М.Катлера, Дж.Ву, К.Яо, Р.К.Скотта, Д.МакАллистера, К.Е.Гросспитча, И.В. Ковалева, Р.Ю. Царева, A.A. Попова и многих других. Однако основной трудностью проводимых до сих пор исследований являлось отсутствие формальных теоретических методов, использующих единый терминологический базис. Следует отметить также и относительно невысокую эффективность используемых до настоящего момента времени методов формирования N-вариантных программных структур мультиверсионных систем управления.

Таким образом, высокая сложность и практическая значимость задачи формирования N-вариантных программных структур для критичных по надежности мультиверсионных систем управления, необходимость в построении единого базиса для решения описанной проблемы наряду с высокой практической и теоретической значимостью формального математического аппарата обусловили выбор темы диссертационного исследования и определили ее актуальность.

Целью диссертационной работы является разработка и обоснование модельного и программно-алгоритмического аппарата для решения задач формирования N-вариантных программных структур критичных по надежности мультиверсионных систем управления.

Для достижения поставленной цели решались следующие задачи:

- формализация задач формирования N-вариантных программных структур критичных по надежности мультиверсионных систем управления;

- исследование свойств построенных оптимизационных моделей и определение класса оптимизационных задач;

- изучение свойств полученного класса оптимизационных задач, обоснование и построение математических методов и алгоритмов решения полученных задач оптимизации;

- программная реализация и тестирование построенных аЛЮритмОв.

Методы исследования. Для решения поставленных задач использовался аппарат теории множеств, теории вероятностей, исследования операций, дискретной оптимизации, математического программирования.

Научная новизна работы:

1. Модифицировано основное уравнение постархитектурной модели Б.У. Боэма СОСОМО И, позволяющее оценить стоимость Ы-вариантного программного обеспечения мультиверсионных систем управления.

2. Выполнена модификация оптимизационных моделей формирования И-вариантных программных структур для многофункциональных мультиверсионных систем управления, проведена их линеаризация и решение с применением алгоритма схемы метода ветвей и границ.

3. Впервые предложены многоатрибутивные драйверы затрат, выбираемые в соответствии с их общей значимостью для совокупности программных проектов, включая Ы-вариантные программные структуры мультиверсионных систем, причем каждый драйвер затрат определяет умножающий фактор, который позволяет оценить эффект действия атрибута на величину трудозатрат. ^

4. Предложен и реализован новый подход, позволяющий включить качественную информацию в процесс решения задач многоатрибутивного выбора варианта модульных структур Ы-вариантного ПО мультиверсионных систем управления.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, создают теоретическую основу для разработки многоатрибутивных методов и алгоритмов, направленных на эффективное формирование Ы-вариантных программных структур критичных по надежности мультиверсионных систем управления и обработки информации.

Практическая ценность. Разработан формальный аппарат, обеспечивающий компьютерную поддержку методов многоатрибутивного формирования Ы-вариантных программных структур для информационно-управляющих систем, критичных по надежности. Модельное и программно-алгоритмическое обеспечение средств компьютерной поддержки позволяет в интерактивном режиме специалисту проблемной области эффективно решать задачи многоатрибутивного выбора и принятия решений по составу системных и прикладных компонентов программной структуры мультиверсионных систем управления, структур подсистем обработки и хранения данных с учетом способов взаимодействия этих компонентов, обеспечивающих гарантоспособность выполнения информационно-алгоритмических задач в системах управления.

Достоверность полученных результатов подтверждается корректным использованием методологии многоатрибутивного принятия решений и теоретических методов анализа и синтеза структур сложных систем при обосновании полученных результатов, выводов, рекомендаций и

\ спешной апробацией и демонстрацией возможностей разработанной системы компьютерной поддержки многоатрибутивного формирования Ы-вариантных программных структур мультиверсионных систем на практике.

Реализация результатов работы.

Диссертационная работа выполнялась по проектам межотраслевых программ Минобразования России и Минатома России по направлению «Наччно-инновационное сотрудничество» (проект VII-12), а также в рамках тематического плана НИР ГУЦМиЗ (2001-2004 гг.), финансируемых из средств федерального бюджета.

Материалы диссертационной работы введены в учебные курсы и используются при чтении лекций для студентов Государственного чниверситета цветных металлов и золота.

Основные тезисы, выносимые на защиту.

1. Модифицированное уравнение постархитектурной модели Б.У. Боэма СОСОМО II позволяет оценить стоимость Ы-вариантного программного обеспечения мультиверсионных систем управления в период, когда уже сформирована архитектура системы, и выполняется дальнейшая разработка М-вариантных структур программного продукта.

2 Использование предложенных в работе многоатрибутивных драйверов затрат для анализа М-вариантных программных структур мультиверсионных систем управления позволяет оценить эффект действия каждого атрибута на величину трудозатрат.

1 Разработанные модели и алгоритмы многоатрибутивного формирования Ы-вариантных программных структур мультиверсионных систем управления позволяют использовать качественную информацию в процессе решения задач многоатрибутивного выбора варианта модульной стр\ кт\ ры ПО, учитывая многофункциональность системы и взаимозависимости проектов мультиверсионных систем управления, разде 1яюши\ общие ресурсы.

4 Предложенный формальный аппарат многоатрибутивного формирования М-вариантных программных структур мультиверсионных систем управления, реализованный в виде системы компьютерной поддержки, применим для автоматизации этапов анализа и синтеза критичных по надежности структур сложных систем управления и обработки информации различных классов.

Апробация работы. Основные положения и результаты работы проипи всестороннюю апробацию на Всероссийских и международных конференциях, научных семинарах и научно-практических конференциях. В том числе. на Всероссийских научно-технических конференциях «Перспективные материалы, технологии, конструкции, экономика» (Красноярск. 2000-2004), на Всероссийской научно-технической конференции «Совершенствование методов поиска и разведки, технология добычи и переработки руд» (Красноярск, 1996), на Всероссийских научно-технических конференциях «Проблемы подготовки специалистов в системе

непрерывного образования» (Красноярск, 2002-2004), на международной AMSE-конференции «Modeling and Simulation - MS'2004» (Lyon-Villeurbanne, Франция, 2004), на международной научной конференции «Information Technologies and Telecommunications in Education and Science — IT&T ES'2005» (Турция, 2005). Докладывались на научных семинарах кафедры Информационных технологий ГУЦМиЗ (2001-2005 гг.).

Публикации. По теме диссертации опубликовано 13 работ общим объемом 3,4 печатных листа, список приводится в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 97 наименований. Основное содержание изложено на 127 страницах машинописного текста.

СОДЕРЖАНИЕ РАБОТЫ

Введение представляет цели и задачи диссертационной работы, раскрывает ее актуальность, научную новизну, достоверность и обоснованность, практическую значимость и апробированность полученных результатов, методологию исследований.

В первом разделе показано, что структурно-сложные комплексы программ (КП) следует рассматривать как с%щн из типов сложных систем. К ним полностью относятся все основные проблемы, связанные с проектированием, исследованием, внедрением и эксплуатацией сложных систем. При их проектировании необходимо использовать опыт практической системотехники, ее основные методические и теоретические положения.

Касаясь мультиверсионных систем управления с N-вариантной программной структурой, следует отметить необходимость поддержки устойчивости к отказам. Причем в проблеме безотказности выделяют четыре аспекта.

1. Обнаружение ошибок и сбоев. Система должна обнаруживать «сбойные» состояния, которые могут привести к ее отказу.

2. Локализация сбоев. Определение той части системы, в которой возникли сбои.

3. Восстановление системы. После возникновения сбоя система должна вернуться в работоспособное состояние. Этого можно достичь исправлением сбойного состояния (прямое устранение ошибки) или возвращением системы к «безопасному» состоянию (ретроспективное устранение ошибки).

4. Устранение причин сбоев. Система модифицируется таким образом, чтобы сбои не возобновлялись. Во многих случаях сбои программного обеспечения проявляются кратковременно, поскольку возникают из-за специфической комбинации данных на входе системы. Так как нормальное функционирование системы восстанавливается сразу после устранения сбоя, нет необходимости в немедленном устранении причин

сбоев. В этом состоит важное отличие сбоев программного обеспечения от неисправности аппаратных средств.

Существует два дополняющих друг друга подхода, которые используются для разработки программных структур сложных систем, обладающих устойчивостью к сбоям.

1. Безопасное программирование. Это такой метод разработки программ, при котором программисты допускают, что в их программах могут быть необнаруженные ошибки или противоречия. В процессе изменения программы для проверки состояния системы управления включаются избыточные коды, чтобы гарантировать, что изменения непротиворечивы. Если противоречия обнаружены, от изменений отказываются или состояние восстанавливается до известного корректного состояния.

2. Отказоустойчивые системные архитектуры. Это архитектуры аппаратных и программных средств, обеспечивающие устойчивость к сбоям. Такие архитектуры включают резервирование аппаратных и программных средств (Ы-вариантные программные структуры) и имеют блок анализа сбоев, который обнаруживает и устраняет ошибки. Этот подход к обеспечению отказоустойчивости мультиверсионных систем управления и рассматривается в работе далее.

М-вариантные программные структуры реализуют программную избыточность мультиверсионных систем управления и, в первую очередь, используются для контроля и обеспечения достоверности наиболее важных результатов обработки информации. Это заключается в применении в КП нескольких вариантов программ, различающихся методами решения некоторой задачи или программной реализации одного и того же метода. Следует отметить, что программная избыточность необходима также и для реализации программ контроля и оперативного восстановления данных с использованием информационной избыточности и для функционирования всех средств защиты, использующих временную избыточность.

Во втором разделе предлагаются модели оценки надежности модульных структур >)-вариантных программных систем, позволяющие алгоритмизировать оптимизационные процедуры, учитывающие фактор № вариантности критического по отказоустойчивости программного обеспечения (ПО). Рассматриваются четыре типа базовых моделей оптимизации надежности программных систем (включая Ы-вариантные структуры) при ограничениях на использование доступных стоимостных ресурсов. Модели позволяют найти оптимальную структуру системы ПО с учетом базисной информации относительно надежностных и стоимостных оценок версий модулей. Модели применимы в ситуациях как одно-, так и многофункционального ПО и направлены на максимизацию надежностного критерия с учетом стоимостных ограничений.

Благодаря применению Ы-вариантного подхода к проектированию ПО (вводя избыточность версий программных модулей) достигается \л\ чтение качества программ. При этом программной системе

позволительно допускать ошибки, сгенерированные еще во время проектирования и разработки ПО. Однако, как указывалось ранее, улучшение характеристик надежности ПО с использованием избыточности требует дополнительных ресурсов, что очевидно. Поэтому основной вопрос, встающий перед исследователем на этом этапе, заключается в том, каким образом, используя избыточность в структуре ПО, максимизировать надежность, не превышая ограничений по стоимостному фактору.

Развитие современных технологии проектирования ПО и огромная стоимость современного программного обеспечения сделали использование модулей COTS-сопровождения (commercial off-the-shelf) реальностью и даже необходимостью. Боэм Б.У. предлагает использовать компоненты COTS-сопровождения ПО всякий раз, когда это возможно, в качестве соответствующей комплексной модели оценки на этапе проектирования программного обеспечения (КОМОСТ), при необходимости детализируя описание (например, промежуточная, детальная COTS и т.д.). В 1995 году Боэм ввел более совершенную модель СОСОМО II, ориентированную на применение в программной инженерии XXI века. В состав СОСОМО II входят:

- модель композиции приложения;

- модель раннего этапа проектирования;

- модель этапа постархитектуры.

Для описания моделей СОСОМО II требуется информация о размере программного продукта. Возможно использование ¿ОС-оценок, объектных указателей, функциональных указателей. Как правило, в более развитых моделях дополнительно учитывается множество масштабных факторов, формирователей затрат, процедур поправок.

Концепция COTS-сопровождения N-вариантного программирования обеспечивает доступность математических моделей для оценки надежности версий модулей, что позволяет иметь информацию относительно как надежности ПО, так и его стоимости. Кроме того, следует отметить, что одно из главных преимуществ N-вариантного ПО — это независимость отказа избыточных версий модулей, так как модули разрабатываются полностью независимыми программистами (или группами программистов) с использованием различных инструментальных средств и, как правило, в различных операционных средах.

На основе концепции COTS-сопровождения N-вариантного программирования предлагается модель этапа постархитектуры для оценки стоимости N-вариантного ПО, которая используется в период, когда уже сформирована архитектура системы, и выполняется дальнейшая разработка N-вариантных структур программного продукта. Основное уравнение постархитектурной модели является развитием уравнения модели СОСОМО II и имеет следующий вид:

ЗАТРАТЫ = А х К„Й х РАЗМЕР " х M р + ЗАТРАТЫ „„,„ [чел. - мес }

где:

- коэффициент Kreq учитывает изменения в требованиях при формировании V-спецификаций на N-вариантные компоненты ПО;

- показатель В отражает нелинейную зависимость затрат от размера проекта (размер выражается в KLOC), вычисляется так же, как и в предыдущих моделях СОСОМО;

- в размере проекта различают две составляющие — новый код и N-вариантный (повторно и многократно используемый код);

- множитель поправки Мр зависит от 17 факторов затрат, характеризующих продукт, аппаратуру, персонал и проект.

Изменчивость требований при формировании N-вариантных компонент программных систем приводит к повторной работе, требуемой для учета предлагаемых изменений. Оценка их влияния выполняется по формуле

Kreq = L + (BRAK/m), где В НА К — процент кода, отброшенного (модифицированного) из-за изменения требований.

Размер проекта и продукта определяют по выражению

РАЗМЕР = РАЗ МЕРNEW + РАЗМЕР reuse [KLOC],

где: РАЗМЕРпп — размер нового (создаваемого) программного кода; PA3\fEPreuse — размер повторно используемого программного кода N-вариантных компонент ПО.

Формула для расчета размера повторно используемого кода записывается следующим образом:

вл-гиго гле, гг ~ АТ ч ЛА + SU + 0,4 РА/ + 0,3 СМ + 0,3 Ш

РАЗМЕР „„, = KASLOC х (-) х ■ -

100 100 где K.4SLOC - количество строк повторно используемого кода, который должен быть модифицирован (в тысячах строк); АТ- процент автоматически генерируемого кода; DM — процент модифицируемых проектных моделей; СМ - процент модифицируемого программного кода; IM - процент затрат на интеграцию N-вариантных структур ПО, требуемых для подключения многократно/повторно используемого ПО; SU - фактор, основанный на стоимости понимания добавляемого ПО, изменяется от 50 (для сложного неструктурированного кода) до 10 (для хорошо написанного объектно-ориентированного кода).

Фактор АА отражает стоимость решения о том, может ли ПО быть повторно используемым в N-вариантных программных структурах мультиверсионной системы. Он зависит от размера требуемого тестирования и поддержки N-вариантного исполнения (величина изменяется от 0 до 8). Правила выбора этих параметров приведены в руководстве по СОСОМО II.

Для определения множителя поправки Мр основного уравнения используют 17 факторов затрат, которые могут быть разбиты на 4 категории: факторы продукта; факторы платформы исполнения (виртуальной машины); факторы персонала; факторы проекта. Для каждого фактора определяется оценка

(по 6-балльной шкале). На основе оценки для каждого фактора по таблице Боэма определяется множитель затрат ЕМ) {¡=\,...,\Т). Перемножение всех ] множителей затрат дает множитель поправки постархитеюурной модели.

Значение Мр отражает реальные условия выполнения программного проекта и позволяет троекратно увеличить (уменьшить) начальную оценку затрат. Трудоемкость работы с факторами затрат минимизируется за счет использования специальных таблиц. От оценки затрат легко перейти к стоимости проекта, а после определения затрат и стоимости можно оценить длительность разработки Ы-вариантной структуры. Модель СОСОМО II содержит уравнение для оценки календарного времени ТБЕУ, требуемого для выполнения проекта. Для моделей всех уровней справедпиво:

Длительнос ть(ТОЕУ ) = [з,0х (ЗАТРАТЫ ]х ЭСЕВРегсеп ^

ши

где В - ранее рассчитанный показатель степени, SCEDpercentage - процент увеличения (уменьшения) номинального графика.

Далее в работе рассматривается четыре модели, каждая из которых применима к различным структурам Ы-вариантных (или мультиверсионных) систем (от очень простой структуры к более сложной). Многообразие моделей дает проектировщику гибкость в выборе соответствующей модели для проектируемой системы. Рассматривается структура моделей и представлена постановка задачи и методы решения для каждой из них с учетом следующих условных обозначений:

К - число функций Ы-вариантной программной системы, которые необходимо выполнить;

п - число модулей Ы-вариантной программной системы; - частота, использования Л-й функции ПО, к = 1,2,...,К;

т, - число версий, /-го модуля, / = 1, ...,п;

Лу~ оценка надежностиу-й версии /-го модуля;

Ху - булева переменная, равная 1, если у-я версия выбрана для /-го модуля, иначе - 0;

Л/ - оценка надежности /-го модуля;

Л - оценка надежности Ы-вариантной программной системы;

Су ~ стоимость разработки и сопровождения у'-й версии /-го модуля;

В - ограничение по стоимости создаваемой И-вариантной программной системы.

Как и ранее, имеют силу основные предположения методологии Ы-вариантного проектирования ПО, касающиеся, во-первых, использования методов модульного программирования; во-вторых, независимости разработки версий модулей и осуществимости оценки их надежности и стоимости с использованием модулей СОТв-сопровождения (эти модули производятся и тестируются независимо, поэтому их надежность может бьгть оценена с помощью любой из доступных моделей, а их фактическая стоимость — это стоимость закупки и сопровождения); в-третьих, имеется ограничение на стоимость Ы-вариантной программной системы (Ы-ВПС).

Обобщающей моделью является модель В-2, формирующая оптимальный состав модулей многофункциональной (^-функций) Ы-вариантной программной системы с введением избыточности. Ввиду того, что избыточность в структуре разрешена, возможен выбор более чем одной версии для каждого модуля программной системы. Задача сформулирована следующим образом:

шах Л = £ ^П *„

1 lmS^

при офаничениях

%ХЦ>\, / = 1,..., и; £ ¿' Х„С1у < В;

. = 1 у=1

Ху = 0,1 У = 1.....ть /=1.....п,

О"*,)'*.

Надежность /'-го модуля определяется как вероятность того, что, по крайней мере, одна из т, версий выполняется правильно, а совокупность ограничений гарантирует, что для каждого /-го модуля выбрана, по крайней мере, одна версия.

Постановки задач для Ы-вариантных структур, обладающих избыточностью, соответствуют постановкам задач нелинейного целочисленного программирования. Для представленных в работе моделей, продемонстрирована применимость алгоритма ветвей и границ при решении задач.

Из-за наличия ограничений и, так как мы имеем дело с К > 1 функциями системы ПО, ни один из методов, предложенных ранее, не может быть «напрямую» использован для решения задачи В-2. Кроме того, целевая функция - нелинейная, поэтому в работе предложен метод линеаризации и представлены численные примеры решения задачи оптимизации состава версий модульных Ы-вариантных программных структур. Следует отметить, что необходимость контроля корректного выполнения функции системы требует дополнительного использования компонентов СОТБ-сопровождения. Однако в настоящее время это является неотъемлемой частью создаваемых высоко надежных программных систем, а для Ы-вариантных программных систем, кроме того, гарантируется статистическая независимость различных версий модулей ПО.

В третьем разделе представлен подход, позволяющий включить качественную информацию в процесс формальной оптимизации при

12

решении задач многоатрибутивного выбора. Предлагаемый подход использует уже существующие оптимизационные методы решения задач выбора, где качественная информация, часто только формально, представлена количественно. Введение многоатрибутивности в постановку задачи основано на концепции, связанной с фактором корректировки трудозатрат на программный проект (Effort adjustment factor, EAF). Данная концепция заключается в том, что указанный фактор EAF создает эффект увеличения/уменьшения трудозатрат, а следовательно, затрат, в зависимости от набора факторов среды (т.е. концепция поддерживает многоатрибутивность при оценке свойств проекта системы).

Факторы среды иногда называют факторами корректировки затрат [С, s], либо драйверами затрат. Определение этого фактора-множителя происходит в два этапа. На 1-м этапе драйверам затрат назначают числовые значения, а на 2-м этапе происходит перемножение драйверов затрат, в результате чего генерируется фактор корректировки трудозатрат С.

Таким образом, некоторые из атрибутов программного продукта, которые могут изменять величину затрат проекта, могут применяться наравне с самим продуктом или выполняться в ходе соответствующей работы. Перечислены атрибуты, входящие в модель СОСОМО, и существенно влияющие на формирование модульных структур N-вариантных программных систем.

Драйверы затрат, таким образом, являются многоатрибутивными по своей сути, выбираются в соответствии с их общей значимостью для всех программных проектов, включая N-вариантные структуры ПО, причем они являются независимыми от размера проекта. Каждый драйвер затрат определяет умножающий фактор, который позволяет оценить эффект действия атрибута на величину трудозатрат.

Следуя идеологии Б.У. Боэма при реализации модели СОСОМО, мы вынуждены многоатрибутивные оценки драйверов затрат формировать в числовом виде по качественным показателям, отражающим такие понятия, как «очень низкий», «низкий», «номинальный», «высокий», «очень высокий» и т.д. Методика промежуточной СОСОМО демонстрирует, каким образом каждый из перечисленных выше атрибутов (в числовом выражении) определяется для фиксированного количества приложений программной системы. Немаловажным является логическое обоснование присваиваемых атрибутам значений.

Для N-вариантной модульной структуры программной системы предлагается разбиение на специфические продукты и компоненты этих продуктов. Согласно Б.У. Боэму, подобное разбиение называется трехуровневой иерархией продуктов: система, подсистема, модуль Верхний уровень (уровень системы) используется для применения самых обших отношений, связанных с проектом N-вариантной системы, таких как номинальные трудозатраты и уравнения графика, а также для применения номинальных трудозатрат на уровне проекта и пофазной разбивке графика

Предлагается описывать самый нижний уровень, уровень модуля, с помощью показателя КЬОС в модуле и драйверов затрат, которые могут варьироваться на этом уровне. При этом второй уровень, уровень подсистемы, описывается с помощью оставшихся драйверов затрат и может отличаться в различных подсистемах. Однако этот уровень не будет изменяться в различных модулях, входящих в состав одной подсистемы.

В этом разделе представлен подход к решению задачи выбора варианта модульных структур Ы-вариантных программных систем, где некоторая часть или вся доступная информация может быть как качественной, так и не полной. Сначала рассматривается метод многоатрибутивного принятия решений, который вовлекает только качественную информацию. То есть, по атрибутам альтернатив доступна информация только качественного типа, исходя из которой, данной альтернативе отдается предпочтение, или она отвергается. Используя только качественные данные, постановка задачи может быть представлена, как модифицированная формулировка задачи 0-1 целочисленного программирования, использующая понятие переменных отклонения из целевого программирования.

Далее данный метод модифицируется, чтобы включить в постановку и количественные данные, используя численно измеряемые характеристики атрибутов. Второй подход назван «смешанным качественным программированием», согласно которому задача формулируется, как смешанная задача 0-1 целочисленного программирования, в комбинации с элементами целевого программирования.

Данный подход позволяет использовать традиционные методы оптимизации при решении задач выбора, при этом качественная информация также может использоваться в процессе формального решения. Хотя изначально этот метод разработан для решения задачи выбора варианта модульных структур И-вариантных программных систем, тем не менее, этот метод может использоваться и в других задачах выбора.

Рассмотрим постановку задачи выбора, в которой доступны п вариантов построения модульных структур Ы-вариантных программных систем или п альтернатив: У,, У2,..., Уп. Лицо, принимающее решение, (ЛПР) может выбрать одну или несколько альтернатив, исходя из оценки т атрибутов, где У, обладает атрибутами X,/, Х,2,..., Х,т. Информация по атрибутам альтернатив представлена в качественной форме. То есть, основываясь на данном атрибуте, ЛПР может предпочесть одну альтернативу другим. После сравнения по другому атрибуту порядок предпочтения может измениться. Однако ЛПР не имеет количественной информации по атрибутам, а качественная информация, которой он обладает, может бьггь неполной, и тогда не все альтернативы будут сравнимы по всем атрибутам.

Качественная информация по атрибутам может быть сформулирована в следующем виде:

Х,!?' Х^, Х1к> Х]к, Х,и= Х1к, (3.1)

где, исходя из значения атрибута к, альтернатива / может быть соответственно сильно, слабо или равно предпочитаемой, по отношению к альтернативе _/. Кроме того, альтернативе может не хватать одного или более желаемого атрибута. Такой случай можно сформулировать как:

Ха=0.

Даже если атрибуты альтернативы, в основном, имеют количественные данные, для ЛПР важно, выбрана данная альтернатива или нет. Если /'-я альтернатива выбрана, то У) приобретает значение 1, в противном случае - 0. Можно интерпретировать выбор /-й альтернативы, как предпочтение каждого из ее атрибутов атрибутам конкурентов. Такая интерпретация позволяет нам установить Х,ь (к=1, 2, ...,т), равным 1 для выбранных альтернатив и 0 для невыбранных.

Тогда (3.1) можно записать как:

ХигХл+Ра'-Ра^О, к=1, 2,...,т.

Если Хл предпочтительнее, чем Х}к, то тогда ЛПР может пожелать максимизировать Ра* и минимизировать Ра~ (или максимизировать -/у). Преобразование истинно, если предпочтения Хл и Х1к меняются.

Однако различные атрибуты альтернатив имеют разную важность. Степень важности атрибутов может быть отображена в виде относительных весов (или относительных приоритетов); которые ЛПР (или эксперт-консультант) назначает атрибутам.

Таким образом, можно решить эту задачу выбора методом «качественного программирования»:

а а а

при ограничениях

Х,гХ#+Ра~-Ра*=0 для всех сравниваемых атрибутов и а=1, 2,... (3.3)

т

тУ-(^ Х1к)= 0 для всех /', (3.4)

к=\ т

X Г'=С> (3-5)

к'\

Х,г-Ьа=0, (3.6)

для всех отсутствующих г атрибутов альтернативы /', всех / альтернатив с отсутствующими атрибутами и а=1, 2,...

Ра++Р^< 1 для всех а=1, 2,...

Х,ь У„ Ра+, Ра' и Ьа равны 0 или 1, для всех и к на, где Р и Р' имеют противоположные знаки в надстрочных индексах.

В формулах (3.2)-(3.6), когда Х,к предпочтительнее, чем Х]к, то Ра*, имеющая постоянный тип (3.3), входит в целевую функцию с положительным знаком и своим коэффициентом -и>а, и Ра~ с отрицательным знаком и коэффициентом у/'а. И наоборот,

ссли менее предпочтительнее,

чем XJt, то тогда Ра~ входит в целевую функцию с положительным знаком, и Ра+ - с отрицательным. В случае равенства предпочтений ни одна, ни другая переменная не входит в целевую функцию.

Хотя wa и w 'а равны в большинстве случаев, возможно также назначение и различных весов. Такое назначение может бьггь полезным, когда все альтернативы сравниваются с базовой. Положительное предпочтение над базовой (или контрольной) альтернативой может иметь вес, отличный от веса отрицательного предпочтения. Например, если решение выбора касается замены одной из версии модуля N-вариантного программного продукта, который уже используется, то атрибуты этой версии могут служить контрольной (или базовой) точкой. Для того чтобы данная альтернатива была, по крайней мере, равно предпочитаема базовой по данному атрибуту, отказ версии модуля может получить больший вес.

Значение С в ограничении (3.5) представляет собой количество (или портфель) альтернатив, которые нужно выбрать из и доступных вариантов. Следовательно, С - целое число, большее или равное единице. Решая задачу несколько раз, изменяя значение С от / до 2, 3,..., т-1 можно найти неявный ранговый порядок т альтернатив.

Формулы (3.2)-(3.6) приводят к нулю или одному значению для предпочтения переменных отклонения (L,P~ и Р+), которое дает возможность решить задачу методами 0-1 целочисленного программирования. Однако, модификация формул (3.2)-(3.6) в дальнейшем предоставляет возможность объединения качественной и количественной информации, что может привести к нецелому значению предпочтения переменных отклонения, и, следовательно, к смешанному целочисленному программированию, как методу решения.

Другая отличительная черта этого подхода - это его гибкость к объему информации. Т.е. нет необходимости в полном наборе данных перед началом решения задачи. Более того, можно попытаться измерить возможное влияние новой информации, предшествующей любым инвестициям на ее приобретение, выполняя анализ чувствительности и оптимальности после изменений.

Этот раздел описывает также потенциальные области применения «качественного» и «смешанного качественного» программирования, фокусируя внимание на выборе варианта модульных структур N-вариантных программных систем (см.табл. 3.1).

В выборе участвуют N-вариантные программные системы, построенные по четырем различным моделям, приведенным в предыдущей главе. В данном случае особое внимание при выборе варианта программной системы уделяется базам данных (атрибуты из категории драйверов затрат DATA), с которыми непосредственно связаны модели.

Табл. 3.1

Информация по четырем вариантам формирования Ы-вариантных программных _систем и используемых ими базам данных

Атрибут Модель А-1 Модель А-2 Модель В-1 Модель В-2

Цена 650$ 495$ 495$ 496$

Операционная система DOS (PC&MS) СРМ/М(80,86) МР/М80 IBM (РС&ХТ) СР/М86 СР/М80 DOS (PC&MS) СР/М80 DOS (PC&MS) CP/M

Максимальная длина строш 127 254 1530 78

Макс, число попей в записи 127 32 400 16 :

Макс, число записей в файле 65,535 65,535 Неограниченно 32,767

Макс, число одновременно открытых файлов 1 2 40 16

Поддержка файлов других форматов ASCII ASCII ASCII, SYLK, 1-2-3, DIF ASCII, DIF, (только экспорт)

Эта задача была сформулирована в виде задачи «качественного программирования» со следующими относительными весами переменных отклонения в целевой функции:

и>¡=2; м/2=0.5; И'¡=0.5; м>5=4; м>6=4; м>7=0.5.

Штрафные коэффициенты (м»'в) те же, что и (и»а), но со знаком

минус.

Используя многоатрибутивный метод принятия решений, исходя из качественной и количественной информации, найдено оптимальное решение. Если решение при выборе состава Ы-вариантной программной системы основывается на критерии, указанном выше, то лучший выбор - модель В-1. Распределение альтернатив таково:

модель В-1 > модель В-2 > модель А-2 > модель А-1.

Вышеуказанные результаты обусловлены предпочтениями, представленными в работе (там же даны и относительные веса переменных отклонения предпочтения для целевой функции). Относительные веса особенно важны при распределении предпочтения в модели В-2. Если относительный вес 6-го атрибута (максимальное число одновременно открытых файлов) был бы меньше, чем 4 (м>6=4), то позиция «модель В-2» резко поменялась бы.

Предложена модификация метода, цель которой - включить оба типа данных (как количественные, так и качественные) в процесс оптимизации, что представляется весьма значимым при создании инструментальных средств и систем поддержки принятия решения (СППР). Такие средства способны будут работать с любым типом доступной информации, что существенно облегчит выбор и принятие решения для ЛПР. Данный подход

хорошо зарекомендовал себя при решении задач выбора при формировании состава М-вариантной программной системы.

Специфика Ы-вариантного программирования и насущные требования к уменьшению стоимости на разработку проектов Ы-вариантных программных систем (Ы-ВПС) привели к необходимости учета дополнительных знаний о распределении затрат и выгод между проектами.

Четвертый раздел посвящен программной реализации разработанных моделей и алгоритмов, а также решению практических задач формирования Ы-вариантных программных структур (Ы-ВПС) для взаимосвязанных проектов мультиверсионных систем управления, т.е. систем, разделяющих общие ресурсы. В работе представлена модель, которая рассматривает взаимосвязанные проекты Ы-ВПС, что обеспечивается одновременным применением некоторого набора версий модулей в различных программных структурах систем. Исследование представленной модели осуществляется с целью ее применения на этапе Ы-вариантного формирования гарантоспособных программных архитектур телекоммуникационных систем реального времени.

Ряд ранее предлагаемых многокритериальных моделей игнорирует один из важных аспектов разработки Ы-вариантного ПО, который связан с распределение ресурсов аппаратного и программного обеспечения между двумя и более проектами Ы-ВПС (за счет совместного использования версий модулей). Однако методология Ы-вариантного проектирования подразумевает, что несколько Ы-ВПС могут разделять ресурсы как аппаратного, так и программного обеспечения. Таким образом, эта особенность позволяет применять Ы-вариантные компоненты в нескольких приложениях Ы-ВПС.

Зависимости ресурсов возникают из-за разделения аппаратных и программных средств между различными проектами Ы-ВПС таким образом, что выполнение двух или более взаимосвязанных проектов будет требовать меньше ресурсов, чем, если бы каждый проект выполнялся отдельно. Например, если программный код, разработанный для одного проекта, используется во втором проекте, то программные ресурсы, требуемые для второго проекта, уменьшаются. Следует учесть, что при взаимозависимости ресурсов необходимо оптимизировать глубину Ы-вариантности исполнения программных компонент Ы-ВПС, то есть, степень избыточности исполнения гарантоспособных компонент влияет на объем разделяемых аппаратных и программных средств проектов.

Итак, доступны N проектов Ы-ВПС; целью является формирование оптимального, например, по гарантоспособности, подмножества из этих N проектов, удовлетворяющих системным ограничениям. Атрибуты модели включают: общую выгоду, получаемую от выбранного портфеля проектов; общий риск от портфеля проектов; прочие расходы, связанные с разработкой проекта, помимо расходов на аппаратное и программное обеспечение.

Обозначим переменные модели какх,, /=0,..., Л^, которые связаны с N проектами >)-ВПС, доступными для выбора. Определим, что х,=\, если выбран ¡-й проект Ы-ВПС, и х, =0 иначе. Тогда для атрибута цели, связанного с общей выгодой, можно записать

N V-1 N N-2 N

(=1 /=1 ^¡+1 Ы\ У=(+1*=у+1

где Ь, > 0 выгода, полученная от выполнения г-го проекта Ы-ВПС, 0 дополнительная выгода, полученная от выполнения г-го и ^'-го проектов вместе, Ъ^0 выгода, полученная от выполнения /-го, ^-го и к-го проектов вместе. Другими словами, выгода Ьц превосходит индивидуальные выгоды Ъ, и Ьг Аналогично, выгода Ьик превосходит индивидуальные выгоды Ь„ ^ и равно как и выгоды Ь,р Ь,к и Ь^. Аналогично проводится формализация по остальным атрибутам модели, и результирующая постановка сводится к задаче нелинейного 0-1 целевого программирования.

В работе рассматривается формирование проектов мультиверсионных систем, построенных на основе различных моделей Ы-вариантных программных структур. Несмотря на то, что данные проекты отличаются внутренней организацией Ы-вариантности, при функционировании они разделяют общие аппаратные и программные ресурсы. Из четырнадцати предложенных проектов необходимо выбрать несколько, учитывая ограничения на бюджет. Оценка стоимости и другой, связанной с проектами информации, осуществляется с использованием Езйп^е/!.

Табл. 4.1

Цель выгоды Достигнутая выгода Цель стоимости Достигнута« стоимость Минимальный риск Выбранные проекты

60,643* 60,643 13,250 13,250 15 I,5,7,8,9,10, II,12,13,14

56,600 58,000 13Д50 13,250 8 1,11,12,13,14

51,600 53,000 12,200 12,200 10 1,5,11,14

51,600 51,600 13,250 12,500 7** 1,11,12,14

46,600 47,086 10,950 10,950 10 1,5,11,13

46,600 50,400 13,250 12,200 7 1,11,14

41,600 42,400 10,200 10,200 7 1,11

41,600 42,400 13,250 10,200 7 1.11

3600 4200 0*** 0 8 1,5

3600 4200 10,000 0 8 1,5

3600 42,400 10,200 10,200 7 1,11

3600 42,400 13,250 10,200 7 1,11

* - Наивысшая выгода из всех доступных.

** - Самый низкий риск для ненулевого решения из доступных.

*** - Самая низкая стоимость для ненулевого решения из доступных.

Взаимозависимости относительно аппаратного обеспечения существовали между семью группами проектов, зависимости относительно программного обеспечения - между пятью. Зависимости выгод были выявлены между двумя группами проектов. Первая группа состояла из двух проектов, вторая группа- из трех. В обоих случаях, выгода оценивалась, как экономия финансов, которая могла быть достигнута при выборе определенного набора проектов. При N=14 с учетом зависимостей до 3-го порядка, конечная линеаризованная модель имеет 19 переменных (6 в результате линеаризации) и 23 линейных (системных) ограничения (12 в результате линеаризации). Задача была решена с использованием различного порядка приоритетов по атрибутам модели. В таблице 4.1. представлен результат оптимального выбора набора проектов с учетом целей выгоды и стоимости (в ущерб атрибуту риска).

Аналогичным образом проводится анализ моделей по всем атрибутам с учетом различного порядка приоритетов.

Методические и алгоритмические средства многоатрибутивного формирования Ы-вариантных программных структур мультиверсионных систем управления реализованы в виде системы компьютерной поддержки, автоматизирующей этапы анализа и синтеза (выбора состава) критичных по надежности структур сложных систем управления и обработки информации различных классов.

В заключении диссертации приведены основные результаты, полученные в ходе выполнения работы, и сформулированы основные выводы.

Основные результаты и выводы

1. Проведена формализация задач формирования Ы-вариантных программных структур критичных по надежности мультиверсионных систем управления, обеспечивающая учет многофункциональности программных модулей системы. Выполнена линеаризация разработанных оптимизационных моделей и их решение с применением алгоритма схемы метода ветвей и границ.

2. Разработаны модели и алгоритмы многоатрибутивного формирования 1Ч-вариантных программных структур мультиверсионных систем управления, которые позволили включить качественную информацию в процесс решения задач многоатрибутивного выбора варианта модульной структ) ры ПО, а также учесть взаимозависимости проектов мультиверсионных систем управления, разделяющих общие ресурсы.

3. Выполнена модификация основного уравнения постархитектурной модели Б.У. Боэма СОСОМО II, что позволило оценить стоимость М-вариантного программного обеспечения мультиверсионных систем.

4. Разработана структура системы компьютерной поддержки многоатрибутивного формирования Ы-вариантных программных структур

для взаимосвязанных проектов мультиверсионных систем управпения, включая компоненты баз данных.

Таким образом, в диссертации разработан формальный аппарат многоатрибутивных методов формирования N-вариантных программных структур мультиверсионных информационно-управляющих систем, реализованный в виде интерактивной системы компьютерной поддержки с использованием современных программно-информационных сред и подходов, что имеет существенное значение для теории и практики системного анализа, методов выбора и принятия решений.

Основные положения и результаты диссертации опубликованы в следующих работах:

1. Ежеманская, С.Н. Многоатрибутивный анализ процесса разработки N-вариантного программного обеспечения/ С.Н. Ежеманская// Вестник университетского комплекса: Сб. науч. трудов/ Под общей ред. профессора Н.В. Василенко.- Вып. 3(17).- Красноярск: ВСФ РГУИТП, НИИ СУВПТ, 2005. - С. 36-38.

2. Ежеманская, С.Н. Надежность модульных структур N-вариантных программных систем/ С.Н. Ежеманская// Вестник университетского комплекса: Сб. науч. трудов/ Под общей ред. профессора Н.В. Василенко.-Вып. 4(18).- Красноярск: ВСФ РГУИТП, НИИ СУВПТ, 2005. - С. 169-174.

3. Ежеманская, . С.Н. Анализ драйверов затрат при многоатрибутивном выборе N-вариантных программных структур/ С.Н. Ежеманская, М.Ю. Слободин// Вестник университетского комплекса: Сб. науч. трудов/ Под общей ред. профессора Н.В. Василенко.- Вып. 4(18).-Красноярск: ВСФ РГУИТП, НИИ СУВПТ, 2005. - С. 175-181.

4. Ежеманская, С.Н. Поддержка принятия информационных решений в системах управления/ М.И. Андрушко, С.Н. Ежеманская, Л.Н. Корпачева// Перспективные материалы, технологии, конструкции, экономика: Сб научн. тр. по материалам Всероссийской научно-технической конференции. Вып. 10. - Красноярск: ГУЦМиЗ, 2004,- С. 211-213.

5. Ежеманская, С.Н. Системы управления знаниями для поддержки принятия информационных решений/ М.И. Андрушко, H.H. Джиоева, С.Н. Ежеманская, A.B. Федорова// Перспективные материалы, технологии, конструкции, экономика: Сб научн. тр. по материалам Всероссийской научно-технической конференции. Вып. 9, часть 2. - Красноярск: КГАЦМиЗ, 2003.-С. 124-126.

6. Ежеманская, С.Н. Информационные технологии комплексной автоматизации/ М.И. Андрушко, С.Н. Ежеманская, Л.Н. Корпачева// Перспективные материалы, технологии, конструкции, экономика: Сб. научн. тр. по материалам Всероссийской научно-технической конференции. Вып. 8 - Красноярск: КГАЦМиЗ, 2002,- С. 58-61.

7. Ежеманская, С.Н. Управление качеством программных систем на основе новых информационных технологий/ H.H. Джиоева, С.Н.

21

Ежеманская, JI.H. Корпачева// Перспективные материалы, технологии, конструкции, экономика: Сб. научн. тр. по материалам Всероссийской научно-технической конференции. Вып. 8. - Красноярск: КГАЦМиЗ, 2002.-

С.181-182.

8. Ежеманская, С.Н. Технологии разработки программного обеспечения для автоматизированных систем управления/ Г.И. Васина, С.Н. Ежеманская, J1.H. Корпачева// Перспективные материалы, технологии, конструкции, экономика: Сб. научн. тр. по материалам Всероссийской научно-технической конференции. Вып. 6. - Красноярск: КГАЦМиЗ, 2000,-С.104-106.

9 Ezhemanskaja, S.N. System Aspects of Multiversion Technology Organization and Usage/ S.N. Ezhemanskaja, I.V. Kovalev, T.A. Kovaleva, M.V. К a ras % ova'/ Proceedings of the International AMSE-Conference «Modeling and Simulation - MS'2004», Lyon-Villeurbanne, France (5-7 July 2004), University of L>on, 2004,- Pp. 14.13- 14.16.

10. Ezhemanskaja, S.N. Optimization models of modular structures formation ofN-variant systems/ S.N. Ezhemanskaja, N.V. Vasilenko//Proceedings of the International Scientific Conference «Information Technologies and Telecommunications in Education and Science - IT&T ES'2005», 15-22 May, 2005 - Turkey/ edited by A.N. Tikhonov (chair); SIIT&T Informika - Moscow: VIZCOM, 2005,- Pp. 165-168.

Разработки, зарегистрированные в Отраслевом фонде алгоритмов и программ:

11. Ежеманская С.Н., Ковалев И.В., Царев Р.Ю., Слободин М.Ю. Система многоатрибутивного формирования мультиверсионных программных средств.- М.: ВНТИЦ, 2004,- № 50200400275.

12. Ежеманская С.Н., Ковалев И.В., Царев Р.Ю., Семенько Т.И. Система поддержки принятия решений при создании мультиверсионной структ\ ры программного обеспечения.- М.: ВНТИЦ, 2004,- № 50200401373.

13. Ежеманская С.Н., Гаврилов Е.С., Ковалев И.В., Русаков М.А. Надежностная оценка информационных технологий при комплексной автоматизации управления предприятием,- М.: ВНТИЦ, 2005.- № 50200500391.

Формат 60x84 1/16. Объем 1 п.л. Подписано в печать 21.09.2005 г. Отпечатано на ризографе НИИ СУВПТ. 660028, г. Красноярск, ул. Баумана, 20 В. Заказ № 502. Тираж 100 экз.

РНБ Русский фонд

2006-4 15189

Введение

1. Проблемы формирования N-вариантных программных структур мультиверсионных систем управления

1.1. Сложность программных структур мультиверсионных систем управления

1.2. Надежностные характеристики программных структур систем управления;

1.2.1. Надежностная характеристика программного модуля

1.2.2. Обеспечение надежности программ с помощью введения избыточности

1.3. N-вариантное программирование как методология проектирования мультиверсионных систем управления 32 Выводы

2. Оптимизационные модели формирования N-вариантных программных структур мультиверсионных систем

2.1. Формирование оптимального состава однофункциональной N-вариантной программной структуры

2.2. Формирование оптимального состава однофункциональной N-вариантной программной структуры с избыточностью

2.3. Формирование оптимального состава модулей многофункциональной N-вариантной программной системы

2.4. Формирование оптимального состава многофункциональной N-вариантной программной системы с избыточностью 58 Выводы

3. Многоатрибутивный выбор варианта модульных структур N-вариантных программных систем

3.1. Многоатрибутивный метод принятия решений на основе качественной информации

Л'- 3.2. Проблемы несовместимости качественных данных

3.3. Многоатрибутивный метод принятия решений, исходя из качественной и количественной информации

3.4. Выбор варианта модульных структур N-вариантных

I программных систем

Выводы

4. Многоатрибутивное формирование N-вариантных программных структур взаимосвязанных проектов систем

4.1. Факторы и ограничения при многоатрибутивном выборе

I*1 проектов мультиверсионных систем

4.2. Общая модель многоатрибутивного формирования

I взаимосвязанных проектов

4.3. Формирование взаимосвязанных проектов различных моделей

N-вариантных систем

4.4. Анализ модели формирования проектов N-ВПС с взаимосвязанными ресурсами

4.5. Программные средства формирования N-вариантных программных структур мультиверсионных проектов

4.5.1. Основные сведения

4.5.2. Программная реализация процедур поиска

4.5.3. Элементы графического интерфейса пользователя разработанных пакетов решения задач 115 Выводы 121 Заключение 123 Список использованных источников

Актуальность работы характеризуется тем, что методологиям мультиверсионного проектирования современных, критичных по надежности; систем управления, выполняющих ключевые функции многих технологических, производственных и организационных процессов, включает этап: формирования; N-вариантных программных структур, реализуемых на базе универсальных или специализированных ЭВМ. Сложность подобных процессов наряду с моделями объекта управления определяет и сложность, программных средств системы управления. А от качества функционирования, подобных систем; зависят безопасность человеческих, жизней и экономическая! стабильность, как отдельных предприятий; так и целых регионов.

N-вариантное программирование, реализующее- методологию избыточности; является с одним из наиболее распространенных подходов к: реализации отказоустойчивости программных систем: [1]. В то время, как разработка программного обеспечения имеет характерные особенности, накладывающие ограничения на реализацию программной составляющей критичных по надежности систем управления, методология; мультиверсионного проектирования, как один из подходов к реализации идеи введения избыточных аналогичных элементов в структуру системы программного»обеспечения; на практике доказала- свою эффективность. С использованием; данной методологии были реализованы программные комплексы систем5 управления; летательными; аппаратами, атомными электростанциями и т.п. [2,14,27,31,33-38,73-75,87-89].

В настоящий момент времени на этапе проектирования системы управления немалое значение приобретают время и финансовые средства, затраченные на разработку [94]. Эффективность технологий проектирования программных структур отражается непосредственно на совокупных затратах; на создание комплексов управления объектами. Кроме того, доступность инструментальных, средств автоматизации для разработки; N-вариантных комплексов программного обеспечения определяет длительность создания комплекса программ и общую производительность труда специалистов в коллективе разработчиков.

Формирование избыточного комплекса программ, как один из этапов проектирования мультиверсионной системы управления, во многом определяет общие показатели производительности. Рациональное структурное построение N-вариантных программных комплексов гарантирует достаточно полное использование ресурсов ЭВМ, являющееся залогом качественного решения функциональных задач систем управления. В свою очередь, задачи формирования N-вариантной структуры, которые могут решаться в любых программных средствах, абстрагированы от конкретной управляющей системы, что позволяет рассматривать методы их решения отдельно от целевого назначения системы управления.

Кроме того, технологические особенности проектирования N-вариантных комплексов программного обеспечения, дополняя проблему структурного программного проектирования, выводят ее в разряд общих проблем разработки методов и автоматизированных систем проектирования сложных программных комплексов систем управления. Потенциальная возможность широкого применения таких систем для различных программных средств делает рентабельной их разработку [52].

Поэтому проблеме формирования программных комплексов, проектируемых на основе принципов программной избыточности, в настоящее время уделяется значительное внимание. Проблематика проектирования программных комплексов с использованием методологии N-вариантного программирования рассматривалась в работах А.Авижиениса, Н.Ашрафи, О.Бермана, М.Катлера, Дж.Ву, К.Яо, Р.К.Скотта, Д.МакАллистера, К.Е.Гросспитча, И.В. Ковалева, Р.Ю. Царева, А.А. Попова и многих других. Однако основной трудностью проводимых до сих пор исследований являлось отсутствие формальных теоретических методов, использующих единый терминологический базис. Следует отметить также и относительно невысокую эффективность используемых до настоящего момента времени методов формирования N-вариантных программных структур мультиверсионных систем управления.

Таким образом,. высокая. сложность и практическая«значимость задачи формирования; N-вариантных программных структур для критичных по надежности мультиверсионных систем управления; необходимость в построении единого базиса* для; решения описанной? проблемы наряду с: высокой» практической; и теоретической значимостью формального математического аппарата обусловили выбор темы диссертационного исследования и определили ее актуальность.

Целью диссертационной работы является разработка и обоснование модельного и программно-алгоритмического аппарата для; решения? задач формирования/ N-вариантных программных структур критичных по надежности мультиверсионных систем управления.

Для достижения поставленной цели решались следующие задачи:

- формализация? задач: формирования N-вариантных программных структур критичных по надежности мультиверсионных систем управления ;

- исследование свойств построенных оптимизационных моделей и определение класса оптимизационных задач;

- изучение свойств полученного класса: оптимизационных задач,, обоснование и построение математических методов и алгоритмов i решения полученных задач оптимизации;

- программная реализация и тестирование построенных алгоритмов;

Методы; исследования. Для решения поставленных задач использовался аппарат теории множеств, теории вероятностей; исследования операций, дискретной оптимизации, математического программирования.

Научная новизна работы:

1. Модифицировано основное уравнение постархитектурной модели Б.У. Боэма СОСОМО II, позволяющее оценить стоимость N-вариантного программного обеспечения мультиверсионных систем управления.

2. Выполнена модификация оптимизационных моделей формирования N- вариантных программных структур для многофункциональных мультиверсионных систем управления, проведена их линеаризация и решение с применением алгоритма схемы .метода ветвей и границ.

3. Впервые предложены многоатрибутивные: драйверы затрат, выбираемые в соответствии? с их общей значимостью для совокупности программных проектов, включая N-вариантные программные структуры мультиверсионных систем; причем каждый драйвер затрат определяет умножающий фактор, который позволяет, оценить эффект действия атрибута на величину трудозатрат.

4. Предложен? и реализован; новый подход, позволяющий включить качественную информацию в процесс: решения; задач многоатрибутивного выбора варианта модульных структур N-вариантного ПО мультиверсионных систем управления.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, создают теоретическую основу для разработки многоатрибутивных методов и алгоритмов; направленных на эффективное формирование N-вариантных программных структур: критичных по надежности мультиверсионных систем управления и обработки информации.

Практическая ценность. Разработан5 формальный аппарат, обеспечивающий компьютерную поддержку методов; многоатрибутивного формирования N-вариантных программных: структур для: информационно-управляющих систем, критичных по надежности. Модельное: и программно-алгоритмическое обеспечение средств компьютерной поддержки позволяет в интерактивном режиме специалисту проблемной области эффективно решать задачи многоатрибутивного выбора и принятия решений по составу системных и прикладных компонентов программной структуры мультиверсионных систем управления, структур подсистем обработки и хранения данных с учетом способов: взаимодействия этих компонентов, обеспечивающих гарантоспособность выполнения информационно-алгоритмических задач в системах управления.

Достоверность полученных результатов подтверждается корректным использованием методологии! многоатрибутивного принятия: решений и теоретических методов анализа и синтеза; структур сложных систем; при обосновании полученных результатов, выводов, рекомендаций. и успешной апробацией и демонстрацией; возможностей! разработанной« системы компьютерной поддержки многоатрибутивного формирования N-вариантных программных структур мультиверсионных систем на практике.

Реализация; результатов работы;

Диссертационная; работа; выполнялась, по проектам межотраслевых программа Минобразования? России и Минатома России- по направлению «Научно-инновационное сотрудничество» (проект VII-12), а также в рамках тематического плана НИР ГУЦМиЗ (2001-2004 гг.), финансируемых из средств федерального бюджета.

Материалы диссертационной' работы введены; в учебные курсы и используются; при чтении лекций; для студентов; Государственного университета цветных металлов и золота:

Основные тезисы, выносимые на защиту.

1. Модифицированное уравнение постархитектурной! модели Б.У. Боэма GOCOMO II позволяет оценить стоимость N-вариантного программного обеспечения? мультиверсионных систем у правления t в период, когда уже сформирована архитектура1 системы, и выполняется дальнейшая? разработка N-вариантных структур программного продукта.

2. Использование предложенных в работе многоатрибутивных драйверов затрат для анализа N-вариантных программных структур мультиверсионных систем управления позволяет оценить эффект действия каждого атрибута на величину трудозатрат.

3. Разработанные; модели и алгоритмы многоатрибутивного формирования! N-вариантных программных: структур мультиверсионных систем управления позволяют использовать качественную информацию в процессе решения задач многоатрибутивного выбора варианта модульной структуры ПО, учитывая многофункциональность системы и взаимозависимости- проектов мультиверсионных систем управления, разделяющих общие ресурсы.

4. Предложенный^ формальный? аппарат многоатрибутивного формирования? N-вариантных программных структур мультиверсионных систем управления, реализованный в; виде системы компьютерной? поддержки, применим для автоматизации этапов анализа и синтеза критичных по: надежности структур сложных систем управления и обработки информации различных классов.

Апробация! работы. Основные положения? и результаты работы прошли всестороннюю апробацию на* Всероссийских и международных конференциях, научных семинарах и научно-практических конференциях. В том числе, на Всероссийских научно-технических конференциях «Перспективные материалы, технологии, конструкции, экономика» (Красноярск, 2000-2004), нат Всероссийской научно-технической конференции «Совершенствование методов поиска и разведки, технология1 добычи и переработки руд» (Красноярск, 1996), на Всероссийских научно-технических конференциях «Проблемы подготовки специалистов» в системе непрерывного образования» (Красноярск, 2002-2004), на международной AMSE-конференции «Modeling and Simulation — MS'2004» (Lyon-Villeurbanne, Франция, 2004), на международной» научной; конференции «Information г Technologies - and Telecommunications in Education ; and Science -IT&T ES'2005» (Турция, 2005). Докладывались на научных семинарах кафедры Информационных технологий ГУЦМиЗ (2001-2005 гг.).

По теме диссертации опубликовано 13 работ общим; объемом 3,4 печатных листа, список приводится в конце автореферата.

Основные результаты и выводы

1. Проведена; формализация- задач формирования^ N-вариантных программных структур критичных по надежности мультиверсионных систем управления, обеспечивающая учет многофункциональности программных модулей системы. Выполнена; линеаризация разработанных оптимизационных моделей? и их решение с применением* алгоритма;схемы метода ветвей и границ.

2. Разработаны модели и алгоритмы; многоатрибутивного формирования N-вариантных программных структур мультиверсионных систем управления, которые позволили включить качественную информацию в процесс решения? задач многоатрибутивного выбора варианта модульной структуры. ПО,1, а также учесть взаимозависимости проектов мультиверсионных систем у правления, разделяющих общие ресурсы.

3. Выполнена модификация основного уравнения постархитектурной модели Б.У. Боэма= COCOMOTI, что позволило оценить стоимость N-вариантного программного обеспечения мультиверсионных систем.

4. Разработана структура системы; компьютерной поддержки многоатрибутивного формирования; N-вариантных программных структур для взаимосвязанных проектов: мультиверсионных систем управления; включая компоненты баз данных.

Таким образом; в диссертации разработан формальный аппарат многоатрибутивных методов формирования N-вариантных программных структур мультиверсионных информационно-управляющих систем, реализованный в виде интерактивной; системы компьютерной поддержки с использованием современных программно-информационных сред и подходов, что имеет существенное значение для теории и практики системного анализа, методов выбора и принятия решений.

1. Движение, А.Н; Гарантоспособные вычисления: от идей до реализации в проектах / А;Ш Движение, Ж.-К. Лаири. ТИИЭР, 1986. - Т. 74. -№ 5. - С. 8-21.

2. Богатырев, В.А. К повышению надежности вычислительных систем на основе динамического распределения функций / Изв. вузов. Приборостроение. 1981.

3. Богатырев, В.А. Отказоустойчивые многомашинные вычислительные системы динамического распределения запросов при дублировании, функциональных ресурсов / Изв. вузов. Приборостроение. 1996. № 4.

4. Боэм, Б. Характеристики качества программного обеспечения / Б. Боэм, Дж. Браун, X. Касиар, М. Липов, Г. Мак-Леод, М. Мерит. М.: Мир, 1981.-208 с.

5. Боэм, Б.У. Инженерное проектирование программного обеспечения / Пер. с англ. -М.: Радио и связь, 1985. -512 с.

6. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами на С++. М.: БИНОМ, 1998.- 560 с:

7. Брукшир, Дж. Г. Введение в компьютерные науки. Общий обзор, 6-е издание/Дж.Г. Брукшир.- М.: Издательский дом «Вильяме», 2001.- 688 с.

8. Ю.Волик, Б.Г. Методы анализа и синтеза структур управляющих систем / Под ред. Б.Г.Волика. М.: Энергоатомиздат, 1988. - 296 с.

9. И.Гантер, Р. Методы управления проектированием программного обеспечения / Под ред. Е.К.Масловского. М.: Мир, 1981. - 392 с.

10. Головкин, Б.А. Расчет характеристик и планирование параллельных: вычислительных процессов / М.: Радио и связь, 1983. — 272 с.

11. Гудман, С. Введение в разработку и анализ алгоритмов / G. Гудман, С. Хидетниеми. Пер. с англ. - М.: Мир, 1981. - 366 с.

12. Ежеманская;С.Н., Ковалев?И.В., Царев Р.Ю., Слободин М.Ю. Система многоатрибутивного формирования мультиверсионных программных средств.- М.: ВНТИЦ, 2004.- № 50200400275.

13. Ежеманская С.Н., Ковалев И.В., Царев5 Р.Ю., Семенько Т.Н. Система поддержки принятия' решений при создании мультиверсионной структуры программного обеспечения.- М.: ВНТИЦ, 2004.- № 50200401373:

14. Ежеманская G.Hi,. Гаврилов Е.С., Ковалев И;ВМ Русаков М.А. Надежностная оценка информационных технологий: при комплексной автоматизации: управления предприятием,- М.: ВНТИЦ, 2005.- № 50200500391.

15. Ковалев, И.В. Автоматизация создания программных средств систем управления / В кн.: Микроэлектронные: устройства: проектирование и технология. Красноярск. КПИ, 1990. - С. 79-85.

16. Ковалев, И.В. Многоатрибутивный метод принятия решений с учетом относительной: близости к лучшей альтернативе / И.В. Ковалев, Р.Ю.

17. Царев; Тез. докл. межрегиональной конференции «Математические модели природы и общества» Красноярск: ТЭИ, 2002. - С. 63-66.

18. Ковалев И.В. Многоатрибутивная модель формирования гарантоспособного набора? проектов мультиверсионных; программных систем / И.В. Ковалев, Р.Ю. Царев; Вестник НИИ СУВГ1Т. Вып.7. -Красноярск: НИИ СУВПТ, 2001. - С. 129-137.

19. Ковалев, И.В. Оптимальное проектирование мультиверсионных систем управления / И.В. Ковалев, А.А. Попов, Л.С. Привалов. Доклады НТК с международным участием «Информационные технологии в инновационных проектах» . — Ижевск: ИжГТУ, 2000. - С. 24-29.

20. Ковалев, И.В1 Параллельные процессы в информационно-управляющих системах. Формирование и оптимизация: Монография/ И.В. Ковалев, Р.Ю; Царев, Ю.Г. Шиповалов. Под ред. д.т.н., проф. Л.В. Медведева. - Красноярск: НИИ СУВПТ, 200 V. - 143 с.

21. Ковалев, И;В; Система мультиверсионного формирования; программного; обеспечения; управления; космическими аппаратами: Диссертация на соискание ученой степени; доктора технических нау к / Красноярск: КГТУ, 1997. 228 с.

22. Ковалев, И.В. Надежность архитектуры программного обеспечения телекоммуникационных технологий / И.В. Ковалев, Н.В. Василенко,

23. Р.В.Юнусов; Международная научная конференция Telematica'2001, Санкт-Петербург, 2001- С. 23-24.

24. Ковалев, И.В. Мультиверсионный метод повышения программной надежности информационно-телекоммуникационных технологий в корпоративных структурах / И.В.Ковалев, Р.В. Юнусов; Телекоммуникации и информатизация образования. 2003. №2, С. 50-55.

25. Колчанов, С.Ю. Использование генетических алгоритмов в задачах формирования мультиверсионных программных систем. / Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ.- 2003. Выпуск 1Г.- С. 166-179.

26. Липаев, В.В. Качество программного обеспечения / М.: Финансы и статистика, 1983. 264 с.

27. Липаев, В.В. Технология проектирования комплексов программ АСУ / В.В. Липаев, Л.А. Серебровский. М.: Радио и связь, 1983. - 264 с.

28. Липаев, В.В. Тестирование программ / М.: Радио и связь, 1986. 234 с.

29. Липаев, В.В. Надежность программных средств/ В.В. Липаев.- М.: СИНТЕГ, 1998. 232 с.

30. Майерс, Г. Надежность программного обеспечения: Пер. с англ./ Под ред. В.Ш.Кауфмана. М.: Мир, 1980. - 360 с.

31. Мамиконов, А.Г. Типизация разработки модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба, С.А. Косяченко. М.: Наука, 1989. - 165 с.

32. Мамиконов, А.Г. Синтез оптимальных модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба. М.: Наука, 1986.

33. Орлов, С.А. Технологии разработки программного обеспечения. Разработка сложных программных систем/ С.А. Орлов.- СПб.: Питер, 2002.

34. Поздняков, Д.А. Разработка и исследование среды мультиверсионного исполнения программных модулей. / Д.А. Поздняков, И.С. Титовский, Р.В.Юнусов; Вестник НИИ СУВПТ: Сб. научн. трудов; Красноярск: НИИ СУВПТ.- 2003. Выпуск 13:- С. 155-170.

35. Попов, А.А. Бинарная модель отказоустойчивой системы программного обеспечения: Доклады НТК с международным участием «Информационные технологии в инновационных проектах» / А.А. Попов, А.С. Привалов. Ижевск: ИжГТУ, 2000. - С. 77-83.

36. Раинкшкс, К. Оценка надежности систем с использованием графов / К. Раинкшкс, И.А. Ушаков. М.: Радио и связь, 1988.

37. Саркисян, А.А. Повышение качества программ на основе автоматизированных методов / М.: Радио и связь, 1999. 160 с.

38. Соммервилл, И. Инженерия программного обеспечения, 6-е издание.: Пер. с англ. М.: Издательский дом «Вильяме», 2002. - 624 с.

39. Фокс, Дж. Программное обеспечение и его разработка / Пер. с англ. Под ред. Д.Б.Подшивалова. - М.: Мир, 1985. - 268 с.

40. Фатрелл, Р.Т. Управление программными проектами: достижение оптимального качества при минимуме затрат: Пер. с англ. М.: Издательский дом «Вильяме», 2003.

41. Царев, Р.Ю. Преобразование атрибутов при многоатрибутивном принятии решения / Решетневские чтения. Тез. докл. V Всерос. Научн.-практ. конф. студентов, аспирантов молодых специалистов 12-15 ноября 2001г. Красноярск: САА, 2001. - С.119-120.

42. Юнусов, Р.В. Анализ надежности аппаратно-программного информационно-управляющего комплекса / Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общей ред. профессора Н.В. Василенко; Красноярск: НИИ СУВПТ.2003. Выпуск 11. С. 103-106.

43. Юнусов, Р.В. Оценка надежности программного обеспечения клиент-сервер на примере комплексной системы управления предприятием «Галактика» / Вестник НИИСУВПТ; Красноярск: НИИСУВПТ.-2001 .-Вып.7. С.107-112.

44. Юнусов, Р.В. Оценка надежности и гарантоспособная модель архитектуры программного обеспечения / Вестник НИИСУВПТ; Красноярск: НИИСУВПТ.2001.ВЫП.8. С.194-208.

45. Юнусов, Р.В. Моделирование программных архитектур автоматизированных систем управления / Управляющие и вычислительные системы. Новые технологии: Материалы всероссийской электронной научно-технической конференции. Вологда: ВоГТУ, 2001. С. 60-61.

46. Юнусов, Р.В. Модель формирования гарантоспособной архитектуры программного обеспечения / Решетневские чтения: Тезисы докладов 4

47. Всероссийской Научно-практической конференции студентов, аспирантов и молодых специалистов. Красноярск: САА, 2000. С. 172174.

48. Antamoshkin,, A. System; Analysis, Design and Optimization / A. Antamoshkin, H.P. Schwefel; and others. — Ofset Press, Krasnoyarsk, 1993. -312 p.

49. Ashrafi, N. Optimization Models for Selection of Programs, Considering Cost & Reliability / N. Ashrafi, O: Berman;IEEE Transaction on reliability. Vol.41, No 2, June 1992, P.281-287.

50. Avizienis, A. The N-Version approach to fault-tolerant software / IEEE Trans, on Software Engineering. Vol. SE11, № 12, December, 1985. - P. 1491-1501.

51. Berman, O. Choosing an Optimal Set of Libraries / O. Berman, M. Cutler.; IEEE Transaction on reliability. Vol. 45, No 2, June 1996, P;303-307.

52. Bogomolov, S. Fault Tolerance Software Library Support of Real-Time Embedded Systems / S. Bogomolov, A. Bondarenko, A. Fyodarov; Third European Dependable Computing Conference,EDCC-3, Prague, Czech; Republic , September 15-17, 2001.

53. Cherif, A. Improving the Efficiency of Replication for Highly Reliable Systems/ A. Cherif, M. Toyoshima, T. Katayama; FastAbstract ISSRE Copyright 2003.

54. Choi, J.G. Reliability Estimation of nuclear digital I&C systems using Software Functional Block Diagram and control flow / J.G. Choi, H.G.Kang; FastAbstract ISSRE Copyright 2000.

55. David, Ph. Development of a fault tolerant computer system for the Hermes Space Shuttle / Ph. David, C. Guidal. IEEE Trans., 2003. - P. 641-648.

56. Hamlet, D. Foundational Theory of Software Component Reliability7 D. Hamlet, D. Mason, D. Wiot; FastAbstract ISSRE Copyright, 2000.

57. Hecht, H. Fault tolerant software / IEEE Trans. Reliability, Vol. R-28, 1979. P. 227-232.

58. Hui-Qun, Z. A New Method for Estimating the Reliability of Software System Based on Components / Z. Hui-Qun, S. Jing, G. Yuan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001.

59. Hudak, J. Evaluation & comparition of fault-tolerant software techniques / J. Hudak, B.-H. Suh, D. Sieweorek, Z. Segall.

60. Karunanithi, N. Prediction of Software Reliability Using Connectionist / N. Karunanithi, D.Whitley, Y.K.Malaiya; IEEE transactions on reliability. Models July 1992, Vol. 18, No. 7.

61. Kaszycki,. G. Using Process Metrics to Enhance Software Fault Prediction Models/ FastAbstract ISSRE Copyright 1999:

62. Keene, S. Progressive Software Reliability Modeling/ FastAbstract ISSRE Copyright 1999.

63. Knight, C.J:. An experimental evaluation of the assumption of independence in Multiversion programming / C.J. Knight, N.G. Levenson. IEEE Trans. Software Engineering, Vol. SE-12, 1986. - P. 96-109.

64. Kovalev, I. Optimization Reliability Model for, Telecommunications Software: Systems / I. Kovalev , A. Privalov, Ju. Shipovalov. In: Modelling, Measurement and Control. - AMSE Periodicals, Vol.4-5, 2000. - P. 47-52.

65. Kovalev, I. Software engineering of spacecraft control technological cycles / In: "Modelling, Measurement and Control, B". Vol.56, №3. -AMSE PRESS, 1994.-P. 45-49.

66. Kovalev, I.V. Fault-tolerant software architecture creation model based on reliability evaluation / I.V. Kovalev, R.V.Younoussov; Advanced in Modeling & Analysis, vol. 48, № 3-4. Journal of AMSE Periodicals,2002, P.31-43.

67. Levendel, Y. Reliability analysis of large software systems: Defect data modeling / IEEE Trans. Software Engineering, 1990. Vol. 16. - P. 141152.

68. Liestman, A. Fault-Tolerant Scheduling Problem / A. Liestman, R.-H. Campbell. IEEE Trans, on Software Engineering, 1986. - Vol. SE-12. - P. 1089-1095.

69. Lyu, M.R. Handbook of Software Reliability Engineering / Edited by Michael R. Lyu Published by IEEE Computer Society Press and McGraw-Hill Book Company, 1996, 819 p.

70. Lyu, M.R. Software Fault Tolerance / Edited by Michael R. Lyu Published by John Wiley & Sons Ltd, 1996.

71. McFarlan, F.W. Portfolio approach to information systems / Harvard Business Rev. 59. P. 142-150.

72. Muralidhar, K. Using the analytic hierarchy process for information system project selection 7 K. Muralidhar, R. Santhanam, R. Wilson. Information Mgmt 18, 1990. - P. 87-95.

73. Rosenberg, L. Software Metrics and Reliability / L. Rosenberg, T. Hammer, J. Shaw; Software reliability engineering was presented at the 9-th International Symposium, "Best Paper" Award, November, 1998.

74. Zahedi, F. Software reliability allocation based on structure, utility, price, and cost 7 F. Zahedi, N. Ashrafi. IEEE Trans, on Software Engineering, April 1991. - Vol. 17, No. 4. - P. 345-356.