автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Методы и алгоритмы расчета загрузки телекоммуникационной сети служебным трафиком сетевых приложений

На правах рукописи

КУЗНЕЦОВ МАКСИМ ВИКТОРОВИЧ

МЕТОДЫ И АЛГОРИТМЫ РАСЧЕТА ЗАГРУЗКИ ТЕЛЕКОММУНИКАЦИОННОЙ СЕТИ СЛУЖЕБНЫМ ТРАФИКОМ СЕТЕВЫХ ПРИЛОЖЕНИЙ

Специальность 05.13.13 - Телекоммуникационные системы и компьютерные сети

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

003472923

Москва-2009 '[„Л

003472923

Работа выполнена в Московском государственном институте электроники и математики на кафедре "Вычислительные системы и сети"

Научный руководитель:

доктор технических наук, профессор Саксонов Евгений Александрович

Официальные оппоненты:

доктор технических наук, профессор Митрофанов Сергей Александрович кандидат технических наук Латышев Андрей Валерьевич

Ведущая организация: Федеральное государственное унитарное предприятие «Межрегиональный научно-исследовательский институт «Интеграл» (ФГУП Межотраслевой НИИ «Интеграл»).

Защита диссертации состоится " июня 2009 г. в '(•часов на заседании диссертационного совета Д 212.133.03 при Московском государственном институте электроники и математики (МИЭМ) по адресу: 109028, Москва, Б. Трехсвятительский пер., дом 3/12.

С диссертацией можно ознакомиться в библиотеке МИЭМ. Автореферат разослан" " мая 2009 г.

Ученый секретарь

диссертационного Совета кандидат технических наук, доцент

Леохин Ю.Л.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Применение современных информационных технологий в различных областях деятельности связано, как правило, с активным использованием разнообразного сетевого программного обеспечения (СПО), функционирующего в неоднородной сетевой среде в виде сетевых приложений, каждое из которых можно представить в виде совокупности программных модулей. Набор сетевых приложений, сконфигурированных на исполнение конкретных задач в компьютерной сети, представляет собой распределенную программную систему (РПС).

К настоящему моменту можно выделить ряд специализированных областей применения РПС в составе различных автоматизированных систем обработки информации и управления, когда ошибка или отказ в работе РПС может нанести ущерб, значительно превышающий положительный эффект от ее использования. Примерами таких ответственных областей являются авиационная и космическая промышленность, системы управления на крупных техногенных объектах (химически-опасные производства, атомные электростанции), медицинские системы жизнеобеспечения и ряд других. В этой связи одним из главных вопросов применения СПО в таких системах является обеспечение и оценка его качества. При этом в подавляющем большинстве случаев качество СПО характеризуется надежностью его работы (т.е. отсутствием сбоев и отказов).

Решение задачи обеспечения надежности сетевых приложений требует создания методов оценки данной характеристики и количественной шкалы ее измерения. Данная процедура требует сбора и передачи по каналам связи, хранения и обработки большого количества статистических данных о работе сетевых приложений, составляющих служебный трафик. Эта служебная информация собирается с вычислительных узлов сети, на которых исполняются программные модули сетевых приложений, специализированной подсистемой мониторинга. В результате, помимо, нагрузки, создаваемой при взаимодействии самих сетевых приложений, появляется дополнительная нагрузка, вызванная служебным трафиком сетевых приложений. Это связано с тем, что подсистема мониторинга

/

размещается и функционирует в рамках той же компьютерной сети, где исполняются сетевые приложения, что может привести к снижению общего качества работы сетевых приложений и РПС в целом.

Установлено, что имеет место зависимость количества передаваемой служебной информации от надежности работы сетевых приложений. Кроме того, существует специфика совместной работы программных модулей и сетевых приложений в составе РПС, обуславливающая их взаимное влияние, что требует развития известных методов оценки надежности автономных программных модулей.

Задача оценки данных зависимостей является приоритетной, поскольку ее решение позволяет определять параметры служебного трафика и формировать обоснованные требования к характеристикам телекоммуникационного и серверного оборудования сети.

Кроме того, по результатам анализа качества работы сетевых приложений, появляется возможность оптимизации работы РПС путем изменения порядка запуска программных модулей, перемещения их меясду вычислительными узлами с целью локализации сетевого трафика, реконфигурирования сетевых ресурсов. Все эти меры также позволяют улучшить надежностные характеристики РПС, например, путем точной локализации места возникновения ошибки (сбоя), без приобретения дополнительных аппаратных средств и/или существенной переработки самого ПО, что во многих случаях является экономически более целесообразным.

В связи с изложенным, тематика диссертационной работы является актуальной, а полученные теоретические результаты и практические решения имеют важное прикладное значение.

Цель работы.

Разработка и анализ структуры распределенной подсистемы мониторинга работы сетевых приложений, создание математических моделей для количественной оценки параметров служебного трафика и загрузки телекоммуникационного и серверного оборудования сети.

Задачи исследований

Для достижения поставленной цели в работе сформулированы и решены следующие задачи:

проведен анализ взаимосвязи качества работы сетевых приложений с параметрами служебного трафика данных об их работе;

проведен анализ особенностей построения и функционирования РПС и анализ взаимного влияния программных модулей при совместном функционировании в составе сетевых приложений;

разработан комплекс математических моделей для расчета показателей надежности сетевых приложений и связанных с этим параметров трафика служебных сообщений;

разработан комплекс математических моделей для оценки нагрузки на сетевое и серверное оборудование служебным трафиком подсистемы мониторинга работы сетевых приложений.

Методы исследований.

При решении поставленных в диссертации задач применялись методы теории вероятностей и математической статистики, теории марковских цепей, теории вычислительных сетей, теории математического программирования.

На защиту выносятся:

- метод оценки взаимного влияния программных модулей при сетевом взаимодействии в составе сетевых приложений, позволяющий использовать результаты оценки их надежности при работе в автономном режиме;

- математическая модель надежности функционирования сетевого приложения и метод ее адаптации к системе с произвольной топологией сетевых связей;

- комплексная модель подсистемы мониторинга надежности сетевых приложений в компьютерной сети, схема организации и хранения данных о надежности и методология их обработки;

- математическая модель оценки загруженности вычислительных и телекоммуникационных ресурсов служебным трафиком о работе сетевых приложений.

Научная новизна полученных результатов заключается в комплексном подходе к анализу качества работы и разработке математических моделей для количественной оценки надежности сетевых приложений, учитывающих взаимное влияние составляющих . их программных модулей при работе в составе РПС, а также в установлении зависимости между надежностью программных модулей и параметрами служебного трафика, и разработке математических моделей для расчета параметров служебного трафика, связанного с передачей данных о работе сетевых приложений.

Практическая ценность результатов диссертации состоит в создании методов расчета параметров служебного трафика сетевых приложений, основанных на математических моделях оценки качества приложений, инвариантных относительно практического назначения приложений, а также разработке типовой структуры распределенной подсистемы мониторинга работы приложений, что дает возможность обоснованно выбирать параметры серверного оборудования и каналов связи, учитывать вносимую служебным трафиком нагрузку на телекоммуникационное оборудование.

Достоверность и обоснованность результатов, полученных в диссертации, обеспечиваются соответствием разработанных моделей и алгоритмов известным теоретическим результатам и реальным процессам формирования служебного трафика при работе сетевых приложений и подтверждаются положительными результатами их практической реализации при оценке загруженности ресурсов реальных РПС,

Апробация работы.

Основные положения и результаты диссертационной работы докладывались и обсуждались на научно-технических конференциях студентов, аспирантов и молодых специалистов МИЭМ (2004-2006,2008 гг.), ХЫ Всероссийской конференции по проблемам математики, информатики, физики и химии, (2005 г.), Международной конференции «Информационные и телекоммуникационные технологии в интеллектуальных системах» (2004

г.), 15-й Международной научно-технической конференции в Рязанском государственном радиотехническом университете (2008 г.).

Публикации.

Результаты диссертационной работы отражены в 8 опубликованных печатных работах, из них одна в издании, рекомендованном ВАК.

Структура и объем диссертации

Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложения. Объем работы составляет 162 страницы.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность направления исследований, проводимых в диссертации, сформулированы цели и задачи исследований, показаны научная новизна и практическая значимость полученных результатов. Приведены краткие сведения о структуре диссертации.

В первой главе диссертации рассмотрены современные представления о качестве СПО и задачах по его обеспечению и оценке. Выделены основные характеристики данного понятия применительно к сетевым приложениям и РПС, в результате которой наиболее важной являяется характеристика надежности. В соответствии со стандартом КОЛЕС 9126, данное свойство анализируется и учитывается по характеристикам завершенности, устойчивости к дефектам и ошибкам, восстанавливаемости и доступности. Оценка надежности СПО имеет важное значение для произвольных РПС, поскольку через нее могут быть выражены остальные характеристики, такие как среднее время безотказной работы, качество предоставляемого сервиса, эффективность и производительность, коэффициент использования сетевых ресурсов, интенсивность сетевого трафика, степень загрузки сети, и др.

По результатам анализа работы нескольких крупных сетевых приложений сделан вывод о целесообразности оценки качества их работы в сетевой среде через количественную характеристику безошибочности.

Показано, что многие из проблем, присущих сложным сетевым приложениям, не могут бьггь выявлены вплоть до этапа их ввода в эксплуатацию. Данный факт подтверждается известными статистическими

данными. Замечено, что потенциальные места снижения качества их функционирования - интерфейсы сопряжения различных программных модулей, причем степень их удаленности может существенно влиять на характеристики качества.

Эффективный анализ качества сетевого приложения требует адекватной статистической информации о работе его отдельных программных модулей и состоянии информационных ресурсов (каналы связи, вычислительные узлы, средства хранения данных, периферийное оборудование и т.д.) за некоторый период эксплуатации. Это обуславливает необходимость решения задачи по сбору требуемых данных, их консолидации, аналитической обработке и визуальному представлению результатов, что невозможно без применения специализированной подсистемы мониторинга работы сетевых приложений. Последняя непосредственно отражает структуру и семантические связи между приложениями и программными модулями, позволяя прогнозировать качество их работы и РПС в целом.

Анализ статистической информации об отказах в ряде современных РПС выявил взаимосвязь качества их работы с загруженностью сети и серверных ресурсов. Рост количества отказов приводил к увеличению объема служебного трафика и дальнейшему снижению общей надежности работы.

Полученные в первой главе результаты позволили определить направления дальнейших исследований и задачи, решаемые в последующих разделах диссертации. При этом сделан обоснованный вывод о необходимости проведения дополнительных исследований методов анализа и оценки надежности сетевых приложений, поскольку данная характеристика оказывает существенное влияние на характеристики загруженности телекоммуникационной сети.

Во второй главе решаются задачи разработки методов формального описания и анализа работы сетевых приложений в распределенной среде в составе РПС. Основное внимание при этом уделяется их характеристикам надежности, а также внешним и внутренним факторам, так или иначе влияющим на эти характеристики.

В главе сформулирована задача оценки надежности сетевых приложений и рассмотрены основные подходы к ее решению. Обоснован выбор вероятностно-статистических методов анализа надежности как наиболее адекватно отражающих специфику их работы. Показано, что основой получения вероятностных оценок надежности является статистика отказов в сетевых приложениях за некоторый период эксплуатации.

Исследованы основные математические модели надежности автономных программных модулей, представлена классификация моделей по типам, а также сформулированы и обобщены условия применимости и ограничения. Двумя основными классами моделей являются модели, основанные на интенсивности отказов программных модулей и модели на основе подсчета количества ошибок в программных модулях. Обоснован выбор использования моделей второго класса для анализа и оценки надежности работы сетевых приложений. При этом надежность характеризуется вероятностью безотказной работы как функции времени.

Изучены известные модели количественной оценки надежности автономных программных модулей: экспоненциальная модель Шумана, модель Джелинского-Моранды (экспоненциальная, геометрическая), модель Шика-Волвертона, модель Липова, модель Муссы-Гамильтона, вейбулловская модель (Цукерта), модель Уолла-Ферпоссона (степенная), структурная модель Нельсона, структурная модель роста надежности (модель Иыуду), гиперболическая модель роста надежности, модель Литтлвуда-Верролла, модель Каи, модель на основе неоднородных пуассоновских процессов. Исследованы ограничения моделей и точность получаемых оценок. Все эти модели позволяют прогнозировать надежность работы автономного программного модуля, функционирующего на отдельном вычислительном узле. Отказы есть следствие проявления содержащихся программных ошибок, которые устраняются по мере их обнаружения. При этом предполагается независимость и наблюдаемость отдельных отказов, известный тип распределения времени наработки на отказ (например, экспоненциальный), зависимость интенсивности отказов от количества содержащихся в программном модуле ошибок. В частности, всеми этими

свойствами обладает экспоненциальная модель Джелинского-Моранды: = КМ(ЕЬ -; +1), где Км - коэффициент пропорциональности, А// -интервал между г'-й и (г-1)-й обнаруженными ошибками. Вероятность безотказной работы программного модуля:

Р(0 = ехр(-Л (Л/,)) = км((£„-;+1)/),и <(<!,. Данная модель используется в работе как базовая при проведении исследований. Вероятностные оценки параметров надежности программного модуля могут быть получены из модели с применением метода максимального правдоподобия.

Однако, как показали проведенные исследования, при взаимодействии сетевых приложений в составе РПС возможно появление нового класса ошибок, которые не могут быть выявлены средствами автономной отладки отдельных программных модулей. К числу таких ошибок относятся, например, ошибки при передаче данных, интерфейсные и семантические ошибки, ошибки синхронизации процессов, ошибки совместного разделения ресурсов и конфигурационные ошибки. При этом математические модели оценки надежности автономных программных модулей могут давать сильно заниженные значения этого показателя. Отсутствие обобщенной модели надежности, позволяющей учитывать автономные оценки и статистику автономной отладки программных модулей при анализе интегрального показателя надежности сетевого приложения в составе РПС, обусловило необходимость решения данной проблемы.

Основными задачами здесь являются: выяснение наличия и степени взаимного влияния отдельных программных модулей в сетевых приложениях на количественные оценки их надежности, а также определение параметров сетевого трафика в зависимости от надежности программных модулей.

Полученные во второй главе результаты позволили сформулировать и формализовать требования к обобщенной математической модели надежности сетевого приложения, определить структуру входных и выходных данных подсистемы мониторинга, обосновать необходимость проведения исследований связи надежности сетевых приложений и

параметров загрузки телекоммуникационной системы и серверного оборудования.

В третьей главе решается задача выявления и оценки взаимного влияния программных модулей друг на друга при совместной работе в составе сетевого приложения. Данный этап является обязательным при анализе надежности сетевых приложений произвольного типа.

Второй, более общей задачей, решенной в этой главе, является построение математической модели функционирования РПС с произвольной структурой, типами и связями выполняемых в ней сетевых приложений. Был введен ряд необходимых определений, таких, как пространство состояний задачи, потоки ошибок, подсистема оценки надежности. Целью решения задачи является исследование процесса появления ошибок в работе РПС и идентификация места их возникновения.

Решение первой задачи и проверка достоверности результатов потребовали разработки соответствующей математической модели и выполнения численного моделирования, расчеты производились специально разработанной автором программой. Факт наличия статистически-значимого влияния определяется на основании применения критерия согласия %г

Здесь в качестве входных данных выступают 2 ряда статистических временных интервалов между отказами в программных модулях сетевых приложений. При этом появляется возможность выявлять сетевые приложения и их программные модули, оказывающие наибольшее влияние на качество функционирования РПС.

Решение второй задачи требовало разработки математической модели появления ошибок в процессе функционирования РПС и сетевых приложений в компьютерной сети. Для этого была использована поглощающая цепь Маркова с конечным числом состояний. Передача управления и обмен данными между программными модулями описывались

Пирсона: Я =

" пр,

посредством матрицы вероятностей переходов

матрица

Б, =1*^1 имеет размерность (№-1)х(№-1) и элементы = 0, если и (М = 1,2,...,Л7+1), (так, что матрица в, - диагональная матрица у которой все элементы главной диагонали равны 1); матрица 0, , размерности (Лг+1)хЛг, состоит только из нулевых элементов; матрица Я^Цг^Ц имеет размерность Л^/У+П и каждый ее элемент гт есть вероятность перехода из невозвратного состояния т в поглощающее состояние п, (т = 1,2,...,]У;и = 1,,...,(#+1)); матрица имеет размерность ЫхЫ, а

каждый ее элемент qm есть вероятность перехода из невозвратного состояния ] в невозвратное состояние к. N - количество модулей в составе РПС или сетевого приложения.

Формирование матрицы Р, производится по результатам анализа обнаруженных ошибок исполнения программных модулей. Для расчета численных значений элементов матрицы Р, используются разработанные в диссертации методы. При этом для расчета характеристик программных модулей в сетевых приложениях РПС в целом использовались уравнения:

гИУ^-д,)-1^ (1-<2,Г'=¿(<5,)1,

»=1

где I - единичная матрица размерности ИхИ, вероятность того, что процесс, начавшись в невозвратном состоянии к , остановится в поглощающем состоянии у\ Элемент матрицы Ъ, - вероятность

успешного решения задачи, если значение г* равно номеру первого программного модуля сетевого приложения, с которого начинается решение задачи. Таким образом, получены формулы для вычисления первой из перечисленных характеристик надежности сетевого приложения.

Событие отказа в программном модуле в процессе функционирования рассматривается как переход в одно из поглощающих состояний матрицы Р,.. Среднее число шагов до перехода в одно из таких состояний определяется по формуле ^ = (1-<2,Г'е, где ^ = (*,-1>*я>—»*/(лг+1)) - соответствующий вектор-столбец.

Все перечисленные этапы анализа легли в основу создания и анализа подсистемы мониторинга работы сетевых приложений и комплексного анализа загрузки работы телекоммуникационной системы их служебным трафиком. Работа подсистемы основана на применении программных модулей-агентов, установленных на компьютерах сети, которые исполняют поступающие запросы на запуск программ. Известны поток запросов на программный модуль номер I и интенсивность потока ошибок при его исполнении - у,, связанная с его надежностью. Результаты исполнения каждого запроса регистрируются агентом, обслуживающим программный модуль. Определить правильность или ошибочность исполнения модуля возможно после анализа результатов, для чего в составе подсистемы выделен сервер, который собирает результаты регистрации от агентов. Собранные результаты заносятся в базу данных подсистемы и затем анализируются другим сервером на предмет правильности исполнения. Поскольку данные для анализа результатов исполнения программных модулей сетевого приложения достаточно объемны, а объем памяти для их хранения на исполняющем компьютере ограничен, то для избежания потерь агент должен переписывать эти данные на сервер достаточно часто.

Если программный модуль исполнен верно, то данные о результатах его работы убираются из памяти сервера. Если обнаружена ошибка в исполнении, то данные хранятся для последующего анализа, который производится другим сервером.

Для оценки качества работы сетевого приложения необходимо оценить интенсивность потока данных, поступающих на серверы подсистемы мониторинга, время ожидания результатов регистрации на исполняющем компьютере, среднее число результатов регистрации, ожидающих передачи на сервер, число ошибочных результатов, поступивших на сервер за определенный временной интервал.

Модель работы первого сервера предполагает, что каждый раз при регистрации результатов исполнения программного модуля его обслуживающий агент передает результаты регистрации на сервер. Все результаты обслуживаются сервером в порядке поступления.

Длительность работы программного модуля номер j при запуске есть случайная величина а, с функцией распределения A fi), конечными первьм

«о «о

и вторым моментами: 0 < аХ) = JtdAj(t) <а>, О < a2J = jt2dAj(t) < а>, и

о о .

интенсивность потока запросов на запуск модуля при решении задачи i равна À,j, а общая интенсивность потока запросов на запуск модуля равна Лу. Вероятность ошибки при работе программного модуля определяется как

qJ=](l-e-^dAJ(t) = l-aj(z). о

Оценка интенсивности потока регистрационных данных от программного модуля j, который содержит ошибки, есть Xs =qJÀii.

Модель работы второго сервера предполагает обслуживание, которое соответствует анализу результатов работы программных модулей, выявлению причин возникновения ошибок и оценке качества их работы по результатам анализа. Обслуживание запросов производится следующим образом: обрабатывается сразу вся статистика, собранная по работе каждого программного модуля к моменту начала обработки. При этом сервер делает паузы в обслуживании для накопления статистики. Длительность паузы есть случайная величина с функцией распределения G(t), имеющая конечные

ОО СО

первый и второй моменты: 0 < g, = j/rfG(/) < œ и 0 < g2 = jt2dG(t) < œ.

о о

Средние длины очередей вычисляются как

.V

= AtSi +ХМ<ы)/л| j,' = 1=2,..., N.

j-1

Здесь =(<j;Z]i; +(l-çy)zloy)- средняя длительность обработки одной заявки потока номер j. Или, что то же самое, в матричной форме: л, = An^+g. Имеется возможность исследовать динамику работы обслуживающего устройства: nt = A'n,,+]^A"g. Последовательность векторов nt сходится при кесли норма матрицы А меньше 1. Действительно, в этом случае

1нпА'=0,а ЕА" =(1-А)4.

Разработанная универсальная методика анализа надежности сетевого приложения с применением подсистемы мониторинга его работы позволяет эффективно производить оценку параметров его качества, а также получать оценку количества генерируемой информации об отказах. Это делает возможным расчет нагрузки на серверное и сетевое коммуникационное оборудование, обслуживающее процессы сбора данных, и обоснование требований к их количественным характеристикам.

В четвертой главе приводится описание и анализ конкретной подсистемы мониторинга работы РПС, а также производится анализ загруженности телекоммуникационной сети служебными потоками данных. При этом применяются математические методы и модели, разработанные в диссертации.

Проверка и практическое применение теоретических положений и выводов проводились на РПС "Интеграция", используемой в бизнес-процессах группы компаний "Автомир". В структуру системы входит центр информационной обработки, представленный двумя серверами в головном офисе компании, а также набором установленных на рабочих станциях пользователей программных модулей-агентов, выполняющих первичный сбор данных о работе сетевых приложений и пересылку их на сервер для накопления и последующей обработки.

Полученные результаты подтверждают правильность сделанных в работе выводов. Установлен факт снижения загруженности корпоративной телекоммуникационной сети, что стало возможным благодаря идентификации и обновлению наименее надежных программных модулей, развитию сетевой инфраструктуры системы, увеличению скорости работы каналов передачи данных, серверных мощностей и емкостей сетевых средств хранения данных.

Разработанные методы могут быть адаптированы для оценки загрузки служебным трафиком произвольной телекоммуникационной сети с учетом

особенностей ее топологии, коммуникационного оборудования, сетевых приложений и режимов их функционирования.

ОБЩИЕ ВЫВОДЫ

По результатам проведенных исследований и разработок можно сделать следующие заключения и выводы.

1. Проведен анализ особенностей построения и функционирования РПС и сетевых приложений, выявлены основные проблемы оценки их надежности, связанные со спецификой работы приложений в составе РПС. Показано, что для оценки надежности приложений необходимы специальная подсистема мониторинга, которая проводит сбор информации о работе приложений, а также оценка параметров возникающего при этом служебного трафика.

2. Выполнена классификация основных моделей оценки надежности автономных программных модулей, выявлено их общее ограничение, а именно невозможность учета сетевого взаимодействия при их работе в составе РПС. Обоснована необходимость обобщения известных результатов для решения задачи комплексной оценки надежности сетевых приложений.

3. Выбран критерий и разработан метод оценки взаимного влияния программных модулей при взаимодействии в составе сетевого приложения, обоснован вывод о необходимости применения данного метода как предварительного этапа комплексной оценки качества сетевого приложения.

4. Разработана математическая модель функционирования сетевого приложения в компьютерной сети, позволяющая учитывать характеристики надежности входящих в его состав программных модулей, а также универсальный метод адаптации данной модели к произвольной РПС.

5. Разработана математическая модель оценки загрузки телекоммуникационного и серверного оборудования компьютерной

сети служебным трафиком сетевых приложений в зависимости от надежности сетевых приложений.

6. На основе разработанных в диссертационной работе методов и алгоритмов созданы эффективные программные реализации, которые были внедрены в структуру информационного программного комплекса "Интеграция". Это позволило существенно улучшить ее эксплуатационные характеристики, идентифицировать наиболее загруженные подсистемы, сформировать количественные требования к сетевым и вычислительным ресурсам.

Результаты диссертационной работы могут быть полезны для разработчиков сетевых приложений и РПС, администраторов вычислительных сетей различного назначения.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. М.В. Кузнецов, Е.А.Саксонов. Мониторинг и оценка надежности комплексного программного обеспечения. // Качество, инновации, образование, №9 (40), 2008. - с.42-45.

2. М.В. Кузнецов. Сетевая подсистема сбора данных о качестве работы распределенного программного обеспечения. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М.: МИЭМ, 2008. - с. 205.

3. М.В. Кузнецов. Оценка надежности комплексного программного обеспечения в распределенной вычислительной среде. И Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Материалы 15-й Международной научно-технической конференции. Часть 2. - Рязань: Рязанский государственный радиотехнический университет, 2008. — с. 54-56.

4. М.В. Кузнецов. Оценка надежности распределенного программного обеспечения. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М.: МИЭМ, 2006.-с. 181-182.

5. М.В. Кузнецов. Оценка надежности сложного программного обеспечения по результатам тестовых испытаний. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М.: МИЭМ, 2005. - с. 94.

6. М.В. Кузнецов. Методы исследования, оценки и прогнозирования ошибок при проектировании и разработке больших программных систем. // Научно-техническая конференция студентов, аспирантов и молодых специалистов МИЭМ. Тезисы докладов. - М.: МИЭМ, 2004. -с. 320-321.

7. М.В. Кузнецов. Оценка надежности комплексного программного обеспечения. // XLI Всероссийская конференция по проблемам математики, информатики, физики и химии. Тезисы докладов. - М.: РУДН, 2005.-с. 88-89.

8. Kuznetsov M.V. Methods Of Quantitative Analysis Of Software Reliability. // Information and Telecommunication Technologies in Intelligent Systems. Proceedings of International Conference in Blanes/Barcelona, Spain, 2004.-p. 134-137.

Подписано в печать 04.05.2009. Формат"""'""" ' ----------юграфия.

Московский государственный институт электроники и математики 109028, Москва, Б.Трехсвятительский пер., 3.

Центр оперативной полиграфии (495) 916-88-04, 916-89-25

ВВЕДЕНИЕ.

ГЛАВА 1. ПРОБЛЕМЫ И ЗАДАЧИ ОЦЕНКИ КАЧЕСТВА ПО.

1.1 Понятие качества ПО.

1.1.1 Характеристики качества ПО.

1.1.2 Стандартизация характеристик качества ПО.

1.1.3 Языки моделирования качества ПО.

1.2 Критерии оценки качества ПО.

1.2.1 Метрики качества ПО.

1.2.2 Качество и надежность ПО.

1.3 Методы и средства обеспечения качества ПО.

1.3.1 Качество ПО в процессах жизненного цикла.

1.3.2 Методы управления качеством ПО.

1.3.3 Методы тестирования ПО.

1.4 Проблемы обеспечения и оценки качества в РПС.

1.4.1 Понятие РПС.

1.4.2 Качество современных РПС.

1.4.3 Интеграция сетевых приложений в состав РПС.

1.4.4 Подсистема мониторинга и оценки качества РПС.

Выводы.

ГЛАВА 2. МЕТОДЫ И МОДЕЛИ ОЦЕНКИ НАДЕЖНОСТИ ПО.

2.1 Задача оценки надежности ПО.

2.1.1 Общие положения.

2.1.2 Классификация ошибок в ПО.

2.1.3 Испытания ПО на надежность.

2.2 Методы оценки надежности ПО.

2.2.1 Методы раннего предсказания качества ПО.

2.2.2 Методы, основанные на применении байесовских сетей.

2.2.3 Методы, основанные на величине экономического риска.

2.2.4 Методы, основанные на анализе графа исполнения ПО.

2.2.5 Методы, основанные на статистике выявленных ошибок.

2.3 Математические модели надежности ПО.

2.3.1 Основные модели надежности.

2.3.2 Проблемы и ограничения моделей надежности ПО.

2.3.3 Методы автоматизации процесса анализа надежности ПО.

2.4 Оценка надежности РПС.

2.4.1 Специфика анализа и оценки надежности РПС.

2.4.2 Требования к модели оценки надежности РПС.

Выводы.

ГЛАВА 3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ ОЦЕНКИ НАГРУЗКИ НА СЕТЕВОЕ ОБОРУДОВАНИЕ.

3.1 Прямая оценка взаимного влияния программных модулей.

3.1.1 Оценка взаимного влияния модулей в сетевых приложениях РПС

3.1.2 Моделирование совместной работы программных модулей.

3.2 Анализ работы сетевого программного комплекса.

3.2.1 Общее описание комплекса и задачи анализа надежности.

3.2.2 Математическая модель появления ошибок в процессе решения задачи.

3.2.3 Вычисление характеристик надежности модулей и РПС в целом

3.2.4 Методика применения модели.

3.2.4 Пример практического применения методики анализа надежности сетевого приложения.

3.3 Анализ подсистемы оценки надежности сетевого приложения.

3.3.1 Описание подсистемы.

3.3.2 Математические модели для анализа подсистемы.

Выводы.

ГЛАВА 4. ПОДСИСТЕМА МОНИТОРИНГА РАБОТЫ СЕТЕВЫХ ПРИЛОЖЕНИЙ.

4.1 Обобщенная структура системы.

4.2 Принципы функционирования системы.

4.2.1 Процесс сбора данных подсистемой мониторинга.

4.2.2 Взаимодействие сетевых компонентов подсистемы мониторинга

4.3 Подсистема оценки загрузки телекоммуникационной сети для РПС "Интеграция".

4.3.1 Назначение и организация РПС "Интеграция".

4.3.2 Структура РПС "Интеграция".

4.3.3 Результаты внедрения методов анализа загрузки в подсистему мониторинга.

Выводы.

Применение современных информационных технологий в различных областях деятельности связано, как правило, с активным использованием разнообразного сетевого программного обеспечения (СПО), функционирующего в неоднородной сетевой среде в виде сетевых приложений, каждое из которых можно представить в виде совокупности программных модулей. Набор сетевых приложений, сконфигурированных на исполнение конкретных задач в компьютерной сети, представляет собой распределенную программную систему (РПС).

К настоящему моменту можно выделить ряд специализированных областей применения РПС в составе различных автоматизированных систем обработки информации и управления, когда ошибка или отказ в работе РПС может нанести ущерб, значительно превышающий положительный эффект от ее использования. Примерами таких ответственных областей являются авиационная и космическая промышленность, системы управления на крупных техногенных объектах (химически-опасные производства, атомные электростанции), медицинские системы жизнеобеспечения и ряд других. В этой связи одним из главных вопросов применения СПО в таких системах является обеспечение и оценка его качества. При этом в подавляющем большинстве случаев качество СПО характеризуется надежностью его работы (т.е. отсутствием сбоев и отказов).

Решение задачи обеспечения надежности сетевых приложений требует создания методов оценки данной характеристики и количественной шкалы ее измерения. Данная процедура требует сбора и передачи по каналам связи, хранения и обработки большого количества статистических данных о работе сетевых приложений, составляющих служебный трафик. Эта служебная информация собирается с вычислительных узлов сети, на которых исполняются программные модули сетевых приложений, специализированной подсистемой мониторинга. В результате, помимо нагрузки, создаваемой при взаимодействии самих сетевых приложений, появляется дополнительная нагрузка, вызванная служебным трафиком сетевых приложений. Это связано с тем, что подсистема мониторинга размещается и функционирует в рамках той же компьютерной сети, где исполняются сетевые приложения, что может привести к снижению общего качества работы сетевых приложений и РПС в целом.

Установлено, что имеет место зависимость количества передаваемой служебной информации от надежности работы сетевых приложений. Кроме того, существует специфика совместной работы программных модулей и сетевых приложений в составе РПС, обуславливающая их взаимное влияние, что требует развития известных методов оценки надежности автономных программных модулей.

Задача оценки данных зависимостей является приоритетной, поскольку ее решение позволяет определять параметры служебного трафика и формировать обоснованные требования к характеристикам телекоммуникационного и серверного оборудования сети.

Кроме того, по результатам анализа качества работы сетевых приложений, появляется возможность оптимизации работы РПС путем изменения порядка запуска программных модулей, перемещения их между вычислительными узлами с целью локализации сетевого трафика, реконфигурирования сетевых ресурсов. Все эти меры также позволяют улучшить надежностные характеристики РПС, например, путем точной локализации места возникновения ошибки (сбоя), без приобретения дополнительных аппаратных средств и/или существенной переработки самого ПО, что во многих случаях является экономически более целесообразным.

В связи с изложенным, тематика диссертационной работы является актуальной, а полученные теоретические результаты и практические решения имеют важное прикладное значение.

Цель работы

Разработка и анализ структуры распределенной подсистемы мониторинга работы сетевых приложений, создание математических моделей для количественной оценки параметров служебного трафика и загрузки телекоммуникационного и серверного оборудования сети.

Задачи исследований

Для достижения поставленной цели в работе сформулированы и решены следующие задачи: проведен анализ взаимосвязи качества работы сетевых приложений с параметрами служебного трафика данных об их работе; проведен анализ особенностей построения и функционирования РПС и анализ взаимного влияния программных модулей при совместном функционировании в составе сетевых приложений; разработан комплекс математических моделей для расчета показателей надежности сетевых приложений и связанных с этим параметров трафика служебных сообщений; разработан комплекс математических моделей для оценки нагрузки на сетевое и серверное оборудование служебным трафиком подсистемы мониторинга работы сетевых приложений.

Методы исследований

При решении поставленных в диссертации задач применялись методы теории вероятностей и математической статистики, теории марковских цепей, теории вычислительных сетей, теории математического программирования.

На защиту выносятся:

- метод оценки взаимного влияния программных модулей при сетевом взаимодействии в составе сетевых приложений, позволяющий использовать результаты оценки их надежности при работе в автономном режиме;

- математическая модель надежности функционирования сетевого приложения и метод ее адаптации к системе с произвольной топологией сетевых связей;

- комплексная модель подсистемы мониторинга надежности сетевых приложений в компьютерной сети, схема организации и хранения данных о надежности и методология их обработки;

- математическая модель оценки загруженности вычислительных и телекоммуникационных ресурсов служебным трафиком о работе сетевых приложений.

Научная новизна полученных результатов заключается в комплексном подходе к анализу качества работы и разработке математических моделей для количественной оценки надежности сетевых приложений, учитывающих взаимное влияние составляющих их программных модулей при работе в составе РПС, а также в установлении зависимости между надежностью программных модулей и параметрами служебного трафика, и разработке математических моделей для расчета параметров служебного трафика, связанного с передачей данных о работе сетевых приложений.

Практическая ценность результатов диссертации состоит в создании методов расчета параметров служебного трафика сетевых приложений, основанных на математических моделях оценки качества приложений, инвариантных относительно практического назначения приложений, а также разработке типовой структуры распределенной подсистемы мониторинга работы приложений, что дает возможность обоснованно выбирать параметры серверного оборудования и каналов связи, учитывать вносимую служебным трафиком нагрузку на телекоммуникационное оборудование.

Достоверность и обоснованность результатов, полученных в диссертации, обеспечиваются соответствием разработанных моделей и. алгоритмов известным теоретическим результатам и реальным процессам формирования служебного трафика при работе сетевых приложений и подтверждаются положительными результатами их практической реализации при оценке загруженности ресурсов реальных РПС.

Апробация работы

Основные положения и результаты диссертационной работы докладывались и обсуждались на научно-технических конференциях студентов, аспирантов и молодых специалистов МИЭМ (2004-2006, 2008 гг.), XLI Всероссийской конференции по проблемам математики, информатики, физики и химии, (2005 г.), Международной конференции «Информационные и телекоммуникационные технологии в интеллектуальных системах» (2004 г.), 15-й Международной научно-технической конференции в Рязанском государственном радиотехническом университете (2008 г.). Публикации

Результаты диссертационной работы отражены в 8 опубликованных печатных работах, из них одна в издании, рекомендованном ВАК.

Общие выводы

По результатам проведенных исследований и разработок можно сделать следующие заключения и выводы.

1. Проведен анализ особенностей построения и функционирования РПС и сетевых приложений, выявлены основные проблемы оценки их надежности, связанные со спецификой работы приложений в составе РПС. Показано, что для оценки надежности приложений необходимы специальная подсистема мониторинга, которая проводит сбор информации о работе приложений, а также оценка параметров возникающего при этом служебного трафика.

2. Выполнена классификация основных моделей оценки надежности автономных программных модулей, выявлено их общее ограничение, а именно невозможность учета сетевого взаимодействия при их работе в составе РПС. Обоснована необходимость обобщения известных результатов для решения задачи комплексной оценки надежности сетевых приложений.

3. Выбран критерий и разработан метод оценки взаимного влияния программных модулей при взаимодействии в составе сетевого приложения, обоснован вывод о необходимости применения данного метода как предварительного этапа комплексной оценки качества сетевого приложения.

4. Разработана математическая модель функционирования сетевого приложения в компьютерной сети, позволяющая учитывать характеристики надежности входящих в его состав программных модулей, а также универсальный метод адаптации данной модели к произвольной РПС.

5. Разработана математическая модель оценки загрузки телекоммуникационного и серверного оборудования компьютерной сети служебным трафиком сетевых приложений в зависимости от надежности сетевых приложений.

6. На основе разработанных в диссертационной работе методов и алгоритмов созданы эффективные программные реализации, которые были внедрены в структуру информационного программного комплекса "Интеграция". Это позволило существенно улучшить ее эксплуатационные характеристики, идентифицировать наиболее загруженные подсистемы, сформировать количественные требования к сетевым и вычислительным ресурсам.

Результаты диссертационной работы могут быть полезны для разработчиков сетевых приложений и РПС, администраторов вычислительных сетей различного назначения.

1. Антонов А.В., Байбулатов А.А., Масолкин С.И. Применение экспертной оценки качества программного обеспечения при проведении верификационных процедур // Труды ИПУ РАН, Т. XV1.I . - М.: ИПУ РАН, 2002.-с. 85-94.

2. Архангельский Б.В., Черняховский В.В. Поиск устойчивых ошибок в программах. -М.: Радио и связь, 1989. 240 с.

3. Баглюк С.И., Мальцев М.Г., Смагин В.А., Филимонихин Г.В. Надежность функционирования программного обеспечения. СПб.: 1991. - 78 с.

4. Барзилович Е.Ю., Беляев Ю.К., Каштанов В.А. Вопросы математической теории надежности. — М.: Радио и связь, 1983. 376 с.

5. Бендат Дж., Пирсол А. Измерение и анализ случайных процессов./ Под ред. И.Н.Коваленко. -М.:Мир, 1971.-408 с.

6. Блэк Ю. Сети ЭВМ: протоколы, стандарты, интерфейсы./ Пер. с англ. М.А.Болдырева, под ред. В.В.Василькова М.: Мир, 1990. - 510 с.

7. Борисенков С. В., Воропаев А. П., Семенов В. А., Лукашкин А. Н. О точностных характеристиках некоторых моделей надежности программного обеспечения. // Двойные технологии, 1999, №3.

8. Боровков А.А. Математическая статистика: Оценка параметров. Проверка гипотез. -М.: Наука, 1984. 472 с.

9. Бочаров П.П., Печинкин А.В. Теория вероятностей и математическая статистика. -М.: Гардарика, 1998. 326 с.

10. Боэм Б. Инженерное проектирование программного обеспечения./ Пер. с англ. под ред. А.А. Красилова. М.: Радио и связь, 1985. — 511 с.

11. Боэм Б., Браун Дж., Каспар X. и др. Характеристики качества программного обеспечения./ Пер с англ. Е.К.Масловского. М.: Мир, 1981.-206 с.

12. Брауде Э. Дж. Технология разработки программного обеспечения./ Пер с англ. СПб.: Питер, 2004. - 656 с.

13. Брукс Ф. Мифический человеко-месяц или как создаются программные системы./ Пер. с англ. СПб.: Символ-Плюс, 1999. - 304 с.

14. Бутаков Е.А. Методы создания качественного программного обеспечения ЭВМ. -М.: Энергоатомиздат, 1984. 230 с.

15. Вентцель Е.С., Овчаров JI.A. Теория случайных процессов и ее инженерные приложения: Учеб. Пособие для студ. втузов. — 3-е изд., перераб. и доп. М.: Академия, 2003. - 432 с.

16. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. -М.: Техносфера, 2003. 512с.

17. Гантмахер Ф.Р. Теория матриц. 4-е изд., доп. М.: Наука, 1988. - 548 с.

18. Гасел В. Стиль, разработка, эффективность, отладка и испытание программ. М: Мир, 1981. - 214 с.

19. Гласс Р. Руководство по надежному программированию./ Пер. с англ. Ю.П. Кондрапина, В.М. Рабиновича, под ред. В.М.Рабиновича. М.: Финансы и статистика, 1982. — 256 с.

20. Гнеденко Б.В. Случайные процессы, математическая статистика и их приложения. 6-е изд., перераб. и доп. — М.: Изд-во МГУ, 1989. 72 с.

21. Гнеденко Б.В., Беляев Ю.К., Соловьев А.Д. Математические методы в теории надежности. М.: Наука, 1965. - 524 с.

22. Говорский А.Э. Модели надежности информационно-управляющих систем. СПб: СПГУВК, 1997. - 105 с.

23. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. М.: Изд-во стандартов, 1989. - 34 с.

24. Гришин А.В., Никонов С.Н., Ионов А.А. Метрики качества программного проекта. // Нижегородский государственный университетим. Н.И. Лобачевского, факультет вычислительной математики и кибернетики, 2004. 24 с.

25. Ермаков С.М., Михайлов Г.А. Курс статистического моделирования. — М.: Наука, 1976. 320 с.

26. Зиглер К. Методы проектирования программных систем. М: Мир. 1985.-328 с.

27. Ивченко Г.И., Каштанов В.А., Коваленко И.Н. Теория массового обслуживания. -М.: Высшая школа, 1982. 256 с.

28. Игнатьев М.Б., Фильчаков В.В., Осовецкий Л.Г. Активные методы обеспечения надежности алгоритмов и программ. СПб: Политехника, 1992 г.-288 с.

29. Изосимов А.В, Рыжко А.Л. Метрическая оценка качества программ. — М.: Изд-во МАИ, 1989. 96 с.

30. Иыуду К.А., Касаткин А.И., Бахтизин В.В. Прогнозирование надежности программ на "ранних этапах разработки. // Надежность и контроль качества. 1982. - № 5. - С.18-30.

31. Кабак И.С., Рапопорт Т.Н. Оценка надежности программного обеспечения по математической модели. Проблемы создания гибких автоматизированных производств. Под ред. И.М. Макарова, К.В. Фролова, П.Н. Белянина. М.: Наука, 1987. - с. 236-245.

32. Калянов Г.Н. Анализ методологий проектирования программного обеспечения и основные направления их развития. // Материалы семинара "CASE технология". М.: ЦРДЗ, 1993. - с. 60-65.

33. Карлин С. Основы теории случайных процессов./ Пер. с англ. М.: Мир, 1971.-536 с.

34. Карповский Е.Я., Чижов С.А. Надежность программной продукции. -Киев: Техника, 1990. 158 с.

35. Кендалл М. Дж, Стьюарт А. Статистические выводы и связи./ Пер. с англ. под ред. А.Н. Колмогорова. Т. 2. -М.: Наука, 1973. 900 с.

36. Кемени Дж., Снелл Дж. Конечные цепи Маркова. — М.: Наука, 1982. — 320 с.

37. Клейнрок JI. Вычислительные системы с очередями./ Пер. с англ. — М.: Мир, 1979.-600 с.

38. Клейнрок JI. Коммуникационные сети (стохастические потоки и задержки сообщений)./ Пер. с англ. М.: Наука, 1970. 256 с.

39. Клейнрок JT. Теория массового обслуживания./ Пер. с англ. М.: Машиностроение, 1979. -431 с.

40. Климов Г.П., Кузьмин А.Л. Вероятность, процессы, статистика. Задачи с решениями. -М.: изд. МГУ, 1985. 232 с.

41. Коганов А.В., Романюк С.Г. Экономический подход к понятию надежности программы. // Открытые системы, 1995, №3.

42. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров./ Пер. с англ. — М.: Наука, 1974. 831 с.

43. Крамер Г. Математические методы статистики./ Пер. с англ. под ред. А.Н. Колмогорова. М.: Мир, 1975. - 648 с.

44. Крамер Г., Лидбеттер М. Стационарные случайные процессы. М.: Мир. 1969.-400 с.

45. Крейг X. Персональные компьютеры в сетях TCP/IP./ Пер. с англ. — BHV Киев, 1997.-384 с.

46. Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978. 432с.

47. Кузнецов В.В., Смагин В.А. Прямая и обратная задачи надежности сложных программных комплексов. // Надежность и контроль качества. -1997.-№ 10.-с. 56-62.

48. Кулаков А.Ф. Управление качеством программных средств ЭВМ. — К.: Техника, 1989.-216 с.

49. Ланкастер П.Л. Теория матриц./ Пер. с англ. С.П. Демушкина. 2-е изд. -М.: Наука, 1982.-269 с.

50. Ларионов A.M. и др. Вычислительные комплексы, системы и сети. — М.: Энергоатомиздат, 1987.-285 с.

51. Липаев В.В. Качество программного обеспечения. М.: Финансы и статистика, 1983. -263 с.

52. Липаев В.В. Надежность программного обеспечения АСУ. — М.: Энергоиздат, 1981.-241 с.

53. Липаев В.В. Надежность программных средств. — М.СИНТЕГ, 1998. — 232 с.

54. Лифпшц А.Л. Статистическое моделирование систем массового обслуживания. М.: Советское радио, 1978. - 210 с.

55. Лонгботтом Р. Надежность вычислительных систем. М.: Энергоатомиздат, 1985.-288 с.

56. Лэнинг Дж.Х, Бэттин Р.Г. Случайные процессы в задачах автоматического управления./ Пер. с англ. М.: Иностранная литература, 1958.-381 с.

57. Майерс Г. Искусство тестирования программ./ Пер. с англ. М.: Финансы и статистика, 1982. - 176 с.

58. Майерс Г. Надежность программного обеспечения./ Пер. с англ. — М.: Мир, 1980.-360 с.

59. Мартин Д. и др. XML для профессионалов./ Пер. с англ. М.: Изд-во "ЛОРИ", 2001.- 1056 с.

60. Миллер Б.М., Панков А.Р. Теория случайных процессов в примерах и задачах. М.: ФИЗМАТЛИТ, 2002. - 320 с.

61. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука,1981. —488 с.

62. Натан А.А. Случайные процессы: Учебное пособие. М.: МФТИ, 1978. -118 с.

63. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы. СПб: Питер, 2000. — 672 с.

64. Олифер В., Олифер Н. Новые технологии и оборудование IP-сети. — СПб., 2000.-512 с.

65. Оре О. Теория графов./ Пер. с фр. — М.: Наука, 1968. — 352 с.

66. Осима Ю. Надежность программного обеспечения. // Дзеко сери, 1975. -Т. 16, № 10.-С. 887-894.

67. Осовецкий Л.Г. Сертификация критичных программных средств вычислительных систем. // Дис. д.т.н., СПб, 1993.

68. Пугачев B.C. Теория случайных функций и ее применение к, задачам автоматического управления. — М.: Гостехиздат, 1957. 659 с.

69. Риордан Дж. Вероятностные системы обслуживания. М.:Связь, 1966. -184с.

70. Розанов Ю.А. Введение в теорию случайных процессов. М.: Наука,1982. -128 с.

71. Романовский В.И. Дискретные цепи Маркова. М.; Л.: Гостехтеоретиздат, 1949.-436 с.

72. Романюк С.Г. Оценка надежности программного обеспечения. // Открытые системы, 1994, №4.

73. Рябинин И. А., Черкесов Г.Н. Логико-вероятностные методы исследования надежности структурно-сложных систем. М.: Радио и связь, 1981.-264 с.

74. Саати Т.А. Элементы теории массового обслуживания и ее приложения. -М.: Сов. Радио, 1971. 520с.

75. Саксонов. Е.А. Метод вычисления вероятностей состояний дляоднолинейной системы массового обслуживания с «прогулками» обслуживающего прибора // Автоматика и телемеханика, 1995, № ???. С. 101-106.

76. Свешников А.А. Прикладные методы теории случайных функций. — М.: Наука, 1968.-463 с.

77. Смагин В.А., Солдатенко B.C., Кузнецов В.В. Моделирование и обеспечение надежности программных средств АСУ. — СПб. 1999. — 49 с.

78. Соммервилл И. Инженерия программного обеспечения. 6-е издание./ Пер. с англ. под ред. канд. физ.-мат.наук А.А. Минько. М.: Вильяме, 2002. - 624 с.

79. Таненбаум Э., М. Ван Стен. Распределенные системы. Принципы и парадигмы./ Пер. с англ. СПб.: Питер, 2003. - 877 с.

80. Тейер Т., Липов М., Нельсон Э. Надежность программного обеспечения. -М.: Мир, 1981.-323 с.

81. Феллер В. Введение в теорию вероятностей и ее применения. В 2-х томах./ Пер с англ. М.: Мир, 1987. Т1 - 528с. Т2 - 738с.

82. Фишер Р.А. Статистические методы для исследователей. М.: Госстатиздат, 1958. - 326 с.

83. Хорн Р., Джонсон Ч. Матричный анализ. М.: Мир, 1989. - 655 с.

84. Черкесов Г.Н. Надежность аппаратно-программных комплексов: Учебное пособие. СПб.: Питер, 2005. - 479 с.

85. Штрик А.А., Осовецкий Л.Г., Мессих И.Г. Структурное проектирование надежных программ встроенных ЭВМ. Л.: Машиностроение, 1989. —296 с.

86. Шураков В.В. Надежность программного обеспечения систем обработки данных: Учеб. 2-е изд., перераб. и доп. — М.: Финансы и статистика, 1987. -272 с.

87. Cai К. Censored software-reliability models. // IEEE Transactions on Reliability. 1997. - V. 46, №1. - P. 69-75.

88. Chillarege R., Biyani S., Rosenthal J. Measurement of failure rate in widely distributed software. // Proc. 25th Fault Tolerant Computing Symposium, FTCS-25. 1995. - P. 424-433.

89. Fenton N.E. A Critique of Software Defect Prediction Models. // IEEE Transactions on Software Engineering. 1999. -V. 25, №5. - P. 675-689.

90. Fenton N.E., Ohlsson N. Quantitative Analysis of Faults and Failures in a Complex Software System. // IEEE Transactions on Software Engineering. — 1999.-P. 23.

91. Goel A.L. Software reliability models: Assumptions, limitations, and applicability. // IEEE Transactions on Software Engineering. — 1985. V. SE-11, №12.-P. 1411-1423.

92. Goel A.L., Okumoto, K. Time-Dependent Error-Detection Rate Model for Software Reliability and Other Performance Measures, IEEE Transactions on Reliability. 1979. -V. 28. - P. 206-211.

93. Gokhale S.S., Lyu M.R., Trivedi K.S. Analysis of Software Fault Removal Policies Using a Non-Homogeneous Continuous Time Markov Chain. // Software Quality Journal. 2004. - №12. - P. 211-230.

94. Hamlet, D., Mason D., Woit D. Theory of software component reliability. // In Proc. 23 rd International Conference on Software Engineering, Toronto, Canada.-2001.

95. Happe J. Predicting the Reliability of Component-Based Software Architectures. // Monash University, Faculty of Information Technology, Master Thesis. 2004. - P. 148.

96. Hossain S., Ram Dahiya. Estimating the parameters of a Non-Homogeneous Poisson-Process Model of Software Reliability. // IEEE Transactions on Reliability. 1993. - V. 42, №4. - P. 604-612.

97. Krishnamurthy S., Mathur A.P. On the estimation of reliability of a software system using reliability of its components. // Proceedings of the 8th IEEE International Symposium on Software Reliability Engineering. 1997. - P. 146-155.i

98. Lipov M. Maximum Likelihood Estimation of Software Time-to-Failure Distribution. // TRW report № 2260.1.9-73B-15. 1973.

99. Littlewood B. Software reliability model for modular program structure. // IEEE Transactions on Reliability. 1979. - V. 28, №3. - P. 241-246.

100. Littlewood В., Verrall J. A Bayesian Reliability Growth Model for Computer Software. // Proceedings, IEEE Symposium on Computer Software Reliability, New York. 1973. - P. 70-77.

101. Mason D.V. Probabilistic Program Analysis for Software Component Reliability. // University of Waterloo thesis. 2002. - P. 94.

102. Misra P.N. Software Reliability Analysis. // IBM Systems Journal. 1983. -V. 22, №3.-P. 262-279.

103. Moranda P.B., Jelinski J. Software Reliability Research. // Statistical Computer Performance Evaluation / Ed. by W.Freiberger. — N.Y.: Academic, 1972.

104. Musa J.D. A theory of software reliability and its applications. // IEEE Transactions on Software Reliability. 1975. -V. SE-1, №3. -P. 312-327.

105. Nelson E.N. Estimating software reliability from test data. // Microelectronics Reliability. 1978. - V. 17. - P. 67-74.

106. Ohba M. Software Reliability Analysis Models. // IBM J. Res. Develop. -1984. -V. 28, №4. -P. 428-443.

107. Okumoto K. A statistical method for software quality control. // IEEE Transactions on Software Engineering. 1985. - V. SE-11, №12. - P. 14241430.

108. Schick C.J. Wolverton R.W. Achieving reliability in large scale software system. // Proc. of the Annual Reliability and Maintainability Symposium, Los Angeles. 1974. - P. 302-319.

109. Schneidewind N.F. Reliability Modeling for Safety Critical Software. // IEEE Transactions on Reliability. 1997. - V. 46, №1. - P. 88-98.

110. Shooman M.L. Probabilistic models for software reliability prediction. // in Statistical Performance Evaluation, W. Freiberger, Editor, Academic Press, Inc., New York . 1972. - P. 485-502.

111. Singpurwalla N., Wilson S.P. Software reliability modeling. // International Statistical Review. 1994. -V. 62, №3. - P. 289-317.

112. Sukert C.A. An investigation of software reliability models. // Proc. Annual Reliability and Maintainability Symposium. 1977. - P. 478-484.

113. Weber C.V, Paulk M.C., Wise C.J., Withey J.V. Key Practices of the Capability Maturity Model. // Software Engineering Institute, CMU/SEI-91-TR-25, ADA240604, 1991.

114. Wilson S.P., Samaniego F.J. Non-parametric Analysis of Bug Counting Models in Software Reliability. // Technical Report. 2004. - P. 40. ,

115. Wood A. Software Reliability Growth Models. // Tandem Computers Technical Report 96.1. 1996. - №130056. - P. 38.

116. Yamada S., Osaki S. Software reliability growth modeling: Models and applications. // IEEE Transactions on Software Engineering. 1985. - V. SE-11, №12. - P. 1431-1437.

117. Zhao H.Q, Gao Y. Reliability Analyzing for Software Architecture Based on Components. //MINI-MICRO SYSTEMS. -2001. -V. 3. -P. 100-103.