автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Оптимизация формирования и управления развитием кластерных структур катастрофоустойчивых систем обработки информации

На правах рукописи

САВИН Сергей Владимирович

Оптимизация формирования и управления развитием кластерных структур катастрофоустойчивых систем обработки информации

05.13.01 — Системный анализ, управление и обработка информации (по отраслям: информатика, вычислительная техника и управление)

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Красноярск - 2004

Работа выполнена в Сибирском государственном аэрокосмическом университете им. академика М.Ф. Решетнева

Научный руководитель

доктор технических наук,

профессор Ковалев Игорь Владимирович

Официальные оппоненты

доктор технических наук,

профессор Терсков Виталий Анатольевич

кандидат технических наук, доцент Кошкин Юрий Геннадьевич

Ведущая организация: Государственный научно-исследовательский институт информационных технологий и телекоммуникаций «Информика» (г. Москва)

Защита состоится «24 » июня 2004 года в 14 часов на заседании диссертационного совета Д 212.249.02 при Сибирском государственном аэрокосмическом университете по адресу: пр. Красноярский рабочий, 31, Красноярск, 660014.

С диссертацией можно ознакомиться в библиотеке Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева

Автореферат разослан « 21» мая 2004 года

Ученый секретарь диссертационного совета

И.В. Ковалев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Проектирование отказоустойчивых систем обработки информации и управления предъявляет высокие требования по надежности, как к техническим, так и программным средствам. Существует ряд критичных областей науки и промышленности, где невыполнение этого требования и, как следствие, сбой работы системы могут повлечь за собой значительные экономические потери в рамках, как предприятия, так и целого региона. Такими областями являются банковская система, финансовые организации, космос, подводные и подземные исследования, атомная промышленность, химическое производство, прогнозирование и т.д. Поэтому одной из основных задач проектировщиков становится создание таких информационных систем (ИС), которые обеспечивали бы устойчивость системы к программным и аппаратным сбоям, а также обеспечивали катастрофоустойчивое решение, главная задача которого - сохранение данных и продолжение работы в условиях массовых и, возможно, последовательных отказов систем и связанных между собой подсистем корпоративной информационной структуры. Технология отработки отказов в этом случае требует учета взаимосвязанности структурных компонент и способности систем специфически реагировать на каждый вариант последовательности развития событий, так называемый, сценарий катастрофы с целью обеспечения максимально возможной сохранности защищаемой информации.

Для обеспечения надежности информационных систем предложено множество подходов, включая организационные методы разработки, различные технологии и технологические программные средства, что требует, очевидно, привлечения значительных ресурсов. Однако отсутствие общепризнанных критериев надежности не позволяет ответить на вопрос, насколько надежнее становится система при соблюдении предлагаемых процедур и технологий и в какой степени оправданы затраты на ее дальнейшее развитие. Таким образом, приоритет задачи оценки надежности и оптимизации плана развития отказоустойчивой структуры системы обработки информации должен быть выше приоритета задачи ее обеспечения, что в настоящее время становится общепризнанным, определяя актуальность диссертационного исследования.

В работе рассматриваются методы оценки и повышения надежности информационных систем, включая кластеризацию для обеспечения катастрофоустойчивости ИС, предпринят анализ существующих моделей оценки надежности информационной системы, произведен выбор эффективного метода решения.

| РОС. НАЦИОНАЛЬНАЯ 3 I БИБЛИОТЕКА 3 | С.П«те?б>ог/ -

1 . о»

Диссертационное исследование направлено на решение следующей научной проблемы: создание комплексного оптимизационного подхода к надежностной оценке кластерных структур систем обработки информации на основных этапах цикла их проектирования; обеспечение согласованности разработанных моделей и алгоритмов на этапах формирования структуры и управления планом развития катастрофоустойчивой системы обработки информации.

Одной из целей, на достижение которой направлена данная работа, является надежностное проектирование и оценка отказоустойчивых свойств информационной системы отделения федерального казначейства г. Красноярска.

Уверенность в успешности решения поставленной проблемы основывается на результатах исследований таких отечественных и зарубежных ученых, как Орлов С.А., Хорошевский В.Г., Липаев В.В., Ковалев И.В., Движенис А.А, Боэм Б.У., Гросспитч К.Е. и др.

Целью диссертационной работы является разработка и реализация формального аппарата оптимизации процессов формирования и управления развитием кластерных структур катастрофоустойчивых систем обработки информации.

Для достижения поставленной цели решались задачи:

• провести анализ существующих методик, моделей и алгоритмов надежностной оценки систем обработки информации;

• разработать системотехнические решения для развития структур кластерных систем обработки информации;

• дать формальное описание постановок задач оптимизационного формирования и управления развитием надежных структур кластерных информационных систем;

• построить алгоритмы решения моделей надежностного формирования катастрофоустойчивых структур систем обработки информации в интерактивном режиме;

• программно реализовать и апробировать предложенный комплекс моделей и алгоритмов на реальных задачах надежностного проектирования и оценки отказоустойчивых свойств информационной системы отделения федерального казначейства г. Красноярска.

Методы исследования. При выполнении работы использовались математическое и вероятностное моделирование параметров сложных систем, методы оценки надежности сложных систем, теория надежности систем обработки информации.

Научная новизна исследований заключается в создании на основе аналитико-оптимизационного моделирования математического аппарата формирования и управления развитием кластерных структур информационных систем, обеспечивающих катастрофоустойчивость при обработке информации и обоснованность выбора рациональных вариантов

развития структуры системы с учетом категории катастрофоустойчивости на многоэтапном периоде функционирования.

В частности:

1. Предложена методика надежностного анализа вариантов аппаратно-структурной реализации отказоустойчивых систем обработки информации.

2. Впервые построена оптимизационная модель анализа вариантов развития кластерной инфраструктуры, обеспечивающая последовательное поэтапное повышение уровня катастрофоустойчивости информационной системы.

3. Показана эффективность применения двухэтапной оптимизационной процедуры для интерактивного формирования и управления развитием кластерных структур катастрофоустойчивых систем обработки информации.

4. Формальный аппарат автоматизации процессов формирования и управления развитием кластерных структур систем обработки информации реализован в виде интерактивной системы с использованием современных сред и подходов.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, создают теоретическую основу для разработки моделей, методов и алгоритмов, направленных на эффективный анализ надежности и оптимальное управление развитием сложных структур систем обработки информации.

Практическая ценность.

Разработанные в диссертации оптимизационные модели и алгоритмы могут применяться при проектировании высоконадежной кластерной структуры систем обработки информации. Созданные на их базе в составе средств проектирования системы программно-алгоритмической поддержки и автоматизации формирования структур ИС сокращают сроки и снижают стоимость разработки, увеличивают надежность и улучшают сопровождение системы. Надежностное формирование структур кластерных систем позволяет решать новые задачи по качественной оценке уровня катастрофоустойчивости (экспресс-анализ кластер-кворума) и оптимальному развитию структуры системы при адекватной избыточности компонент.

Разработанная в диссертации двухэтапная процедура управления процессом формирования и развития кластерных структур позволяет оценивать степень катастрофоустойчивости систем обработки информации, применяемых в различных областях науки и производства, и генерировать оптимальный план развития системы на многоэтапный период.

Достоверность полученных результатов подтверждается тестированием и оценкой результатов применения разработанной системы в

реальных проектах, а также согласованностью расчетных и экспериментальных данных.

Реализация результатов работы.

Диссертационная работа выполнялась по проектам межотраслевых программ Минобразования России и Минатома России по направлению «Научно-инновационное сотрудничество» (проект V1I-12), а также в рамках тематического плана НИР СибГАУ (2001-2004 гг.).

При использовании программного комплекса реализовано формирование системотехнического решения при надежностном проектировании и оценке свойств катастрофоустойчивости информационной системы отделения федерального казначейства г. Красноярска. Проведен расчет экономического эффекта от увеличения надежности ИС ОФК по г. Красноярску.

Материалы диссертационной работы введены в учебные курсы и используются при чтении лекций студентам кафедры Системного анализа и исследования операций Сибирского государственного аэрокосмического университета по дисциплине «Интеллектуальные информационные технологии».

На защиту выносятся:

• методика надежностного анализа множества вариантов аппаратно-структурной реализации систем обработки информации;

• оптимизационная модель анализа вариантов развития кластерной инфраструктуры, обеспечивающая последовательное поэтапное повышение уровня катастрофоустойчивости информационной системы;

• двухэтапная процедура интерактивного формирования и управления развитием кластерных структур катастрофоустойчивых систем обработки информации;

• комплекс программно-алгоритмической поддержки надежностного формирования, оценки отказоустойчивых свойств и управления планом развития систем обработки информации.

Апробация работы. Основные положения и результаты работы прошли апробацию на конференциях различного уровня и научных семинарах. В том числе:

• на международной научно-практической конференции Н-го Сибирского авиационно-космического салона, Красноярск, 2002 г.;

• на Всероссийской научно-практической конференции «Экономика и управление в современных условиях», Красноярск, 2002 г.;

• на межрегиональном научном фестивале «Молодежь и наука -третье тысячелетие», Красноярск, 2002 г.;

• на 50-й научно-технической конференции «Информатика и проблемы телекоммуникаций» в рамках международного форума «Новые инфокомунникационные технологии: достижения, проблемы, перспективы», Новосибирск, 2003 г.;

• на межрегиональной научно-практической конференции «Молодежь Сибири - науке России», Красноярск, 2003 г.;

• на 9-й международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях», Воронеж, 2004 г.

Диссертационная работа в целом обсуждалась на научных семинарах кафедры Системного анализа и исследования операций Сибирского государственного аэрокосмического университета (2001-2004 гг.) и кафедры Информационных технологий Красноярской государственной академии цветных металлов и золота (2003-2004 гг.).

Публикации. По теме диссертации опубликовано 13 печатных работ. Полный список публикаций представлен в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дана общая характеристика проблемы, обоснована актуальность выбранной темы, определены цель и задачи исследования. Сформулированы основные положения, выносимые на защиту, научная новизна и практическая значимость полученных результатов.

В первой главе рассмотрены основные существующие проблемы в области создания высоконадежных систем обработки информации. Дана классификация систем, определены условия и требования работоспособности. Представлен обзор трудов различных организаций и независимых исследователей в области обеспечения надежности на различных стадиях жизненного цикла ИС.

В диссертации рассматриваются существующие проблемы выбора единой терминологии (с учетом англоязычных терминов) при исследовании параметров надежности для критических систем обработки информации. Под «отказоустойчивостью» понимается свойство системы сохранять работоспособность в случае случайного выхода из строя или сбоя отдельных компонентов. Под это определение попадают привычные англоязычные термины «High Availability» (НА), «Fault Resilient» (FR), «Fault Tolerance» (FT) и т.п., фактический смысл которых по существу заключается в количестве девяток после запятой в показателе надежности. Традиционно считается, что для обычной системы достаточна надежность 99%, для НА -99,9%, для FR - 99,99%, для FT - 99,999% и т.д.

Под «катастрофоустойчивостью» понимается способность компьютерного комплекса ИС, состоящего из нескольких подсистем, сохранить критически важные данные и продолжить выполнять свои функции после массового (возможно, целенаправленного) уничтожения его компонентов в результате различных катаклизмов, как природного характера, так и инспирированных человеком. Этому определению точно соответствует англоязычный термин «Disaster Tolerance» (DT), однако в общем случае

термин «Disaster Recovery» (DR) (дословно - «восстановление после катастрофы») можно также переводить как «катастрофоустойчивость».

Отличие DR от DT состоит в том, что DR концентрирует внимание на сохранности данных (при строго контролируемых потерях, если они неизбежны), а средства для продолжения полноценной работы во многих случаях предполагаются внешними по отношению к собственно катастрофоустойчивой части комплекса.

В работе показана разница в подходах к формированию отказоустойчивых и катастрофоустойчивых системотехнических решений. В понятии «отказоустойчивость» акцент делается на восстановление работоспособности после единичных, случайных, не связанных между собой отказов компонентов. Технология отработки таких отказов предполагает, как правило, что в работу вводятся резервные компоненты каждой подсистемы либо оставшиеся компоненты многократно дублированной подсистемы перераспределяют между собой работу независимо от того, что происходит в это время в других подсистемах ИТ-структуры.

В понятии «катастрофоустойчивость» главное — сохранение данных и продолжение работы в условиях массовых и, возможно, последовательных отказов систем и связанных между собой подсистем ИТ-структуры. Технология отработки отказов в этом случае требует учета взаимосвязанности подсистем организации и способности систем специфически реагировать на каждый вариант последовательности развития событий, так называемый, сценарий катастрофы с целью обеспечения максимально возможной сохранности защищаемых данных.

Второе различие заключается в распределении вероятностей отказов по подсистемам: в отказоустойчивых системах предполагается (хотя в большинстве случаев и неявно), что каналы связи между активными компонентами (например, медные или оптические кабели) гораздо надежнее самих активных компонентов, поскольку протяженность этих каналов ограничена и вероятность их повреждения в большинстве случаев относительно невелика. В территориально распределенных катастрофоустойчивых системах корпоративного типа вероятность потери связи для каждого отдельного канала сравнима с вероятностью выхода из строя одного из активных компонентов. Именно это обстоятельство при проектировании и эксплуатации катастрофоустойчивой системы требует уделять повышенное внимание каналам связи и проблеме восстановления работоспособности после потери связи. При этом сценарии отработки отказов и настройка всегда формируются «по месту» - с учетом конкретных требований, как к комплексу в целом, так и к каждой площадке, принимая во внимание различные вероятности ожидаемых катастрофических событий. Таким образом, просто «распределенная» в пространстве (территориально) традиционная отказоустойчивая система без принятия дополнительных мер

все же не может быть по-настоящему катастрофоустойчивой и в большинстве случаев не способна автоматически восстановить полную функциональность.

Основное внимание в работе уделяется кластеризации. Имеется две реализации кластеров, обеспечивающих совместную работу нескольких компьютеров: аппаратная и программная. Аппаратный кластер предусматривает специальные компоненты для поддержки целостности кластера и обрабатываемых им данных. Программный позволяет реализовать кластер из универсальных серверов и сетевых технологий, но требует поддержки со стороны операционной системы: баланса загрузки, контроля работоспособности узлов, перераспределения ресурсов и решения других задач. Собственно аппаратные кластеры выпускаются уже давно, а сегодня начали появляться и программные кластеры.

В работе рассматривается решение проблемы увеличения аппаратной надёжности путем кластеризации. Причём кластеры рассматриваются на качественно более высоком уровне - с точки зрения катастрофоустойчивости, которая определяется как способность к восстановлению работы приложений и данных за минимально короткий период времени после катастрофы. Под катастрофами понимаются не только пожар, наводнение или землетрясение, но также возможные непредвиденные сбои в работе служб, разрушение данных или повреждение всего центра обработки (например, в результате аварий в ходе ремонтных работ, умышленной диверсии или саботажа). Развитие катастрофоустойчивой архитектуры ИС предполагает обеспечение защиты от незапланированных простоев как во время, так и после катастрофы в географически распределенных узлах кластера, при которой отказ одного узла не приводит к прекращению работы всей системы.

Как правило, поддержка катастрофоустойчивой конфигурации не ограничивается развертыванием только аппаратно-программных решений (организация кластера, установка программных компонентов управления производительностью, ресурсами, инфраструктурой и др.), а должна включать специальные виды услуг, предоставляемые производителем, третьей компанией или выполняемые самим заказчиком (мониторинг работоспособности, резервное копирование и т.д.).

Во второй главе предлагаются оптимизационные модели и алгоритмы формирования и развития надежных структур систем обработки информации.

Предлагается рассматривать процесс управления развитием кластерной структуры катастрофоустойчивой системы обработки информации в виде двухэтапной процедуры. При использовании на первом этапе алгоритма, предложенного для оптимизации сложной системы обработки информации по критерию надежности, не требуется дополнительных мероприятий, связанных с выбором и расчетом количества резервируемых компонент системы. Определяется вариант системы и

способы надежностной реализации каждой из подсистем, которые доставляют экстремум целевой функции Р и обеспечивают успешное решение всех задач обработки информации и управления с вероятностями не ниже заданных, при этом затраты на проект ИС ограничены.

В отличие от обобщенных описаний структур сложных систем, имеющихся в литературе, в работе рассматриваются только принципиально возможные варианты системы, демонстрирующие применение предлагаемого подхода к оптимизации структуры системы обработки информации, в частности, и для ОФК по г. Красноярску. Очевидно, что применение специальных методов и средств обеспечения устойчивости функционирования сложных информационно-управляющих систем требует значительных затрат по их внедрению и повседневному использованию (закупка высококачественной техники и резервирование аппаратуры; дополнительная память для копирования данных; затраты времени на процедуры контроля, диагностики и т. п.)-

Основная идея данного подхода заключается в представлении процесса решения. в виде многоступенчатой структуры, каждая ступень которой связана с проверкой наличия тех или иных свойств у подмножества вариантов, что ведет к непосредственному сокращению (или к возможности сокращения) исходного множества вариантов. Указанная схема базируется на общих идеях теории последовательных статистических решений А. Вальда. Предлагаемый в работе алгоритм использует методологию последовательного анализа и отсеивания вариантов путем отсеивания бесперспективных компонент кластерной архитектуры ИС как по ограничениям, так и по целевой функции без построения начальных частей вариантов и их дальнейшего развития.

Рассматривается система обработки информации и управления, которая состоит из отдельных подсистем, которая может быть реализована способами. Отказ любой из подсистем приводит к отказу всей системы в целом. Математическая модель этой задачи имеет следующий вид: определить вариант системы (т.е. выбрать способ реализации каждой подсистемы) , доставляющий максимум целевой функции

п

Р{у)= П

(1)

при наличии ограничений

" »

I. (Р= 1.....я).

п

(2)

VеУ, и1<Ь) е Ц (/'= 1.....«).

(3)

где Uj={ Ujd),..., Ujdj).....Uj(fj)} {j- I,...,n) - совокупность компонент различных

типов, которые могут использоваться в j-й подсистеме (количество элементов

п

в множестве Справно v -текущий вариант системы (V = П U);

М

P/Um) - надежность элемента у-й подсистемы lj-го типа, определяемая как вероятность безотказной работы на заданном интервале времени;

Sp(ujdji)- Sp(v) и Sp* - значения р-го ограничивающего фактора для элемента типа подсистемы, количество р-го ограничивающего

фактора, израсходованного на всю систему и максимально возможное количество р-го ограничивающего фактора для всей системы в целом соответственно.

Представленная выше постановка (1)-(3) эквивалентна следующей задаче максимизации:

при наличии ограничений (2) и (3) и с учетом того, что f/Ußijj) = lgР/и^, так как логарифм является монотонным преобразованием. Именно для таких функций эффективно работает условие отсева алгоритма по ограничениям, а нахождение «безусловного» оптимального варианта для каждой рассматриваемой функции (как и проверка условия отсева) требует kj вычислений значений этих функций и не более сравнений

этих значений.

Избыточность аппаратно-структурной реализации системы характеризуется кратностью резервирования (максимально возможным числом резервных элементов) для типа подсистемы, определяемой по формуле

Äm = ™п

Р=1.....ч

Используются постоянные для каждой подсистемы величины определяющие запас ограничивающего фактора по каждой подсистеме.

Таким образом, предлагаемый метод позволяет определить вводимую избыточность резервных элементов и производит оптимальный выбор состава компонент, используемых при формировании надежных структур систем обработки информации, реализуемых в дальнейшем с использованием кластеризации.

Решается проблема повышения устойчивости кластерных информационных технологий к сбоям в работе на примере системы кластеров путём управления развитием их инфраструктуры. Рассматривается

формализация задачи планирования очередности и этапности создания сложных кластерных систем обработки информации, модели и методы, позволяющие определить моменты начала и окончания разработки взаимосвязанных объектов кластерных структур, распределение ресурсов между ними на этапе планирования. Разрабатываемый подход, модели и методы могут быть использованы для решения задач инвестиционного планирования создания крупномасштабных катастрофоустойчивых кластерных систем обработки информации на базе современных вычислительных сетей.

Для различных классов кластерных систем проведен анализ сценариев отказов кластерной инфраструктуры, иллюстрирующих возможные последствия остановок центров обработки данных, арбитраторов и других узлов конфигурации.

Рассматриваемые системотехнические решения для возможного развития кластерной инфраструктуры включают совокупность узлов в центрах обработки информации. В свою очередь, узлы, включают ряд структурных подразделений, участвующих в информационном пространстве на равных правах (приложения, дисковые массивы, арбитраторы и т.д.), связанных между собой коммуникационными каналами, обеспечиваемыми сетью высокой готовности, а для дисковых массивов предоставляется связь непрерывного доступа. Каждый центр обработки информации характеризуется величинами потребностей своих узлов в информационно-технических ресурсах и категорией катастрофоустойчивости для кластерной архитектуры в каждый период плана развития.

Категория катастрофоустойчивости характеризуется, в первую очередь, значением кластер-кворума, а также составом комплекса используемых аппаратно-программных средств в узлах. Тогда процесс развития кластерной инфраструктуры корпорации, обеспечивающий последовательное поэтапное повышение уровня катастрофоустойчивости представляется в виде набора путей на многодольном альтернативном графе, множество вершин которого отображает набор возможных категорий катастрофоустойчивости (тип кластера) каждого центра обработки информации в заданные периоды, а множество дуг - возможные переходы из одной категории в другую.

Кластер-кворум представляет собой динамическую характеристику, значение которой характеризует целостность кластера в текущий момент времени. Для данной постановки задачи кластер-кворум определён, как минимальная целостность кластера, при которой он остаётся работоспособен. Это процентная характеристика, обозначающая минимальную часть кластера, способную справляться с возложенными на него задачами.

В общем случае задача планирования развития кластерной инфраструктуры состоит в поиске оптимального плана развития кластерного информационного пространства, который должен определить моменты ввода

центров обработки информации, а также инфраструктуру кластерной сети в каждый период планирования. Необходимо также учитывать динамику изменения потребностей узлов системы и затраты на развитие кластерной сети.

В зависимости от конкретных особенностей постановки задачи формализуется критерий оптимальности для плана развития, однако, в ряде случаев целесообразно ввести коэффициенты, учитывающие важность информационно-технических ресурсов, требуемых подразделением

(узлом кластера). Она зависит от приоритетности структурных подразделений системы управления, обслуживаемых им и значения кластер-кворума для соответствующего сценария поведения системы при отказах компонент. При этом накладываются общие ограничения на затраты по созданию аппаратно-программных средств инфраструктуры

(информационного пространства). Важными также являются ограничения на степень удовлетворения потребностей пользователей в устойчивости к нарушению целостности по периодам планирования.

Итак, рассматриваемая далее модель позволяет проводить анализ вариантов развития кластерной инфраструктуры систем обработки информации, которая представляет собой совокупность / кластеров (номер кластера 1 = 1,/). Каждый кластер характеризуется: катастрофоустойчивой категорией , районным коэффициентом и потребностью в кластер-

кворуме ()„ в момент времени /.. На интервале времени Т в каждый период планирования / (/ = 1,7'), выделяются материальные средства в размере Л, на

развитие инфраструктуры системы кластеров. А районный коэффициент ц„ учитывает увеличение капитальных затрат на строительство кластера в особых районах (северных, сейсмических и т.д.). Каждой категории к соответствует минимальное работоспособное значение целостности (кластер-кворум) ()/, и капитальные затраты (требуемые ресурсы) на развитие кластера

Л*

Для формализации поставленной задачи введены следующие переменные:

, если кластер имеет категорию в период

планирования;

■*(«= 0 в противном случае.

Через обозначим разность между требуемой минимальной

целостностью кластера в период и кластер-кворумом категории.

Пусть </",*,= - , если < 0;

Для данной постановки важным условием является удовлетворение потребительских запросов, поэтому в качестве критерия оптимальности

плана развития кластерной системы используется выражение, минимизирующее степень превышения потребностей в устойчивости к нарушению целостности кластера:

ттД I ^¡¡кГхИа ■ (7)

Таким образом, план, обеспечивающий минимум дефицита надёжности, на всём интервале времени, выделенном на развитие системы, будет являться оптимальным. В работе для данной задачи формализованы условия выбора для каждого кластера одной категории из допустимого множества, условия, ограничивающие набор возможных категорий /-го кластера в каждый период планирования, и ограничения на затраты в период времени .

Для решения рассмотренной задачи используется алгоритм, применяющий графовую формализацию, отражающую возможные варианты развития кластерной системы.

Алгоритм основан на процедуре просмотра вариантов решения, использующей схему «ветвей и границ». При этом для очередного /-го кластера просматривается множество возможных вариантов его развития и для каждого вновь полученного варианта проводится расчет оценки критерия оптимальности. Каждое вновь полученное решение запоминается в массиве частичных решений, который упорядочивается по значению оценки критерия оптимальности. Ветвление осуществляется из решения, у которого зафиксированы варианты развития для наибольшего количества элементов кластерной инфраструктуры (если таких вариантов несколько, то ветвление осуществляется из решения с наилучшей оценкой критерия). Если на определенном шаге ветвления будет получено решение, в котором зафиксированы варианты развития для всех кластеров инфраструктуры, то из рассмотрения исключаются все частичные решения, имеющие худшие оценки критерия оптимальности, чем у данного. Если на первом месте в массиве частичных решений оказывается решение, в котором зафиксированы варианты развития для всех кластеров инфраструктуры, то получено оптимальное решение, и алгоритм работу заканчивает.

В третьей главе представлены результаты работы системы программной поддержки, оценки и управления развитием информационной структуры ОФК по г. Красноярску, состоящей из трех подсистем: подсистемы доходов, платежей и бухгалтерии. Проведен анализ функций указанных подсистем, реализованных в виде автоматизированных рабочих мест (на ПЭВМ), снабженных устройствами дополнительного питания OPS, сроком действия 5 мин., сетевого" оборудования и нескольких серверов. Резервный сервер установлен для сервера NT, поэтому если основной сервер выходит из строя, запросы клиентов направляются к резервному серверу. Однако резервный сервер при этом полностью не дублирует работу

основного, поскольку в противном случае оба сервера взаимодействуют с контроллерами, удваивая нагрузку на промышленную сеть, и сокращая, следовательно, общую производительность. Только основной сервер взаимодействует с контроллерами. Одновременно он обменивается данными с резервным сервером, постоянно обновляя его статус. Если обмен данными с основным сервером прекращается, резервный сервер полагает что основной вышел из строя и берет на себя его функции. После того, как неисправность в основном сервере будет устранена и он будет снова включен, основной сервер считает текущее состояние с резервного сервера и восстановит свою роль в качестве основного.

Данную систему обработки информации следует считать достаточно ненадежной, так как дублирование информации происходит для данных, передаваемых по сети NT, т.е. выход из строя сервера NetWare повлечет за собой прекращение функционирования подсистемы доходов. Все серверы находятся в одном помещении на расстоянии друг от друга, не превышающем 5 метров, т.е. возгорание и тому подобные форс-мажорные обстоятельства (катастрофы) приведут к полной потере данных и длительному отказу информационной системы. Выход из строя хотя бы одного канала передачи информации в данной системе приведет к нарушению контроля за исполнением федерального бюджета и государственных внебюджетных фондов и повлечет за собой колоссальные убытки в рамках, как отделения, так и целого региона.

В работе представлена процедура формирования надежной структуры информационной системы ОФК по г. Красноярску, состоящей из трех независимо выходящих из строя подсистем. Причем определено, что первая подсистема может быть реализована с использованием 6 типов элементов, для второй - 4, для третьей - 3. Проведен анализ параметров и дана краткая - характеристика элементов оборудования. Итак, необходимо выбрать вариант системы, обладающий максимальной надежностью, применяя резервирование элементов подсистем. При этом не должны нарушаться ограничения (g*) на систему в целом, наложенные финансовыми возможностями ОФК:

• по стоимости - 5000 у.е.;

• по суммарной емкости винчестеров - 400 Гб;

• по габаритам - 250000 см3.

На начальном этапе проводится отсев элементов по типам, не применяя резервирование, упорядочив элементы по строкам по возрастанию. Показано, что необходимые условия существования допустимых решений выполняются. Ниже представлены результаты отсева по ограничениям на систему в целом:

№ системы Тип элемента Емкость Стоимость Габариты Надежность

1 2 140 3505 92474,89 99,920

5 180 1420 11478,30 99,940

2 2 90 759 72015,48 99,14

3 72 3113 12676,06 99,91

4 54 980 18458,90 99,2

3 1 120 3135 24975,21 99,87

2 36,4 1985 36547,02 99,840

3 90 980,00 18095,78 99,210

Для каждого из оставшихся типов элементов в каждой подсистеме определена (табл.1) максимальная кратность резервирования по формуле (5).

Таблица 1. - Расчет максимальной кратности резервирования

№ системы Тип элемента S i-gi емкость 8 igi стоимость 4' ><&> габариты min-1

2 2,41 1,20 2,19 0

5 2,20 2,97 17,66 1

2 3,96 5,83 2,85 2

2 3 4,95 1,42 16,20 0

4 6,59 3,51 11,13 2

1 3,07 1,38 9,14 0

3 2 10,11 2,18 6,25 0

3 4,09 3,41 12,62 2

С учетом максимальной кратности резервирования и параметров системы получены исходные данные для задачи оптимизации (1)-(4). После применения ограничений по целевой функции оставшиеся комбинации представляются в виде таблицы (фрагмент которой для единственной комбинации, удовлетворяющей условиям, - вариант 5 - представлен ниже)

№ Оставшиеся комбинации Емкость Стоимость Габариты

...

5 1.2.5 2.2.2 3.2.2 396,40 4923,00 192056,28

Для них рассчитаны параметры для всей системы в целом. Далее представлены характеристики полученной информационной системы ОФК по г. Красноярску:

Подсистема Тип устройства Емкость, Гб Стоимость, y.e. Габариты, см5 Надежность

Отдел платежей Внешняя дисковая RAID система Adaptec 2400А в составе RAID-контроллер lnfortrend, 2 канала UWSCSI, 8Mb кэш (до 128Mb), корпус Rack 19" на 7 дисков с :алазками для "горячей замены" для 7 дисков SCS1-3, поддержка уровней RAID 0, 1,0+1, 5,5 180 1420,00 11478,30 99,94

Отел бухгалтерии H Р server tc4100 РШ-1.4 256MB U3-SCSI NIC CD Ml 90 759,00 72015,48 99,14

HP server tc4IOO PIII-1.4 256MB U3-SCSI NIC CD MI 90 759,00 72015,48 99,14

Отдел походов Dell Power Edge 6300 PHI Xeon 4xPII1500Mhz/512Kb, 2GB RAM,4*9.ICB HDD, Rackmount 6U 36,4 1985,00 36547,02 99,84

Полученный вариант системы обработки информации неулучшаем по надежности и, следовательно, является оптимальным. Отметим только, что дисковая система, установленная в подсистеме платежей, является наиболее надежной и емкой из всех серверов в системе. Это объясняется тем фактом, что в отделе платежей накапливается и дополняется первичная информация, являющаяся основой для остальных подсистем. Достоинством этой системы является ее функционирование под сетью NetWare. RAID I увеличивает ресурс дисковой подсистемы, её время наработки на отказ.

В подсистеме бухгалтерии надежность обеспечивается за счет зеркалирования серверов путем создания избыточности системы и возможности в любой момент произвести переключение на резервный сервер в случае отказа оборудования или ПО основного сервера. Это позволяет снизить время простоя сети и обеспечить постоянную работу пользователей. Зеркалирование информации осуществляется по выделенному соединению между серверами при помощи двух дополнительных сетевых карт. Поддержание идентичности данных серверов основано не на копировании файлов, а на зеркальной обработке транзакций.

Отдельный раздел диссертации содержит описание этапа формирования плана развития кластерной структуры ИС в составе общей структуры разработанной системы программной поддержки. Программная реализация решения поставленной задачи (6)-(7) организована на базе алгоритма нахождении оптимального плана в каждый конкретный период развития структуры системы. При этом были введены следующие допущения:

- перевод кластера в более высшую категорию производится без наращивания производительности;

- финансовые затраты на кластер рассчитаны таким образом, чтобы переход кластера из одной категории в другую происходил за один период.

Представленный выше алгоритм (модификация метода «ветвей и границ») реализован итерационной процедурой: разделение всех возможных решений на подмножества, проверка возможности существования в подмножестве оптимального решения, отсев «плохих» подмножеств решений, возврат к первому этапу.

Для целесообразного использования выделяемых ресурсов в системе предусмотрен блок прогнозирования развития запросов элементов системы (Блок «МОД-1»), который позволяет моделировать в интерактивном режиме структуру кластерной системы, представленную в виде взаимосвязанных центров обработки информации с изменяемым составом рабочих станций.

Также в структуру системы могут быть включены платформы-арбитраторы - устройства отслеживающие работу системы и производящие реконфигурацию системы в случае различного рода аппаратных сбоев. Для суждения о состоянии системы используется характеристика целостности кластера - «кластер-кворум». В рассматриваемом примере (см. рис. I) порог выхода из строя кластера по причине разрушения выбран в размере 50% значения кластер-кворума. В том случае, если кластер-кворум превышает пороговое значение, происходит останов кластера.

При моделировании функционирования кластерной архитектуры предлагаемый программный продукт предоставляет широкие возможности по прогнозированию поведения системы при ее проектировании и исследовании конкретных кластеров. Удобный пользовательский интерфейс делает работу с программой более комфортной.

Рисунок 1 - Останов работы кластера

Для функционирования разработанной системы программной поддержки необходима операционная система из линейки WINDOWS (9Х/МЕ/2К/ХР) и выше, а также присутствие ряда библиотек Borland C++ Builder.

В заключении сформулированы основные выводы и результаты, полученные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

На основе общих тенденций развития технологий проектирования высоконадежных систем обработки информации разработан комплексный оптимизационный подход к надежностной оценке кластерных структур систем обработки информации на этапе проектирования; обеспечивающий согласованность разработанных моделей и алгоритмов на этапах формирования структуры и управления планом развития катастрофоустойчивой системы обработки информации.

В ходе выполнения работы были полностью решены следующие задачи диссертационного исследования.

1. В результате анализа существующих методик, моделей и алгоритмов надежностной оценки систем обработки информации разработаны системотехнические решения, обеспечивающие

последовательную поэтапную оптимизацию плана развития кластерных структур систем обработки информации.

2. Проведенная формализация постановок задач оптимизационного формирования и управления развитием надежных структур кластерных информационных систем позволила предложить методику надежностного анализа вариантов аппаратно-структурной реализации и построить оптимизационную модель формирования и управления развитием кластерных структур систем обработки информации.

3. Реализована модификация математических методов и алгоритмов решения оптимизационных моделей, позволяющая пользователю в интерактивном режиме осуществлять анализ и надежностное формирование катастрофоустойчивых структур систем обработки информации.

4. Осуществлена программная реализация с использованием современных сред и подходов и внедрение разработанных моделей и алгоритмов в составе средств надежностного проектирования и оценки отказоустойчивых свойств информационной системы отделения федерального казначейства г. Красноярска.

5. В рамках практической реализации системы программной поддержки проектирования обоснован выбор метода оценки надежностных свойств информационной системы с учетом проведенного анализа, специфики организации и объема предоставленных данных.

6. Осуществлено проектирование и формирование оптимального плана развития надежной информационной системы ОФК по г. Красноярску и произведена ее оценка по катастрофоустойчивости с использованием обоснованного метода.

7. Оценен экономический эффект по методике Advisor Client&Server Model (методика подсчета времени простоя) от внедрения информационной системы повышенной надежности.

Результатом работы является построенная информационная система ОФК по г. Красноярску, состоящая из трех независимо выходящих из строя подсистем, методом уменьшения множества вариантов системы с резервированием. Для данных условий реализации и принятых ограничений рассчитанный показатель надежности системы составил 99,9163%, что на 0,72% выше существующего значения в организации. То есть, в случае использования предложенной системы количество ее отказов с 4,58 часов сократится до 36.66 минут.

Результаты экономической оценки подтвердили эффективность и целесообразность внедрения спроектированной информационной системы ОФК по г. Красноярску. Новая система, даже с учетом дополнительных затрат, связанных с приобретением оборудования, снизит общие расходы в случае отказа на 279861,35 руб.

Основные результаты диссертационной работы опубликованы в следующих работах:

1. Савин, С.В. Двухэтапная модель развития структуры корпоративной информационной системы/ СВ. Савин// Сборник материалов межрегионального научного фестиваля «Молодежь и наука - третье тысячелетие»/ Сост. В.В. Сувейзда; КРО НС «Интеграция».- Красноярск,

2002. С. 221-222.

2. Савин, СВ. Анализ методов управления развитием корпоративных информационных технологий/С.В. Савин// Вестник-НИИ СУВПТ: Сб. научн. трудов/ Под общ. ред. проф. Н.В. Василенко; Красноярск: НИИ СУВПТ.- 2003.- Вып. 11.- С 118-128.

3. Савин, СВ. Использование программной системы поддержки для повышения доступности информационных ресурсов корпоративной СУБД/СВ. Савин, Р.В. Юнусов// Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общ. ред. проф. Н.В. Василенко; Красноярск: НИИ СУВПТ.- 2003.- Вып. П.-С. 107-112.

4. Савин, СВ. Аспекты аналитического управления информационной инфраструктурой корпорации/С.В. Савин// Сборник материалов всероссийской научно-практической конференции «Экономика и управление в современных условиях».- Красноярск: СИБУП, 2002. С. 75-76.

5. Кузнецов, Д.А. Производственные функции и эффекты масштаба в инженерной экономике программного обеспечения/Д.А Кузнецов, СВ. Савин// Сборник материалов всероссийской научно-практической конференции «Экономика и управление в современных условиях».-Красноярск: СИБУП, 2002. С. 166-168.

6. Ковалев, И.В. Избыточное программирование надежных программных комплексов/ И.В. Ковалев, СВ. Савин// Тезисы докладов международной научно-практической конференции П-го Сибирского авиационно-космического салона (6-7 декабря 2002 г.).- Красноярск: СибГАУ, 2002. С. 171.

7. Алимханов, A.M. Обеспечение катастрофоустойчивости при управлении развитием кластерной инфраструктуры корпорации/ A.M. Алимханов, К.В. Золотарев, СВ. Савин// Молодежь Сибири - науке России: Сб. материалов межрегиональной научно-практической конференции/ Сост. В.Ю. Пац, В.В. Сувейзда; СИБУП, КРО НС «Интеграция». - Красноярск,

2003. Часть I. С 13-16.

8. Алимханов, A.M. Обзор современных методологий автоматизированного управления производством/ A.M. Алимханов, Н.Н. Джиоева, СВ. Савин// Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общ. ред. проф. Н.В. Василенко; Красноярск: НИИ СУВПТ.- 2003. Выпуск 12.- С. 111-120.

9. Ковалев, И.В. Стратегия эффективного управления развитием кластерной инфраструктуры корпорации/ И.В. Ковалев, К.В. Золотарев, СВ.

Савин// Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общ. ред. проф. Н.В. Василенко; Красноярск: НИИ СУВПТ.- 2003.- Вып. 12- С. 94-110.

10. Джиоева, Н.Н. Управление развитием кластерной инфраструктуры корпорации/ Н.Н. Джиоева, И.В. Ковалев, СВ. Савин// Информатика и проблемы телекоммуникаций: Сб. научн. трудов по материалам Международной НТК, Новосибирск: СибГУТИ, Том 2, 2003.- С. 23-27.

12. Савин, СВ. Анализ вариантов развития информационных технологий в организационных системах/ С.В. Савин, М.Ю. Слободин// Современные проблемы информатизации в технике и технологиях: Сб. трудов. Вып. 9/ Под ред. д.т.н., проф. О.Я. Кравца - Воронеж: Изд-во «Научная книга», 2004.- С. 213-214.

13. Ковалев, И.В. Оптимальное формирование избыточной структуры для отказоустойчивых информационных систем / И.В.Ковалев, С.В.Савин. Электронный журнал "Исследовано в России", 103, стр. 11231129,2004 г.

http://zhumal.ape.relam.ru/aiticles/2004/103.pdf

Савин Сергей Владимирович Оптимизация формирования и управления развитием кластерных структур катастрофоустойчивых систем обработки информации

Автореферат

Подписано в печать 22.05.04 Формат 60x84/16. Бумага писчая. Уч. изд. л.1. Тираж 100 экз. Заказ № 221

Отпечатано на ротапринте ООО «Кларетианум» 660021, г. Красноярск, ул.Декабристов, 1-А

»10892

Введение

1. Система обработки информации как объект повышения надежности

1.1. Характеристика систем обработки информации

1.1.1. Специфика информационных систем

1.1.2. Классификация информационных систем

1.1.3. Задачи информационных систем

1.2. Надежность информационных систем

1.2.1. Условия и требования к работоспособности

1.2.2. Понятие надежности информационной системы

1.2.3. Методы обеспечения надежности

1.2.4. Повышение надежности информационных систем

1.3. Катастрофоустойчивые системотехнические решения при развитии структур кластерной системы

1.3.1. Катастрофоустойчивые решения и защита данных

1.3.1.1. Катастрофоустойчивость и отказоустойчивость: терминологические сходства и различия

1.3.1.2. Аппаратно-программные решения и уровни катастрофоустойчивости

1.3.1.3. Метод удаленного зеркалирования дисковых массивов

1.3.1.4. Варианты организации работы центров

1.3.1.5. Отработка отказов в системе 45 Выводы по разделу

2. Оптимизация формирования и развития надежных структур систем обработки информации

2.1. Анализ и обоснование метода оценки надежности системы

2.1.1. Дискретная модель

2.1.2. Модель Милса

2.1.3. Метод соотношений

2.1.4. Модель последовательности испытаний Бернулли

2.1.5. Обобщенно-теоретическая модель надежности

2.1.6. Экспоненциальная модель надежности

2.1.7. Байесовская модель

2.1.8. Модель риска

2.1.9. Метод последовательного уменьшения множества вариантов системы с резервированием. Обоснование выбора

2.2. Кластерные решения повышения надежности на этапе развития катастрофоустойчивой структуры

2.2.1. Кластерные решения как способ повышения надежности

2.2.2. Типы кластеров

2.2.3. Уровни избыточности при организации катастрофоустойчивого кластера

2.2.4. Сценарии отказов кластерной информационно-технической структуры

2.3. Оптимизация управления развитием структуры кластерной системы

2.3.1. Система кластеров

2.3.2. Кластер-кворум

2.3.3. Оптимизационная задача планирования развития структуры кластерной системы

Выводы по разделу

3. Система программной поддержки формирования, оценки и управления развитием кластерной структуры ИС. Практическое применение и анализ результатов

3.1. Информационно-технологическая характеристика объекта надежностного проектирования

3.2. Характеристика информационной системы отделения федерального казначейства по г. Красноярску

3.2.1. Структура информационной системы

3.2.2. Аппаратное и программное обеспечение ОФК по г. Красноярску

3.2.3. Информационная безопасность системы

3.3. Этап формирования вариантов информационной системы ОФК по критерию надежности

3.4. Анализ экономического эффекта от увеличения надежности системы обработки информации

3.5. Этап формирования плана развития кластерной структуры катастрофоустойчивого варианта системы обработки информации

3.5.1. Процедура формирования оптимального плана развития кластерной инфраструктуры

3.5.2. Моделирование структуры кластерной системы: Блок МОД

Проектирование отказоустойчивых систем обработки информации и управления предъявляет высокие требования по надежности, как к техническим, так и программным средствам. Существует ряд критичных областей науки и промышленности, где невыполнение этого требования и, как следствие, сбой работы системы могут повлечь за собой значительные экономические потери в рамках, как предприятия, так и целого региона. Такими областями являются банковская система, финансовые организации, космос, подводные и подземные исследования, атомная промышленность, химическое производство, прогнозирование и т.д. Поэтому одной из основных задач проектировщиков становится создание таких информационных систем (ИС), которые обеспечивали бы устойчивость системы к программным и аппаратным сбоям, а также обеспечивали катастрофоустойчивое решение, главная задача которого -сохранение данных и продолжение работы в условиях массовых и, возможно, последовательных отказов систем и связанных между собой подсистем корпоративной информационной структуры. Технология отработки отказов в этом случае требует учета взаимосвязанности структурных компонент и способности систем специфически реагировать на каждый вариант последовательности развития событий, так называемый, сценарий катастрофы с целью обеспечения максимально возможной сохранности защищаемой информации.

Для обеспечения надежности информационных систем предложено множество подходов, включая организационные методы разработки, различные технологии и технологические программные средства, что требует, очевидно, привлечения значительных ресурсов. Однако отсутствие общепризнанных критериев надежности не позволяет ответить на вопрос, насколько надежнее становится система при соблюдении предлагаемых процедур и технологий и в какой степени оправданы затраты на ее дальнейшее развитие. Таким образом, приоритет задачи оценки надежности и оптимизации плана развития отказоустойчивой структуры системы обработки информации должен быть выше приоритета задачи ее обеспечения, что в настоящее время становится общепризнанным.

В работе рассматриваются методы оценки и повышения надежности информационных систем, включая кластеризацию для обеспечения катастрофоустойчивости ИС, предпринят анализ существующих моделей оценки надежности информационной системы, произведен выбор оптимального метода решения.

Одной из целей, на достижение которой направлена данная работа, является надежностное проектирование и оценка отказоустойчивых свойств информационной системы отделения федерального казначейства г. Красноярска. Выполняется оптимизация плана развития кластерных структур катастрофоустойчивой реализации анализируемой системы обработки информации и проведен расчет экономического эффекта от увеличения надежности ИС ОФК по г. Красноярску.

Диссертационное исследование направлено на решение следующей научной проблемы: создание комплексного оптимизационного подхода к надежностной оценке кластерных структур систем обработки информации на основных этапах цикла их проектирования; обеспечение согласованности разработанных моделей и алгоритмов на этапах формирования структуры и управления планом развития катастрофоустойчивой системы обработки информации.

Уверенность в успешности решения поставленной проблемы основывается на результатах исследований таких отечественных и зарубежных ученых, как Орлов СЛ., Хорошевский В.Г., Липаев В.В., Ковалев И.В., Движение А.А, Боэм Б.У., Гросспитч К.Е. и др.

Целью диссертационной работы является разработка и реализация формального аппарата оптимизации процессов формирования и управления развитием кластерных структур катастрофоустойчивых систем обработки информации.

Для достижения поставленной цели решались следующие задачи: анализ существующих методик, моделей и алгоритмов надежностной оценки систем обработки информации; разработка системотехнических решений при развитии структур кластерных систем обработки информации; формальное описание постановок задач оптимизационного формирования и управления развитием надежных структур кластерных информационных систем; модификация математических методов и алгоритмов решения моделей надежностного формирования катастрофоустойчивых структур систем обработки информации в интерактивном режиме; программная реализация с использованием современных сред и подходов и внедрение разработанных моделей и алгоритмов в составе средств надежностного проектирования и оценки отказоустойчивых свойств информационной системы отделения федерального казначейства г.

Красноярска.

Методы исследования основаны на использовании системного анализа и теории оптимизации. При выполнении работы использовались математическое и вероятностное моделирование параметров сложных систем, методы оценки надежности сложных систем, теория надежности систем обработки информации.

Научная новизна исследований заключается в создании на основе аналитико-оптимизационного моделирования процедур формирования и управления развитием кластерных структур информационных систем, обеспечивающей катастрофоустойчивость при обработке информации и обоснованность выбора рациональных вариантов развития структуры системы с учетом категории катастрофоустойчивости на многоэтапном периоде функционирования.

В частности:

1. Предложена методика надежностного анализа множества вариантов аппаратно-структурной реализации отказоустойчивых систем обработки информации.

2. Впервые разработана оптимизационная модель анализа вариантов развития кластерной инфраструктуры, обеспечивающая последовательное поэтапное повышение уровня катастрофоустойчивости информационной системы.

3. Обосновано применение двухэтапной оптимизационной процедуры для интерактивного формирования и управления развитием кластерных структур катастрофоустойчивых систем обработки информации.

4. Формальный аппарат автоматизации процессов формирования и управления развитием кластерных структур систем обработки информации реализован в виде интерактивной системы с использованием современных сред и подходов.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, создают теоретическую основу для разработки моделей, методов и алгоритмов, направленных на эффективный анализ надежности и оптимальное управление развитием сложных структур систем обработки информации.

Практическая ценность.

Диссертационная работа выполнялась по проектам межотраслевых программ Минобразования России и Минатома России по направлению «Научноинновационное сотрудничество» (проект VII-12), а также в рамках тематического плана СибГАУ (2001-2004 гг.).

Разработанная в диссертации двухэтапная процедура управления процессом формирования и развития кластерных структур позволяет оценивать степень катастрофоустойчивости систем обработки информации, применяемых в различных областях науки и производства, и генерировать оптимальный план развития системы на многоэтапный период.

Достоверность полученных результатов подтверждается тестированием и оценкой результатов применения разработанной системы в реальных проектах, а также согласованностью расчетных и экспериментальных данных.

Реализация результатов работы.

Разработанные в диссертации оптимизационные модели и алгоритмы применены при проектировании высоконадежной кластерной структуры систем обработки информации. Созданные на их базе в составе средств проектирования системы программно-алгоритмической поддержки и автоматизации формирования структур ИС сокращают сроки и снижают стоимость разработки, увеличивают надежность и улучшают сопровождение системы. Надежностное формирование структур кластерных систем позволяет решать новые задачи по качественной оценке уровня катастрофоустойчивости (экспресс-анализ кластер-кворум а) и оптимальному развитию структуры системы при адекватной избыточности компонент. При использовании программного комплекса реализовано формирование системотехнического решения при надежностном проектировании и оценке свойств катастрофоустойчивости информационной системы отделения федерального казначейства г. Красноярска.

Материалы диссертационной работы введены в учебные курсы и используются при чтении лекций студентам кафедры Системного анализа и исследования операций Сибирского государственного аэрокосмического университета по дисциплине «Интеллектуальные информационные технологии».

На защиту выносятся: методика надежностного анализа множества вариантов аппаратно-структурной реализации систем обработки информации; оптимизационная модель анализа вариантов развития кластерной инфраструктуры, обеспечивающая последовательное поэтапное повышение уровня катастрофоустойчивости информационной системы; двухэтапная процедура интерактивного формирования и управления развитием кластерных структур катастрофоустойчивых систем обработки информации; комплекс программно-алгоритмической поддержки надежностного формирования, оценки отказоустойчивых свойств и управления планом развития систем обработки информации.

Апробация работы. Основные положения и результаты работы прошли апробацию на всероссийских конференциях, научных семинарах и научно-практических конференциях. В том числе: на международной научно-практической конференции И-го Сибирского авиационно-космического салона, Красноярск, 2002 г.; на Всероссийской научно-практической конференции «Экономика и управление в современных условиях», Красноярск, 2002 г.; на межрегиональном научном фестивале «Молодежь и наука - третье тысячелетие», Красноярск, 2002 г.; на 50-й научно-технической конференции «Информатика и проблемы телекоммуникаций» в рамках международного форума «Новые инфокомунникационные технологии: достижения проблемы, перспективы», Новосибирск, 2003 г.; на межрегиональной научно-практической конференции «Молодежь Сибири - науке России», Красноярск, 2003 г.; на 9-й международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях», Воронеж, 2004 г.

Диссертационная работа в целом обсуждалась на научных семинарах кафедры Системного анализа и исследования операций Сибирского государственного аэрокосмического университета (2001-2004 гг.) и кафедры Информационных технологий Красноярской государственной академии цветных металлов и золота (2003-2004 гг.).

Публикации. По теме диссертации опубликовано 13 печатных работ. Полный список публикаций представлен в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы.

Выводы по главе 2

1. В результате анализа методов оценки надежности информационных систем и с учетом требований, предъявляемых к надежности сегодня, обосновано применение метода уменьшения множества вариантов системы с резервированием, позволяющего определить вариант системы, который обеспечивает успешное решение всех задач системы обработки информации с вероятностями не ниже заданных, при этом затраты должны быть ограничены.

2. Учитывая перспективность задач обеспечения катастрофоустойчивости системы и планирования ее дальнейшего развития, предложена двухэтапная процедура формирования кластерных структур системы. Первый этап - этап формирования надежной структуры системы обработки информации -предоставляет исходные данные для решения задач второго этапа, обеспечивающего формирование оптимального плана развития системы с использованием кластеризации, а уровень катастрофоустойчивости системы характеризует текущие требования по надежности обработки данных на заданном периоде планирования.

3. На основе анализа системотехнических решений для кластерных архитектур систем обработки данных показано, что кластер способен к реконфигурации в случае, если число одновременно вышедших из строя узлов строго меньше половины работающих. Далее для различных архитектур при оценке последствий того или иного сценария отказов достаточно рассчитать значение кластер-кворума.

4. Реконфигурация кластерных архитектур, использующих арбитраторы, существенно повышает уровень готовности системы. При введении второго арбитратора более высокий уровень готовности системы позволяет избежать остановки кластера, что неизбежно для аналогичных сценариев отказов в конфигурации с одним арбитратором.

5. Для анализа динамических характеристик целостности кластера в текущий момент времени следует использовать значение кластер-кворума, который определён в работе, как минимальная целостность кластера, при которой он остаётся работоспособен, что представляется в виде процентной характеристики, обозначающей минимальную часть кластера, способную справляться с возложенными на него задачами.

6. Решение задач поиска плана, обеспечивающего минимум дефицита надёжности на всём интервале времени, выделенном на развитие кластерной структуры системы обработки информации, при высокой размерности возможно за счет использования графовой формализации, отражающей возможные варианты развития кластерной системы и обеспечивающей применение схемы «ветвей и границ» для просмотра вариантов решения.

3. СИСТЕМА ПРОГРАММНОЙ ПОДДЕРЖКИ ФОРМИРОВАНИЯ, ОЦЕНКИ И УПРАВЛЕНИЯ РАЗВИТИЕМ КЛАСТЕРНОЙ СТРУКТУРЫ ИС. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ И АНАЛИЗ РЕЗУЛЬТАТОВ

3.1. Информационно-технологическая характеристика объекта надежностного проектирования

Отделение федерального казначейства Министерства финансов Российской Федерации по г. Красноярску (сокращенно ОФК по г. Красноярску) является территориальным органом федерального казначейства и выполняет делегированные ему полномочия и функции на территории Центрального района.

ОФК по г. Красноярску является юридическим лицом, имеет самостоятельный баланс и самостоятельную смету расходов, текущие счета в Головном расчетно-кассовом центре Главного Управления Центрального банка Российской Федерации по Красноярскому Краю (далее ГРКЦ ГУ ЦБ) и лицевой счет получателя средств в Отделении федерального казначейства по г. Красноярску, печать с изображением государственного герба Российской Федерации и со своим наименованием.

ОФК по г. Красноярску непосредственно подчиняется Управлению федерального казначейства Министерства финансов Российской Федерации по Красноярскому краю (далее УФК) и его руководителю.

В своей деятельности ОФК по г. Красноярску руководствуется Конституцией Российской Федерации, Законами Российской Федерации, Указами и Распоряжениями Президента Российской Федерации, постановлениями и распоряжениями Правительства Российской Федерации, приказами Главного Управления федерального казначейства Министерства финансов Российской Федерации и приказами Управления федерального казначейства Министерства финансов Российской Федерации по Красноярскому Краю.

Финансирование деятельности ОФК по г. Красноярску осуществляется за счет средств федерального бюджета Российской Федерации.

ОФК по г. Красноярску выполняет следующие функции:

1. Осуществляет исполнение доходов и расходов федерального бюджета на территории Центрального района г. Красноярска.

2. Осуществляет бюджетное и финансовое исполнение республиканского бюджета Российской Федерации, финансовое исполнение государственных (федеральных) внебюджетных фондов, контроль за исполнением и использованием внебюджетных (федеральных) средств.

3. Обеспечивает в соответствии с установленными размерами ассигнований целевое финансирование предприятий, учреждений и организаций за счет средств республиканского бюджета Российской Федерации, государственных внебюджетных фондов и целевое использование внебюджетных (федеральных) средств.

4. Обеспечивает полный учет распорядителей средств республиканского бюджета Российской Федерации, государственных (федеральных) средств.

5. Осуществляет операции со средствами республиканского бюджета Российской Федерации, государственных (федеральных) внебюджетных фондов и внебюджетными (федеральными) средствами.

6. Осуществляет кассовое планирование средств республиканского бюджета Российской Федерации, государственных (федеральных) внебюджетных фондов и внебюджетных (федеральных) средств и направлений их использования.

7. Контролирует своевременность совершения операций со средствами республиканского бюджета Российской Федерации, государственных (федеральных) внебюджетных фондов и внебюджетными (федеральными) средствами, а также целевое направление использования средств республиканского бюджета Российской Федерации и внебюджетных (федеральных) средств.

8. Осуществляет по представлению государственных налоговых инспекций возврат из республиканского бюджета Российской Федерации излишне взысканных и уплаченных налогов и других платежей.

9. Осуществляет контрольные функции во взаимодействии с соответствующими органами исполнительной власти, налоговыми, правоохранительными органами, банками.

10. Осуществляет систематический, полный и стандартизированный учет операций по движению средств республиканского бюджета Российской Федерации, государственных (федеральных) внебюджетных фондов и внебюджетных средств на счетах ОФК по г. Красноярску.

11. Осуществляет сбор, обработку и передачу вышестоящим органам казначейства информации и отчетов об исполнении доходов и расходов республиканского бюджета Российской Федерации, а также о финансовом использовании государственных (федеральных) внебюджетных фондов, поступлений и использовании внебюджетных средств.

12. Проводит работу по контролю за соблюдением действующего законодательства Российской Федерации в части исполнения республиканского бюджета Российской Федерации, финансового исполнения государственных (федеральных) внебюджетных фондов, поступления и использования внебюджетных (федеральных) средств.

13. В процессе выполнения возложенных на отделение функций взаимодействует с учреждениями Центрального банка РФ, банками и иными финансово-кредитными учреждениями, органами государственной налоговой службы Российской Федерации.

14. Ведет в установленном порядке делопроизводство, учет поступающей корреспонденции и бланков документов строгой отчетности.

ОФК по г. Красноярску возглавляет руководитель, который назначается и освобождается от должности руководителем Управления федерального казначейства по Красноярскому краю.

Руководитель ОФК по г. Красноярску имеет двух штатных заместителей.

ОФК по г. Красноярску до 1 марта 2000 года имело 7 счетов открытых в ГРКЦ ГУ ЦБ для исполнения бюджета: 2 счета регулирования доходов № 40101 для сбора федеральных налогов на территории Центрального района и от налогоплательщиков межрайонной ИМНС №1 по Красноярскому краю; 2 доходных счета федерального бюджета № 40102, для перечисления на них федеральных налогов, зачисляемых в доход федерального бюджета; 1 счет средств федерального бюджета № 40105 для финансирования организаций, состоящих на федеральном бюджете на территории Центрального района; 1 счет № 40503 «Некоммерческие организации» с признаком «1», для финансирования организаций за счет средств от внебюджетной деятельности, состоящих на федеральном бюджете и открывших счета в ОФК по г.Красноярску; 1 счет 40503 с признаком «2» для финансирования ОФК за счет средств от внебюджетной и иной хозяйственной деятельности.

В соответствии с приказом Управления федерального казначейства по Красноярскому краю от 09 февраля 2000 года с 29 февраля счета № 40102 по учету доходов федерального бюджета были переведены в УФК по Красноярскому краю и с 1 марта 2000 года все налоги и платежи перечисляются в федеральный бюджет на единый счет Управления. С 1 января 2002 г. по приказу УФК по Красноярскому краю счета №40101 «Налоги и сборы, распределенные органами федерального казначейства» также переведены в УФК и все регулирующие налог и платежи, подлежащие распределению между бюджетами перечисляются на единый счет управления 40101. В связи с этим 2 счета ОФК по г. Красноярску, (40102) были закрыты в 2000 г., и 2 счета (40101) в 2002г. На сегодняшний день у ОФК по г.Красноярску имеется 3 действующих счета - 40105, 40503, 40204.

Процесс функционирования отделения осуществляется следующим образом: На основании реестров Главного управления федерального казначейства, территориальных управлений федерального казначейства (реестры первого порядка) и разассигнований распорядителей бюджетных средств до подведомственных учреждений управление федерального казначейства подготавливает реестры второго порядка с расшифровкой объемов бюджетных прав по бюджетополучателям, формирует документы на перечисление средств по соответствующим субсчетам

ОФК, открытых на едином казначейском счете. ОФК, в свою очередь, осуществляют распределение объемов бюджетных прав по лицевым счетам бюджетополучателей.

На уровне ОФК осуществляется предварительный и текущий контроль за использованием средств федерального бюджета с лицевых счетов бюджетополучателей. В течение операционного дня отделения федерального казначейства принимают от бюджетополучателей платежные поручения и доверенности на выдачу денежных чеков, формируют расчетно-платежные документы для отправки в электронном виде в управление федерального казначейства по установленному графику. Перечисление средств по указанным платежным документам осуществляется со счета управления федерального казначейства, открытого в учреждении банка России после проверки их на соответствие установленным требованиям и прикрепления к соответствующим субсчетам ОФК.

По результатам проведения операций управление федерального казначейства, в соответствии с ранее произведенным прикреплением платежных документов, осуществляет расщепление выписки по единому казначейскому счету, по субсчетам ОФК и направляет в электронном виде по каналам связи выписки субсчетов вместе с реестром проведенных платежей в соответствующие ОФК для отражения операций по лицевым счетам бюджетополучателей.

Финансирование бюджетных учреждений производится главными распорядителями бюджетных средств посредством передачи информации через информационную компьютерную систему органов федерального казначейства с отражением объема финансирования и его целевого назначения на лицевых счетах получателей бюджетных средств, открытых в органах федерального казначейства.

Для выдачи учреждениям и организациям наличных денежных средств на выплату заработной платы и другие установленные законодательством расходы в наличной форме используются счета, открытые в банках, расположенных по месту нахождения бюджетополучателей и обслуживающих их территориальных отделений федерального казначейства. Средства на указанные счета поступают с единого расходного счета, по сформированным на уровне отделения платежным поручениям на основании заявок на денежную наличность бюджетополучателей в порядке подкрепления счета. Ежедневно в конце операционного дня неиспользованные остатки средств на счетах отделений для наличных денежных средств, а также возвраты и прочие поступления подлежат перечислению на единый расходный счет.

Суммы средств, поступившие на единый расчетный счет, подлежат идентификации с помощью единого эталонного справочника бюджетополучателей региона и ОФК на уровне управления федерального казначейства с последующим зачислением на соответствующие субсчета. Невыясненные суммы в течение 5 дней отправляются отправителю для уточнения получателя средств.

С введением технологии единого счета федерального казначейства, создающего условия эффективного управления финансовыми ресурсами государства, что создает предпосылки для подконтрольности и прозрачности операций в секторе государственного управления, что позволит получать достоверную и своевременную информацию о состоянии государственного сектора, так необходимую политикам, при разработке адекватного налогового и бюджетного законодательства.

Основные показатели деятельности ОФК по г. Красноярску представлены в таблице 3.1.

Заключение

На основе общих тенденций развития технологий проектирования высоконадежных систем обработки информации разработан комплексный оптимизационный подход к надежностной оценке кластерных структур систем обработки информации на этапе проектирования; обеспечивающий согласованность разработанных моделей и алгоритмов на этапах формирования структуры и управления планом развития катастрофоустойчивой системы обработки информации.

В ходе выполнения работы были полностью решены следующие задачи диссертационного исследования.

1. В результате анализа существующих методик, моделей и алгоритмов надежностной оценки систем обработки информации разработаны системотехнические решения, обеспечивающие последовательную поэтапную оптимизацию плана развития кластерных структур систем обработки информации.

2. Проведенная формализация постановок задач оптимизационного формирования и управления развитием надежных структур кластерных информационных систем позволила предложить методику надежностного анализа вариантов аппаратно-структурной реализации и построить оптимизационную модель формирования и управления развитием кластерных структур систем обработки информации.

3. Реализована модификация математических методов и алгоритмов решения оптимизационных моделей, позволяющая пользователю в интерактивном режиме осуществлять анализ и надежностное формирование катастрофоустойчивых структур систем обработки информации.

4. Осуществлена программная реализация с использованием современных сред и подходов и внедрение разработанных моделей и алгоритмов в составе средств надежностного проектирования и оценки отказоустойчивых свойств информационной системы отделения федерального казначейства г. Красноярска.

5. В рамках практической реализации системы программной поддержки проектирования обоснован выбор метода оценки надежностных свойств информационной системы с учетом проведенного анализа, специфики организации и объема предоставленных данных.

6. Осуществлено проектирование и формирование оптимального плана развития надежной информационной системы ОФК по г. Красноярску и произведена ее оценка по катастрофоустойчивости с использованием обоснованного метода.

7. Оценен экономический эффект по методике Advisor Client&Server Model (методика подсчета времени простоя) от внедрения информационной системы повышенной надежности.

Результатом работы является построенная информационная система ОФК по г. Красноярску, состоящая из трех независимо выходящих из строя подсистем, методом уменьшения множества вариантов системы с резервированием. Для данных условий реализации и принятых ограничений рассчитанный показатель надежности системы составил 99,9163%, что на 0,72% выше существующего значения в организации. То есть, в случае использования предложенной системы количество ее отказов с 4,58 часов сократится до 36.66 минут.

Результаты экономической оценки подтвердили эффективность и целесообразность внедрения спроектированной информационной системы ОФК по г. Красноярску. Новая система, даже с учетом дополнительных затрат, связанных с приобретением оборудования, снизит общие расходы в случае отказа на 279861,35 руб.

1. Александров А. Обеспечение устойчивости функционирования корпоративных сетей// Компьютерра, № 14, 1998, С.6-11.

2. Бондаренко В. Устойчивость на все сто //http://www.muk.com.ua/lcentre/MUK Classics ofdistribution.htm

3. Богатырев, В.А. К повышению надежности вычисли тельных систем на основе динамического распределения функций / Изв. вузов. Приборостроение. 1981

4. Богатырев, В.А. Отказоустойчивые многомашинные вычислительные системы динамического распределения запросов при дублировании функциональных ресурсов / Изв. вузов. Приборостроение. 1996. № 4 .

5. Боэм, Б. Характеристики качества программного обеспечения / Б. Боэм, Дж. Браун, X. Каспар, М. Липов, Г. Мак-Леод, М. Мерит. М.: Мир, 1981. - 208 с.

6. Боэм, Б.У. Инженерное проектирование программного обеспечения / Пер. с англ. М.: Радио и связь, 1985. -512 с

7. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами на С++. М.: БИНОМ, 1998. 560 с

8. Ю.Вахромеев К. Защита данных от катастроф// Открытые системы, №3, 2000. -С. 8-14

9. П.Галатенко В.А. Информационная безопасность// Открытые системы, №4, 1995.-С.З-10

10. Герасимов, Ю. Улётный интерфейс. luip^Avww.usabilily.rii/toader viicl-"-. /flyoffui.hl.in

11. Гласс Р. Руководство по надежному программированию: Пер. с англ. М.: Финансы и статистика. 1982.-256 с.

12. Джиоева, Н.Н. Управление развитием кластерной инфраструктуры корпорации/ Н.Н. Джиоева, И.В. Ковалев, С.В. Савин// Информатика и проблемы телекоммуникаций: Сб. научн. трудов по материалам Международной НТК, Новосибирск: СибГУТИ, Том 2, 2003,- С. 23-27.

13. Дилон, Б. Инженерные методы обеспечения надежности систем / Б. Дилон, И. Сингх. М.: Мир, 1984.-318 с

14. Дубова, Н.А. Управление распределённой средой корпорации / Н.А. Дубова // Открытые системы. 1999. - № 11-12. - С. 53-57.

15. Елагин, В. Кластеры против катастроф / В. Елагин // Открытые системы. -2002. № 6. - С. 29-36.18.3адорожный, В. Надёжная система из ненадёжных элементов / В. Задорожный, И. Малиновская // Открытые системы. 2000 № 12. - С. 15-18.

16. Иванов, П. Управление информационными системами: базовые концепции и тенденции развития / П. Иванов // Открытые системы. 1999. - № 4. - С. 3742.

17. Климов А.А. Проектное управление// Экономист, № 9, 1998. С. 32-35

18. Ковалев В.В. Методы оценки инвестиционных проектов. М.: Финансы и статистика, 2000. - 218 с.

19. Ковалев, И.В. Мультиверсионный метод повышения программной надежности информационно-телекоммуникационных технологий в корпоративных структурах / И.В.Ковалев, Р.В. Юнусов; Телекоммуникации и информатизация образования. 2003. №2, С. 50-55

20. Коганов А.В., Романюк С.Г. Экономический подход к понятию надежности программы// Открытые системы, №3, 1995. С. 3-11

21. Козленко JI. Проектирование информационных систем// КомпьютерПресс №9,2001.- С. 12-24

22. Коржов, В. Адекватные системы / В. Коржов // Открытые системы. 2001. -№ 12.-С. 14-18.

23. Краткое практическое руководство разработчика информационных систем на базе СУБД Oracle: Библиотечка журнала «Информационные технологии» М.: изд-во Машиностроение, 2000. - 120 с.

24. Крюков В.А. Распределенные ОС// http://spb.paralIel.ru/krukov/index.htrnr

25. Кузнецов С. Информационная система: как ее сделать?// Computerworld, №01, 1996.-С.8-11

26. Кузнецов С.Д. Проектирование и разработка корпоративных информационных систем// http://citforum.ru/cfm/prcorpsys/infsistpr03.shtml

27. Липаев, В.В. Надёжность программных средств /СИНТЕГ. М., 1998. - 232 с.

28. Липаев, В.В. Проектирование программных средств / В.В. Липаев. Москва: Высшая школа. - 1990. - 190 с.

29. Майерс Г. Надёжность программного обеспечения /Мир. М., 1980. - 360 с.

30. Мамиконов, А.Г. Типизация разработки модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба, С.А. Косяченко. М.: Наука, 1989. -165 с.

31. Мамиконов, А.Г. Синтез оптимальных модульных систем обработки данных / А.Г. Мамиконов, В.В. Кульба. М.: Наука, 1986

32. Методика проектирования и эксплуатации информационных систем //http://www.profi-club.kiev.ua/management/admin.htm

33. Михалевич B.C., Волкович В.Л. Вычислительные методы исследования и проектирования сложных систем. М: Наука, 1982 , - 288 с.

34. Мурадян А. ТСО изнутри// Компьютерра, №10, 1998. С. 9-18

35. Муродян А. Надежная основа финансов// Компьютерра, №19, 1998. С. 2429

36. Мышенков К., Васильев А., Трофимов А. Методы и средства обеспечения надежности автоматизированных информационных систем //http:// w w w. aiskhp.ru/

37. Надежность восстанавливаемых объектов// http://www.dstu.edu.ru/ntb/ebooks/ebookl/pages/ch06.html

38. Пароджанов С.Д. Методология создания информационных систем// http://www.citforum.ru/database/kbd96/43.shtml

39. Повышение надежности информационной структуры предприятия с помощью кластеризации //http://www.citforum.ru/database/kbd 187/15.html

40. Проблемы надёжности систем управления и развития разветвлённого холдинга //http://mujweb.cz/www/intelpart/rtng/r-direct.htm

41. Разработка и проектирование информационных систем// Imp^'/ilsofl.ru/docs/vveb/c 15.html

42. Раинкшкс, К. Оценка надежности систем с использованием графов / К. Раинкшкс, И.А. Ушаков. М.: Радио и связь, 1988

43. Рыжкин А.А., Слюсарь Б.Н., Шучев К.Г. Основы теории надежности: Учеб. пособие. Ростов н/Д: Издательский центр ДГТУ. 2002. - 182 с.

44. Савин, С.В. Анализ методов управления развитием корпоративных информационных технологий/С.В. Савин// Вестник НИИ СУВПТ: Сб. научн. трудов/ Под общ. ред. проф. Н.В. Василенко; Красноярск: НИИ СУВПТ.2003.- Вып. 11.- С. 118-128.

45. Савин, С.В. Аспекты аналитического управления информационной инфраструктурой корпорации/С.В. Савин// Сборник материалов всероссийской научно-практической конференции «Экономика и управление в современных условиях»,- Красноярск: СИБУП, 2002. С. 75-76.

46. Саркисян, А.А. Повышение качества программ на основе автоматизированных методов / М.: Радио и связь, 1991. 160 с.

47. Системный анализ: Проектирование, оптимизация и приложения / В 2 т., под общ. Ред. Антамошкина А.Н. Красноярск: САА, 1996. - 206 с

48. Семёнкин, Е.С. Поисковые методы синтеза систем управления космическими аппаратами / Е.С. Семёнкин, О.Э. Семёнкина, С.П. Коробейников. Красноярск: СИБУП, - 1996. - 325 с.

49. Татаренко А. Пример расчета рентабельности проекта автоматизации предприятия (ТЭО) за счет внедрения пакета бизнес приложений Oracle Applications R11 // www.oracle.ru

50. Тоценко В. Г., Александров А. В., Парамонов Н. Б. Корректность, устойчивость, точность программного обеспечения. К.: Наукова думка, 1990

51. Тоценко, В. Проблемы надежности сетей// Компьютерра, №14, 1998. С. 713

52. Устенко, А.С. Основы математического моделирования и алгоритмизации процессов функционирования сложных систем/ А.С. Устенко// http://ustenko.fromru.com/index.html

53. Феллер. В. Введение в теорию вероятностей и ее приложения М.: Мир, 1967,- 123 с.

54. Фокс, Дж. Программное обеспечение и его разработка / Пер. с англ. Под ред. Д.Б.Подшивалова. - М.: Мир, 1985. - 268 с

55. Хорошевский, В.Г. Инженерный анализ функционирования вычислительных машин и систем / М.: Радио и связь, 1987. 256 с.

56. Цвиркун, А.Д. Основы синтеза структур сложных систем / А.Д. Цвиркун. -Москва: Наука., 1982. 324 с.

57. Ширяев Д., Аншелес В., Мочалин В. Выбор оптимальной информационной системы// Открытые системы, №10, 2001. С.20-26

58. Ширяев Д., Аншелес В., Мочалин В. Сбор и обработка информации для принятия управленческих решений.// Открытые системы, № 4, 2001. С.17-18

59. Шнитман, В. Отказоустойчивые компьютеры компании Stratus. / В. Шнитман // Открытые системы. 1998. - № 1. - С. 12-19.

60. Antamoshkin, A. System Analysis, Design and Optimization / A. Antamoshkin, H.P. Schwefel, and others. Ofset Press, Krasnoyarsk, 1993. - 312 p

61. Ashrafi, N. Optimization Models for Selection of Programs, Considering Cost & Reliability / N. Ashrafi, O. Berman;IEEE Transaction on reliability. Vol. 41, No 2, June 1992, P.281-287

62. Berman, O. Choosing an Optimal Set of Libraries / O. Berman, M. Cutler.; IEEE Transaction on reliability. Vol. 45, No 2, June 1996, P.303-307

63. Bruce Tognazzini, Максимум производительности. http://www.usability.ru/toader/articles/maxuserperformance.htm

64. Costa, D. On the Extention of Exception to Support Software Faults Models / D. Costa, T. Mendez; FastAbstract ISSRE Copyright 2000

65. David, Ph. Development of a fault tolerant computer system for the Hermes Space Shuttle / Ph. David, C. Guidal. IEEE Trans., 1993. - P. 641-648

66. Dunham, J.R. Eds. Production of reliable flight crucial software: Validation method research for fault-tolerant avionics and control systems sub-working-group meeting / J.R. Dunham, C.J. Knight NASA Conf. Pub. 2222, NASA, 1985

67. Grams T. The Poverty of Reliabiliy Growth Models/ FastAbstract ISSRE Copyright 1999

68. Goseva-Popova K. How Different Architecture Based Software Reliability Models are Reealated / K. Goseva-Popova, K.S. Trivedi, A.P.Mathur; FastAbstract ISSRE Copyright 2000

69. Hamlet, D. Foundational Theory of Software Component Reliability / D. Hamlet, D. Mason, D. Wiot; FastAbstract ISSRE Copyright 2000

70. Hecht, H. Fault tolerant software / IEEE Trans. Reliability, Vol. R-28, 1979. P. 227-232

71. Hui-Qun, Z. A New Method for Estimating the Reliability of Software System Based on Components / Z. Hui-Qun, S. Jing, G. Yuan; FastAbstract ISSRE and Chillarege Corp. Copyright 2001

72. Hudak, J. Evaluation & comparition of fault-tolerant software techniques / J. Hudak, B.-H. Suh, D. Sieweorek, Z. Segall

73. Karunanithi, N. Prediction of Software Reliability Using Connectionist / N. Karunanithi, D.Whitley, Y.K.Malaiya; IEEE transactions on reliability. Models July 1992, Vol. 18, No. 7

74. Kaszycki,. G. Using Process Metrics to Enhance Software Fault Prediction Models/ FastAbstract ISSRE Copyright 1999

75. Keene, S. Progressive Software Reliability Modeling/ FastAbstract ISSRE Copyright 1999

76. Knight, C.J. An experimental evaluation of the assumption of independence in Multiversion programming / C.J. Knight, N.G. Levenson. IEEE Trans. Software Engineering, Vol. SE-12, 1986. - P. 96-109

77. Kovalev, I.V. An Approach for the Reliability Optimization of N-Version Software under Resource and Cost/Timing Constraints /16th International Computer Measurement Group Conference, Nashville, TN, USA, December 9-13, 1991

78. Kovalev, I. Computer-Aided Modelling of Production Cycles Optimal Sequence in: Letunovsky V.V.(Editor-in-chief): Problems of products quality assurance inmachine-building: Proceedings of Int. Conf. KSTU / Krasnoyarsk, 1994. P. 4348

79. Kovalev, I. Optimization Reliability Model for Telecommunications Software Systems / I. Kovalev , A. Privalov, Ju. Shipovalov. In: Modelling, Measurement and Control. - AMSE Periodicals, Vol.4-5, 2000. - P. 47-52

80. Kovalev, I. Software engineering of spacecraft control technological cycles / In: "Modelling, Measurement and Control, B". Vol.56, №3. -AMSE PRESS, 1994. -P. 45-49

81. Kovalev, I.V. Fault-tolerant software architecture creation model based on reliability evaluation / I.V. Kovalev, R.V.Younoussov; Advanced in Modeling & Analysis, vol. 48, № 3-4. Journal of AMSE Periodicals,2002, P.31-43

82. Levendel, Y. Reliability analysis of large software systems: Defect data modeling / IEEE Trans. Software Engineering, 1990. Vol. 16. - P. 141-152

83. Liestman, A. Fault-Tolerant Scheduling Problem / A. Liestman, R.-H. Campbell. -IEEE Trans, on Software Engineering, 1986. Vol. SE-12. - P. 1089-1095

84. Lyu, M.R. Handbook of Software Reliability Engineering / Edited by Michael R. Lyu Published by IEEE Computer Society Press and McGraw-Hill Book Company, 1996, 819 p

85. Luara, Arlov. Как создать хороший интерфейс пользователя? htrp://www.usability4i-u/toadcr''aruclcs/laui"aaiiov.htn*i

86. Muralidhar, К. Using the analytic hierarchy process for information system project selection / K. Muralidhar, R. Santhanam, R. Wilson. Information Mgmt 18, 1990.-P. 87-95

87. Oracle Education. Introduction to Oracle: SQL & PL/SQL , Volume 1: Students Guide, Production 1.1. 2000

88. Oracle Education. Introduction to Oracle: SQL & PL/SQL , Volume 2: Students Guide, Production 1.1. 2000

89. Oracle University. Enterprise DBA Part 1: Performance and tunning . Volume L: Students Guide, Production 1.0. 2000

90. Oracle University. Enterprise DBA Part 2: Performance and tunning . Volume 2: Students Guide, Production 1.0. 2000