автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Методы обеспечения доступности информационных ресурсов в территориально-распределенных автоматизированных системах обработки данных

УЧРЕЖДЕНИЕ РОССИЙСКОЙ АКАДЕМИИ НАУК ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ им. В. А. ТРАПЕЗНИКОВА РАН

УДК 004.052 На правах рукописи

Павельев Сергей Владимирович

МЕТОДЫ ОБЕСПЕЧЕНИЯ ДОСТУПНОСТИ ИНФОРМАЦИОННЫХ РЕСУРСОВ В ТЕРРИТОРИАЛЫЮ-РАСПРЕДЕЛЕННЫХ АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ ОБРАБОТКИ ДАННЫХ

Специальности:

05.13.06 - «Автоматизация и управление технологическими процессами и производствами (в промышленности)»; 05.13.01 - «Системный анализ, управление и обработка информации (по отраслям)».

АВТОРЕФЕРАТ диссертации на соискание ученой стег кандидата технических наук

00345 1579

Москва - 2008

003451579

Работа выполнена в Учреждении Российской академии наук Институте проблем управления им. В. А. Трапезникова РАН

Научный руководитель: доктор технических наук

Косяченко Станислав Анатольевич

Официальные оппоненты: доктор технических наук, профессор

Цвиркун Анатолий Данилович

кандидат технических паук, доцент Климов Александр Алексеевич

Ведущая организация: ОАО «ИНЭУМ им. И.С. Брука»

Защита состоится 24 ноября 2008 г. в 14-00 часов на заседании Диссертационного Совета №1 Д.002.226.01 Института проблем управления им. В.А.Трапезникова РАН по адресу: 117997, Москва, ул. Профсоюзная, д. 65. ТелефонСовета: (495) 334-93-29, факс(495) 334-93-40.

С диссертацией можно ознакомиться в библиотеке Института проблем управления им. В.А.Трапезникова РАН.

Автореферат разослан «2. ( » f/?-*, 2008 г

Ученый секретарь

Диссертационного Совета, £ Ц

доктор технических наук -к, Л.—В.К. Акинфиев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В условиях рыночной экономики и развивающейся конкуренции, эффективность корпоративных территориально-рас-пределенных автоматизированных систем обработки данных (ТР АСОД) все более связывается с обеспечением непрерывности поддерживаемых ими бизнес-процессов. При этом автоматизированная система должна обеспечивать определенный уровень доступности и сохранности информационных ресурсов (ИР) при ограничениях на стоимость создания и эксплуатации данной системы.

При увеличении масштабов ТР АСОД, использовании каналов сети Интернет для организации связи между территориально удаленными подразделениями, наличии удаленных мобильных пользователей, увеличивается риск разрушения ИР, потери доступа к ИР по причине выхода из строя аппаратного обеспечения и каналов связи. Это приводит к появлению ряда новых угроз информационной безопасности систем, снижению эффективности поддерживаемых системой производственных процессов. С другой стороны, использование инфраструктуры глобальных сетей, в том числе сети Интернет, создает возможности применения новых и модификации уже известных методов повышения доступности и сохранности ИР. Комплексное решение задач повышения доступности и сохранности ИР в ТР АСОД может быть обеспечено разработкой и широким применением формализованных моделей и прикладных методов анализа и синтеза механизмов повышения катастрофоустойчивости и отказоустойчивости ТР АСОД, использующих каналы связи глобальной сети Интернет.

Существующие в настоящее время модели и методы в основном ориентированы на локальную оптимизацию отдельных характеристик доступности ИР и поддерживающей инфраструктуры (аппаратного обеспечения, каналов связи и т.д.), а также сохранности ИР и не обеспечивают комплексного, взаимоувязанного решения по оптимизации уровней доступности и сохранности ИР при проектировании ТР АСОД. В этой связи выбранная тема диссертационной работы является весьма актуальной.

Цель работы. Целью диссертационной работы является исследование и разработка комплекса моделей и методов оптимизации уровней доступности и сохранности информационных ресурсов (ИР) в корпоративных ТР АСОД, использующих каналы связи сети Интернет. В работе рассматривается класс корпоративных автоматизированных систем, обеспечивающих автоматизацию организационно-экономической деятельности современного предприятия (организации). Для достижения указанной цели " работе поставлены и решены следующие задачи:

1. Исследование особенностей построения ТР АСОД (в том числе использующих каналы связи сети Интернет), анализ основных факторов, приводящих к нарушению доступности и сохранности ИР в подобных системах.

2. Анализ существующих методов противодействия нарушению доступности и сохранности ИР в пределах локальных хостов и в локальных сетях.

3. Исследование особенностей используемых в настоящее время технологий повышения уровней доступности и сохранности ИР в ТР АСОД, определение области их эффективного применения. Доработка существующих методов оптимизации оперативного и восстановительного резервирования с учетом особенностей ТР АСОД, использующих каналы связи сети Интернет.

4. Разработка методики выбора рационального уровня защиты центров обработки данных от аварий и катастроф.

5. Разработка методики комплексной оптимизации уровня сохранности и доступности ИР в ТР АСОД с использованием последовательной четырехэтапной оптимизации:

Этап 1 - выбор варианта защиты центра обработки данных от аварий и катастроф;

Этап 2 - выбор модели и протокола непротиворечивости при организации репликации между удаленными центрами обработки данных в ТР АСОД

Этап 3 - выбор схемы организации оперативного резервирования (т.е. резервирования, ориентированного на успешное решение текущих функциональных задач) в структуре, сформированной на этапах 1 и 2; Этап 4 - выбор схемы организации восстановительного резервирования в структуре, сформированной на этапах 1,2 и 3. Полученные результаты использованы в ходе проектирования ряда корпоративных подсистем информационной безопасности, связанных с резервированием и восстановлением ИР.

Методы исследований. Основные результаты диссертационной работы получены и математически обоснованы с использованием аппарата теории множеств, теории вероятности, теории графов, теории оптимизации на сетях и графах, теории анализа риска, теории комплексного оценивания многомерных объектов.

Связь диссертации с планами научных работ. Диссертационная работа выполнена в соответствии с исследованиями в рамках следующих проблем РАН: 2.4.5 «Сложные технические системы и информационно-управляющие комплексы; 3.3 «Системы автоматизации, математические методы исследования сложных управляющих систем и процессов, CALS-

технологии», а также Программ №14, №15 и №16 отделения ЭММПУ РАН «Проблемы анализа и синтеза модульных интегрированных технических и социальных систем управления».

Научная новизна. В диссертационной работе разработана методика комплексной оптимизации уровней сохранности и доступности ИР в ТР АСОД, позволяющая создавать экономически обоснованные подсистемы защиты. В результате проведенных научных исследований, анализа современных требований к ТР АСОД получены следующие результаты:

- сформулированы требования к созданию отказоустойчивых и катас-трофоустойчивых ТР АСОД, обеспечивающих необходимые уровни сохранности и доступности информационных ресурсов для авторизованных пользователей;

- проведен анализ основных факторов и характеристик, определяющих доступность и сохранность информационных ресурсов в ТР АСОД, использующих каналы связи сети Интернет;

- поставлен комплекс задач для оптимизации сохранности и доступности информационных ресурсов в ТР АСОД, построенных с использованием каналов связи сети Интернет;

- проведен анализ используемых методов защиты центров обработки данных от аварий и катастроф, проведена классификация основных схем защиты; разработаны модели и схемы резервирования информационных массивов и ГГ-сервисов в ТР АСОД;

- предложены методы использования разработанных математических моделей для выбора рациональной дисциплины обработки запросов в сети ЭВМ, оптимизации использования нескольких центров обработки данных в режиме оперативного резервирования, а также для оптимизации оперативного резервирования узлов локальной сети в пределах одного центра обработки данных;

- разработаны методы расчета вероятностных, временных и стоимостных характеристик для основных схем оперативного резервирования информационных массивов и 1Т-сервисов в ТР АСОД, использующих для передачи данных каналы связи сети Интернет; получены аналитические выражения для расчета вероятностных и временных характеристик каналов связи, организованных через сеть Интернет; исследованы методы восстановительного резервирования, используемые в сетях ЭВМ, получены аналитические выражения для расчета основных вероятностных и временных характеристик восстановительного резервирования при использовании основных стратегий восстановления в сетях ЭВМ с выделенными центрами обработки данных, функционирующими с использованием каналов глобальных сетей передачи данных;

- разработаны модель и методика комплексного оценивания вариантов защиты центра обработки данных и выбора наилучшего из них с использованием метода векторной стратификации;

- предложены методы обеспечения рационального функционирования территориально-распределенных автоматизированных систем с использованием моделей и протоколов непротиворечивости;

- разработана методика сравнительного анализа различных протоколов непротиворечивости для ТР АСОД реального времени, построенных на базе территориально-распределенного хранилища данных, использующего для связи отдельных узлов каналы глобальных сетей передачи данных;

- на основе описанных выше результатов разработана методика последовательной четырехэтапной комплексной оптимизации уровней доступности и сохранности ИР в ТР АСОД, использующих для передачи данных каналы связи сети Интернет.

Практическая ценность. Предложенные в работе модели и методы обеспечивают повышение уровней доступности и сохранности информационных ресурсов в ТР АСОД, использующих каналы сети Интернет. Использование данных средств позволяет уменьшить затраты на разработку необходимых инструментальных средств на 30-50%, снизить затраты на обеспечение заданных уровней сохранности и доступности информационных ресурсов не менее, чем в 3-5 раз. При заданных затратах данные уровни повышаются не менее, чем на 30%.

Разработанные методы, алгоритмы и инструментальные средства могут быть использованы при разработке коммерческих ТР АСОД широкого класса и назначения, в научно-исследовательских и проектных организациях, в вычислительных центрах.

Внедрение. Эффективность разработанных в диссертационной работе моделей и методов подтверждена положительным опытом их использования при проектировании и создании Корпоративной информационной системы управления (КИСУ) ОАО «ФСК ЕЭС». Предложенные модели и методы расчета оптимальной организации оперативного и восстановительного резервирования программных модулей и информационных массивов, а также элементов поддерживающей инфраструктуры были использованы в ходе работ по проектированию ИТ-инфраструктуры ОАО «ФСК ЕЭС». В частности, они использовались при создании распределенного вычислительного комплекса (серверного ядра КИСУ), а также при создании системы информационной безопасности КИСУ ОАО «ФСК ЕЭС». Эти модели и методы использовались также в ходе разработки проектных решений при создании Комплексной Системы Информационной Безопасности цен-

трального филиала ОАО «Ростелеком». Модели и методы выбора оптимальных схем организации оперативного и восстановительного резервирования информационных ресурсов и 1Т-сервисов применялись при создании подсистемы резервного копирования.

Применение разработанных методов и средств позволило существенно сократить временные и стоимостные затраты на разработку и эксплуатацию подсистем информационной безопасности и повысить качество вырабатываемых проектных решений. Официально подтвержденный экономический эффект от внедрения разработанных моделей, методов и инструментальных средств составил свыше 1 800 ООО (одного миллиона восьмисот тысяч) рублей.

Личный вклад. Все основные положения и результаты, выносимые на защиту, получены автором самостоятельно.

Апробация результатов диссертации. Основные результаты диссертационной работы докладывались, обсуждались и опубликованы в трудах следующих конференций: [3], [4], [5], [6], [7], [8], [9], [10], [11].

Результаты работы автор докладывал также на других совещаниях и конференциях.

Публикации. Результаты проведенных автором научных исследований опубликованы в 12 научных трудах, в том числе 2 публикации в изданиях, рекомендованных ВАК.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и приложений и содержит 238 страниц машинописного текста, 69 рисунков, 18 таблиц, а также список литературы (80 наименований).

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы работы, сформулированы цель исследований и основные задачи, рассматриваемые в работе, представлена научная новизна, основные результаты и структура диссертационной работы.

В первой главе представлен обзор литературы, посвященный выбранной теме, в котором рассмотрены: особенности построения террито-риально-распределенных автоматизированных систем обработки данных; факторы, способствующие снижению доступности информационных ресурсов и существующие методы ее повышения; показатели обеспечения доступности информационных ресурсов. Доступность информационных ресурсов и поддерживающих служб определена как составляющая информационной безопасности автоматизированных систем. На основе анализа

собранной информации поставлена задача оптимизации доступности информационных ресурсов в ТР АСОД. Рассмотрены структура и особенности сети Интернет на современном этапе развития. Показано, что особенности построения ТР АСОД на базе каналов сети Интернет требуют не только существенной модификации известных методов повышения сохранности и доступности программного и информационного обеспечения, но и разработки новых методов. В настоящее время автоматизированные системы многих крупных компаний значительно усложнились и превратились в географически распределенные глобальные структуры. Этот процесс в силу объективных причин затрагивает все большее число компаний. Общая схема территориально-распределенной корпоративной сети, построенной с использованием каналов сети Интернет, представлена на рис. 1.

Локальная сеть центра обработай данных

Рис.1. Общая схема территориально-распределенной корпоративной сети

При проектировании современных ТР АСОД необходимо руководствоваться требованиями, выдвигаемыми бизнесом предприятия: доступность информационных ресурсов с высокой заданной вероятностью,

аварийное восстановление данных и сервисов в течение заранее оговоренного времени.

При этом под доступностью ИР в данной работе понимается возможность для авторизованных пользователей получить требуемую информационную услугу за приемлемое время.

Несмотря на достаточно высокую надежность современного оборудования и применяемых технологий резервирования и восстановления данных, сохраняется возможность недоступности системы для пользователей в течение длительного времени. Недоступность возникает при чрезвычайных ситуациях (пожар, затопление, длительное отключение электропитания и.т.д.), затрагивающих помещения (здания), в которых производится обработка данных. В этом случае все информационные ресурсы, размещенные в данном помещении (здании), оказываются недоступными для пользователей на достаточно длительный промежуток времени. Кроме этого, сохраняется возможность безвозвратной потери данных, резервные копии которых не были сделаны, либо были уничтожены. Поэтому в работе рассматриваются также вопросы создания катастрофоустойчивых систем. Катастрофоустойчивость и отказоустойчивость обеспечиваются в основном использованием информационной (хранение резервных данных), временной (процессы дампирования и восстановления) и структурной (наличие дополнительных устройств и каналов связи) видами избыточности. Меры по обеспечению доступности можно разделить на локальные и распределенные. Локальные меры направлены на достижение «•живучести» отдельных компьютерных систем или их аппаратных и программных компонент (в первую очередь с целью нейтрализации внутренних отказов автоматизированных систем). Примером подобных мер является использование кластерных конфигураций в качестве платформы критичных серверов или «горячее» резервирование активного сетевого оборудования с автоматическим переключением на резерв. Если в число рассматриваемых рисков входят серьезные аварии поддерживающей инфраструктуры, приводящие к выходу из строя на длительный срок целого центра обработки данных организации, следует предусмотреть распределенные меры обеспечения живучести, например, создание или аренда резервного вычислительного центра. В этом случае кроме дублирования и/ или тиражирования ресурсов, необходимо предусмотреть средства автоматического или быстрого ручного переконфигурирования компонентов автоматизированной системы, для переключения с основного центра обработки данных на резервный. Общая схема территориально-распределен-ной корпоративной сети с резервированием центра обработки данных и каналов связи представлена на рис. 2.

Осноэной центр обработки данных

Резервный центр обработай данных

Рис.2. Общая схема территориально-распределенной корпоративной сети с резервированием центра обработки данных и каналов связи.

Метод резервирования предполагает наличие идентичной (при хранении копий) или неидентичной (при хранении предысторий) избыточности в системе. При этом различают оперативное резервирование, при котором дополнительные ресурсы используются только для решения системой текущих функциональных задач (восстановление вышедших из строя ресурсов не предусмотрено), и восстановительное резервирование, при котором часть резерва используется только для восстановления разрушенных рабочих копий или предысторий, предназначенных для решения текущих функциональных задач.

Возможен также комбинированный вариант, при котором оперативное резервирование используется для решения системой текущих функциональных задач обработки и восстановительное резервирование - для восстановления разрушенных копий, используемых при решении текущих функциональных задач обработки данных. В отдельную категорию выделяют резервирование с целью обеспечения длительного и надежного архивного хранения программных модулей и информационных массивов. Оно вклю-

чает в себя как задачи определения необходимого числа копий или предыстории модулей и массивов с учетом возможности их разрушения при хранении, так и задачи организации функционирования архивов магнитных носителей.

На основе данного подхода поставлен комплекс задач для оптимизации доступности и сохранности информационных ресурсов в ТР АСОД, построенных с использованием каналов связи глобальных сетей. При этом выделены следующие основные задачи:

- выбор оптимального варианта защиты центра обработки данных от аварий и катастроф;

- выбор оптимальной модели и протокола непротиворечивости при организации репликации между удаленными центрами обработки данных в ТРАСОД;

- выбор наилучшей схемы организации оперативного резервирования, т.е. резервирования с целью успешного решения текущей функциональной задачи (выбор рациональной дисциплины обработки запросов при децентрализованном хранении резерва и рациональной стратегии оперативного резервирования);

- выбор наилучшей схемы организации восстановительного резервирования (в качестве дополнения или в качестве альтернативы оперативному резервированию).

Во второй главе рассмотрены методы резервирования, ориентированные на успешное решение функциональных задач в территориально-распре-деленных автоматизированных системах обработки данных. Проведен сравнительный анализ основных дисциплин обработки запросов при организации оперативного резервирования в вычислительных сетях. Получены аналитические выражения для расчета основных вероятностных и временных характеристик канала связи, организованного через сеть Интернет, Рассмотрены особенности использования методов организации резервирования, ориентированных на успешное решение функциональных задач в территори-ально-распределенных автоматизированных системах обработки данных.

Проведен анализ существующих стратегий резервирования, ориентированных на успешное решение текущей функциональной задачи. Проведена классификация и анализ основных стратегий оперативного резервирования информационных массивов и программных модулей, используемых в узлах вычислительных сетей.

Стратегия 1. Используется некоторое число копий массива. Если основной массив разрушился, то используется первая его копия. Если и она разрушилась, то используется следующая копия и т.д. Стратегия 1 может использоваться для массивов постоянных и текущих данных.

Стратегия 2. При использовании этой стратегии вместо копий информационного массива хранятся его предыстории - предыдущие поколения массива и соответствующие им массивы изменений. При разрушении текущего массива происходит его восстановление по предыстории с помощью программы обновления.

Стратегия 3. Смешанная стратегия, предполагающая хранение как копий, так и предыстории. Резервирование информации производится методом постепенного замещения. Измененные части массива помещаются в копию оригинала. Оригинал удаляется лишь после полного завершения обновления и его подтверждения. Две и более идентичные копии имеются только во время обновления.

В качестве узла могут рассматриваться отдельный сервер, серверный кластер, территориально-распределенный кластер, центр обработки дан-ных. Основными характеристиками стратегий резервирования являются: ^ ■ -вероятность успешного решения задачи за единичный промежуток времени при использовании )-й стратегии резервирования (¡=1,2,3); М ^ - среднее время решения задачи при условии ее успешного ре-шения; М [тр ^ -среднее время до разрушения массива и его копий и (или) предыстории; М[Г] - среднее время решения задачи или плани-руемое время доступа к ресурсам системы. В работе получены аналити-ческие выражения для определения основных временных и вероятност-ных характеристик различных стратегий резервирования для случая, ко-гда моделью возникновения ошибок является схема независимых испы-таний (см. табл. 1).

Таблица 1.

№ Стратегии Характеристики

Р. - вероятность успешного решения задачи зз единичный промежуток гремели при использовании .¡-и стратегии резервирования (¡=1,2,3) м\Г)) " среднее время решения задачи или планируемое время доступа к ресурсам системы при использовании.¡-нстратегии резервирования (¡-1.2,3)

1 М[Т, ]-- >+ к:

2 [ 1 ~(щ> У

3 л4г3]= , Ъ' <1-р хт + -<?") + 1 (мТ1

Здесь: р - вероятность того, что массив не разрушится за единичный интервал времени при его использовании; 9 = 1 - р - вероятность разрушения массива; к - число копий; Т - время создания одной копии; 0 - время обновления (решения задачи); X - число копий массива при использовании 3 стратегии; У - число предыстории, при этом к = х + у .

Территориальная распределенность автоматизированных систем, функционирующих на базе сетей (как локальных, так и глобальных), обусловливает большое разнообразие возможных вариантов размещения дополнительных резервных модулей и массивов по узлам сети. Это определяет необходимость выбора варианта распределения резерва, оптимального согласно некоторому критерию. Выбор оптимального размещения резерва в сети определяется такими параметрами, как надежность и стоимость использования каналов связи, время задержки сообщений при передаче по каналам связи, интенсивность возникающих в отдельных узлах сети запросов к резервируемым информационным массивам и программным модулям, а также требованиями к вероятностным, временным и стоимостным характеристикам процесса обработки запросов.

В территориально-распределенной системе возможно использование нескольких вариантов хранения резерва критичной информации: централизованное (резерв хранится в одном узле); децентрализованное (резерв распределен по нескольким узлам); динамическое (в некоторые моменты времени происходит перемещение резерва по узлам сети).

При децентрализованном хранении резерва можно использовать различные дисциплины обработки запросов, основными из которых являются следующие:

- Дисциплина 1. Запрос пользователя адресуется в ближайший, согласно некоторому критерию, узел с резервом требуемого ИМ или ПМ.

- Дисциплина 2. Запрос адресуется для обработки одновременно в К узлов с резервом.

- Дисциплина 3. Запрос пользователя, полученный в^м узле, последовательно передается по содержащим резерв требуемого ИМ или ПМ узлам длины К, начинающегося в .¡-м узле, до тех пор, пока или в некотором узле этого пути не будет успешно обработан запрос, или не будут пройдены все К узлов этого пути.

- Дисциплина 4. Из .¡-го узла, в котором получен запрос, поочередно опрашиваются К ближайших узлов с резервом до тех пор, пока либо из некоторого узла не будет получен ответ, либо не будут опрошены все К узлов.

В работе проведено сравнение различных вариантов построения системы резервирования с целью успешного решения текущей задачи в территориально-распределенной системе обработки данных по следующим

характеристикам: вероятность получения ответа на запрос, выданный в] - м узле сети (надежность обработки запроса); tj - время получения ответа на запрос, выданный в j - м узле, при условии опроса всех К узлов с резервом; Z - величина средних непроизводительных затрат ресурсов сети на обработку поступающих запросов; ХР - величина средних затрат ресурсов сети на обработку поступающих запросов.

Сравнение проведено при условии одинакового распределения резерва по узлам сети и постоянной величине среднего времени задержки сообщений в сети - 13 . Получены аналитические выражения для расчета основных временных, вероятностных и стоимостных характеристик при централизованном хранении резерва. Получены аналитические выражения для расчета основных временных, вероятностных и стоимостных характеристик при централизованном и децентрализованном хранении резерва.

В работе рассмотрены особенности расчета основных временных, вероятностных и стоимостных характеристик системы резервирования с целью успешного решения текущей задачи при использовании различных дисциплин обработки запросов в ТР АСОД с выделенными центрами обработки данных.

В работе также предложена методика расчета вероятностных и временных характеристик каналов связи, организованных через Интернет. Получены аналитические выражения (см. табл. 2) для расчета следующих основных вероятностных и временных характеристик канала связи, организованного через сеть Интернет: Г^ - надежность связи между и к-м узлами; /3 -величина среднего времени задержки, вносимой каналом связи.

Таблица2

(=1 1=1 1 гртах. _V ' ^таах / ./ Ы ( М»> ^ ^ к=1 ) ^тах ; М'< 7-^- Ьпер ^обнар ^перекл 1

¡=1 к=1

где:

Р^ - вероятность того, что ¡-й элемент является работоспособным;

t"ep - среднее время передачи данных i-й подсистемой; t°°"ap - среднее время обнаружения факта выхода из строя i-й подсистемы;

- среднее время переключения i-й подсистемы на резерв; М' - число уровней резервирования каждой i-й подсистемы; /(шах - максимальное время задержки, допустимое для i-й подсистемы; 7Г - максимальное общее время задержки, при котором решение задачи оперативного резервирования еще имеет смысл;

,t3 - величина среднего времени задержки, вносимой каналом связи; rjk - надежность связи между j-м и k-м узлами. В третьей главе рассматриваются методы восстановительного резервирования информационных массивов и программных модулей в TP АСОД, проводится их классификация и анализ. Предложены формализованные модели резервирования-восстановления при решении различных задач в территориально-распределенной автоматизированной системе, а также методы расчета и анализа основных вероятностных и временных характеристик процесса восстановления с учетом возможности разрушения копий восстановительного резерва в процессе восстановления.

Исследованы варианты использования восстановительного резервирования в качестве замены оперативного. Показана необходимость использования методов восстановительного резервирования в дополнение к оперативному. Предложены методы резервирования восстановительных данных, проводится анализ и оптимизация стратегий резервирования. При этом под восстановительным резервированием понимается создание и хранение одной или нескольких резервных копий и (или) предысторий, предназначенных для воссоздания текущей версии массива и копий резерва; предназначенного для успешного решения текущей функциональной задачи, в случае их разрушения. В отличие от рассмотренного в главе 2 метода резервирования с целью успешного решения текущей задачи, восстановительный резерв предназначен не для решения текущей задачи (обновления, расчета и т. п.), а для воссоздания разрушенного основного массива и его резерва. В цикле восстановительного резервирования возможно использование носителей информации различных типов и стоимости (жестких дисков различного типа, магнитооптических дисков, DVD - дисков, магнитных лент, машинных распечаток первичных документов и т. п.). Во многих случаях применение восстановительного резервирования является единственным способом сохранения работоспособности системы обработки данных (например, в

случае нарушения логической структуры основного массива и репликации неверных данных в резервные массивы, предназначенные для оперативного резервирования).

Рассмотрим общую модель функционирования автоматизированной системы с использованием восстановительного резерва. Предположим, что моделью возникновения ошибок в системе является схема независимых испытаний (рис. 3).

Рис. 3. Общая модель функционирования автоматизированной системы с использованием восстановительного резерва

Пусть в исходном состоянии (состояние 3 на рис. 3) в системе имеется к копий и (или) предысторий резерва, предназначенного для успешного решения текущей задачи. В случае разрушения оперативного резерва система переходит в состояние 2. Из этого состояния система может перейти в исходное состояние 3 с использованием восстановительного резерва. В случае успешного восстановления основного массива и его резерва вновь делается попытка решения задачи. При воссоздании резерва, предназначенного для успешного решения текущей задачи, возможно разрушение восстановительного, что означает полную или частичную потерю данных в системе. В этом случае система переходит в поглощающее состояние 1. Поглощающее состояние 4 соответствует успешному решению задачи.

Вероятность успешного решения задачи с использованием восстановительного резерва определяется следующим образом:

р, - вероятность успешного решения задачи при использовании стратегии] (]=1, И, III) оперативного резервирования, рассчитывается при помощи аналитических выражений, приведенных в главе 2;

00

где:

Рв - вероятность успешного восстановления оперативного резерва.

Общее время доступа к автоматизированной системе с учетом ее восстановления в случае возможного разрушения ИМ и ПМ (при функционировании этой системы) определяется в виде:

/>,£(1 - Л) р\м\тк+0+#]+

I* о

=(1 - +0 - - Ру))+4 - лХ1- рЛ - рМ

- среднее время решения задачи с использованием резерва, предназначенного для успешного решения текущей задачи (выражения для расчета приведены в табл. 1, Тв- время восстановления оперативного резерва.

Проведен анализ целесообразности использования в автоматизированной системе обработки данных методов восстановительного резервирования с точки зрения различных критериев. В качестве рассматриваемых критериев использованы: максимальная вероятность успешного решения задачи; минимальное время решения задачи; минимум эксплуатационных затрат при функционировании системы.

Проведен анализ эффективности использования методов восстановительного резервирования с точки зрения оптимизации каждого из перечисленных критериев.

Результаты анализа показывают, что восстановительное резервирование наиболее эффективно на этапах отладки и опытной эксплуатации системы, когда велика вероятность разрушения резервируемого массива данных из-за ошибок и сбоев в программном обеспечении или ошибок оператора. Применение восстановительного резервирования позволяет увеличить значение коэффициента готовности системы обработки данных за счет уменьшения времени, необходимого на восстановление разрушенных массивов данных. Проведенный анализ показывает, что при больших значениях времени восстановления разрушенных массивов наиболее эффективным является использование одной копии массива в цикле восстановительного резервирования (предполагается, что вероятность разрушения массива при копировании значительно ниже вероятности разрушения при обновлении). В ряде случаев возможно использование схемы функционирования с промежуточным восстановлением. В этом случае при разрушении оперативного резерва он восстанавливается не полностью, т.е. восстанавливаются х копий и (или) предысторий 0 < X < к, после чего

делается попытка решения задачи и, в случае ее успешного решения, заканчивается восстановление оперативного резерва. Частичное восстановление целесообразно при обновлении массива, когда после решения задачи в любом случае приходится получать к копий первой версии при принятой структуре резервирования. В режиме использования схемы функционирования с промежуточным восстановлением частичное восстановление оправдано лишь в том случае, когда существуют ограничения на время получения результатов решения задачи. Определено оптимальное число восстанавливаемых копий, обеспечивающих минимум среднего времени решения задачи при Рв -> 1.

Исследованы методы восстановительного резервирования, используемые в сетях ЭВМ. Получены аналитические выражения для расчета основных вероятностных и временных характеристик восстановительного резервирования при использовании основных стратегий восстановления в ТР АСОД с выделенными центрами обработки данных, функционирующих с использованием каналов глобальных сетей связи. Показано, что во всех предложенных схемах резервирования дополнительно к резервированию с целью решения текущей задачи как в основном, так и в резервном центре обработки данных должен использоваться восстановительный резерв на случай разрушения основного массива и его резерва. Предложены методы расчета вероятностных, временных и стоимостных характеристик для основных схем восстановительного резервирования информационных массивов и ГГ-сер-висов в ТР АСОД с выделенными центрами обработки данных. Показано, что для выбора стратегии восстановительного резервирования в пределах локальной сети центра обработки данных целесообразно использовать модели, применяемые для оптимизации восстановительного резервирования в локальных сетях и отдельных узлах. При выборе оптимального режима удаленного резервного копирования данных на площадку резервного центра обработки данных следует учитывать вероятностные и стоимостные характеристики канала связи.

В четвертой главе предложен комплекс методов оптимизации уровня доступности информационных ресурсов в территориально-распределен-ных автоматизированных системах обработки данных. При этом территориальная распределенность средств хранения и обработки данных рассматривается как метод защиты информационных ресурсов и элементов инфраструктуры от аварий и катастроф.

Исследованы основные подходы к организации распределенных центров обработки данных. Предложен метод целенаправленного выбора варианта защиты информационных ресурсов и элементов инфраструктуры от аварий и катастроф. Рассмотрен метод оптимизации процесса репликации

данных в территориапьно-распределенной автоматизированной системе с использованием моделей и протоколов непротиворечивости.

Приведены результаты практической реализации предложенного комплекса методов.

Избыточность вычислительных ресурсов, за счет которой достигается высокая доступность, подразумевает усложнение вычислительного комплекса и требует дополнительных затрат на управление, так как соответствующие технологические решения должны сопровождаться разработкой и внедрением организационных мер и процедур, обеспечивающих быстрое и предсказуемое восстановление ИТ-сервисов в резервном центре обработки данных.

Принято выделять 7 уровней построения систем резервирования и управления данными. Эти уровни построения систем резервирования и управления данными можно условно разделить на 3 сегмента: резервное копирование и восстановление, быстрое восстановление обработки данных, постоянная готовность. В диссертационной работе проанализированы возможные варианты построения распределенных центров обработки данных (являющихся альтернативой резервным центрам обработки данных). В результате предложена 10-ти уровневая классификация основных схем обеспечения доступности информационных ресурсов для авторизованных пользователей в ТР АСОД в случае аварий и катастроф.

Рассмотренные уровни построения систем резервирования и управления данными можно условно разделить на 3 сегмента: резервное копирование и восстановление, быстрое восстановление обработки данных, постоянная готовность. Указанные сегменты представлены на рис. 4.

В работе предложена методика комплексного оценивания вариантов системы защиты центра обработки данных от аварий и катастроф и выбора наилучшего из них с использованием метода векторной стратификации. Принятие решений по выбору схемы защиты от аварий и катастроф центров обработки данных в процессе проектировании ТР АСОД требует всесторонней комплексной оценки рассматриваемых вариантов, проводимой на основе анализа рисков. При этом в качестве основных критериев выступают следующие показатели: возможный ущерб от нарушения нормальной работы автоматизированной системы в результате выхода из строя центра обработки данных; определяемая экспертным путем возможность (субъективная вероятность) наступления событий, наносящих существенный ущерб; затраты (капитальные и эксплуатационные) на мероприятия по защите центров обработки данных от аварий и катастроф.

Восстановление с использованием образе* дисков

Восстановление с ленты

Уровень 10 Вычислительный центр распределен между несколькими площадками в пределах городи (синхронная репликация ) и одной или несколькими удаленными площадками . на которые производится асинхронная репликация .

Уровень 9 Вычислительный центр распределен «ежду неглолькимм ллощадмши . находящимися на удалении е несколько тысяч километров . Между площадками

организована асинхронна* репликация . Уровень 8 Вычислительный центр распределен по нескольким площадкам в пределах города . Между площадками организована синхронная репликация .

Постоянная готовность

Уровень 7 Зеркальный центр обработки с автоматическим переключением

Уровень 6 Зеркальшй центр обработки (синхронное копирование )

Быстрое восстановление обработки данных

Уровень 5 Асинхронное копирование в резервный центр

Уровень 4 Резервный центр + резервное копирование посети в резервный центр

Уровень 3 Резервный центр + внешнее хранение резервных копий

Резервное копирование/ восстановление данных

( I I ! :_

Уровень 2 Внешнее хранение резервных копий

Уровень 1 хранение резервных копий в центре обработки

=i>

15 минут 1-4часа 4-8часо» 8-Т2чвсов 12-1вчков 24 часа Цт

Целевое время восстановления- RTO (recovery time objective)

Рис. 4. Классификация уровней построения систем резервирования и управления данными.

Поэтому актуальной является задача разработки обоснованной методики выбора наилучшего варианта системы защиты центров обработки данных из множества возможных альтернативных решений при учете специфики конкретного бизнеса. Предложенная методика позволяет увязать методы экспертного оценивания с математическим моделированием рассматриваемых объектов и процессов. Благодаря этому появляется возможность получать эффективные решения при рациональном сочетании исходной информации, полученной от экспертов, и объективной информации, полученной в результате измерений и сбора статистики (по результатам испытаний технических средств, результатам проведенных организационных мероприятий и др.).

Рассмотрено применение предложенной методики для выбора наилуч-

шего варианта защиты центра обработки данных от аварий и катастроф из существующего множества вариантов, поддерживаемых современными технологиями. В результате сопоставительного анализа потенциальных опасностей, угрожающих центру обработки данных, и возможностей защиты от них, получена древовидная структура показателей комплексной оценки вариантов защиты. Фрагмент структуры показателей и матрица логической свертки оценок по 2 показателям в обобщающую оценку приведены на рис. 5.

Рис. 5. Фрагмент структуры показателей

В диссертации приведен разработанный на основе метода векторной стратификации алгоритм комплексного оценивания вариантов защиты центра обработки данных и выбора наилучшего из них.

В работе предложены также методы оптимизации функционирования территориально-распределенных автоматизированных систем с использо-

ванием моделей и протоколов непротиворечивости. Разработана методика сравнительного анализа различных протоколов непротиворечивости для систем обработки данных (СОД) реального времени, построенных на базе территориально-распределенного хранилища данных, использующего для связи отдельных узлов каналы глобальных сетей передачи данных. Проведен сравнительный анализ моделей непротиворечивости, реализованных в протоколах на базе первичной копии. Для сравнения использованы вероятностные (вероятность получения ответа на запрос, выданный в узле сети), временные (среднее время выполнения запроса на чтение и обновление) и стоимостные (величина средних непроизводительных и величина средних затрат ресурсов сети на обработку поступающих запросов) характеристики. Получены аналитические выражения для расчета указанных характеристик.

Проведен анализ изложенных в предыдущих главах моделей и методов. Предложена методика решения задачи комплексной оптимизации уровней сохранности и доступности информационных ресурсов в ТР АСОД, использующих каналы глобальных сетей передачи данных. Методика состоит в решении четырехэтапной задачи последовательного выбора наилучших в данных условиях структуры и параметров системы защиты. При этом на первом этапе осуществляется выбор варианта защиты центра обработки данных от аварий и катастроф на основе метода векторной стратификации. На втором этапе производится выбор модели и протокола непротиворечивости при организации репликации между удаленными центрами обработки данных в ТР АСОД. На третьем этапе осуществляется выбор варианта организации резервирования с целью решения текущей задачи в структуре, сформированной на этапах 1 и 2. Выбирается рациональная дисциплина обработки запросов и наилучшая стратегия оперативного резервирования. Для выбранной стратегии рассчитывается оптимальное число копий или предысторий. На последнем, четвертом этапе, осуществляется выбор наилучшей схемы организации восстановительного резервирования в структуре, сформированной на этапах 1,2 и 3.

В работе рассмотрен подход к оценке эффективности предложенного комплекса мер повышения доступности. В качестве критерия эффективности рассматривается коэффициент эффективности мер по повышению доступности, представляющий собой отношение между снижением риска нарушения доступности (в денежном выражении) и дополнительными капитальными и эксплуатационными затратами, необходимыми для снижения риска на указанную величину. Величина суммарного риска нарушения доступности информационных ресурсов при отсутствии мероприятий по повышению доступности рассчитывается по следующей формуле:

, где (), - возможность реализации опасностей в отношении ¡-й группы объектов опасности; Wi- ущерб в случае реализации опасностей в отношении 1-й группы объектов опасности. Соответственно каждой группе объектов опасности будет соответствовать риск Я, = ¿/¡Щ Расчет значений риска Лп для каждого из вариантов повышения доступности, полученного при использовании четырехэтапной методики формирования системы защиты, осуществляется следующим образом:

1 где п - номер варианта; 1 - номер группы опасностей, воздействующих на определенную группу объектов опасностей.

Выделены 4 группы опасностей, меры противодействия которым рассматриваются на каждом из этапов рассматриваемой методики. Тогда:

к = ацохцод + с>гхнп + а°хор + авхвр. ™

2цодде/цод _ р((СК ПрИ выбранных мерах защиты центра обработки данных; - риск при выбранных модели и протоколе непротиво-

речивости; " Риск ПРИ выбранной схеме оперативного резерви-

рования; - риск при выбранной схеме восстановительного ре-

зервирования.

Для каждого из рассматриваемых вариантов вычисляются величины снижения риска по сравнению с величинами рисков, рассчитанных для случая отсутствия мер защиты: АЯ„ = -

Расчет затрат Сп на реализацию каждого варианта мер повышения доступности осуществляется следующим образом: Сп = , где п -номер рассматриваемого варианта; 1 - статья затрат. >

Коэффициент эффективности выбранного комплекса мер повышения доступности информационных ресурсов определяется следующим образом: Кэ =

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В диссертационной работе получены следующие основные результаты. Результаты, соответствующие специальности 05.13.06: 1.На основе проведенного анализа особенностей построения ТР АСОД (в т.ч. использующих каналы связи сети Интернет) исследованы особенности использования существующих моделей и методов повышения доступности информационных ресурсов в подобных системах.

2. Исследованы особенности создания отказоустойчивых и катастро-фоустойчивых информационных систем, обеспечивающих требуемый уровень доступности для авторизованных пользователей. Проведен анализ используемых основных методов обеспечения отказоустойчивости и защиты от катастроф, обоснована необходимость организации резервирования центров обработки данных. Проведен анализ основных факторов и характеристик, определяющих доступность информационной системы для авторизованных пользователей.

3. Проведен анализ основных характеристик каналов связи при передаче данных с использованием сети Интернет. Для оценки качества таких каналов получены аналитические выражения для трех его основных характеристик: доступность канала связи (т.е. вероятность пересылки требуемого объема данных за максимально допустимое время), максимальная производительность при передаче запросов/ответов заданного типа, среднее время реакции (среднее время получения подтверждения о получении запроса/ ответа). Показано влияние на доступность каналов связи требований по обеспечению целостности и конфиденциальности информации, передаваемой по открытым каналам глобальных сетей передачи данных.

4. Проведена доработка существующих математических моделей выбора оптимальной дисциплины обработки запросов в сети ЭВМ для случая ТР АСОД (оптимизация использования нескольких центров обработки данных в режиме синхронной репликации информационных массивов, оптимизация резервирования узлов локальной сети в пределах одного центра обработки данных). Разработаны методы расчета вероятностных, временных и стоимостных характеристик для основных вариантов резервирования центров обработки данных. Получены аналитические выражения для расчета вероятностных и временных характеристик каналов связи, организованных через сеть Интернет.

5. Рассмотрены возможности использования восстановительного резерва для воссоздания основного массива и его оперативного резерва в случае их разрушения. Показано, что во многих случаях применение восстановительного резервирования является единственным способом сохранения работоспособности системы обработки данных. Показано также, что при достаточно больших допустимых значениях интервала времени, предшествующего аварии, на котором допускается потеря данных, и интервала времени после аварии, необходимого для восстановления 1Т-сервисов, на случай выхода из строя всего Центра обработки данных, можно предусмотреть использование только восстановительного резервирования, т.к. его организация намного дешевле организации оперативного резервирования. Получены аналитические выражения для расчета основных вероят-

ностных и временных характеристик восстановительного резервирования при использовании основных стратегий восстановления в сетях ЭВМ с выделенными центрами обработки данных, функционирующих с использованием каналов глобальных сетей связи.

Результаты, соответствующие специальности 05.13.01:

6. При разработке методов и средств создания катастрофоустойчи-вых территориально-распределенных систем обработки данных с использованием глобальных сетей передачи данных исследовано влияние территориальной распределенности средств хранения и обработки данных на возможности выбора стратегий и методов защиты от катастроф. Выделены и детально исследованы типовые схемы защиты центров обработки данных от аварий и катастроф и разработаны рекомендации по их использованию в конкретных условиях.

7. Разработаны модель и методика комплексного оценивания вариантов защиты центра обработки данных и выбора наилучшего из них с использованием метода векторной стратификации. Предложены методы оптимизации функционирования территориально-распределенных автоматизированных систем с использованием моделей и протоколов непротиворечивое га. Разработана методика сравнительного анализа различных протоколов непротиворечивости для систем обработки данных (СОД) реального времени, построенных на базе территориально-распределенно-го хранилища данных, использующего для связи отдельных узлов каналы глобальных сетей передачи данных.

8. Предложена методика решения комплексной задачи четырех-этап-ного выбора наилучшего варианта обеспечения требуемого уровня доступности ИР в ТР АСОД, использующих каналы связи сети Интернет.

Результат, соответствующий обеим специальностям:

9. Предложенные в диссертационной работе модели и методы использованы в ходе разработки проектных решений ряда подсистем территориально-распределенной корпоративной информационной автоматизированной системы управления (КИСУ) ОАО "ФСК ЕЭС" и Комплексной Системы Информационной Безопасности центрального филиала ОАО "Ростелеком". Полученный общий экономический эффект составляет около 1,8 млн. рублей.

Работы, опубликованные по теме диссертации.

Публикации в изданиях, рекомендованных ВАК

I. Павельев C.B. Задачи оптимального оперативного резервирования информационных массивов и программных модулей в корпоративных вычислительных сетях, построенных с использованием каналов Интернета. / / Проблемы управления, 2006. - №3- С. 61 - 63.

2. Павельев В.В., Павельев C.B. Выбор варианта системы защиты центров обработки данных/УПроблемы управления, 2008.- №.5.-С. 67-72.

Статьи, тезисы докладов научно-технических конференций

3. Павельев C.B. Методы обеспечения сохранности информации пользователей в сети Интернет. // Труды международной научно-практической конференции "Теория активных систем". Том 2. -Москва: ИПУ РАН, 2003. - С. 140 - 142.

4. Павельев C.B. Методы повышения достоверности и резервирования информации в автоматизированных системах регионального и муниципального управления, использующих сеть Интернет. // Проблемы регионального и муниципального управления. Материалы международной научной конференции. -Москва: РГТУ, 2004г. - С. 215-217.

5. Павельев C.B. Резервирование данных мобильного корпоративного пользователя с использованием инфраструктуры сети Интернет. // Труды XII Международной конференции "Проблемы управления безопасностью сложных систем". - Москва: ИПУ РАН, 2004. - С. 228-231.

6. Павельев C.B. Проектирование системы репликации данных службы каталогов Active Directory в сети, использующей каналы связи Интернет. // Материалы международной научной конференции к 10-летию Института экономики, управления и права Российского государственного гуманитарного университета "Проблемы регионального и муниципального управления". - Москва: РГТУ, 2005. - С. 214 - 217.

7. Павельев C.B. Построение системы управления информационной безопасностью сети предприятия, построенной с использованием каналов связи Интернет. // Труды ХШ международной конференции "Проблемы управления безопасностью сложных систем" - Москва: ИПУ РАН, 2005. - С. 255- 258.

8. Павельев C.B. Аналитическое моделирование оптимальной системы резервирования информационных массивов и программных модулей в территориально-распределенной автоматизированной системе управления, построенной на основе GRID-технологии. // Материалы международной научной конференции "Проблемы регионального и муниципального управление". - Москва: РГТУ, 2006. - С. 286 - 289.

9. Павельев C.B. Моделирование процессов управления уровнем доступности высококритичных данных в территориально-распределенной корпоративной информационной системе // Третья международная конференция по проблемам управления (20-22 июня 2006 г.): Пленарные доклады и избранные труды. - Москва: ИПУ РАН, 2006. - С. 320 - 328.

10. Павельев C.B. Разработка схем репликации для оперативного резервирования информационных массивов в территориапьно-распределен-

пых информационно-вычислительных сетях. // Труды XIV международной конференции "Проблемы управления безопасностью сложных систем". - Москва: ИПУ РАН, 2006. - С. 268 - 272.

] 1. Павельев C.B. Методы выбора оптимальных схем оперативного и восстановительного резервирования в территориалыю-распредсленной автоматизированной системе. // Труды XV международной конференции "Проблемы управления безопасностью сложных систем". - Москва: ИПУ РАН, 2007. - С. 284 - 287.

12. Кульба В.В., Павельев C.B., Микрин Е.А. Методы обеспечения доступности программного и информационного обеспечения в территориаль-но-распределенных системах обработки данных, построенных с использованием инфраструктуры глобальных сетей передачи данных.// Научное издание. - Москва: ИПУ РАН, 2008. - 48 с.

Личный вклад автора в совместные публикации

[2] - исследованы и структурированы факторы риска, возникающие при функционировании центра обработки данных в территориалыю-распреде-ленных автоматизированных системах обработки данных. Проведена классификация применяемых в настоящее время методов защиты центров обработки данных от аварий и катастроф.

[12] - исследованы особенности обеспечения сохранности и доступности для конечных пользователей программного и информационного обеспечения в территориально распределенных системах обработки данных, функционирующих на базе инфраструктуры глобальной сети Интернет. Проведен анализ существующих в настоящее время методов повышения доступности информационных ресурсов, учитывающих особенности построения территориально-распределенных систем обработки данных, функционирующих на базе инфраструктуры глобальной сети Интернет.

Подписано в печать 14.08.2008. Формат 84x108 '/., Тираж 150 экз. Гарнитура Times Печать офсетная. Объем 0,75 п.л. Заказ№189

Отпечатано с готового оригинал-макс га в в ООО «Репро-Полиграф»

Введение.

Глава 1. Существующие методы обеспечения доступности информационных ресурсов в территориально-распределенных автоматизированных системах обработки данных (обзор).

1.1. Особенности построения территориально-распределенных автоматизированных систем обработки данных.

1.2. Доступность информационных ресурсов как составляющая информационной безопасности автоматизированных систем.

1.3. Факторы снижения доступности информационных ресурсов и существующие методы ее повышения.:.

1.4 Оценка показателей обеспечения доступности информационных ресурсов.

1.5. Постановка задачи оптимизации доступности информационных ресурсов в территориально-распределенных автоматизированных системах обработки данных.

Краткие выводы.

Глава 2. Методы резервирования, ориентированные на решение текущей функциональной задачи в территориально-распределенных автоматизированных системах обработки данных.

2.1. Анализ существующих стратегий резервирования.

2.2. Анализ дисциплин обработки запросов в вычислительных сетях при организации систем резервирования с целью повышения вероятности успешного решения функциональных задач.

2.3. Методы расчета вероятностных и временных характеристик каналов связи, организованных через Интернет.

2.4 Использование методов организации резервирования, ориентированных на успешное решение функциональных задач, в территориально-распределенных автоматизированных системах обработки данных.

Краткие выводы.

Глава 3. Методы восстановительного резервирования в территориально-распределенных автоматизированных системах обработки данных.

3.1. Анализ существующих методов восстановительного резервирования.

3.2. Основные характеристики восстановительного резервирования.

3.3. Использование методов восстановительного резервирования в глобальных сетях.

Краткие выводы.

Глава 4. Методы оптимизации уровня доступности информационных ресурсов в территориально-распределенных автоматизированных системах обработки данных.

4.1. Территориальная распределенность средств хранения и обработки данных как метод защиты информационных ресурсов и элементов инфраструктуры от аварий и катастроф.

4.2. Организация распределенных центров обработки данных.

4.3. Методы целенаправленного выбора варианта защиты информационных ресурсов и элементов инфраструктуры от аварий и катастроф.

4.4. Оптимизация процесса репликации данных в территориально-распределенной автоматизированной системе с использованием моделей и протоколов непротиворечивости.

4.5. Комплекс методов решения задачи оптимизации подсистемы обеспечения доступности информационных ресурсов в территориально-распределенных автоматизированных системах обработки данных.

4.6 Результаты практической реализации предложенных методов.

Краткие выводы.

Актуальность работы. В современных условиях глобализации бизнеса, требующего резкого снижения затрат на выполнение производственных функций, мобильности персонала, возможности доступа к требуемой информации и работы с ней в любой точке мира, повышение эффективности инвестиций в информатизацию организаций и предприятий обеспечивается многими факторами, одним из которых является повышение уровней сохранности и доступности информационных ресурсов (информационных массивов, баз знаний и программных модулей) и эффективное управление ими. В условиях рыночной экономики и развивающейся конкуренции, эффективность корпоративных территориально-распределенных автоматизированных систем обработки данных (ТР АСОД) все более связывается с обеспечением непрерывности поддерживаемых ими бизнес-процессов. При этом автоматизированная система должна обеспечивать определенный уровень сохранности и доступности информационных ресурсов (ИР) при ограничениях на стоимость создания и эксплуатации данной системы.

При увеличении масштабов ТР АСОД, организации доступа к корпоративным информационным ресурсам из сети Интернет, использовании каналов сети Интернет для организации связи между удаленными площадками ТР АСОД, наличии удаленных мобильных пользователей, увеличивается риск разрушения ИР, потери доступа к ИР по причине выхода из строя аппаратного обеспечения и каналов связи. Это приводит к появлению ряда новых угроз для информационной безопасности систем, снижению эффективности поддерживаемых системой производственных процессов. С другой стороны, использование инфраструктуры глобальных сетей, в том числе сети Интернет, создает возможности применения новых и модификации уже известных методов повышения сохранности и доступности информационных массивов, баз знаний и программных модулей. Комплексное решение задач повышения сохранности и доступности ИР в ТР АСОД может быть обеспечено разработкой и широким применением формализованных моделей и прикладных методов анализа и синтеза механизмов повышения катастрофо- и отказоустойчивости ТР АСОД, использующих каналы связи глобальной сети Интернет.

Существующие в настоящее время модели и методы в основном ориентированы на локальную оптимизацию отдельных характеристик доступности ИР и поддерживающей инфраструктуры (аппаратного обеспечения, каналов связи и т.д.), а также сохранности ИР и не обеспечивают комплексного, взаимоувязанного решения по оптимизации уровней доступности и сохранности ИР при проектировании ТР АСОД.

В этой связи выбранная тема диссертационной работы является весьма актуальной.

Цель работы. Целью диссертационной работы является исследование и разработка комплекса моделей и методов оптимизации уровней сохранности и доступности информационных ресурсов (ИР) в корпоративных территориально-распределенных автоматизированных системах обработки данных (ТР АСОД), использующих каналы связи сети Интернет. В работе рассматривается класс корпоративных автоматизированных систем, обеспечивающих автоматизацию организационно-экономической деятельности современного предприятия (организации).

Для достижения указанной цели в работе решены следующие задачи:

1. Исследованы особенности построения ТР АСОД (в том числе использующих каналы связи сети Интернет), проведен анализ основных факторов, приводящих к нарушению сохранности и доступности ИР в подобных системах.

2. Проведен анализ существующих методов противодействия нарушению сохранности и доступности ИР в пределах локальных хостов и в локальных сетях.

3. Рассмотрены особенности используемых в настоящее время технологий повышения уровней сохранности и доступности ИР в ТР АСОД, предложены области эффективного применения и проведена доработка существующих методов оптимизации оперативного и восстановительного резервирования с учетом особенностей ТР АСОД, использующих каналы связи сети Интернет.

4. Разработана методика выбора оптимального уровня защиты центра обработки данных от аварий и катастроф на основе метода векторной стратификации.

5. На основе полученных результатов предложена методика комплексной оптимизации уровня сохранности и доступности ИР в ТР АСОД с использованием четырехэтапной оптимизации:

Этап 1 - выбор варианта защиты центра обработки данных от аварий и катастроф на основе метода векторной стратификации;

Этап 2 - выбор оптимальной модели и протокола непротиворечивости при организации репликации между удаленными центрами обработки данных в ТР АСОД;

Этап 3 — выбор оптимальной схемы организации оперативного резервирования в структуре, сформированной на этапах 1 и 2.; Этап 4 - выбор оптимальной схемы организации восстановительного резервирования в структуре, сформированной на этапах 1, 2 и 3. Полученные результаты использованы в ходе проектирования ряда корпоративных подсистем информационной безопасности, связанных с резервированием и восстановлением ИР.

Методы исследований. Основные результаты диссертационной работы получены и математически обоснованы с использованием аппарата теории множеств, теории вероятности, теории графов, математического программирования и оптимизации на сетях и графах, теории анализа риска, теории комплексного оценивания многомерных объектов.

Связь диссертации с планами научных работ. Диссертационная работа выполнена в соответствии с исследованиями в рамках проблем РАН 2.4.5 «Сложные технические системы и информационно-управляющие комплексы; 3.3 «Системы автоматизации, математические методы исследования сложных управляющих систем и процессов, САЬ8-технологии», а также Программ №14,

15 и №16 отделения ЭММПУ РАН «Проблемы анализа и синтеза модульных интегрированных технических и социальных систем управления».

Научная новизна. В диссертационной работе впервые разработана комплексная методика оптимизации уровней сохранности и доступности ИР в ТР АСОД, позволяющая создавать экономически обоснованные подсистемы защиты. В результате проведенных научных исследований, анализа современных требований к ТР АСОД впервые были получены следующие результаты: сформулированы требования к созданию отказоустойчивых и катастрофоустойчивых ТР АСОД, обеспечивающих необходимые уровни сохранности и доступности информационных ресурсов для авторизованных пользователей;

- проведен анализ основных факторов и характеристик, определяющих доступность и сохранность информационных ресурсов в ТР АСОД, использующих каналы связи сети Интернет;

- поставлен комплекс задач для оптимизации сохранности и доступности информационных ресурсов в территориально-распределенных автоматизированных системах, построенных с использованием каналов связи сети Интернет;

- проведен анализ используемых в настоящее время методов защиты центров обработки данных от аварий и катастроф, проведена классификация основных схем защиты;

- разработаны модели и схемы резервирования информационных массивов и ГГ-сервисов в территориально-распределенных системах обработки данных;

- предложены методы использования разработанных математических моделей для выбора оптимальной дисциплины обработки запросов в сети ЭВМ, оптимизации использования нескольких центров обработки данных в режиме оперативного резервирования, а также для оптимизации оперативного резервирования узлов локальной сети в пределах одного центра обработки данных;

- разработаны методы расчета вероятностных, временных и стоимостных характеристик для основных схем оперативного резервирования информационных массивов и 1Т-сервисов в ТР АСОД, использующих для передачи данных каналы связи сети Интернет. Получены аналитические выражения для расчета вероятностных и временных характеристик каналов связи, организованных через сеть Интернет;

- исследованы методы восстановительного резервирования, используемые в сетях ЭВМ, получены аналитические выражения для расчета основных вероятностных и временных характеристик восстановительного резервирования при использовании основных стратегий восстановления в сетях ЭВМ с выделенными центрами обработки данных, функционирующих с использованием каналов глобальных сетей связи;

- разработаны модель и методика комплексного оценивания вариантов системы защиты центра обработки данных и выбора наилучшего из них с использованием метода векторной стратификации;

- предложены методы оптимизации функционирования территориально-распределенных автоматизированных систем с использованием моделей и протоколов непротиворечивости;

- разработана методика сравнительного анализа различных протоколов непротиворечивости для ТР АСОД реального времени, построенных на базе территориально-распределенного хранилища данных, использующего для связи отдельных узлов каналы глобальных сетей передачи данных;

- на основе описанных выше результатов разработана методика четырехэтапной комплексной оптимизации уровней сохранности и доступности ИР в ТР АСОД, использующих для передачи данных каналы связи сети Интернет.

Практическая ценность. Предложенные в работе модели и методы формируют научно-методическое обеспечение эффективных средств повышения уровней сохранности и доступности информационных ресурсов в ТР АСОД, использующих каналы сети Интернет. Использование данных средств позволяет уменьшить затраты на разработку необходимых инструментальных средств на 30-50%, снизить затраты на обеспечение заданных уровней сохранности и доступности информационных ресурсов не менее, чем в 3-5 раз. При заданных затратах данные уровни повышаются не менее, чем на 30%.

Разработанные методы, алгоритмы и инструментальные средства могут быть использованы при разработке коммерческих ТР АСОД широкого класса и назначения в научно-исследовательских, проектных организациях и вычислительных центрах, коммерческих организациях, разрабатывающих и внедряющих системы данного класса.

Внедрение. Эффективность разработанных в диссертационный работе моделей и методов подтверждена положительным опытом их использования при проектировании и создании Корпоративной информационной системы управления (КИСУ) ОАО «ФСК ЕЭС». Предложенные модели и методы расчета оптимальной организации оперативного и восстановительного резервирования программных модулей и информационных массивов, а также элементов поддерживающей инфраструктуры были использованы в ходе работ по проектированию ИТ-инфраструктуры ОАО «ФСК ЕЭС», в частности, при создании распределенного вычислительного комплекса (серверного ядра КИСУ), а также при создании системы информационной безопасности КИСУ ОАО «ФСК ЕЭС».

Разработанные в данной диссертационной работе модели и методы также были использованы в ходе разработки проектных решений при создании Комплексной Системы Информационной Безопасности центрального филиала ОАО «Ростелеком». Предлагаемые в работе модели и методы выбора оптимальных схем организации оперативного и восстановительного резервирования информационных ресурсов и ГГ-сервисов использовались при создании подсистемы резервного копирования.

Использование разработанных методов и средств позволило существенно сократить временные и стоимостные затраты на разработку и эксплуатацию подсистем информационной безопасности и повысить качество вырабатываемых проектных решений. Официально подтвержденный экономический эффект от внедрения разработанных моделей, методов и инструментальных средств составил свыше 1 800 ООО (одного миллиона восьмисот тысяч) рублей.

Личный вклад. Все основные положения и результаты, выносимые на защиту, получены автором самостоятельно.

Апробация результатов диссертации. Основные результаты диссертационной работы докладывались, обсуждались и опубликованы в трудах следующих конференций: [4], [13], [16], [18], [25], [51], [78], [79], [80]. Результаты работы автор докладывал также на других совещаниях и конференциях.

Публикации. Результаты проведенных автором научных исследований опубликованы в 12 научных трудах.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и приложений и содержит 238 страниц машинописного текста, 69 рисунков, 18 таблиц, а также список литературы (80 наименований).

Результаты исследования стратегий резервирования представлены в табл. 2.1.1.

Заключение

В диссертационной работе получены следующие основные результаты:

1. На основе детального анализа возможностей структур глобальной сети Интернет разработаны модели, методы и инструментальные средства повышения уровней сохранности и доступности информационных ресурсов в территориально-распределенных автоматизированных системах обработки данных.

2. Исследованы особенности создания отказоустойчивых и катастрофоустойчивых информационных систем, обеспечивающих требуемый уровень доступности для авторизованных пользователей. Проведен анализ основных методов обеспечения отказоустойчивости и защиты от катастроф, используемых в настоящее время. Обоснована необходимость организации резервирования центров обработки данных. Проведен анализ основных факторов и характеристик, определяющих доступность информационной системы для авторизованных пользователей.

3. Проведен анализ основных характеристик каналов связи при передаче данных с использованием сети Интернет. Для оценки качества таких каналов получены аналитические выражения для трех его основных характеристик: доступность канала связи (т.е. вероятность пересылки требуемого объема данных за максимально допустимое время), максимальная производительность при передаче запросов/ответов заданного типа, среднее время реакции. Показано влияние на доступность каналов связи требований по обеспечению целостности и конфиденциальности информации, передаваемой по открытым каналам глобальных сетей связи.

4. При разработке методов и средств создания катастрофоустойчивых территориально-распределенных систем обработки данных с использованием глобальных сетей связи исследовано влияние территориальной распределенности средств хранения и обработки данных на возможности выбора стратегий и методов защиты от катастроф. Выделены и детально исследованы типовые схемы защиты центров обработки данных от аварий и катастроф и разработаны рекомендации по их использованию в конкретных условиях.

5. Разработаны модели и схемы резервирования информационных массивов и ГГ-сервисов в территориально-распределенных системах обработки данных. Предложены методы использования разработанных математических моделей для выбора оптимальной дисциплины обработки запросов в сети ЭВМ, оптимизации использования нескольких центров обработки данных в режиме оперативного резервирования (т.е. синхронной репликации информационных массивов между центрами обработки данных и автоматического переключения клиентских приложений на резервную площадку в случае выхода из строя основной), а также для оптимизации оперативного резервирования узлов локальной сети в пределах одного центра обработки данных. Разработаны методы расчета вероятностных, временных и стоимостных характеристик для основных схем оперативного резервирования информационных массивов и ГГ-сервисов. Получены аналитические выражения для расчета вероятностных и временных характеристик каналов связи, организованных через сеть Интернет.

6. Рассмотрены возможности использования восстановительного резерва для воссоздания основного массива и его оперативного резерва в случае их разрушения. Показано, что во многих случаях применение восстановительного резервирования является единственным способом сохранения работоспособности системы обработки данных. Показано также, что в случае достаточно больших допустимых значений КРО и КТО на случай выхода из строя всего Центра обработки данных (ЦОД) можно предусмотреть использование только восстановительного резервирования, т.к. его организация намного дешевле организации оперативного резервирования. Получены аналитические выражения для расчета основных вероятностных и временных характеристик восстановительного резервирования при использовании основных стратегий восстановления в сетях ЭВМ с выделенными центрами обработки данных, функционирующих с использованием каналов глобальных сетей связи.

7. Разработаны модели и методы выбора оптимальных систем защиты центров обработки данных с использованием предложенной методики комплексного оценивания объектов и метода векторной стратификации. Предложены методы оптимизации функционирования территориально-распределенных автоматизированных систем с использованием моделей и протоколов непротиворечивости. Разработана методика сравнительного анализа различных протоколов непротиворечивости для систем обработки данных (СОД) реального времени, построенных на базе территориально-распределенного хранилища данных, использующего для связи отдельных узлов каналы глобальных сетей передачи данных.

8. Предложенные в диссертационной работе модели и методы использованы при разработке и эксплуатации ряда подсистем территориально-распределенной корпоративной информационной автоматизированной системы управления (КИСУ) ОАО «ФСК ЕЭС». Полученный общий экономический эффект составляет более 1000000 рублей.

1. В. Кастрюков Когда WAN быстрее LAN, или способы консолидации WAN- офисов М: "Storage News" № 1 (26), 2006

2. А. Морозевич, В. Гаврилюк Управление данными или ILM по IBM: опыт практической реализации. "Storage News", №3, 2006.

3. Дж. Уолрэнд Телекоммуникационные и компьютерные сети. Вводный курс. Москва: Постмаркет, 2001. -480 с.

4. Jan Matlis, "Scale-Free Networks", (Computerworld), November 04, 2002

5. Рекомендации по организации взаимодействия и взаиморасчетов операторов Интернет-услуг. Общественно-государственное объединение «Ассоциация документальной электросвязи (АДЭ)», Версия 1 от 31.03.2004, М:- 2004

6. Семенов Ю.А. "Протоколы и ресурсы Интернет" (Радио и связь, М. 1996)

7. Семенов Ю.А. "Сети Интернет. Архитектура и протоколы" (Сиринъ, М. 1998)

8. А.П. Курило и др. Обеспечение информационной безопасности бизнеса. -М.: БДЦ-пресс, 2005

9. Норкатт Стивен Защита сетевого периметра: Пер с англ./Стивен Норкатт и др.- К.: ООО «ТИД «ДС», 2004

10. Павельев C.B. Задачи оптимального оперативного резервирования информационных массивов и программных модулей в корпоративных вычислительных сетях, построенных с использованием каналов Интернета. // Проблемы управления. 2007 - №3

11. Павельев C.B. Построение системы управления информационной безопасностью сети предприятия, построенной с использованием каналов связи Интернет. // Проблемы управления безопасностью сложных систем 2005: Труды XIII международной конференции. -М., 2005.

12. Б.Д. Альтерман, В.В. Задорожный, Р.В. Лукин, А.Е. Лукичев, К.В. Мусатов, С.Н. Шилин. Обзор технологий обеспечения непрерывности ИТ- сервисов в чрезвычайных ситуациях M:- «Jet Info» , №11 (150) / 2005.

13. Решения компании «Элвис Плюс». Подсистема защиты информационных noTOKOB.-http://www.elvis.ru/solutions system.shtml

14. Решения компании «Элвис Плюс». Подсистема защиты периметра.-http://www.elvis.ru/solutions system.shtml

15. Microsoft Corporation Microsoft TCP/IP. Учебный курс: Официальное пособие Microsoft для самостоятельной подготовки: Пер. с англ. 2-е изд., испр. - М.: Издательско-торговый дом «Русская Редакция», 1999. -344 е.: ил.

16. Доктрина информационной безопасности Российской Федерации

17. ISO/IEC 17799-2002 Information Technology. Code of practice for information security management.

18. ГОСТ P ИСО/МЭК 17799-2005 «Методы обеспечения безопасности. Руководство по управлению безопасностью информации».

19. Галатенко В.А. Под редакцией члена-корреспондента РАН В.Б. Бетелина Основы информационной безопасности. М.: ИНТУИТ.РУ «Интернет-Университет Информационных Технологий», 2003 г

20. Н.А.Кузнецов, В.В.Кульба, Е.А.Микрин и др. Информационная безопасность систем организационного управления. Теоретические основы : в 2 т. Ин-т проблем передачи информ. РАН. -М.: Наука, 2006

21. Фролов А, Фролов Г Сохранность и восстановление компьютерных данных: теория и практика Byte/Россия № 1/2001 ("www.bytemag.ru)

22. Кульба В.В., Ковалевский С.С., Шелков А.Б. Достоверность и сохранность информации в АСУ. Издание второе. Серия «Информационные технологии». М.: СИНТЕГ, 2003, 500 с.

23. Мамиконов А.Г., Кульба В.В., Шелков А.Б. Достоверность, защита и резервирование информации в АСУ. М.: Энергоатомиздат. 1986

24. В.Галатенко, И.Дорошин Доступность как элемент информационной безопасности, M:- «Jet Info», №2(33), 1997

25. Кульба В.В., Сомов С.К., Шелков А.Б. Резервирование данных в сетях ЭВМ. Издательство Казанского университета, 1987

26. Кульба В.В., Мамиконов А.Г., Пелихов В.П., Шелков А.Б. Методы повышения достоверности и сохранности информации в АСУ: Обзор. — Автоматика и телемеханика, 1985, №2, с. 5-33

27. Кульба В.В., Цвиркун А.Д. Некоторые задачи оптимального резервирования информационных массивов. Автоматика и телемеханика, 1971, №6, с. 92-98

28. Р. Заединов. Центр обработки данных как основной инструмент преодоления рисков внедрения ИТ. Банковское дело в Москве, №1 (133)

29. С. Warrick, С. Beretta, R. Ghem, L. Hilliard, S. Kamonthipsukon, S. Rolandi, J. Sing, G. J. Tarella, C. Leung IBM Total Storage Business Continuity Solutions Guide, International Technical Support Organization, IBM Redbooks SG24-6547-02, August 2005

30. П. Массиглиа. Технологии управления хранением данных компании VERITAS Software. M:- «JetInfo», №8(99), 2001

31. С. Зелов Кластерные технологии КомпьютерПресс, №3, 1999 г

32. Олег Спиряев Катастрофоустойчивые решения. BYTE/Россия №3/2005 (www.bytemag.ru).

33. С. Brooks, M. Bedernjak, I. Juran, J. Merryman Disaster Recovery Strategies with Tivoli Storage Management International Technical Support Organization IBM Redbooks SG24-6844-01 November 2002.

34. Я.Д.Вишняков, Н.Н.Радаев. Общая теория рисков: учеб. пособие для студ. высш. учебн. заведений. М:- Издательский центр «Академия», 2007.

35. Кульба В.В., Шелков А.Б. Задача восстановительного резервирования программных модулей и информационных массивов в АСУ. Всесоюзное совещание «Оптимизационные задачи в автоматизированных системах управления.» Тезисы докладов. -М.: ИПУ, 1981

36. Шелков А.Б. Восстановительное резервирование информационных массивов в АСУ. — В кн.: Методы анализа и систеза автоматизированных систем управления. Вып. 25. -М.: ИПУ, 1981

37. Кульба В.В., Пелихов В.П., Шелков А.Б. Стратегии резервирования информационных массивов. -В кн.: Построение автоматизированных систем обработки данных. -М.: ИПУ, 1978, вып. 16

38. Шелков А.Б., Сомов С.К., Коробко В.Б. Восстановительное резервирование программных модулей и информационных массивов в сетях ЭВМ. // Анализ и синтез оптимальных модульных СОД: Сборник трудов Института проблем управления. М.: ИПУ, 1984.

39. Шелков А.Б., Сомов С.К. Резервирование программ и данных в системах коллективного пользования // Теоретические и прикладные задачи оптимизации. М.: Наука, 1985

40. Д.Л. Голубев Распределенные центры обработки данных M:- «Jet Info» , №5 (156), 2006

41. А. Лебедев Удаленная репликация: критерии выбора. М: "Storage News" № 2 (27), 2006

42. А. Гончаров Методы защиты данных: обзор решений. М: "Storage News" № 2 (27), 2006

43. Р. Третау, Э. Андал, Р. Батталья, Д. Эдварде, X. Спе Управление хранением данных IBM Tivoli Storage Management IBM Redbooks SG24-4877-03, в переводе, Москва, КУДИЦ-ОБРАЗ, 2006.

44. И. Алешин. Удаленная репликация данных для защиты информационных ресурсов. IKS-online № 5.2006

45. А. К. Лобанов Методы построения систем хранения данных. M:- «Jet Info» , №7 (122)/2003

46. Е.Д. Соложенцев Сценарное логико-вероятностное управление риском в бизнесе и технике. -СПб.: Издательский дом «Бизнес-пресса», 2004

47. Управление рисками: обзор употребительных подходов Часть I M:- «Jet Info», №11 (162)/2006.

48. Управление рисками: обзор употребительных подходов Часть II M:- «Jet Info», №12 (163)/2006.

49. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с англ. М.: Радио и связь, 1993. - 320 с

50. Macecrimmon К. P. Improving the system desion and evaluetion process by the use of trade of information: an application fourthlast corridor transportation planning RM 5877 - Dot// The Rand corporation. - Cal.: Santa Monica, 1969

51. Айзерман M. А., Малишевский А. В. Проблемы логического обоснования в общей теории выбора. Общая теория выбора и его классическо-рациональное основание. М.: ИПУ, 1980

52. Подиновский В. В., Ногин В. Д. Парето оптимальные решения многокритериальных задач. - М.: Наука, 1992

53. Лопухин М. М. ПАТТЕРН метод планирования и прогнозирования научных работ. - М.: Сов. Радио, 1981.

54. Глотов В. А., Павельев В. В. Векторная стратификация. М.: Наука, 1984

55. Павельев В.В. Формирование системы критериальных свойств при комплексной оценке сложных объектов.- В кн.: Механизмы функционирования организационных систем. Вып. 29. М., Институт проблем управления, 1982.

56. А.Б. Левинталь, В.Ф. Ефременко, В.Б. Гусев, В.В. Павельев, Ф.Ф. Пащенко Комплексное оценивание и планирование развития региона Mr 2006

57. Анохин A.M., Гусев В.Б., Павельев В.В. Комплексное оценивание и оптимизация на моделях многомерных объектов. М., 2003 (Научное издание/Институт проблем управления им. В.А. Трапезникова РАН).

58. Э. Таненбаум, М. Ван Стен Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 877 е.: ил.

59. Stumm, М., Zhou, S.: "Algorithms Implementing Distributed Shared Memory." Computer, vol. 23, no. 5, pp. 54-64, 1990.

60. Microsoft Corporation Microsoft TCP/IP. Учебный курс: Официальное пособие Microsoft для самостоятельной подготовки: Пер. с англ. — 2-е изд., испр. М.: Издательско-торговый дом «Русская Редакция», 1999. -344 е.: ил.

61. Электронная коммерция: Учебное пособие / Под ред. Пирогова C.B. М.: Издательский Дом «Социальные отношения», издательство «Перспектива», 2003. -428 с.

62. Хелеби, Сэм, Мак-Ферсон, Денни. Принципы маршрутизации в Internet, 2-е издание. : Пер. с англ. М. : Издательский дом «Вильяме», 2001. - 448 с. : ил. - Парал. тит. Англ.

63. Microsoft Corporation Компьютерные сети. Учебный курс./Пер. с англ. -М.: Издательский отдел «Русская редакция» ТОО «Channel Trading Ltd.». 1997. 696 е.: ил.

64. Microsoft Corporation Сети ТСРЛР. Ресурсы Microsoft windows 2000 Server/ Пер. с англ. М.: Издательско-торговый дом «Русская Редакция»;-2001.-784 е.: ил.

65. Комер Д. Принципы функционирования Интернета. СПб.: Питер, 2002.'

66. С. Клименко, В. Уразметов INTERNET. Среда обитания информационного общества Издательство Российского Центра Физико-технической информатики, Протвино, 1995

67. Е. Горный "Российский Интернет накануне больших перемен" АЙРЕКС/Издательство "Поматур", 2000. 240 с

68. Глеб Галкин Как богатеют богатые или моделирование Интернета, «Корпоративные системы» Спецвыпуск 6. 2005: концепции и технологии, 2004 г, http://www.iemag.ru/

69. Jan Matlis, "Scale-Free Networks", (Computerworld), November 04, 2002

70. Павельев В.В., Павельев C.B. Выбор варианта системы защиты центров обработки данных//Проблемы управления, 2008.- №.5.-С. 67-72.

71. Павельев C.B. Резервирование данных мобильного корпоративного пользователя с использованием инфраструктуры сети Интернет. // Труды XII Международная конференции «Проблемы управления безопасностью сложных систем». Москва: ИПУ РАН, 2004. - С. 228-231.