автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Методы проектирования резервированной коммуникационной подсистемы отказоустойчивых автоматизированных систем управления

На правах рукописи

Колмогорцев Евгений Леонидович

МЕТОДЫ ПРОЕКТИРОВАНИЯ РЕЗЕРВИРОВАННОЙ КОММУНИКАЦИОННОЙ ПОДСИСТЕМЫ ОТКАЗОУСТОЙЧИВЫХ АВТОМАТИЗИРОВАННЫХ СИСТЕМ

УПРАВЛЕНИЯ^ -

Специальность 05 13 12 - Системы автоматизации проектирования (приборостроение)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 2007

003069263

Работа выполнена в Санкт-Петербургском государственном университете информационных технологий, механики и оптики

Научный руководитель:

доктор технических наук Богатырев Владимир Анатольевич

Официальные оппоненты:

доктор технических наук, профессор

Панфилов Иван Васильевич

кандидат технических наук, доцент

Тихов Сергей Владимирович

Ведущая организапия:

закрытое акционерное общество «Транзас»

Защита диссертации состоится « 22 » мая 2007 года в 15 часов 50 минут на заседании диссертационного совета Д 212 227.05 в Санкт-Петербургском государственном университете информационных технологий, механики и оптики по адресу 197101, г Санкт-Петербург, Кронверкский пр , 49

С диссертацией можно ознакомиться в библиотеке СПб ГУ ИТМО

Автореферат разослан «18 » апреля 2007 г

Ученый секретарь

диссертационного совета Д 212 227 05 кандидат технических наук, доцент

Поляков В И

1 ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В настоящее время при построении автоматизированных систем управления различного назначения широкое распространение получили распределенные вычислительные системы, включающие в себя вычислительные узлы и коммуникационную среду, обеспечивающую их взаимодействие

Для систем управления актуальной является задача обеспечения высокого уровня отказоустойчивости и производительности с целью решения задач реального времени Актуальность обеспечения высокой отказоустойчивости обусловлена тем фактом, что рост сложности современных систем управления происходит быстрее темпов роста надежности применяемой при их построении элементной базы. Постоянное развитие технологий сетевого взаимодействия вычислительных устройств также ставит новые задачи теории надежности и теории вычислительных систем.

Значительный вклад в теорию надежности и, в частности, в теорию надежности вычислительных систем внесли российские ученые Б. В Гнеденко, А М Половко, И. А. Рябинин, И А Ушаков, Г. Н. Черкесов, И. Б. Шубинский, О В. Щербаков, Л. В. Уткин, в теорию управляющих вычислительных систем и анализ их эффективности большой вклад сделали Л Клейнрок, Т. И. Алиев, С А. Майоров, Г И. Новиков, И. В. Панфилов, Б Я. Советов, С А. Яковлев. Однако в трудах этих авторов мало внимания уделяется вопросам оценки эффективности и методам проектирования отказоустойчивой коммуникационной среды распределенных систем.

Обеспечение высокой надежности распределенных систем управления требует резервирования как средств обработки и хранения информации (вычислительных устройств), так и коммуникационного оборудования — сетевых адаптеров и коммутаторов

Уменьшение времени реакции системы может быть достигнуто при увеличении производительности коммуникационной подсистемы путем введения избыточности коммуникационного оборудования и разделения нагрузки между всем имеющимся коммуникационным оборудованием (или его частью)

При конструктивных ограничениях по размещению сетевых адаптеров дополнительные возможности по снижению нагрузки на коммуникационную подсистему и, тем самым, по повышению производительности системы, дает применение неполнодоступных конфигураций подключения узлов, когда через каждый из коммутаторов осуществляется связь только части узлов, а полная связность узлов достигается всей совокупностью коммутаторов системы.

Неполнодоступность узлов может закладываться при проектировании или формироваться в результате отказов сетевых адаптеров

При разработке отказоустойчивых распределенных систем управления необходимо иметь методику проектирования, позволяющую на основе целенаправленного формирования возможных альтернатив построения системы и оценки их надежности и производительности выбрать наиболее рациональный вариант, обеспечивающий требуемый уровень надежности и производительности при учете конструктивных ограничений и ограничений на стоимость системы

Таким образом, имеется необходимость разработки методики проектирования распределенных систем управления, обладающих заданным уровнем надежности и производительности при ограничении по стоимости Методика должна учитывать

- комбинаторное влияние отказов сетевых адаптеров и коммутаторов на возможность обеспечения сетевого взаимодействия вычислительных узлов и снижение производительности коммуникационной подсистемы,

- влияние конструктивных ограничений по кратности резервирования сетевых адаптеров в вычислительных узлах на возможность построения системы с требуемыми показателями надежности и производительности

Объект исследования диссертационной работы - резервированные коммуникационные подсистемы распределенных отказоустойчивых компьютерных систем управления

Предмет исследования - надежность и производительность распределенных систем управления

Цель исследования - разработка методики проектирования отказоустойчивых систем управления при резервировании коммуникационной подсистемы, реализуемой на коммутаторах

Задачи исследования:

1. Разработка методики проектирования отказоустойчивых систем управления с резервированием коммуникационной подсистемы, реализуемой на коммутаторах, обладающих требуемой надежностью и производительностью

2. Разработка методов оценки надежности резервированной коммуникационной подсистемы, реализуемой на коммутаторах, с учетом особенностей их (коммутаторов) применения и реализации

3. Разработка моделей оценки производительности распределенной системы управления с резервированием коммуникационной подсистемы, реализуемой на коммутаторах

Методы исследования, используемые в диссертационной работе-имитационное и аналитическое моделирование, применение теории вероятностей, комбинаторного анализа, теории случайных процессов, теории надежности, теории массового обслуживания, теории вычислительных систем

Результаты, выносимые на защиту:

- методика проектирования отказоустойчивых систем управления, обладающих требуемой надежностью и производительностью, с резервированием коммуникационной подсистемы, реализуемой на коммутаторах, как с полнодоступным, так и неполнодоступным подключением узлов,

- метод оценки надежности системы управления с резервированием коммуникационной подсистемы, реализуемой на коммутаторах, для конфигураций с полнодоступным и неполнодоступным подключением узлов,

- аналитическая и имитационная модели оценки производительности системы управления с резервированием коммуникационной подсистемы, реализуемой на коммутаторах,

- применение разработанных методик и моделей для выбора удовлетворяющего по критериям надежности, производительности и стоимости варианта

построения системы управления техническими средствами судна, представляющей собой распределенную двухуровневую вычислительную систему

Научная новизна:

1. Методика проектирования отказоустойчивых систем управления с заданными характеристиками надежности и производительности, при резервировании коммуникационной подсистемы, реализуемой на коммутаторах, как с полнодоступным, так и неполнодоступным подключением узлов.

2. Метод оценки надежности системы управления с резервированием коммуникационной подсистемы для конфигураций с полнодоступным и неполнодоступным подключением узлов к коммутаторам, основанный на модификации комбинаторно-вероятностного метода оценки надежности систем с резервированием магистралей и учитывающий особенности реализации и функционирования коммутаторов, а также возможные комбинаторные распределения отказов сетевых адаптеров и портов коммутаторов, приводящие к образованию минимальных сечений и их комбинаций

Метод обеспечивает приемлемую для инженерных расчетов точность вычислений

3 Аналитическая и имитационная модели производительности распределенной системы управления с резервированием коммуникационной подсистемы при полнодоступном и неполнодоступном подключении узлов к коммутаторам, учитывающие

- влияние на производительность системы отказов сетевых адаптеров и коммутаторов;

- режим работы коммуникационной подсистемы (переключение резерва или разделение нагрузки)

Практическая значимость результатов диссертационного исследования.

1. Разработанная методика проектирования отказоустойчивых систем управления, включая модели и методы оценки надежности и производительности, является научной основой для построения системы автоматизированного проектирования (САПР) отказоустойчивых систем управления Метод оценки надежности учитывает конструктивные ограничения по введению избыточности, возникающие в бортовых системах управления.

2 Построение системы проектирования на основе разработанных методик и моделей позволяет.

- повысить качество проектных работ в результате автоматизации процесса выбора наиболее рациональной структуры системы и высокой точности вычислений,

- получить обоснованные решения по построению систем управления в результате применения предложенных правил формирования и выбора альтернативных вариантов построения систем управления с прогнозируемым уровнем надежности и производительности.

Публикации. По теме диссертации сделано 4 публикации.

Апробация. Основные положения диссертационной работы обсуждены на

научно-технической конференции СПб ГЛТА в феврале 2005 года, седьмой

межведомственной научно-технической конференции «Проблемные вопросы сбора, обработки, передачи и защиты информации в сложных радиотехнических системах» в Пушкинском военном институте радиоэлектроники Космических войск имени маршала авиации С. Я Савицкого, Всероссийской Интернет-конференции «Информационные системы и технологии в социально-экономических и правовых процессах» (www sksi ru/konf)

Реализация результатов. Полученные в диссертационной работе результаты методика проектирования отказоустойчивых систем управления, модели надежности и производительности конфигураций систем с полнодоступным и неполнодоступным подключением узлов применены на практике при проектировании комплексной системы управления техническими средствами судна — «Мателот-ТС», входящей в состав навигационно-тактического комплекса «Мателот» производства ЗАО «Транзас». В результате внедрения разработанных методик и моделей удалось получить обоснованные решения по построению коммуникационной среды системы, в частности, определить требуемую для обеспечения заданного уровня надежности кратность резервирования коммутаторов, конфигурацию подключения узлов и оценить время реакции системы

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, четырех приложений. Работа содержит 155 страниц, 43 рисунка, 1 таблицу. Список литературы насчитывает 111 наименований.

2 СОДЕРЖАНИЕ РАБОТЫ

Во ВВЕДЕНИИ обосновывается актуальность диссертационного исследования, описываются объект и предмет исследования, формулируются цели и задачи работы, перечисляются используемые в работе методы исследования, показывается научная новизна и практическая значимость результатов работы.

В ПЕРВОЙ ГЛАВЕ «Принципы построения отказоустойчивых систем управления» рассматриваются основные требования, предъявляемые к современным системам управления, такие как надежность, производительность, стоимость, а также факторы, определяющие эти требования Требования надежности и производительности особенно важны для систем управления реального времени, которые осуществляют управление сложными и потенциально опасными технологическими процессами, используются в качестве бортовых систем управления В качестве примеров реальных систем управления такого рода рассматриваются судовые комплексные автоматизированные системы управления и выполняемые ими функции

В работе исследуются распределенные компьютерные системы управления Выделяются два вида распределенных систем управления, одноранговые системы с равноправными узлами, в которых для обеспечения целевой функции системы обмен данными должен осуществляться между всеми узлами системы, и иерархические системы управления с узлами «ведомый-ведущий», в которых обмен данными осуществляется между узлами разных типов - ведомыми и ведущими. Описывается способ организации коммуникационной подсистемы распределенной системы управления с использованием коммутаторов

Рассматриваются способы обеспечения надежности и производительности

коммуникационной подсистемы распределенных систем управления К отказам коммуникационной подсистемы, построенной на коммутаторах (Км), приводят как отказы коммутаторов (или их портов), так и отказы сетевых адаптеров (СА) Основным методом повышения отказоустойчивости коммуникационной подсистемы является структурное резервирование. Резервированная коммуникационная подсистема может функционировать в режиме переключения резерва или в режиме разделения нагрузки. В работе рассматриваются различные варианты подключения узлов к резервированной коммуникационной подсистеме, приводящие к полнодоступным и неполнодоступным конфигурациям подключения

Полнодоступная конфигурация подключения узлов предусматривает подключение каждого вычислительного узла (ВУ) ко всем коммутаторам системы. При таком подключении полная связность узлов системы обеспечивается любым из коммутаторов. Пример конфигурации с полнодоступным подключением узлов представлен на рисунке 1.

8У1 ВУ 2 ВУЗ ВУЫ

1ЧМГ

шяш

Сеп> 1 (Коммутатор 1) Сеть 2 (Кймиутоор 2)

Сегъ К (Ко*муг«тор К)

Рис. 1. Пример конфигурации системы с полнодоступным подключением узлов.

Неполнодоступная конфигурация подключения узлов - способ подключения узлов к коммутаторам при превышении кратности резервирования коммутаторов кратности резервировании сетевых адаптеров, при котором каждый коммутатор обеспечивает связность лишь части узлов системы, полная связность узлов обеспечивается всей совокупностью коммутаторов (рисунок 2).

ВУ1

ВУ 2

ВУ N

Сеть 1 (Коммутагер 1) С*гь2 (Комиутвтор 2| Свть 3 (Коммутатор

Сеть К (КЬммутэтор К)

Рис. 2. Пример конфигурации с неполнодоступным подключением узлов.

Применение неполнодоступных конфигураций связано с наличием в реальных системах управления конструктивных ограничений на кратность резервирования сетевых адаптеров в вычислительных узлах. Такие ограничения обусловлены

- ограничением числа доступных дня установки сетевых адаптеров посадочных мест (слотов),

- стремлением использовать максимальное число доступных слотов для

установки оборудования, обеспечивающего функциональность системы управления (модули и платы ввода/вывода сигналов и т п),

- применением одноплатных вычислительных узлов с жестким набором и числом коммуникационных интерфейсов,

— стремлением к экономии финансовых средств, улучшению массогабаритных характеристик, уменьшению объемов кабельных трасс (что особенно актуально для бортовых систем управления)

Во ВТОРОЙ ГЛАВЕ «Модели резервированных систем с полнодоступным и неполнодоступным подключением узлов» разрабатываются и исследуются модели надежности и производительности распределенных систем управления с резервированием коммуникационной среды, реализуемой на коммутаторах Условием работоспособности системы является: для систем с равноправными узлами.

1. Исправность не менее N1 из N вычислительных узлов системы, где N1 -минимально необходимое для выполнения целевой функции системы число вычислительных узлов, N - общее число вычислительных узлов в системе.

2. Работоспособность коммуникационной подсистемы, заключающаяся в обеспечении сетевого взаимодействия не менее чем N1 вычислительных узлов.

для систем с узлами «ведомый-ведущий» -1 Исправность не менее N1 из N ведущих узлов системы, где N1 -минимально необходимое для выполнения целевой функции системы число ведущих узлов, N— общее число ведущих узлов в системе

2. Исправность не менее М1 из М ведомых узлов системы, где М] — минимально необходимое для выполнения целевой функции системы число ведомых узлов, М- общее число ведомых узлов в системе

3. Работоспособность коммуникационной подсистемы, заключающаяся в обеспечении сетевого взаимодействия не менее чем N1 ведущих узлов с не менее чем А/} ведомыми узлами

Для оценки надежности системы применяется комбинаторно-вероятностный метод включения-исключения. В главе рассматриваются различные архитектуры построения коммутаторов и проводится анализ особенностей реализации коммуникационной подсистемы с использованием магистралей и коммутаторов. По результатам анализа делается вывод о возможности применения для оценки надежности систем с резервированием коммуникационной подсистемы, реализуемой на коммутаторах, комбинаторно-вероятностного метода оценки надежности систем с резервированием магистралей, при рассмотрении совокупности «сетевой адаптер узла — сетевой кабель — порт коммутатора» как единого устройства подключения (элемента расчета надежности)

РСА ~Радаптера Ркабеля Р порта коммутатора* ГДв рСА ~ ВерОЯТНОСТЬ работоспособности

подключения узла к порту коммутатора через сетевой адаптер, Радштера -вероятность исправного состояния сетевого адаптера вычислительного узла, ркабет вероятность исправности (целостности) сетевого кабеля, которым осуществляется

подключение, Рюрта коммутатора - вероятность исправности порта коммутатора Таким образом, в дальнейшем под исправностью (отказом) сетевого адаптера понимается исправность (отказ) подключения «адаптер - сетевой кабель - порт коммутатора», а под вероятностью исправного состояния сетевого адаптера - вероятность исправного состояния подключения - рсл (вероятность исправного состояния адаптера, кабеля и порта коммутатора)

Здесь и далее предполагается зависимость вероятности от времени - р(0, но для упрощения вида формул скобки и переменная I опускаются ~р=р($

Надежность полнодоступной конфигурации системы управления с равноправными вычислительными узлами, в соответствии с выбранным условием работоспособности, можно вычислить следующим образом При работе коммуникационной подсистемы в режиме переключения резерва

Р= ^СМХ-Ргу^С^пМХ-Ып))^ ,

»»у, »«1

где К - кратность резервирования коммутаторов, рВу - вероятность исправного состояния ВУ; Ь(п) — вероятность исправного состояния коммутатора и сетевых адаптеров, поддерживающих подключение к нему не менее чем Ы1 из п ВУ-

я

Ь(п)=рКм Рс/1- Рса)"~* > где ркм - вероятность исправного состояния коммутатора

Если коммуникационная подсистема работает в режиме разделения нагрузки, то надежность системы управления вычисляется как

р=- ±<гнр-„ а - Рву )"-"рСПд(Р) , (1)

где Рспд(п) — вероятность обеспечения связности п ВУ:

Рспд(п)= ~£Сккр\м(\-Ркм)к-*РСА{п,к),

к-К,

где К] - минимально необходимое для обеспечения требуемой производительности (времени реакции) число коммутаторов, Р^п.к) - вероятность обеспечения связности и узлов через к коммутаторов при наличии отказов сетевых адаптеров. Рсл(п,к) вычисляется как- РСА(п,к)= где Рса(п,1с,з) - вероятность

г-о

обеспечения связности и узлов через к коммутаторов при наличии 5 отказов сетевых адаптеров: Р^ (л, =Щп, к, р'^ О - Рсл)' • Щп,к,я) - число работоспособных состояний системы при наличии 5 отказов сетевых адаптеров

Надежность полнодоступной конфигурации системы управления с вычислительными узлами «ведомый-ведущий» при работе коммуникационной системы в режиме переключения резерва определяется как

Р= Е^Рувва-Рув«)"-" ^С"яР^-Рук)К^С1ки(т,п?(\-и(т.п)Г,

где К - число коммутаторов в системе, рук и рут - вероятность исправного состояния ведущего и ведомого узлов соответственно, и(т,п) - вероятность того, что коммутатор исправен и к нему подключены через исправные сетевые адаптеры

не менее М, из т ведомых узлов (УВВ) и не менее Л^ из п ведущих узлов (УК)-

При работе коммуникационной подсистемы в режиме разделения нагрузки надежность полнодоступной конфигурации системы с узлами «ведомый-ведущий» вычисляется как

— Рувв)"" £-рук)ы-'ГСПЛ(п,т),

где РСщ(т,п) - вероятность связности п ведущих и т ведомых узлов Рспд(п,т)=^сккрккм{\-ркм)к-*рсл{п,т,к),

к-К,

РСА(п,т,к) - вероятность обеспечения связности и ведущих и т ведомых узлов через

(Я+иО*

к коммутаторов при наличии отказов СА Рсл(п,т,к)= ^Рсл(.п,т,к,з), где РСА(п,т,к

1-0

— вероятность обеспечения связности п ведущих и т ведомых узлов через к коммутаторов при наличии 5 отказов СА РСА(л,т, я)=т, к, з)р^т)к'5(1 - рсл)!, Щп,т,к^) — число работоспособных состояний системы наличии 5 отказов СА.

Оценка вероятности связности узлов при наличии отказов сетевых адаптеров Р^ък,*) и РСА(п,т,к,з) связана с оценкой числа работоспособных состояний системы при наличии 5 отказов СА - Ш(п,к$) и Ш(п,т,к^)

Методика вычисления числа работоспособных состояний системы при наличии отказов СА основана на использовании метода включения-исключения

(2)

м

1=1

где с'пк, С(М)1 - общее число состояний системы при наличии 5 отказов СА, ^/х) -число неработоспособных состояний, характеризующееся отказом элементов (СА) не менее г минимальных сечений,- максимальное число учитываемых при оценке минимальных сечений.

Состояние системы, с точки зрения подключения узлов, отображается матрицей подключения 5=|М, элемент которой 5у=1 если 7-й узел связан с 1-ым коммутатором через исправный сетевой адаптер, в противном случае ¿¡/=0 Для систем с равноправными узлами матрица S имеет размер КхЫ, для систем с узлами «ведомый-ведущий» - Кх(М+М).

Число неработоспособных состояний Рф) при отказе элементов не менее одного минимального сечения определяется для систем с равноправными узлами как.

где и, к — число вычислительных узлов и коммутаторов в системе соответственно, для систем с узлами «ведомый-ведущий».

Р,(з) +т) СЩт_п + птС'к^ £ С1 = +т+пт^С1),

0=1 0=]

где п,т- число ведущих и ведомых узлов соответственно; Л - число коммутаторов

На рисунке 3 представлены графики оценки надежности системы с равноправными узлами по (1) в зависимости от времени / и кратности резервирования коммутаторов К при //=20, ЛГ/=15 в предположении экспоненциального распределения времени между отказами' рВу(1)=ехр(-0 00002(), Рям0)=ехр(-0 000011), Рсл(1)=ехР(-0 00000010 Погрешность метода не хуже чем А($-Р0гРоз> где Р0, - оценка надежности системы при учете в (2) состояний с отказами элементов не менее одного минимального сечения 0,=/), Рог - оценка надежности системы при учете в (2) состояний с отказами элементов не менее одного и не менее двух минимальных сечений (ь=2). Заметим, что при времени работы 1000, 3000, 5000 часов для рассматриваемой системы погрешность составляет 10"7, 10"5, 10'5 соответственно Представленные зависимости показывают приемлемую для инженерных расчетов точность

Рис. 3. Оценка надежности системы с равноправными узлами го (1) при учете в (2) отказов элементовне менее одного минимального сечения (/,=1).

Для неполнодоступной конфигурации подключения узлов описывается способ подключения узлов к коммутаторам при кратности резервирования коммутаторов большей, чем кратность резервирования сетевых адаптеров:

г

выделяются - (деление целочисленное) групп узлов с одинаковым

К-г

подключением к коммутаторам, где К - количество коммутаторов, г — кратность резервирования сетевых адаптеров в вычислительных узлах. Подключение узлов к коммутаторам при неполнодоступном подключении узлов также отображается матрицей подключения Я, которая в этом случае будет иметь вид, представленный на рисунке 4. В матрице через Е обозначены подматрицы, состоящие из единичных элементов, через О, - подматрицы, состоящие из нулевых элементов.

Ч Е Е

i Е ч Е

г

г Е Е ог

Рис. 4. Матрица подключений при пеполнодоступной конфигурации.

Из рисунка видно, что при количестве групп подключения меньше трех нарушается связность части узлов, поэтому при формировании неполнодоступных конфигураций должно выполняться условие г >3 Из этого условия следует ограничение на число коммутаторов в системе с непо л недоступной

3

конфигурацией подключения узлов. г<К<-г.

Оценка производительности распределенной системы управления

осуществляется с использованием модели производительности, построенной в виде сети массового обслуживания (СеМО) (рисунок 5).

Исходными данными для оценки производительности системы являются число ведущих узлов (управляющих компьютеров, УК) — Ы, число ведомых узлов (узлов ввода/вывода, УВВ) - М, число коммутаторов - К, интенсивности запросов Я1 .. Ям, генерируемых ведущими узлами (УК), а также матрицы вероятностей Р(1)ыхк и Р(\*м Элемент матрицы Р(,) - р™ - характеризует вероятность передачи запросов от УК„ через коммутатор Кмк, элемент матрицы Р(2) - р™ - характеризует вероятность передачи запросов от УК„ в УВВт Изменяя вид матрицы Р(1), можно задавать различные режимы работы системы. При работе коммуникационной подсистемы в режиме переключения резерва в матрице Р(1) присутствует одна строка из единичных элементов, а все остальные элементы матрицы равны нулю Отказ (или отсутствие подключения, для неполнодоступных конфигураций) сетевого адаптера, связывающего п-й узел с к-ьш коммутатором отображается переводом элемента матрицы в нулевое состояние

Ведущие (УК) и ведомые (УВВ) узлы представляются как СМО вида М/М/1, коммутаторы - в виде СМО М/С/1. Применение различных типов СМО для моделирования вычислительных узлов и коммутаторов обусловлено тем, что вычислительные узлы обрабатывают требования только одного класса (УВВ -запросы, УК - ответы), а коммутаторы обрабатывают разнородные требования -ответы и запросы.

Среднее время реакции системы определяется как: т^т =Т/ы+Тувв+ТуК,

где7л, - среднее время пребывания заявки (пакета) в коммутаторе; Тувв- среднее

время пребывания заявки в ведомом узле; Тук- среднее время пребывания заявки в ведущем узле

Для коммутатора (М/С/1) ТЮл=Ьк» + Рк**Ьки^ где * _ среднее время

обслуживания заявки (пакета-запроса или пакета-ответа) в коммутаторе, Сь=—- -

Ькм

коэффициент вариации,рк^=ХКмЬУЫ - загрузка (коэффициент использования) коммутатора

Интенсивность потока запросов, поступающих в коммутатор, равна интенсивности потока ответов, поэтому вероятности обслуживания в коммутаторе пакета-запроса и пакета-ответа одинаковы и равны ргед-р^о 5

Рис. 5. Сеть массового обслуживания, моделфующаи исследуемую систему.

Т„,-т,о и -Ь«Ч+Ь<ик „ 2 -Г и А )2„ Л-/и А - Фгц-Ькм)2 + Фук-Ьц*)2

Тогда, bjfy,--- И &1»=Фгед-Ьк.у) Ргед+Фазк'Ькм) Past----^-

* К к /L

где ~ вероятность того, что

4-1 4-1

обслуживается в Кмк

т — ^У»

заявка

Для УВВ (М/М/1)

1 Pvb\

, где рУВВ1=ЛУЯВш Ьувв - загрузка

УВВт. Тувв — ТуВ

т-1

заявка обслуживается в УВВ„

У Рувн„ > ГДе Рувв,

_ ^увв,

есть вероятность того, что

Для УК (ММ/1) Тук=-^—, где рж=/1укЬУК - загрузка УК„

' 1~Ряг.

N ,3 N 1.

Г иг=£ г"ч, -р2^-=2 Рук, > где Рте. ° У - вероятность, что заявка

обслуживается в УК„

Разработана имитационная модель на языке вРвв, моделирующая рассмотренную сеть массового обслуживания Применение имитационной модели позволяет использовать для входных потоков и времени обслуживания заявок в узлах СеМО (УК, УВВ, Км) распределения, отличные от экспоненциального и общего, что в некоторых случаях может позволить более точно имитировать

процессы, происходящие в моделируемой системе.

В ТРЕТЬЕЙ ГЛАВЕ «Методика проектирования резервированных отказоустойчивых систем» предлагается методика выбора рационального варианта конфигурации системы по критериям надежности, производительности и стоимости При выборе варианта конфигурации системы считаются заданными следующие параметры:

1 Для одноранговых систем — количество вычислительных узлов в системе - Л/, для систем с узлами «ведомый-ведущий» - количество ведущих - N к ведомых - М узлов

2 Минимально необходимое для выполнения целевой функции системы число исправных узлов, при котором система еще сохраняет свою работоспособность -N1, М, (1 ¿Ы, <Ы, 1аМ,йМ).

3. Предельно допустимая кратность резервирования сетевых адаптеров в

вычислительных узлах - г. 4 Показатели надежности (вероятность безотказной работы) коммутатора - ркм, сетевого адаптера (связи «адаптер - кабель - порт») - рсл, для систем с равноправными узлами надежность вычислительного узла - рву, для систем с узлами «ведомый-ведущий» надежность ведомого узла - рувв и ведущего - рук

5. Минимальный уровень надежности системы управления - Р*.

6. Ограничение на время реакции системы — Г*. 7 Ограничение на стоимость системы - С0

Формулируются две задачи проектирования. 1. Требуется, определить количество коммутаторов - К и конфигурацию подключения узлов к коммутаторам, которые обеспечивают максимальный уровень надежности Р системы управления при ограничении на суммарную стоимость С оборудования системы и с учетом минимального числа коммутаторов Ки при котором выполняются заданные ограничения на время реакции Т.

Р=Р(К,К.1)—*тах

Т(К,К0<Г' ШК,К,)<Со, 1<К,<К

Требуется: определить количество коммутаторов - К и конфигурацию подключения узлов к коммутаторам, при которых обеспечивается уровень надежности Р системы управления не ниже заданного при ограничении на суммарную стоимость С оборудования системы и с учетом минимального числа коммутаторов К^ при котором обеспечивается наименьшее при заданных параметрах системы время реакции Т: Р=Т(К,К])—*тт

Р(КгК0>Р', ШК.К,)<Со. 1<К,<К

При решении задачи построения максимально надежной системы процесс проектирования разбивается на этапы

- выбор минимальной конфигурации системы - определение минимально

необходимого числа работоспособных коммутаторов К{, при котором выполняется ограничение на время реакции системы,

- повышение надежности минимальной конфигурации путем введения дополнительного (резервного) коммуникационного оборудования -определение числа коммутаторов К, при котором обеспечивается заданная надежность коммуникационной подсистемы и системы в целом.

Для поиска минимально необходимого для обеспечения работоспособности системы числа коммутаторов Л"; последовательно формируются конфигурации с числом коммутаторов 2,3 ..и оценивается их время реакции с использованием разработанных моделей производительности При этом если £/>1, то предполагается, что коммуникационная среда работает в режиме разделения нагрузки между к; коммутаторами Первоначально рассматриваются полнодоступные конфигурации (к,<г), если не найдена ни одна полнодоступная конфигурация, удовлетворяющая заданному ограничению по времени реакции, формируются неполнодоступные конфигурации с к,>г и оценивается их время реакции Для первой найденной конфигурации, время реакции которой удовлетворяет заданному ограничению, фиксируется число коммутаторов К]=к].

Если К]<г, т е нерезервированная конфигурация является полнодоступной, то максимально возможной надежностью при заданных параметрах будет обладать конфигурация с К=г. Если конфигурация с К=г не удовлетворяет ограничению по стоимости, формируются конфигурации с К=г-1, г-2 К 1+1 и оценивается их уровень надежности и стоимости Данный процесс продолжается до тех пор, пока не будет найдена конфигурация, удовлетворяющая ограничению по надежности и стоимости

Если минимальная конфигурация является неполнодоступной (К{>г), то дальнейшее ее повышение надежности путем введения дополнительных коммутаторов невозможно

Найденная конфигурация с К и Кг будет обладать максимально возможным уровнем надежности при заданных параметрах системы и удовлетворять ограничениям по производительности и стоимости

При построении системы с минимальным временем реакции выделяются следующие этапы проектирования:

- нахождение конфигураций с полнодоступным и неполнодоступным подключением узлов, удовлетворяющих заданному ограничению по стоимости и уровню надежности,

- оценка времени реакции найденных конфигураций, сравнение конфигураций и выбор оптимального варианта построения системы

При полнодоступном подключении узлов минимальное время реакции будет иметь система с К^К-г, однако она будет обладать и наименьшей надежностью, так как для обеспечения работоспособности системы требуется, чтобы все К коммутаторов были исправны, и максимальной стоимостью Поэтому вначале ищется конфигурация с максимальным числом коммутаторов 1<К<г, которая еще удовлетворяет по критерию стоимости С<С0 Далее, последовательно формируются конфигурации с К,=К-1, К-2, , 1 и оценивается их надежность Поиск продолжается, пока не будет найдена конфигурация, удовлетворяющая

ограничению по надежности Р>Р*. Найденная полнодоступная конфигурация будет удовлетворять ограничениям по надежности и стоимости и иметь минимально возможное время реакции для полнодоступной конфигурации при заданных параметрах системы.

Рассмотрение возможности увеличения числа коммутаторов при достижении предельной кратности резервирования сетевых адаптеров (обусловленной конструктивными ограничениями узлов), т е построение неполнодоступной конфигурации, возможно только в том случае, если полнодоступная конфигурация с К=г удовлетворяет ограничению по стоимости, тле неполнодоступный вариант системы с К>г будет заведомо дороже Для неполнодоступных конфигураций

з

минимальным временем реакции будет обладать вариант системы с (деление

целочисленное), однако он будет обладать максимальной стоимостью и минимальной надежностью. Для структуры системы, удовлетворяющей по

3

стоимости и надежности, последовательно формируются конфигурации с

з

—г-1, , г+1 и оценивается их стоимость и надежность, пока не будет найдена

конфигурация удовлетворяющая одновременно двум этим критериям. Найденная неполнодоступная конфигурация будет удовлетворять ограничениям по надежности и стоимости, а также иметь минимально возможное время реакции для неполнодоступной конфигурации системы

На втором этапе найденные полнодоступная и неполнодоступная конфигурации сравниваются по критериям надежности, производительности, стоимости и выбирается предпочтительный вариант построения системы. При сравнении конфигураций критериям могут назначаться различные веса в зависимости от их важности, при этом предусматривается использование аддитивного и мультипликативного критериев.

В ЧЕТВЕРТОЙ ГЛАВЕ «Применение результатов работы при проектировании КСУТС «Мателот-ТС» рассматривается проектирование комплексной системы управления техническими средствами судна (КСУТС) «Мателот-ТС», обладающей максимальной надежностью и удовлетворяющей ограничениям на время реакции и стоимость

Структура системы «Мателот-ТС» представлена на рисунке 6 Система состоит из автоматизированных рабочих мест оператора (АРМ-ТС, операторская станция), приборов ввода/вывода (ПВВ), коммуникационной подсистемы, построенной с использованием коммутаторов Ethernet 10/100Base-T, выносных извещателей АПС (ВИ-АПС)

АРМ-ТС1 АРМ.ТС1 АРМ-ТСК

Операторские станции предназначены для отображения состояния судовых технических средств, аварийно-предупредительной сигнализации, документирования событий и формирования команд управления оператором. Приборы ввода/вывода обеспечивают сбор сигналов от датчиков контролируемого оборудования, решение задач автоматического управления, выдачу управляющих сигналов на исполнительные органы механизмов Выносные извещатели АПС предназначены для звуковой и световой аварийно-предупредительной сигнализации в судовых помещениях Взаимодействие операторских станций и приборов ввода/вывода осуществляется в режиме запрос-ответ, ведущими устройствами являются операторские станции

В соответствии с методикой проектирования при заданных параметрах системы исследованы полнодоступные и неполнодоступные конфигурации подключения узлов с целью оценки их надежности и производительности с различным числом коммутаторов К, К} В результате выбран полнодоступный вариант конфигурации системы, удовлетворяющий требуемым значениям надежности и производительности системы Применение неполнодоступных конфигураций в данной системе оказалось нецелесообразным ввиду невысокой интенсивности сетевого трафика

Применение результатов диссертационной работы при проектировании системы управления техническими средствами «Мателот-ТС», разрабатываемой в ЗАО «Транзас», подтверждено соответствующими актами внедрения

3 ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ

1. В диссертационной работе предложена методика проектирования отказоустойчивых систем управления при резервировании коммуникационной подсистемы, реализуемой на коммутаторах, как с полнодоступным, так и неполнодоступным подключением узлов 2 Для поддержки предлагаемой методики проектирования предложены.

- метод оценки надежности системы управления с резервированием коммуникационной подсистемы для конфигураций с полнодоступным и неполнодоступным подключением узлов к коммутаторам, основанный на модификации комбинаторно-вероятностного метода оценки

надежности систем с резервированием магистралей и учитывающий особенности реализации и функционирования коммутаторов, а также возможные комбинаторные распределения отказов как сетевых адаптеров, так и портов коммутаторов, приводящие к образованию минимальных сечений и их комбинаций Метод характеризуется приемлемой для инженерных расчетов точностью вычислений, - модели оценки производительности системы управления с резервированием коммуникационной подсистемы, учитывающие-влияние на производительность системы отказов сетевых адаптеров и коммутаторов, состояний системы с полнодоступным и неполнодоступным подключением узлов, режим работы коммуникационной подсистемы (переключение резерва или разделение нагрузки)

3 Методика проектирования, а также методы оценки надежности и производительности были применены при разработке судовой системы управления техническими средствами «Мателот-ТС», что подтверждено актами внедрения.

4. Разработанные методики и модели могут бьггь положены в основу системы автоматизированного проектирования (САПР) отказоустойчивых систем управления. Построение системы проектирования на основе предлагаемых методик и моделей позволяет повысить качество проектных работ в результате автоматизации процесса выбора наиболее рациональной структуры системы, учета конструктивных ограничений по введению избыточности и высокой точности вычислений, а также получить обоснованные решения по построению систем управления с прогнозируемым уровнем надежности и производительности

4 ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Колмогорцев К Л Методы анализа и обеспечения отказоустойчивости автоматизированных систем управления // Труды седьмой межведомственной НТК: «Проблемные вопросы сбора, обработки, передачи и защиты информации в сложных радиотехнических системах» - г Пушкин - 2005. -с 154-155

2. Хабаров С П, Колмогорцев Е Л Отказоустойчивый протокол надежной доставки данных. // Известия Санкт-Петербургской государственной лесотехнической академии, выпуск 174 - СПб • СПбГЛТА - 2005 - с 143153

3 Колмогорцев Е Л Модель производительности распределенной иерархической системы управления с резервированием коммуникационной подсистемы. // Информационные технологии моделирования и управления -2006 -№9(34) - с 1172-1179

4 Богатырев В А, Колмогорцев Е Л Выбор рационального варианта конфигурации отказоустойчивой системы управления // Информационные технологии моделирования и управления -2007 -№1(35) -с 134-139

Тиражирование и брошюровка выполнены в учреждении «Университетские телекоммуникации» 197101, Санкт-Петербург, Саблинскаяул, 14 Тел (812) 233 4669 Объем 1 у п л Тираж 100 экз.

ВВЕДЕНИЕ.

1 ПРИНЦИПЫ ПОСТРОЕНИЯ ОТКАЗОУСТОЙЧИВЫХ АВТОМАТИЗИРОВАННЫХ СИСТЕМ УПРАВЛЕНИЯ.

1.1 Требования, предъявляемые к современным системам управления.

1.2 Принципы построения распределенных систем управления.

1.3 Типовые решения по обеспечению эффективности (надежности и производительности) автоматизированных систем управления.

1.3.1 Способы повышения надежности.

1.3.2 Виды резервирования.

1.4 Способы повышения надежности и производительности распределенных систем управления. Системы с полнодоступным и неполнодоступным подключением узлов.

1.4.1 Обеспечение надежности вычислительных узлов.

1.4.2 Обеспечение надежности коммуникационной подсистемы

1.5 Требования к бортовым автоматизированным системам управления кораблей и судов.

1.6 Показатели надежности и отказоустойчивости.

1.6.1 Показатели надежности и отказоустойчивости для систем с резервированием коммуникационной подсистемы.

1.7 Методы оценки надежности, производительности и эффективности систем управления.

1.7.1 Аналитические методы исследования.

1.7.2 Методы статистического и имитационного моделирования

1.8 Постановка задачи исследования.

1.9 Выводы.

2 МОДЕЛИ НАДЕЖНОСТИ И ПРОИЗВОДИТЕЛЬНОСТИ РАСПРЕДЕЛЕННЫХ СИСТЕМ С РЕЗЕРВИРОВАНИЕМ КОММУНЖАЦИОННОЙ ПОДСИСТЕМЫ.

2.1 Общие положения.

2.2 Комбинаторно-вероятностный метод оценки надежности.

2.3 Комбинаторно-вероятностный метод оценки системы с резервированием коммуникационной среды, построенной с использованием коммутаторов.

2.3 Л Построение коммуникационной среды с использованием магистралей.

2.3.2 Построение коммуникационной среды с использованием коммутаторов.

2.3.3 Анализ применимости комбинаторно-вероятностного метода оценки надежности систем с резервированием магистралей для систем с резервированием коммутаторов.

2.4 Комбинаторно-вероятностные методы оценки надежности распределенной системы управления с резервированием коммуникационной подсистемы при полнодоступном подключении узлов.

2.4.1 Надежность систем с равноправными узлами.

2.4.2 Точность метода.

2.4.3 Надежность систем с узлами «ведущий-ведомый».

2.5 Комбинаторно-вероятностные методы оценки надежности распределенной системы управления с резервированием коммуникационной подсистемы при неполнодоступном подключении узлов.

2.5.1 Способы подключения узлов к коммутаторам.

2.5.2 Ограничения на число коммутаторов для неполнодоступных конфигураций подключения узлов.

2.5.3 Оценка отказоустойчивости системы при отказах сетевых адаптеров.

2.5.4 Оценка вероятности обеспечения связности узлов при отказах сетевых адаптеров.

2.5.5 Оценка надежности коммуникационной подсистемы.

2.5.6 Надежность системы управления.

2.6 Модели производительности.

2.6.1 Аналитическая модель распределенной системы управления с резервированием коммутаторов.

2.6.2 Имитационная модель распределенной системы управления с резервированием коммутаторов.

2.7 Исследование метода множественной передачи данных по симплексному последовательному каналу.

2.7.1 Протокол достоверной доставки данных по симплексной последовательной шине от нескольких передающих устройств без обнаружения конфликтов.

2.7.2 Исследование множественной передачи данных для четырех передающих устройств.

2.8 Выводы.

3 МЕТОДИКА ПРОЕКТИРОВАНИЯ РЕЗЕРВИРОВАННЫХ

ОТКАЗОУСТОЙЧИВЫХ УПРАВЛЯЮЩИХ СИСТЕМ.

3.1 Постановка задачи проектирования резервированных отказоустойчивых управляющих систем.

3.2 Методика проектирования резервированных отказоустойчивых управляющих систем.

3.2.1 Выбор конфигурации, обеспечивающей максимальный уровень надежности при заданных ограничениях на время реакции и стоимость

3.2.2 Выбор конфигурации, обеспечивающей минимальное время реакции при заданных ограничениях на надежность и стоимость

3.2.3 Выбор оптимального варианта построения системы.

3.2.4 Пример оптимизации структуры системы.

3.2.5 Сравнение вариантов конфигурации системы с полнодоступным и неполнодоступным подключением узлов.

3.3 Выводы.

4 ПРИМЕНЕНИЕ РЕЗУЛЬТАТОВ РАБОТЫ ПРИ ПРОЕКТИРОВАНИИ КСУТС «Мателот-ТС».

4.1 Комплексная система управления техническими средствами судна «Мателот-ТС».

4.2 Проектирование системы КСУТС «Мателот-ТС».

4.2.1 Постановка задачи проектирования.

4.2.2 Выбор конфигурации системы обеспечивающей максимальную надежность.

4.2.3 Выбор способа передачи данных от ПВВ на ВИ-АПС.

4.3 Выводы.

В настоящее время при построении автоматизированных систем управления различного назначения широкое распространение получили распределенные вычислительные системы [7, 59]. В таких системах имеется совокупность вычислительных устройств, которые для обеспечения процесса управления осуществляют обмен информацией через коммуникационную подсистему, включающую в себя различное коммуникационное оборудование - сетевые адаптеры, коммутаторы, концентраторы, сетевые кабели. При отказах коммуникационного оборудования возможно нарушение связи между вычислительными узлами распределенной системы, что, наряду с отказами вычислительных устройств, может приводить к невозможности осуществления процесса управления, то есть к отказу системы.

Практически все системы управления - это системы реального времени («мягкого» или «жесткого»), для которых необходимо обеспечить время реакции на возникающие события не выше заданного значения. Время реакции системы напрямую зависит от ее производительности.

Таким образом, для распределенных систем управления актуальной является задача обеспечения высокого уровня отказоустойчивости и производительности с целью решения задач реального времени. Актуальность обеспечения высокой отказоустойчивости обусловлена тем фактом, что рост сложности современных систем управления происходит быстрее темпов роста надежности применяемой при их построении элементной базы. Постоянное развитие технологий сетевого взаимодействия вычислительных устройств также ставит новые задачи теории надежности и теории вычислительных систем.

Значительный вклад в теорию надежности и, в частности, в теорию надежности вычислительных систем внесли российские ученые Б. В. Гнеденко [37-39], А. М. Половко [68, 71-74], И. А. Рябинин [78-83],

И. А. Ушаков [91-97], Г. Н. Черкесов [83, 99-103], И. Б. Шубинский [90, 104-107], в теорию управляющих вычислительных систем и анализ их эффективности большой вклад сделали JL Клейнрок [44-45], Т. И. Алиев [1-6], С. А. Майоров [54-58], Г. И. Новиков [54-58, 60-63], И. В. Панфилов [68], Б. Я. Советов [85-88], С. А. Яковлев [86-88]. Однако в трудах этих авторов мало внимания уделяется вопросам оценки эффективности и методам проектирования отказоустойчивой коммуникационной среды распределенных систем.

Обеспечение высокой надежности систем управления требует резервирования как средств обработки и хранения информации (вычислительных устройств), так и коммуникационного оборудования -сетевых адаптеров и коммутаторов.

Уменьшение времени реакции системы может быть достигнуто при увеличении производительности коммуникационной подсистемы путем введения избыточности коммуникационного оборудования и разделения нагрузки между всем имеющимся коммуникационным оборудованием (или его частью).

При конструктивных ограничениях на размещение сетевых адаптеров в узлах дополнительные возможности по снижению нагрузки на коммуникационную подсистему и, тем самым, по повышению производительности системы, дает применение неполнодоступных конфигураций подключения узлов, когда через каждый из коммутаторов осуществляется связь только части узлов, а полная связность узлов достигается всей совокупностью коммутаторов системы.

Неполнодоступность узлов может закладываться при проектировании или формироваться в результате отказов сетевых адаптеров.

При разработке отказоустойчивых распределенных систем управления необходимо иметь методику проектирования, позволяющую на основе целенаправленного формирования возможных альтернатив построения системы и оценки их надежности и производительности выбрать наиболее рациональный вариант, обеспечивающий требуемый уровень надежности и производительности при учете конструктивных ограничений и ограничений на стоимость системы.

Таким образом, имеется необходимость разработки методики проектирования распределенных систем управления, обладающих заданным уровнем надежности и производительности при ограничении по стоимости. Методика должна учитывать:

- комбинаторное влияние отказов сетевых адаптеров и коммутаторов на возможность обеспечения сетевого взаимодействия вычислительных узлов и снижение производительности коммуникационной подсистемы;

- влияние конструктивных ограничений по возможности резервирования сетевых адаптеров в вычислительных узлах на возможность построения системы с требуемыми показателями надежности и производительности.

Объект исследования диссертационной работы - резервированные коммуникационные подсистемы распределенных отказоустойчивых компьютерных систем управления.

Предмет исследования - надежность и производительность распределенных систем управления.

Цель исследования - разработка методики проектирования отказоустойчивых систем управления при резервировании коммуникационной подсистемы, реализуемой на коммутаторах.

Задачи исследования:

1. Разработка методов оценки надежности резервированной коммуникационной подсистемы, реализуемой на коммутаторах, с учетом особенностей их (коммутаторов) применения и реализации.

2. Разработка моделей оценки производительности распределенной системы управления с резервированием коммуникационной подсистемы, реализуемой на коммутаторах. 3. Разработка методики проектирования отказоустойчивых систем управления с резервированием коммуникационной подсистемы, реализуемой на коммутаторах, обладающих требуемой надежностью и производительностью.

Методы исследования, используемые в диссертационной работе: имитационное и аналитическое моделирование, применение теории вероятностей, комбинаторного анализа, теории случайных процессов, теории надежности, теории массового обслуживания, теории вычислительных систем.

Результаты, выносимые на защиту:

- методика проектирования отказоустойчивых систем управления, обладающих требуемой надежностью и производительностью, с резервированием коммуникационной подсистемы, реализуемой на коммутаторах, как с полнодоступным, так и неполнодоступным подключением узлов;

- метод оценки надежности системы управления с резервированием коммуникационной подсистемы, реализуемой на коммутаторах, для конфигураций с полнодоступным и неполнодоступным подключением узлов;

- аналитическая и имитационная модели оценки производительности системы управления с резервированием коммуникационной подсистемы, реализуемой на коммутаторах;

- применение разработанных методик и моделей для выбора удовлетворяющего по критериям надежности, производительности и стоимости варианта построения системы управления техническими средствами судна, представляющей собой распределенную двухуровневую вычислительную систему.

Научная новизна:

1. Методика проектирования отказоустойчивых систем управления с заданными характеристиками надежности и производительности, при резервировании коммуникационной подсистемы, реализуемой на коммутаторах, как с полнодоступным, так и неполнодоступным подключением узлов.

2. Метод оценки надежности системы управления с резервированием коммуникационной подсистемы для конфигураций с полнодоступным и неполнодоступным подключением узлов к коммутаторам, основанный на модификации комбинаторно-вероятностного метода оценки надежности систем с резервированием магистралей и учитывающий особенности реализации и функционирования коммутаторов, а также возможные комбинаторные распределения отказов сетевых адаптеров и портов коммутаторов, приводящие к образованию минимальных сечений и их комбинаций.

Метод обеспечивает приемлемую для инженерных расчетов точность вычислений.

3. Аналитическая и имитационная модели производительности распределенной системы управления с резервированием коммуникационной подсистемы при полнодоступном и неполнодоступном подключении узлов к коммутаторам, учитывающие:

- влияние на производительность системы отказов сетевых адаптеров и коммутаторов;

- режим работы коммуникационной подсистемы (переключение резерва или разделение нагрузки).

Практическая значимость результатов диссертационного исследования:

1. Разработанная методика проектирования отказоустойчивых систем управления, включая модели и методы оценки надежности и производительности, является научной основой для построения системы автоматизированного проектирования (САПР) отказоустойчивых систем управления. Метод оценки надежности учитывает конструктивные ограничения по введению избыточности, возникающие в бортовых системах управления. 2. Построение системы проектирования на основе разработанных методик и моделей позволяет:

- повысить качество проектных работ в результате автоматизации процесса выбора наиболее рациональной структуры системы и высокой точности вычислений;

- получить обоснованные решения по построению систем управления в результате применения предложенных правил формирования и выбора альтернативных вариантов построения систем управления с прогнозируемым уровнем надежности и производительности.

Публикации. По теме диссертации сделано 6 публикаций.

Апробация. Основные положения диссертационной работы обсуждены на научно-технической конференции СПб ГЛТА в феврале 2005 года, седьмой межведомственной научно-технической конференции «Проблемные вопросы сбора, обработки, передачи и защиты информации в сложных радиотехнических системах» в Пушкинском военном институте радиоэлектроники Космических войск имени маршала авиации С. Я. Савицкого, Всероссийской Интернет-конференции «Информационные системы и технологии в социально-экономических и правовых процессах» (www.sksi.ru/konQ.

Реализация результатов. Полученные в диссертационной работе результаты: методика проектирования отказоустойчивых систем управления, модели надежности и производительности конфигураций систем с полнодоступным и неполнодоступным подключением узлов применены на практике при проектировании комплексной системы управления техническими средствами судна - «Мателот-ТС», входящей в состав навигационно-тактического комплекса «Мателот» производства ЗАО «Транзас». В результате внедрения разработанных методик и моделей удалось получить обоснованные решения по построению коммуникационной среды системы, в частности, определить требуемую для обеспечения заданного уровня надежности кратность резервирования коммутаторов, конфигурацию подключения узлов и оценить время реакции системы. Акты о внедрении результатов диссертационной работы приведены в приложении А.

4.3 Выводы

Описано применение разработанных методик и моделей оценки надежности и производительности при проектировании комплексной системы управления техническими средствами судна «Мателот-ТС», входящей в состав навигационно-тактического комплекса «Мателот» производства ЗАО «Транзас».

В результате применения разработанных методик удалось получить обоснованные решения по построению коммуникационной среды системы, в частности, определить требуемую для обеспечения заданного уровня надежности кратность резервирования коммутаторов, конфигурацию подключения узлов и оценить время реакции системы.

ЗАКЛЮЧЕНИЕ

1. В диссертационной работе предложена методика проектирования отказоустойчивых систем управления при резервировании коммуникационной подсистемы, реализуемой на коммутаторах, как с полнодоступным, так и неполнодоступным подключением узлов.

2. Для поддержки предлагаемой методики проектирования предложены:

- метод оценки надежности системы управления с резервированием коммуникационной подсистемы для конфигураций с полнодоступным и неполнодоступным подключением узлов к коммутаторам, основанный на модификации комбинаторно-вероятностного метода оценки надежности систем с резервированием магистралей и учитывающий особенности реализации и функционирования коммутаторов, а также возможные комбинаторные распределения отказов как сетевых адаптеров, так и портов коммутаторов, приводящие к образованию минимальных сечений и их комбинаций. Метод характеризуется приемлемой для инженерных расчетов точностью вычислений;

- модели оценки производительности системы управления с резервированием коммуникационной подсистемы, учитывающие: влияние на производительность системы отказов сетевых адаптеров и коммутаторов, состояний системы с полнодоступным и неполнодоступным подключением узлов, режим работы коммуникационной подсистемы (переключение резерва или разделение нагрузки).

3. Методика проектирования, а также методы оценки надежности и производительности были применены при разработке судовой системы управления техническими средствами «Мателот-ТС», что подтверждено актами внедрения.

4. Разработанные методики и модели могут быть положены в основу системы автоматизированного проектирования (САПР) отказоустойчивых систем управления. Построение системы проектирования на основе предлагаемых методик и моделей позволяет повысить качество проектных работ в результате автоматизации процесса выбора наиболее рациональной структуры системы, учета конструктивных ограничений по введению избыточности и высокой точности вычислений, а также получить обоснованные решения по построению систем управления с прогнозируемым уровнем надежности и производительности.

1. Алиев Т. И. Характеристики дисциплин обслуживания заявок с несколькими классами приоритетов // Известия АН СССР -Техническая кибернетика. 1987. -№ 6. - С. 188-191.

2. Алиев Т. И., Кругликов В. К., Муравьева JI. А. Анализ сетей передачи данных с неоднородными сообщениями. // Известия вузов СССР. Приборостроение. 1989. - №1. - С. 33-39.

3. Алиев Т. И., Новиков Г. И. Метрическая теория и мониторинг компьютерных систем: состояние и проблемы // Изв. вузов.-Приборостроение. 2000. - № 3. - С. 40-44.

4. Амбросовский В. М., Белый О. В., Скороходов Д. А., Турусов С. Н., Интегрированные системы управления технических средств транспорта. Учебное издание. СПб.: Элмор, 2001. - 288 с.

5. Барлоу Р., Прошан Ф. Статистическая теория надежности и испытания на безотказность. М.: Наука, 1984. - 328 с.

6. Барлоу Р., Прошан Ф. Математическая теория надежности. М.: Сов. радио, 1969.-488 с.

7. Беляев Ю. К., Богатырев В. А., Болотин В. В. и др. Надежность технических систем: Справочник. Под общ. ред. И.А.Ушакова. М.: Радио и связь, 1985. - 608 с.

8. Богатырев В. А. Надежность и эффективность резервированных компьютерных сетей. // Информационные технологии. 2006. - №9. - С. 25-30.

9. Богатырев В. А. К оценке среднего времени ожидания передачи кадров через резервированный канал с ограниченными коммуникационными возможностями магистралей. // Автоматика и вычислительная техника. 1998. - № 1. - С. 77-80.

10. Богатырев В. А. Повышение отказоустойчивости многомагистрального канала с помощью межмагистральной ретрансляции пакетов. // Автоматика и вычислительная техника. -1999.-№2.-С. 81-88.

11. Богатырев В. А. Отказоустойчивый канал с неполнодоступным подключением узлов к резервированным магистралям. // Автоматика и вычислительная техника. 1999. - № 3. - С. 77-84.

12. Богатырев В. А. К динамическому распределению запросов на межмашинный обмен в многомашинных системах с резервированием магистрали. // Электронное моделирование. 1993. - № 2. - С. 28-31.

13. Богатырев В. А К оценке среднего времени ожидания в локальных сетях с резервированием магистралей при учете издержек намаркерный доступ. // Электронное моделирование. 1997. - № 6. - С. 31-37.

14. Богатырев В. А. Надежность канала взаимосвязи в локальных сетях с резервированием магистралей. // Электронное моделирование. 1998. -№3. - С. 99-103.

15. Богатырев В. А. Об организации и анализе разделения обслуживания очередей узлов между резервированными магистралями. // Электронное моделирование. 1998. - № 2. - С. 107-110.

16. Богатырев В. А. К управлению взаимосвязью при резервировании неполносвязных магистралей локальной сети. // Электронное моделирование. 1998. - № 4.

17. Богатырев В. А. Оценка вероятности полной связности локальных сетей при неполнодоступности резервированных магистралей. //Электронное моделирование. 1999. - № 5. - С. 102-112.

18. Богатырев В.А. Комбинаторный метод оценки отказоустойчивости многомагистрального канала. // Методы менеджмента качества. -2000. № 4. - С. 30-35.

19. Богатырев В. А. Отказоустойчивость и сохранение эффективности функционирования многомагистральных распределенных вычислительных систем. // Информационные технологии. 1999. -№ 9. - С. 44-48.

20. Богатырев В. А. Оценка надежности резервированного канала с межмагистральной ретрансляцией кадров. // Автоматизация и современные технологии. 2000. - № 4. - С. 2-4.

21. Богатырев В. А Надежность сетей при резервировании коммутаторов с неполнодоступным подключением узлов. // Известия Санкт-Петербургской государственной лесотехнической академии ВЫП. 174. 2005 г.

22. Богатырев В. А. Комбинаторно-вероятностная оценка надежности и отказоустойчивости кластерных систем // Приборы и системы. Управление, контроль, диагностика. 2006. - № 6.

23. Богатырев В. А. Надежность и эффективность резервированных компьютерных сетей // Информационные технологии. 2006. - № 9.

24. Богатырев В. А., Колмогорцев Е. J1. Выбор рационального варианта конфигурации отказоустойчивой системы управления. // Информационные технологии моделирования и управления. 2007. -№1(35).-С. 134-139.

25. Бусленко В. Н. Автоматизация имитационного моделирования сложных систем. М.: Наука, 1977. - 240 с.

26. Большие системы. Теория, методология, моделирование/Под ред. Б.В.Гнеденко М.: Наука, 1971.-328 с.

27. Бусленко Н. П., Калашников В. В., Коваленко И. Н. Лекции по теории сложных систем. М.: Сов.радио, 1973. - 439 с.

28. Под. ред. Вавилова А. А. Имитационное моделирование производственных систем. -М.: Машиностроение, 1983.

29. Вентцель Е.С. Теория вероятностей М.:Наука, 1969. - 576 с.

30. Волик Б. Г. О дискуссии на IV всесоюзном совещании "Надежность , живучесть и безопасность автоматизированных комплексов" // Приборы и системы управления. 1989. - № 11. - С. 2-3.

31. Волик Б. Г., Рябинин И. А. Эффективность, надежность и живучесть управляющих систем. // Автоматика и Телемеханика. 1984. - № 12. -С. 151-160.

32. Войтецкий В. В., Шилов К. Ю. Проблема оценки стоимости современных систем управления техническими средствами кораблей ВМФ. // Морская радиоэлектроника 2002. - № 1.

33. Гихман И. И., Скороход А. В. Теория случайных процессов. М.: Наука, 1973.-Т.2.-639 с.

34. Гнеденко Б. В., Беляев Ю. К., Соловьев А. Д. Математические методы в теории надежности. М.: Наука, 1965. - 524 с.

35. Гнеденко Б. В., Коваленко И. Н. Введение в теорию массового обслуживания, 2-е изд., М.,1987. 336 с.

36. Гнеденко Б. В., Хинчин А. Я. Элементарное введение в теорию массового обслуживания, 6-е изд., М.: Физматгиз, 1964. 146 с.

37. Горский Л. К. Статистические алгоритмы исследования надежности. -М.: Наука, 1970.-400 с.

38. Епифанов А. Д. Надежность автоматических систем. М.: Машиностроение, 1964

39. Исаков JI. И. Устройство и обслуживание судовой автоматики. Справочник. JL: Судостроение, 1989. - 296 с.

40. Кендалл М., Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1976.-736 с.

41. Клейнрок J1. Вычислительные системы с очередями. М.: Мир, 1979. - 600 с.

42. Клейнрок JI. Теория массового обслуживания. Пер. с англ. -М.: Машиностроение, 1979.-432 с.

43. Коваленко И. Н. Аналитико-статистический метод расчета характеристик высокоответственных систем. // Кибернетика. 1976. -№6.

44. Коваленко И. Н. Исследование по анализу надежности сложных систем. Киев: Наук.думка, 1975. - 209 с.

45. Коваленко И. Н. Анализ редких событий при оценке эффективности и надежности систем. М.: Сов. радио, 1980. - 208 с.

46. Коваленко И. Н., Кузнецов Н. Ю. Методы расчета высоконадежных систем. М.: Радио и связь, 1988. - 176 с.

47. Коваленко А. Е., Гула В. В. Отказоустойчивые микропроцессорные системы. Киев: Техника, 1986. - 150 с.

48. Колмогорцев Е. JI. Модель производительности распределенной иерархической системы управления с резервированием коммуникационной подсистемы. // Информационные технологии моделирования и управления. 2006. - №9(34). - С. 1172-1179.

49. Кофман А. Введение в прикладную комбинаторику. М.: Наука. -1975.-480 с.

50. Ларионов А. М., Майоров С. А., Новиков Г. И. Вычислительные комплексы, системы и сети. JL: Энергоатомиздат, 1987. - 288 с.

51. Майоров С. А., Новиков Г. И. Структура электронных вычислительных машин. Л.: Машиностроение. Ленингр. отделение, 1979.-384 с.

52. Майоров С. А., Новиков Г. Н. и др. Основы теории вычислительных систем. М.: Высшая школа, 1978. - 408 с.

53. Майоров С. А. Новиков Г. И. Малогабаритные вычислительные машины. Проектирование цифровых управляющих систем. Л.: Машиностроение, 1967. - 236 с.

54. Майоров С. А. Новиков Г. И. Принципы организации цифровых машин. Л.: Машиностроение, 1974. - 432 с.

55. Московцев Ю. П. Принципы создания АСУ ТП гражданских судов. // Системы управления и обработки информации: Науч.-техн. сб. ФНПЦ "НПО "Аврора", СПб. 2000. - Вып. 1. - С. 61-68.

56. Новиков Г. И. Минимизация затрат на адресацию команд путем сегментации адресов. // Известия вузов СССР. Приборостроение. -1974.-№1.-С. 71-73

57. Новиков Г. И. Оценка эффективности параллельной работы микрокоманд. // Известия вузов СССР. Приборостроение. 1974. -№4. - С. 60-64.

58. Новиков Г. И. Об иерархии систем микроопераций и логических условий. // В сб. «Оптимизация в проектировании дискретных устройств.» ЛДНТП. 1976. - С. 70-84

59. Новиков Г. И. О структурной организации операционных автоматов. // Управляющие системы и машины. 1977. - №2. - С. 68-73.

60. Олифер В. Г., Олифер Н. А. Новые технологии и оборудование IP-сетей. СПб.: БХВ-Петербург, 2001 г. - 512 с.

61. Олифер Н. А. Резервирование соединений в локальных сетях. LAN // Журнал сетевых решений. 2002. - №1.

62. Олифер Н. А. Агрегирование каналов в локальных сетях. LAN // Журнал сетевых решений. 2002. - №2.

63. Олифер В. Г., Олифер Н. А. Компьютерные сети. Принципы, технологии протоколы: Учебник для вузов. 2-е изд. СПб.: Питер, 2003. - 864 с.

64. Панфилов И. В., Половко А. М. Вычислительные системы. М.: Советское радио, 1980.

65. Перегуда А. И., Повякало А. А. Отказоустойчивость и безотказность систем из невосстанавливаемых элементов // Приборы и системы управления . 1989. - № 11. - С. 3-5.

66. Подиновский В. В., Гаврилов В. М. Оптимизация по последовательно применяемым критериям. М.: Сов. радио, 1975. - 192 с.

67. Половко А. М. Основы теории надежности. М.: Наука, 1964.

68. Половко А. М. О расчете надежности сложных автоматических систем. // Известия АН СССР, ОТН, Энергетика и автоматика. 1960. -№5.

69. Половко А. М., Новиков И. Е. О резервировании с дробной кратностью. // Известия АН СССР, ОТН, Энергетика и автоматика. -1961.-№3.

70. Половко А. М., Гуров С. В. Основы теории надежности. СПб.: BHV-Петербург, 2006. - 704 с.

71. Поляк Ю. Г. Вероятностное моделирование на электронных вычислительных машинах. М.: Советское радио, 1971. - 400 с.

72. Поспелов И. Г. Разработка и исследование методов анализа и обеспечения отказоустойчивости управляющих иерархических систем реального времени: диссертация на соискание ученой степени кандидата технических наук. М., 2002. 189 с.

73. Райншке К., Ушаков И. А. Оценка надежности систем с использованием графов /Под ред. И.А.Ушакова. М.: Радио и связь, 1988.-209 с.

74. Рябинин И. А. Логико-вероятностное исчисление как аппарат исследования надежности и безопасности структурно-сложных систем. // АиТ, М.: Наука. 2003. - № 7. - С. 178-186.

75. Рябинин И. А. Надежность и безопасность структурно-сложных систем. СПб.: Политехника, 2000. - 248 с.

76. Рябинин И. А. Об использовании аппарата алгебры логики для исследования вопросов надежности // Судовая электротехника и связь. 1965. - № 28. - С. 30-35.

77. Рябинин И. А. Основы теории и расчета надежности судовых электроэнергетических систем. JL: Судостроение, 1967. - 362 с.

78. Рябинин И. А., Грек Б. В., Борисов С. С. Поиск минимальных сечений отказов структурно-сложных технических систем. Алгоритм № 186. // В кн. Сборник алгоритмов и программ, Вып. 8. JL: ВМА. 1982.

79. Рябинин И. А., Черкесов Г. Н. Логико-вероятностные методы исследования надежности структурно-сложных систем. М.: Радио и связь, 1981.-264 с.

80. Сергиевский М. Серверные сетевые карты стандарта Fast Ethernet. // КомпьютерПресс. 2000. - №6.

81. Советов Б. Я. Информационные технологии: Учебник для ВУЗОВ. -М.: Высшая школа, 2005 г.

82. Советов Б. Я., Яковлев С. А. Моделирование систем: Практикум. -М.: Высшая школа, 2005. 295 с.

83. Советов Б. Я., Яковлев С. А. Моделирование систем. Учебник для вузов. М.: Высшая школа, 2001.

84. Советов Б. Я., Яковлев С. А. Моделирование систем. Курсовое проектирование: учебное пособие для вузов. М.: Высшая школа, 1988.

85. Томашевский В., Жданова Е., Имитационное моделирование в среде GPSS. — М.: Бестселлер, 2003. 416 с.

86. Уткин Л. В., Шубинский И. Б. Нетрадиционные методы оценки надежности информационных систем. СПб.: Любавич, 2000. - 173 с.

87. Ушаков И. А. Задачи оптимального резервирования. М.: Знание, 1979.

88. Ушаков И. А. Задачи расчета надежности. М.: Знание, 1981.

89. Ушаков И. А. Инженерные методы расчета надежности. М.: Знание,1970.

90. Ушаков И. А. Методы расчета эффективности систем на этапе проектирования. М.: Знание, 1983.

91. Ушаков И. А. Построение высоконадежных систем. М.: Знание,1971.

92. Ушаков И. А. Оптимальные задачи надежности. М.: Знание, 1971.

93. Ушаков И. А. Методы исследования эффективности функционирования технических систем. Вып.2. М.: Знание, 1976. -46 с.

94. Хабаров С. П., Колмогорцев Е. Л. Отказоустойчивый протокол надежной доставки данных. //Известия Санкт-Петербургской государственной лесотехнической академии: выпуск 174. СПб.: СПбГЛТА. 2005. - С. 143-153.

95. Черкесов Г. Н. Надежность аппаратно-программных комплексов. Учебное пособие. СПб.: Питер, 2005. - 479 с.

96. Черкесов Г. Н. Основы теории надежности АСУ: Учеб. пособие / ЛПИ.-Л., 1975.-220 с.

97. Черкесов Г. Н., Можаев А. С. Логико-вероятностные методы расчета надежности структурно-сложных систем. -М.: Знание, 1991. 64 с.

98. Черкесов Г. Н. О расчете надежности обслуживаемых систем при ограниченном ЗИП с периодическим пополнением запасов. // Надежность. 2003. - №2(5) - С. 16-34.

99. Черкесов Г. Н. Методы и модели оценки живучести сложных систем. -М.: Знание, 1987,- 116 с.

100. Шубинский И. Б., Николаев В.И., Колганов С.К. и др. Активная защита от отказов управляющих модульных вычислительных систем. -СПб.: Наука, 1993.-284 с.

101. Шубинский И. Б., Пивень Е.Н. Расчет надежности ЭВМ. Киев: Техника, 1979.-232 с.

102. Шубинский И. Б. Основы анализа сложных систем. Конспект лекций. Б.м.: Пушкин. Высшее уч-ще радиоэлектроники ПВО, 1988. - 206 с.

103. Шубинский И. Б. Активная защита от отказов микропроцессорных вычислительных систем. М.: Знание, 1987. - 60 с.

104. ГОСТ 27.002-89. Надежность в технике. Основные понятия. Термины и определения. М.: Издательство стандартов, 1989. - 36 с.

105. ГОСТ 27.003-83. Надежность в технике. Выбор и нормирование показателей надежности. М.: Издательство стандартов, 1983. - 36 с.

106. ГОСТ 27.003-90. Надежность в технике. Состав и общие правила задания требований по надежности. М.: Издательство стандартов, 1983.-22 с.

107. ЗАКРЫТОЕ АКЦИОНЕРНОЕ ОБЩЕСТВО «ТРАНЗАС»1. N «утверждаю»

108. Z/^/' 4 ' 'Зам. генерального директора ' • .—ЗАО «ТРАНЗАС»1. % » j j

109. Председатель комиссии: зам. генерального директора ЗАО «ТРАНЗАС», к.т.н.1. Члены комиссии:технический директор ЗАО «ТРАНЗАС», K.T.H., с.н.с.

110. Начальник отдела общесистемного проектирования, к.т.н., доцент1. Ратнер А.Н.аглюк Ю.В.1. Красил ьников В.Б.

111. Модель сети массового обслуживания

112. Модель сети массового обслуживания **********************************************************************************

113. В модели принята следующая нумерация устройств (приборов):1. УК от 1 до 1001. Км от 101 до 1000

114. УВВ от 1001 до 2000 **********************************************************************************1. Параметры транзакта:

115. Р1 номер УК, сгенерировавшего транзакт (запрос).

116. Р2 номер Км, через который транзакт передается.

117. РЗ номер УВВ, которым транзакт (запрос) обрабатываться.

118. Р4 средняя длит-ть обслуживания транзакта в УК.

119. Р5 средняя длит-ть обслуживания транзакта-запроса в Км.

120. Рб средняя длит-ть обслуживания транзакта-ответа в Км.

121. Р7 средняя длит-ть обслуживания транзакта в УВВ.