автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.12, диссертация на тему:Модели и методы поддержки оптимального проектирования резервированных систем сбора и обработки информации кластерной архитектуры

На правах рукописи

005061899

Голубев Иван Юрьевич

МОДЕЛИ И МЕТОДЫ ПОДДЕРЖКИ ОПТИМАЛЬНОГО ПРОЕКТИРОВАНИЯ РЕЗЕРВИРОВАННЫХ СИСТЕМ СБОРА И ОБРАБОТКИ ИНФОРМАЦИИ КЛАСТЕРНОЙ АРХИТЕКТУРЫ

Специальность: 05.13.12 - Системы автоматизации проектирования (приборостроение)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

7 О ""Ч 2013

Санкт-Петербург - 2013

005061899

Работа выполнена на кафедре Вычислительной техники Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики».

Научный руководитель - доктор технических наук Богатырев Владимир Анатольевич.

Официальные оппоненты:

Уткин Лев Владимирович, доктор технических наук, профессор, Санкт-Петербургский государственный лесотехнический университет; заведующий кафедрой Управления, автоматизации и системного анализа

Зыков Анатолий Геннадьевич, кандидат технических наук, Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, доцент кафедры Информатики и прикладной математики

Ведущая организация:

Федеральное государственное автономное образовательное учреждение высшего профессионального образования Санкт-Петербургский государственный университет аэрокосмического приборостроения

Защита состоится 17 июня 2013 г. в 15:50 на заседании диссертационного совета Д212.227.05 в Санкт-Петербургском национальном исследовательском университете информационных технологий, механики и оптики по адресу: 197101, Санкт-Петербург, Кронверкский пр., д. 49.

С диссертацией можно ознакомиться в библиотеке НИУ ИТМО. Автореферат разослан 30 апреля 2013 г.

Ученый секретарь диссертационного совета, кандидат технических наук, доцент

Поляков В. И.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Быстродействие компьютерных сетей, достигнутое за последнее десятилетие, стало основой для развития технологии грид и облачных вычислений, позволяющих консолидировать вычислительные ресурсы и предоставлять их как сервис. Перераспределение вычислительной нагрузки через сеть и организация кооперативной работы компьютеров позволяют достичь не только высокой производительности, но и высокой отказоустойчивости распределённых вычислительных систем (ВС).

Использование идей технологии грид при проектировании ВС, обрабатывающих критически важную информацию, формируемую с датчиков, измерительных и управляющих приборов, требует учёта возможных специальных требований к надёжности базовых вычислительных узлов системы, а также ограничений времени и достоверности результатов обработки критичных запросов.

Значительный вклад в теорию надежности ВС внесли отечественные ученые Б.В. Гнеденко, A.M. Половко, И.А. Рябинин, И.А. Ушаков, Г.Н. Черкесов и др. Среди зарубежных учёных следует отметить A. Tanenbaum, М. Shooman, Р. Jalóte, Р. Verissimo, М. Abd-El-Barr и др. Их работы в значительной мере способствовали изучению методов повышения и оценки надёжности ВС.

Исследование алгоритмов управления нагрузкой в распределённых ВС проведено в работах B.C. Пономаренко, В.Н. Коваленко, М.Г. Курносова и др.

Представляет интерес разработка методов, моделей и методик поддержки автоматизации процесса проектирования ВС кластерной архитектуры, предназначенных для сбора и обработки данных с датчиков измерительных и управляющих приборов, на базе отказоустойчивых вычислительных комплексов, с учётом организации дублированных вычислений для задач критичных приложений.

Объект исследования — системы сбора и обработки данных с датчиков, измерительных и управляющих приборов, предусматривающих объединение резервированных и нерезервированных узлов в кластеры с возможностью перераспределения запросов между кластерами при требовании организации дублированных вычислений для критических запросов.

Предмет исследования - модели, алгоритмы и методики поддержки автоматизированного оптимального проектирования распределённых мультикласгерных систем.

Цель и задачи исследования. Целью исследования является повышение эффективности систем автоматизированного проектирования отказоустойчивых ВС кластерной архитектуры при неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов, при организации дублированных вычислений для критичных приложений.

Для достижения поставленной цели в диссертации решаются следующие задачи:

— разработка моделей оценки надёжности и времени пребывания запросов различной критичности в кластерной системе при возможности их перераспределения с учётом доступности и загруженности узлов при организации дублированных вычислений для критичных приложений;

— постановка и решение задачи оптимизации структуры вычислительной системы с дублированием вычислительных ресурсов в узлах при возможности перераспределения запросов;

— постановка и решение задачи оптимизации отказоустойчивого вычислительного процесса с учётом возможности адаптации к отказам, доступности и загруженности узлов при перераспределении потока запросов различной критичности;

— формирование и выбор вариантов построения отказоустойчивых вычислительных комплексов, предусматривающих перераспределение запросов, в том числе для встраиваемых вычислительных узлов измерительных и управляющих приборов и систем;

— разработка методики проектирования отказоустойчивых резервированных вычислительных систем кластерной архитектуры при неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов, при организации дублированных вычислений для критичных приложений.

Научная новизна. Предложены модели оценки надёжности и времени пребывания запросов различной критичности в кластерной системе при возможности их перераспределения с учётом доступности и загруженности узлов при требовании организации дублированных вычислений для критичных приложений.

1. Предложены постановка и решение задачи оптимизации структуры с объединением дублированных вычислительных систем в кластеры при возможности перераспределения запросов между ними.

2. Предложены постановка и решение задачи оптимизации вычислительного процесса при адаптации к отказам, изменениям доступности и загруженности узлов системы кластеров, на основе перераспределения потока запросов между дублированными узлами кластеров с учетом различной критичности запросов ко времени и к достоверности их обслуживания.

3. Предложена методика оптимального проектирования отказоустойчивых систем сбора и обработки информации при объединении дублированных компьютерных узлов в кластеры при неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов.

Практическая значимость работы. Предложен набор моделей и средств поддержки процесса автоматизации оптимального проектирования, включая модели оценки надёжности и времени пребывания запросов различной критичности в системах с объединением дублированных компьютерных узлов в кластеры, при возможности перераспределения запросов между узлами с учётом их доступности и загруженности, при организации дублированных вычислений для критичных приложений.

1. Предложен набор средств поддержки (алгоритмы, аналитические и имитационные модели) оптимизации структуры с объединением дублированных вычислительных систем в кластеры.

2. Предложен набор средств поддержки оптимизации вычислительного процесса с учётом адаптации к отказам, доступности и загруженности узлов при перераспределении неоднородного потока запросов различной критичности между узлами кластеров.

3. Предложены средства поддержки проектирования отказоустойчивых резервированных ВС кластерной архитектуры при неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов, при организации дублированных вычислений для критичных приложений.

Методология и методы исследования. В исследовании используются аналитическое и имитационное моделирование, применяется теория надежности, теория принятия решений, теория массового обслуживания.

Положения, выносимые на защиту

1. Модели поддержки автоматизированного проектирования в части оценки надёжности кластерной системы при возможности перераспределения запросов с учётом доступности и загруженности узлов, при требовании организации дублированных вычислений для критичных приложений.

2. Модели поддержки автоматизированного проектирования в части оценки времени пребывания запросов различной критичности в кластерной системе при возможности их перераспределения с учётом доступности и загруженности узлов, при требовании организации дублированных вычислений для критичных приложений.

3 Методика проектирования отказоустойчивых резервированных ВС кластерной архитектуры при неоднородности потока запросов, различающихся по критичности времени обслуживания и требованиями достоверности результатов, при организации дублированных вычислений для критичных приложений.

Степень достоверности. Достоверность результатов обусловлена корректностью используемого математического аппарата, подтверждена имитационным моделированием, экспертизами работы при получении грантов, а также результатами внедрения. Полученные результаты согласованны с данными других исследований в отечественной и зарубежной литературе.

Апробация результатов. Основные результаты диссертационного исследования были представлены на 16 ночных конференциях, в том числе 8 международных: Международная межвузовская научно-практическая конференция молодых учёных и специалистов «Лесной сектор экономики: проблемы и пути решения» (2012 г.); Международная конференция «Перспективные разработки науки и техники», г. Варшава, Польша (2011 г.); Международная научно-практическая конференция «XL Неделя науки СПбГПУ» (2011 г.); VII международная конференция «Стратегия качества в промышленности и образовании», Технический университет, г. Варна, Болгария (2011 г.); IX научно-практическая конференция студентов и аспирантов (с международным участием) «Региональные аспекты инновационного развития сферы сервиса в современных условиях» (2011 г.); Международная научно-практическая конференция «XXXIX Неделя науки СПбГПУ» (2010 г.); Международная научно-методическая конференция «Актуальные проблемы развития высшей школы» (2010 г.); Международная научная конференция «Вторые Санкт-Петербургские социологические чтения» (2010 г.).

По теме диссертации опубликовано 27 научных работ, в том числе 6 статей в журналах, включённых в Перечень ВАК, и 1 статья в журнале, индексируемом базой Scopus.

Исследования поддержаны:

1. Грантом в рамках Конкурса грантов 2011 года для студентов, аспирантов вузов и академических институтов, расположенных на территории Санкт-Петербурга. Тема проекта: "Исследование алгоритмов управления потоками запросов в вычислительной сети с иерархической структурой".

2. Стипендией Президента РФ 2012 года.

Результаты диссертационной работы включены в отчёт о научно-исследовательской работе кафедры Вычислительной техники НИУ ИТМО по теме №610481 и внедрены в производственный процесс компании ООО «БИФРИ».

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во ВВЕДЕНИИ обоснована актуальность диссертационного исследования, сформулированы цель и задачи работы, перечислены используемые в работе методы исследования, показаны научная новизна и практическая значимость результатов работы.

В ПЕРВОЙ ГЛАВЕ «Задачи автоматизации проектирования вычислительных систем кластерной архитектуры» описан объект исследования, рассмотрены основные требования, предъявляемые к современным распределённым вычислительным системам, такие как надёжность, производительность и стоимость.

Требования надёжности и отказоустойчивости особенно важны для распределённых систем сбора и обработки критичной информации, участвующих в управлении потенциально опасными технологическими процессами. Проанализированы методы обеспечения отказоустойчивости вычислительных систем, показано, что для критичных приложений требуется организация дублированных вычислений при сравнении результатов в контрольных точках, при этом надёжность рассматриваемых систем может достигаться при структурной реконфигурации вычислительных узлов и перераспределении запросов. Показано, что для обслуживания критичных запросов реального времени дублирование вычислительного процесса может быть организовано при построении узлов кластера на основе дублированных вычислительных комплексов. При этом определенный интерес представляет исследование организации отказоустойчивого функционирования кластеров, содержащих как дублированные вычислительные комплексы, так и нерезервированные вычислительные узлы, которые могут включаться в кластер при проектировании (например, из экономических соображений) или формироваться при эксплуатации в результате деградации ДВК. Нерезервированные вычислительные узлы могут использоваться для выполнения некритических приложений, не требующих дублирования вычислений.

Показана актуальность создания моделей поддержки автоматизации проектирования кластерных систем сбора и обработки данных с управляющих и измерительных приборов, в том числе разработка аналитических и имитационных моделей надежности и эффективности вычислительных систем кластерной архитектуры, построенных на базе резервированных и нерезервированных узлов. Показано, что в направлении разработки средств и методов поддержки САПР высоконадёжных систем сбора и распределённой обработки информации мультикластерной архитектуры возникла потребность разработки:

- моделей оценки надёжности и времени пребывания запросов различной критичности в кластерной системе при возможности их перераспределения с учётом доступности и загруженности узлов, при требовании организации дублированных вычислений для критичных приложений;

- методики проектирования отказоустойчивых резервированных вычислительных систем кластерной архитектуры при неоднородности потока запросов по критичности времени и достоверности выдачи результатов, при организации дублированных вычислений для критичных приложений.

Во ВТОРОЙ ГЛАВЕ «Модели поддержки автоматизированного проектирования отказоустойчивых кластерных систем» разработаны и исследованы модели оценки надежности и среднего времени пребывания запросов различной критичности в распределенной системе сбора и обработки данных управляющих и измерительных приборов и систем.

Структура исследуемой системы приведена па рисунке 1, система содержит М локальных кластеров при возможности использования в качестве резерва ресурсов т узлов общедоступного кластера, связь с которым обеспечивается через коммутационную подсистему. Узлы кластеров могут строиться на основе нерезервированных компьютеров (серверов) или дублированных вычислительных комплексов (ДВК). Критические запросы, требующие дублированных вычислений в разных полукомплесах, при сравнении результатов в контрольных точках, обслуживаются в ДВК.

В результате перераспределения запросов от локальных кластеров в общедоступный кластер обеспечивается сбалансированность нагрузки узлов системы и её устойчивость к отказам и перегрузкам узлов (серверов) локальных кластеров. Перераспределение запросов от локальных кластеров в общедоступный кластер осуществляется через N резервированных коммутационных узлов (маршрутизаторов или коммутаторов).

Источники запросов, измерительные и управляющее приборы и системы

Рисунок 1. Структура распределённой вычислительной системы

Особенность рассматриваемого подхода к распределению запросов состоит в

учёте:

— неоднородности потока при необходимости организации дублированного обслуживания критичных запросов;

— возможностей отказов, восстановлений и временных отключений серверов общедоступного кластера;

— неоднородности узлов (закладываемой при проектировании или формируемой при деградации) по возможности приёма перераспределяемых запросов в зависимости от их критичности и требований организации дублированного вычислительного процесса;

Условием работоспособности системы по выполнению запросов некоторого кластера является выполнение критических запросов хотя бы в одном ДВК в режиме дублированных вычислений и некритических вычислений хотя бы одним сервером (возможно ДВК) с учётом недопустимости перегрузки кластеров.

В предположении, что при исправности хотя бы одного коммутационного узла запросы могут перераспределяться в общедоступный кластер, но для реализации такого перераспределения в локальном кластере должен быть исправен хотя бы один вычислительный узел, вероятность работоспособности системы определена как:

i cjncipi(i-p0rpk2(i-p2rk,

Ыа j-\ k-b-j

N

где Р\ = —/J, ~ вероятность исправности коммутационной

i=i

подсистемы, при этом значения а и Ъ определяются из соображений отсутствия перегрузки кластеров; р0, р, - коэффициенты готовности вычислительного узла локального кластера и коммутационного узла соответственно; p2=qpo, здесь р0 -вероятность исправности узла общедоступного кластера, a q — вероятность его доступности для перераспределяемых из сети запросов, п и т — число узлов в рассматриваемом локальном и в общедоступном кластерах.

Надежность (коэффициент готовности) ДВК (резервированный узел кластера) вычисляется как: р„ = Рм f)+(l~ РРРм У), где при

заданных интенсивиостях отказов и восстановлений процессора,

памяти и адаптера сопряжения соответственно коэффициенты их готовности Р„ =ц,/(х.(,+цр), Ри = Р-И /(К +Ци). P. =V-al{K + \i*)- При невозможности вычислений процессорами и модулями памяти разных полукомплексов надёжность ДВК вычисляется как: р0 = (1 - О - РрРм )2).

Зависимость надёжности системы Р от интенсивности отказов процессора \ представлена на рисунке 2, на котором кривые 1 и 4 соответствуют реализации узлов на основе ДВК при и=3, т=4 и т=2; а кривые 2 и 3 - на основе нерезервированных серверов при я=6, т=8 и т=4. Для сравниваемых вариантов затраты на реализацию системы одинаковы. Расчёты выполнены в системе Mathcad Prime 2.0 при <7=0.8, N=2, a=b=2, (1„=р1=1 1/ч, цр=(1,„=0.2 1/ч, 1а=\с=0.5'кр, Хт=Хр.

* - ■■К 3-.

\

4

2Т0Л 4,10~3 8*10Л 0.01

h, Уч

Рисунок 2. Надёжность систем с дублированными и сдублированными вычислительными узлами

Для ДВК с ограниченным восстановлением (одновременный ремонт нескольких узлов невозможен) коэффициент готовности определяется как сумма вероятностей работоспособных состояний, для нахождения которых процесс отказов и восстановлений представляется марковским процессом, при этом составляется граф переходов и уравнения Чепмена-Колмогорова, в результате решения которых определяются искомые вероятности. Определив вероятности состояний, можно найти коэффициент сохранения эффективности и нестационарный коэффициент готовности

двк.

Результаты расчёта нестационарного коэффициента готовности К(т) ДВК при X,, =0,00005 1/ч, Ъм =0,00015 1/ч, А„=0,0001 1/ч, р„=рд,,=ц£,=0,5 1/ч представлены на рисунке 3. Кривые I и 2 соответствуют комплексам, не допускающему и допускающему возможность совместной работы процессора и модуля памяти разных полу комплексов.

0,99999995 0.9999999 0,99999985 0.9999998 0.99999975 0,9999997

О 10 20 30 40 50 60 70 80 90 г. ч Рисунок 3. Нестационарный коэффициент готовности ДВК

Среднее время пребывания запросов в локальном кластере вычислено как:

Г = й + с1д+(\-Л)(Ь + К). где и - среднее время пребывания запроса в системе до окончания его диспетчеризации; с1 - доля запросов, обрабатываемых узлами-диспетчерами; Q -среднее время пребывания в системе запроса, обрабатываемого узлом-диспетчером, после окончания его диспетчеризации; Ь и К — среднее время пребывания перераспределённого запроса в сети кластера и в узле-исполнителе соответственно.

Рассмогрены варианты организации распределения запросов внутри кластера, когда приоритеты запросов на диспетчеризацию и решение функциональных задач одинаковы (бесприоритетная дисциплина обслуживания, БП ДО); когда запросы на диспетчеризацию имеют относительный (ОП) либо абсолютный приоритет (АП) над функциональными запросами и когда функциональные запросы имеют ОП либо АП относительно задач диспетчеризации.

При БП ДО соответствующие задержки запросов вычислены как:

"„,-№„ +Ок.Ь2) п,„-(ХЬ1,+Ш2) -

где п„, - количество диспетчеров; 60 - средняя длительность диспетчеризации запроса; Ь2 - средняя длительность обработки запроса, X - интенсивность потока запросов.

Для ДО с ОГ1 и АП запросов на диспетчеризацию получено:

пт - "kb0 \Ъ1 +dkb;

(\-XbJn„Jn,„-(lb0 + dlb2))

-3 ~ (1^ Xb0 / и„)(и,„ - (Xi„ + )) n„, - ХА0 Для ДО с ОП или АП запросов на обработку:

Ui+dkti;

Г\ _ ____У_

А =-

(1 - ¿йЛ, / л„, )(л,„ - (Ц, + сШ>2)) Ul+dKbl

-dib;

г + Ь„

(1 - сй.Ь2 / п„ )(и,„ - (1Ь0 + ОКЬг)) пт 2, = ¡й = (л£02 + <Л622 / п,„ - <&Ъ2) + Ь2.

По известной формуле для среднего времени пребывания запроса в системе массового обслуживания (СМО) типа М1М11 находим: £ = ¿, / (1 - (1 с1)Щ), К = А2/(1-(1-я!)).62/(й-ит)), где й, - средняя длительность передачи запроса по сети

кластера, и - количество узлов в кластере.

Исследование проведено в условиях отсутствия в системе перегрузок:

Xb„+glb2

<1 U((l-g)M, <1)л

(1 -g)U2

<1

На рисунке 4 представлены результаты расчётов по определению зависимости среднего времени пребывания запросов в системе от количества узлов, выполняющих функции диспетчеризации, произведённых в системе Mathcad Prime 2.0 при «=10 шт., ¿о=0,2 с, ¿>1=0,05 с, Ь2=1 с, g=0.1. Кривые 1-5 соответствуют вариантам организации распределения запросов, когда приоритеты запросов на диспетчеризацию и решение функциональных задач одинаковы; когда запросы на диспетчеризацию имеют ОП либо АП над функциональными запросами и когда функциональные запросы имеют ОП либо АП относительно задач диспетчеризации.

Г, с

8.5

3,25

1,75

! ~ | | 4 \

\

\\ К \ /

6,75

6

п,„. ШТ.

3,25

/

/

1\

AV

4

и„ шт.

а) Л.=2.5 1/с б)Х=5 1/с

Рисунок 4. Определение количества узлов-диспетчеров

Зависимость среднего времени пребывания запросов в системе от доли обрабатываемых узлами-диспетчерами запросов при т=3 представлена на рисунке 5. Кривые 1-5 представляют варианты дисциплин диспетчеризации в порядке, соответствующем предыдущему рисунку.

Т, с

2,5 2,35 2,2 2,05 1,9 1.75

................... ................ і

.............. / / 7..... 4

[ _______/ / / // /...../ /1

..^Й■....... ~3 2

/ у/

— .... _

О 0.06 0,12 0.18 0.24 0.3 0.36 а) 1=2,5 1/с

Г, с

21,2

12,2

3,2

5

1

1 і

і / 1 /

/У 3

£ І2

0.06 0.12 0,18 0.24 0,3 0,36

4-

б) Х=5 1/с

Рисунок 5. Определение доли обрабатываемых диспетчерами запросов

Результаты анализа организации распределения запросов показывают эффективность разделения функций диспетчеризации между несколькими компьютерами кластера. Показана эффективность организации в серверах-диспетчерах дисциплины обслуживания с относительным приоритетом запросов на диспетчеризацию над функциональными запросами.

Среднее время пребывания запросов одинаковой критичности в системе кластеров недублированных серверов оценено как:

Т = ё

/ \ Ґ

1 ¿н

V п )

1 ((1-у)+р)2Ху, 1 (р-г)+р)а.у к, N т

где ¿К/п - интенсивность запросов, поступающих в один из п узлов кластера, обслуживающего запросы без их перераспределения через сеть (считая, что в кластере диспетчеризацию в фоновом режиме обеспечивает один из п узлов, обслуживающий также функциональные запросы); - средние времена

выполнения запросов в узлах локального кластера, в коммутационных узлах и в узлах общедоступного кластера.

Результаты расчета среднего время пребывания запроса в системе Т при п= 10 шт., N=5 шт., т=30 шт., уо=10 с, у,=1 с, у2=10 с; А.=0,8; 0,7; 0,5; 0,3; 0,1 1/с представлены на рисунке 5.

Предложена уточнённая модель исследуемой системы, учитывающая неэкспоненциальность распределения интервалов между поступающими запросами, в случае циклической дисциплины распределения потока запросов.

а) р=0,05 б) (3=1

Рисунок 5. Среднее время пребывания запросов в системе

На рисунке 6 приведена модель распределения запросов различной критичности в кластере ДВК.

В исследуемой системе запросы класса к поступают в п,„ ДВК, реализующих диспетчеризацию, при этом ДВК-диспетчеры могут назначаться динамически из числа полностью исправных ДВК кластера.

С вероятностями с1к запросы обслуживаются ДВК-диспегчером и с вероятностями (1-4) перераспределяются через сеть кластера в ДВК, занимающиеся исключительно обработкой функциональных запросов (ДВК-исполнители). При этом критичные запросы перераспределяются только в ДВК-исполнители, способные обеспечить дублированные вычисления (их количество предполагается известным и равным Пс/), а выбор комплекса для обработки некритичных запросов осуществляется среди всех работоспособных узлов-исполнителей, в том числе недублированных серверов (их количество предполагается известным и равным и5).

При построении модели считается, что входящие потоки запросов являются простейшими, времена обслуживания запросов класса к, диспетчеризации и передачи запросов по сети кластера и по соединяющей кластеры сети распределены по экспоненциальному закону с заданными средними значениями Ьк, &о, 6/. Ьа. Кроме того предполагается, что система функционирует в стационарном режиме, а запросы распределяются между полукомплексами ДВК-диспетчера равномерно, случайным образом.

Рассмотрены приоритетные ДО, обеспечивающие сокращение времени пребывания в системе критичных запросов за счёт увеличения времени ожидания низкоприоритетных запросов.

При ОП копия критичного запроса не прерывает обработку низкоприоритетного запроса, а, получив доступ к каналу своей СМО, блокирует его, дожидаясь освобождения каналов всех СМО для начала параллельной обработки.

При ДО с АП критичный запрос прерывает обработку низкоприоритетных запросов, дообслуживание которых происходит в порядке приоритета.

Среднее время пребывания запроса класса к (для рассматриваемой модели выделено два класса запросов, т.е. к= 1,2) в системе с ОП определено как: Т°п = \¥к + Вк, где Щ - среднее время ожидания; Вк - среднее время обработки запросов класса к.

Среднее время ожидания запросов вычислено по известной формуле:

1=к *=к* 1

Здесь Як - среднее время дообслуживания запроса, находящегося в канале в момепт прихода очередного запроса класса к: р, - загрузка СМО запросами приоритетного класса /': р, = (Я,, /2) 5,, р2 = Х2В2.

Среднее время дообслуживания запроса рассчитано как:

К

= Г'

и 2x1

где Рк,, - вероятность того, что в момент поступления в СМО очередной запрос класса к застанет в канале запрос класса ;; х' — у'-й начальный момент времени обработки запроса класса ¡'.

Функция распределения времени обработки критичного запроса представлена следующим образом:

0.5(1-е '1) + 0.5

РаО_г +

+(1-р2)(1

е ьЧЬ,-е

11Ьх-МЬг )

Для оценки среднего времени пребывания запросов в СМО с АП использована известная формула:

1к ~

Ык Ык 2Х.

На рисунке 1а кривыми 1. 2 отображена зависимость среднего времени пребывания запросов в системе Т от интенсивностей потоков' запросов разных классов ((р) при соотношении времени обслуживания запросов разных классов т=1,1, соответственно для ДО с ОП и АП. Кривая 3 (здесь и далее) показывает удесятерённую разницу значений, соответствующих кривым 1 и 2, т.е. разницу с учётом минимизации значения критерия, относительный выигрыш ДО с ОП.

На рисунке 16 кривыми 1, 2 отображена зависимость среднего времени пребывания запросов в системе Г от соотношения времени обслуживания запросов разных классов (т) при ф=1, соответственно для ДО с ОП и АП.

Т. с

ф, -

-О.З.......0,4

::......

...ftsC.o.t -о>-""а,8......оі- X, -

а) б)

Рисунок 7. Приоритетные ДО запросов различной критичности

Для критичных запросов, требующих дублированных вычислений, определены области эффективного применения ДО с ОП и АП.

В ТРЕТЬЕЙ ГЛАВЕ «Оптимальное проектирование структуры системы н процесса распределения запросов» сформулированы критерии оптимизации структуры исследуемой системы по её надёжности и по среднему времени пребывания в ней запросов:

г

Р = Мах Р(п, N,m), Т = Min akTt (п, N, tri),

n,N,m Л. -I"

где ак — весовые коэффициенты, характеризующие относительную важность задержек запросов различной критичности.

Решение задачи векторной оптимизации структуры системы с учетом её надежности и среднего времени пребывания запросов найдено по мультипликативному критерию:

r(n, N,m) - Мах\ Р{п, акТк (п, N,т)

Кратность резервирования вычислительных узлов в локальных кластерах пив общедоступном кластере т, а также число коммутационных узлов N определены в результате оптимизации при заданных ограничениях на стоимость её построения 5 и условии стационарности функционирования узлов (отсутствия перегрузки узлов): Мсьп + с. Л' + < 5,

f л I**

-<1

N

-<1

Ы-<1

т

где К = 1-а Г',

/И у=1

Рассмотрены статическая и динамическая оптимизации распределения запросов для известных вариантов значений интенсивностей запросов каждого класса и их вероятностей.

Вариант В]. Оптимизация по среднему значению интенсивности запросов. Критерий оптимизации - минимум среднего времени пребывания запросов при заданной их средней интенсивности.

Вариант В2. Оптимизация по математическому ожиданию эффективности системы (среднего времени пребывания запросов). Критерий оптимизации - минимум математического ожидания времени пребывания запросов при заданных вариантах возможных интенсивностей запросов и их вероятностей.

Вариант В,. Адаптивная оптимизация с измерением значения интенсивности потоков запросов в реальном времени функционирования системы и адаптивного изменения количества узлов, выполняющих функцию диспетчеризации, доли запросов, обрабатываемых узлами-диспетчерами, а также доли запросов, перераспределяемых через сеть в общедоступный кластер.

В результате оптимизации находятся число узлов, выполняющих функцию диспетчеризации и доли запросов различной критичности, перераспределяемых через сеть в общедоступный кластер.

Для примера проведена оптимизация процесса распределения запросов при п=8 шт., Л=5 шт., т=23 шт.; у0=10 с, у,=1 с, у2=10с, <7-0,8; Хю=Х2=Ю"4 1/ч, X,=0,5-10"" 4 1/ч; ц0-ц1=|д2=1 1/ч. Результаты поиска оптимальной доли (1-£) распределяемых через сеть в общедоступный кластер запросов в зависимости от интенсивности входного потока запросов X 1/с представлены на рисунке 8 при (3 = 0,5 и р = 1.

г

\

N (3=1

ч

0=0.5

02 8.4 0.6

X, 1/с

Рисунок 8. Оптимальная доля запросов, перераспределяемых через сеть

Рост доли не перераспределяемых запросов g при незначительной интенсивности X потока запросов объясняется влиянием дополнительных задержек при передаче запросов через сеть, а при значительной интенсивности X - перегрузкой общедоступного кластера.

В рамках комбинированного подхода процедура оптимизации распределения запросов включает следующие этапы:

- предварительное определение оптимальной доли перераспределяемых через сеть запросов в предположении простейшего потока запросов и экспоненциального распределения времени обслуживания на основе аналитического моделирования;

- уточнение результатов оптимизации на основе имитационных экспериментов в области значений, полученных при аналитическом моделировании.

Если законы распределения интервалов между поступающими в систему запросами и времени их обслуживания известны, то эксперименты проводятся в условиях соответствующих законов распределения; в противном случае эксперименты проводятся при варьировании законов распределения нагрузочных параметров; решение определяется по среднему результату или по известным критериям принятия решений.

В среде АпуЬо£Ю 6 реализована имитационная модель исследуемой системы, представленная на рисунке 9.

Рисунок 9. Представление имитационной модели

Результаты второго этапа оптимизации представлены в таблице ниже. Согласно критерию Гермейера, оптимальным является решение в строке 4.

№ Вектор значений доли перераспределяемых запросов (g) Среднее время пребывания запросов в системе Г, с

Закон распределения интервалов между поступающими в систему запросами Результат (критерий Гермейера)

Экспоненциальный Равномерный Эрланга 2-го порядка Гиперэкспоненциальный (коэффициент вариации 1,202)

1 (0,716; 0,508; 0,454; 0,453; 0,447; 0,464) 20,985 20,748 20,786 21,433 6,4299

2 (0,72; 0,484; 0,464; 0,47; 0,445; 0,458) 21,101 20,722 20,917 21,378 6,4134

3 (0,738; 0,576; 0,452; 0,455; 0,457, 0,459) 21,013 20,807 20,76 21,369 6,4107

4 (0,724; 0,505; 0,485; 0,467; 0,468; 0,475) 21,052 20,739 20,883 21,367 6,4101

В ЧЕТВЁРТОЙ ГЛАВЕ «Методика проектирования вычислительных систем кластерной архитектуры с дублированием ресурсов» сформулирована задача проектирования: требуется определить число (кратность резервирования) узлов в локальных кластерах п и в общедоступном кластере т, число коммутационных узлов И, количество узлов, выполняющих диспетчеризацию, доли запросов, обрабатываемых узлами-диспетчерами, а также доли запросов, перераспределяемых через сеть в общедоступный кластер, обеспечивающие максимальный уровень надёжности системы Р и минимальное среднее время пребывания в системе запросов различной критичности при ограничении на суммарную стоимость .$ системы.

Предложена методика оптимального проектирования отказоустойчивых систем сбора и обработки информации при объединении дублированных компьютерных узлов в кластеры при неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов, включающая следующие этапы:

1. определение базовой конфигурации системы;

2. оптимизация структуры системы на основе предлагаемых моделей;

3. оптимизация организации системы диспетчеризации (размещение диспетчеров и выбор дисциплины обслуживания с учётом диспетчеризации);

4. выбор и оптимизация процесса перераспределения запросов па основе предлагаемых аналитических моделей;

5. уточнение результатов оптимизации на основе проведения имитационных экспериментов.

Этапы 2-5 повторяются циклически до тех пор, пока результаты оптимизации на соответствующих итерациях не будут совпадать с заданной точностью.

Предложенная методика внедрена в производственный процесс компании ООО «БИФРИ».

ЗАКЛЮЧЕНИЕ

В диссертационном исследовании предложена методика оптимального проектирования отказоустойчивых систем сбора и обработки информации при объединении дублированных компьютерных узлов в кластеры при неоднородности

потока запросов, различающихся по критичности времени обслуживания и достоверности результатов.

При этом:

1. предложен набор моделей и средств поддержки процесса автоматизации оптимального проектирования, включая модели оценки надёжности и времени пребывания запросов различной критичности в системах с объединением дублированных компьютерных узлов в кластеры, при возможности перераспределения запросов между узлами кластеров с учётом доступности и загруженности узлов, при требовании организации дублированных вычислений для критичных приложений;

2. предложена постановка и решена задачи оптимизации структуры с объединением дублированных и сдублированных вычислительных систем в кластеры при возможности перераспределения запросов между ними;

3. предложен набор средств поддержки (алгоритмы, аналитические и имитационные модели, программы в среде системы компьютерной математики) оптимизации структуры с объединением дублированных и сдублированных вычислительных систем в кластеры;

4. постановлена и решена задача оптимизации вычислительного процесса при адаптации к отказам, изменениям доступности и загруженности узлов системы кластеров, на основе перераспределения неоднородного потока запросов между дублированными узлами кластеров с учетом различной критичности запросов к времени и достоверности их обслуживания;

5. предложен набор средств поддержки оптимизации вычислительного процесса с учётом возможности адаптации к отказам, доступности и загруженности узлов при перераспределении неоднородного потока запросов различной критичности между дублированными узлами кластеров.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в изданиях, рекомендованных ВАК, и индексируемых базой Scopus:

1. V.A. Bogatyrev, S.V.Bogatyrev, and I.Yu. Golubev. Optimization and the Process of Task Distribution between Computer System Clusters И Automatic Control and Computer Sciences. -2012. - Vol. 46. -№ 3. - pp. 103-111. (включён в базу Scopus)

2. Голубев И.Ю. Системы дублированных вычислительных комплексов с перераспределением запросов // Научно-технический вестник информационных технологий, механики и оптики. - 2012. - № 2. - С. 65-69.

3. Голубев И.Ю., Богатырев В.А. Оптимизация распределения запросов в системе кластеров при сочетании аналитического и имитационного моделирования // Научно-технический вестник информационных технологий, механики и оптики. - 2012. - № 5. - С. 79-83.

4. Богатырев В.А., Голубев И.Ю., Беззубов В.Ф. Организация межмашинного обмена в дублированных вычислительных комплексах // Известия высших учебных заведений. Приборостроение.-2012.-Т. 55.-№3.-С. 8-13.

5. Богатырев В.А., Башхова С.А., Беззубов В.Ф., Полякова A.B., Котельникова Е.Ю., Голубев И.Ю. Надежность дублированных вычислительных комплексов // Научно-технический вестник информационных технологий, механики и оптики. - 2011. - № 6. - С. 74-78.

6. Голубев И.Ю., Богатырев В.А., Беззубов В.Ф. Сравнительный анализ структур отказоустойчивых дублированных вычислительных комплексов // Информационно-измерительные и управляющие системы. - 2011. - Т. 9. - jY° 2. - С. 08-12.

7. Богатырев В.А., Голубев И.Ю., Нестеров Д.А. Выбор вариантов организации распределения запросов в системах предоставления информационных услуг // Технико-технологические проблемы сервиса. - 2013. - № 1. - С. 43-46.

Публикации в других изданиях:

8. Голубев И.Ю. Мобильная система информационных киосков / Материалы VII междунар. конф. Стратегия качества в промышленности и образовании. — Технический университет г. Варна, Болгария. -2011. -С. 521-523.

9. Богатырев В.А., Голубев И.Ю., Беззубов В.Ф. Межмашинный обмен в двухмашинных вычислительных комплексах / Перспективные разработки науки и техники: материалы междунар. конф. - Варшава (Польша). - 2011. - С. 22-24.

10. Богатырев В.А., Пинкевич В.Ю., Голубев И.Ю. [и др.] Векторная оптимизация защищенных центров обработки данных в среде Mathcad / Информационные системы и технологии: теория и практика: сб. науч. тр. вып. 4. -СПб.: СПбГУЛТУ, 2012. -С. 20-27.

11. Богатырев В.А., Голубев И.Ю., Беззубов В.Ф, Исследование вариантов построения двухмашинных вычислительных комплексов / Труды СПбГЛТА. Экономические проблемы лесного сектора. - СПб. : JITA, 2011. - С. 14-20.

12. Богатырев В.А., Голубев И.Ю. Мобильное предоставление интегрированных информационных услуг: инновационная технология электронной коммерции / Современное экономическое и социальное развитие: проблемы и перспективы. Выпуск 14: Сборник научных статей Межрегиональной Санкт-Петербурга и Ленинградской области общественной организации Вольного экономического общества России. - СПб.: Спан, 2010. -С. 450-455.

13. Голубев И.Ю., Богатырев В.А. Исследование структуры отказоустойчивой вычислительной сети / XL Неделя науки СПбГПУ: материалы междунар. науч.-практ. конф. -2011.-С. 11-12.

14. Голубев И.Ю., Беззубов В.Ф., Богатырев В.А. Эффективность двухмашинных вычислительных комплексов / XL Неделя науки СПбГПУ: материалы междунар. науч.-практ. конф. -2011. - С. 28-30.

15. Голубев И.Ю. Распределённая система предоставления информационных услуг / Региональные аспекты инновационного развития сферы сервиса в современных условиях: Сборник материалов IX науч.-практ. конф. студентов и аспирантов (с междунар. участием). Том II-СПб.: Изд-воСПбГУСЭ, 2011. -С. 141-142.

16. Голубев И.Ю., Беззубов В.Ф., Богатырев В.А. Организация межпроцессорного обмена отказоустойчивого вычислительного комплекса / XXXIX Неделя науки СПбГПУ: материалы международной науч.-практ. конф. Ч. VIII. - СПб.: Изд-во Политехи, ун-та, 2010. -с. 17-18.

17. Богатырев В.А., Богатырев C.B., Голубев И.Ю. [и др.] Задачи выбора вариантов построения резервированной телекоммуникационной системы / Актуальные проблемы развития высшей школы. Материалы международной науч.-метод. конф. - СПб.: ЛТА, 2010. -с. 272-273. . .

18. Богатырев В.А., Голубев И.Ю., Пучкова Н.Б., Якобсон А.И. Организация мобильной инфраструктуры киосков данных как инновационная технология мобильного предоставления / Материалы международной науч. конф. - Вторых Санкт-Петербургских социологических чтений. -СПб.: ГУСЭ, 2010. -С. 301-302.

19. Богатырев В.А., Голубев И.Ю., Смирнов H.A. Роль информационных технологий в государственном управлении: социальные аспекты / Материалы международной науч. конф. - Вторых Санкт-Петербургских социологических чтений. - СПб.: ГУСЭ, 2010.-С. 93-94.

20. Голубев И.Ю. Распределение запросов в дублированных вычислительных комплексах при накоплении отказов / Сборник тезисов докладов конгресса молодых ученых, Выпуск 1. Труды молодых ученых. - СПб: НИУ ИТМО, 2012.-С. 111.

21. Голубев И.Ю. Мобильная инфраструктура информационных сервисов /

Сборник материалов «Исследования молодежи - экономике, производству, образованию. II Всероссийская молодежная науч.-практ. конф.» - Сыктывкар, СЛИ. - 2011. - С.54-55.

22. Голубев И.Ю. Управление потоками запросов в кластере отказоустойчивых дублированных вычислительных комплексов / Сборник тезисов докладов конф. молодых ученых. Выпуск 1. - СПб: СПбГУ ИТМО, 2011. - С. 13.

23. Голубев И.Ю. Организация мобильной инфраструктуры киосков данных / Сборник тез. докл. конф. молодых ученых, Выпуск 1. Труды молодых ученых - СПб.: СПбГУ ИТМО, 2010.-С. 85-86.

24. Богатырев В. А., Голубев И.Ю. Организация мобильной инфраструктуры информационного сервиса / Материалы Всероссийской науч.-практ. конф. «Проблемы развития предпринимательства в условиях кризиса». - СПбГУСЭ, 2010. - С .300-303.

25. Голубев И.Ю. Мобильные информационные киоски: роль информационных технологий в социапыю-экономическом развитии / Перспективы развития северных территорий России: соц.-экон. аспект: Сборник трудов межвузовской науч.-практ. конф. Часть 2.-СПб.: ГПА,2011.-С. 148-150.

26. Голубев И.Ю. Разработка методов и алгоритмов отказоустойчивого функционирования распределённых вычислительных систем, построенных на базе технологии Jini / Пятнадцатая Санкт-Петербургская ассамблея молодых ученых и специалистов. Аннотации работ победителей конкурса грантов Санкт-Петербурга 2010 года для студентов, аспирантов, молодых ученых и молодых кандидатов наук. - СПб.: Комитет по науке и высшей школе, 2010. - С. 240.

27. Нестеров Д А., Голубев И.Ю., Богатырёв В.А. Организация распределения запросов в кластере / Лесной сектор экономики: проблемы и пути решения проблемы: труды V междунар. межвуз. конф. молодых учёных и специалистов. - СПб.: СПбГЛТУ, 2013. - С. 48-52.

Тиражирование и брошюровка выполнены в учреждении «Университетские телекоммуникации» 197101, Санкт-Петербург, Саблинская ул., 14 Тел. (812) 233 46 69 Объем 1,0 у.п.л. Тираж 100 экз.

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики

0^01358903

Голубев Иван Юрьевич

МОДЕЛИ И МЕТОДЫ ПОДДЕРЖКИ ОПТИМАЛЬНОГО ПРОЕКТИРОВАНИЯ РЕЗЕРВИРОВАННЫХ СИСТЕМ СБОРА И ОБРАБОТКИ ИНФОРМАЦИИ КЛАСТЕРНОЙ АРХИТЕКТУРЫ

Специальность 05.13.12 - Системы автоматизации проектирования (приборостроение)

Диссертация на соискание учёной степени кандидата технических наук

Научный руководитель:

доктор технических наук, профессор

Богатырёв Владимир Анатольевич

Санкт-Петербург - 2013

На правах рукописи

ОГЛАВЛЕНИЕ

Введение...........................................................................................................................4

Глава 1. Задачи автоматизации проектирования вычислительных систем кластерной архитектуры...............................................................................................12

Выводы........................................................................................................................29

Глава 2. Модели поддержки автоматизированного проектирования отказоустойчивых кластерных систем........................................................................31

2.1 Описание исследуемой системы.........................................................................31

2.2 Модель оценки надёжности системы.................................................................34

2.3 Оценка надёжности ДВК.....................................................................................37

2.4 Организация диспетчеризации запросов в кластере.........................................49

2.4.1 Оценка времени пребывания запросов в кластере......................................51

2.4.2 Выбор количества диспетчеров....................................................................54

2.4.3 Выбор доли обрабатываемых диспетчерами запросов..............................55

2.5 Модель оценки среднего времени пребывания запросов в системе...............56

2.5.1 Модель оценки среднего времени пребывания запросов в локальном кластере....................................................................................................................64

2.5.2 Модель оценки среднего времени пребывания запросов в коммутационной подсистеме.................................................................................75

2.5.3 Модель оценки среднего времени пребывания запросов в общедоступном кластере........................................................................................76

2.6 Имитационная модель системы..........................................................................81

Выводы........................................................................................................................84

Глава 3. Оптимальное проектирование структуры системы и процесса распределения запросов................................................................................................85

3.1 Оптимизация структуры системы.......................................................................85

3.2 Пример оптимизации структуры системы.........................................................87

3.3 Оптимизация процесса перераспределения запросов......................................88

3.4 Пример оптимизации перераспределения запросов.........................................92

Выводы........................................................................................................................99

Глава 4. Методика проектирования вычислительных систем кластерной архитектуры с дублированием ресурсов...................................................................101

4.1 Постановка задачи проектирования.................................................................101

4.2 Методика проектирования.................................................................................102

4.2.1 Определение базовой конфигурации системы..........................................103

4.2.2 Оптимизация структуры системы на основе предлагаемых моделей .... 103

4.2.3 Оптимизация организации системы диспетчеризации............................104

4.2.4 Выбор и оптимизация процесса перераспределения запросов на основе предлагаемых аналитических моделей...............................................................104

4.2.5 Уточнение результатов оптимизации на основе проведения имитационных экспериментов.............................................................................105

Выводы......................................................................................................................106

Список сокращений.....................................................................................................107

Заключение...................................................................................................................108

Литература....................................................................................................................110

приложений в сетевых системах сбора и обработки данных от измерительных и управляющих приборов и систем, несмотря на большое количество литературы, до настоящего времени ещё далеко до завершения.

Цель и задачи исследования

Целью исследования является повышение эффективности систем автоматизированного проектирования отказоустойчивых ВС кластерной архитектуры при неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов, при организации дублированных вычислений для критичных приложений.

Для достижения поставленной цели в диссертации решаются следующие задачи:

- разработка моделей оценки надёжности и времени пребывания запросов различной критичности в кластерной системе при возможности их перераспределения с учётом доступности и загруженности узлов при организации дублированных вычислений для критичных приложений;

- постановка и решение задачи оптимизации структуры вычислительной системы с дублированием вычислительных ресурсов в узлах при возможности перераспределения запросов;

- постановка и решение задачи оптимизации отказоустойчивого вычислительного процесса с учётом возможности адаптации к отказам, доступности и загруженности узлов при перераспределении потока запросов различной критичности;

- формирование и выбор вариантов построения отказоустойчивых вычислительных комплексов, предусматривающих перераспределение запросов, в том числе для встраиваемых вычислительных узлов измерительных и управляющих приборов и систем;

- разработка методики проектирования отказоустойчивых резервированных вычислительных систем кластерной архитектуры при

неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов, при организации дублированных вычислений для критичных приложений.

Научная новизна

1. Предложены модели оценки надёжности и времени пребывания запросов различной критичности в кластерной системе при возможности их перераспределения с учётом доступности и загруженности узлов при требовании организации дублированных вычислений для критичных приложений.

2. Предложены постановка и решение задачи оптимизации структуры с объединением дублированных вычислительных систем в кластеры при возможности перераспределения запросов между ними.

3. Предложены постановка и решение задачи оптимизации вычислительного процесса при адаптации к отказам, изменениям доступности и загруженности узлов системы кластеров, на основе перераспределения потока запросов между дублированными узлами кластеров с учетом различной критичности запросов ко времени и к достоверности их обслуживания.

4. Предложена методика оптимального проектирования отказоустойчивых систем сбора и обработки информации при объединении дублированных компьютерных узлов в кластеры при неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов.

Практическая значимость работы

1. Предложен набор моделей и средств поддержки процесса автоматизации оптимального проектирования, включая модели оценки надёжности и времени пребывания запросов различной критичности в системах с объединением дублированных компьютерных узлов в кластеры, при возможности перераспределения запросов между узлами с учётом их доступности и

загруженности, при организации дублированных вычислений для критичных приложений.

2. Предложен набор средств поддержки (алгоритмы, аналитические и имитационные модели) оптимизации структуры с объединением дублированных вычислительных систем в кластеры.

3. Предложен набор средств поддержки оптимизации вычислительного процесса с учётом адаптации к отказам, доступности и загруженности узлов при перераспределении неоднородного потока запросов различной критичности между узлами кластеров.

4. Предложены средства поддержки проектирования отказоустойчивых резервированных ВС кластерной архитектуры при неоднородности потока запросов, различающихся по критичности времени обслуживания и достоверности результатов, при организации дублированных вычислений для критичных приложений.

Методология и методы исследования

В исследовании используются аналитическое и имитационное моделирование, применяется теория надёжности, теория принятия решений, теория массового обслуживания.

Положения, выносимые на защиту

На защиту выносятся следующие положения:

1. Модели поддержки автоматизированного проектирования в части оценки надёжности кластерной системы при возможности перераспределения запросов с учётом доступности и загруженности узлов, при требовании организации дублированных вычислений для критичных приложений.

2. Модели поддержки автоматизированного проектирования в части оценки времени пребывания запросов различной критичности в кластерной системе при возможности их перераспределения с учётом доступности и загруженности узлов,

при требовании организации дублированных вычислений для критичных приложений.

3. Методика проектирования отказоустойчивых резервированных „ВС кластерной архитектуры при неоднородности потока запросов, различающихся по, критичности времени обслуживания и требованиями достоверности результатов, при организации дублированных вычислений для критичных приложений.

Степень достоверности

Достоверность результатов обусловлена корректностью используемого математического аппарата, подтверждена имитационным моделированием, экспертизами работы при получении грантов, а также результатами внедрения. Полученные результаты согласованны с данными других исследований в отечественной и зарубежной литературе.

Апробация результатов

Основные результаты диссертационного исследования были представлены на 16 научных конференциях, в том числе 8 международных: Международная межвузовская научно-практическая конференция молодых учёных и специалистов «Лесной сектор экономики: проблемы и пути решения» (2012 г.); Международная конференция «Перспективные разработки науки и техники», г. Варшава, Польша (2011 г.); Международная научно-практическая конференция «ХЬ Неделя науки СПбГПУ» (2011 г.); VII международная конференция «Стратегия качества в промышленности и образовании», Технический университет, г. Варна, Болгария (2011 г.); IX научно-практическая конференция студентов и аспирантов (с международным участием) «Региональные аспекты инновационного развития сферы сервиса в современных условиях» (2011 г.); Международная научно-практическая конференция «XXXIX Неделя науки СПбГПУ» (2010 г.); Международная научно-методическая конференция «Актуальные проблемы развития высшей школы» (2010 г.); Международная

научная конференция «Вторые Санкт-Петербургские социологические чтения» (2010 г.).

По теме диссертации опубликовано 28 научных работ, в том числе 7 статей в журналах, включённых в Перечень ВАК, и 1 статья в журнале, индексируемом базой Scopus.

Исследования поддержаны:

1. Грантом в рамках Конкурса грантов 2011 года для студентов, аспирантов вузов и академических институтов, расположенных на территории Санкт-Петербурга. Тема проекта: "Исследование алгоритмов управления потоками запросов в вычислительной сети с иерархической структурой".

2. Стипендией Президента РФ 2012 года.

Результаты диссертационной работы включены в отчёт о научно-исследовательской работе кафедры Вычислительной техники НИУ ИТМО по теме № 610481 и внедрены в производственный процесс компании ООО «БИФРИ».

ГЛАВА 1. ЗАДАЧИ АВТОМАТИЗАЦИИ ПРОЕКТИРОВАНИЯ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ КЛАСТЕРНОЙ АРХИТЕКТУРЫ

Вычислительные системы кластерной архитектуры, предназначенные для сбора и обработки данных управляющих и измерительных приборов и систем, представляют собой распределённые ВС, состоящие из множества связанных между собой компьютеров, использующихся как единый, унифицированный компьютерный ресурс.

Распределённая система имеет следующие характеристики, отличающие её от сосредоточенной системы [71]:

- большее быстродействие благодаря распределению задач между параллельно работающими процессорами;

- повышенная надёжность (отказ одного из контроллеров не влияет на работоспособность других);

- большую устойчивость к сбоям;

- более простое наращивание или реконфигурирование системы;

- упрощённую процедуру модернизации;

- большую простоту проектирования, настройки, диагностики и обслуживания благодаря соответствию архитектуры системы архитектуре объекта управления, а также относительной простоте каждого из модулей системы;

- улучшенную помехоустойчивость и точность благодаря уменьшению длины линий передачи аналоговых сигналов от датчиков к устройствам ввода;

- меньший объём кабельной продукции, пониженные требования к кабелю и более низкая его стоимость;

- меньшие расходы на монтаж и обслуживание кабельного хозяйства.

Низший уровень включает в себя датчики и исполнительные устройства (актуаторы): датчики температуры, давления, концевые выключатели, дискретные датчики наличия напряжения, измерительные трансформаторы, реле-пускатели, контакторы, электромагнитные клапаны, электроприводы и др. Датчики и актуаторы могут иметь интерфейсы типа AS-интерфейс (ASI), 1-Wire или CAN, HART и др. [71]

В настоящее время наметилась устойчивая тенденция к использованию интеллектуальных датчиков, которые имеют цифровой интерфейс, встроенный микроконтроллер, память, сетевой адрес и выполняют автоматическую калибровку и компенсацию нелинейностей датчика. Интеллектуальные датчики в пределах сети должны обладать свойством взаимозаменяемости, в частности иметь один и тот же протокол обмена и физический интерфейс связи, а также нормированные метрологические характеристики и возможность смены адреса перед заменой датчика.

Уровень управления контроллеров и встроенных компьютерных узлов, нижний уровень управления, состоит из программируемых логических контроллеров и встраиваемых промышленных компьютеров, осуществляющих сбор и обработку данных управляющих и измерительных приборов и систем.

Компьютерные узлы нижнего уровня управления локальными сетями объединяются в кластеры при возможности перераспределения нагрузки между узлами кластера, с целью адаптации к потокам отказов и функциональных запросов.

Уровень средств объединения кластеров нижнего уровня предназначен для обеспечения отказоустойчивости и адаптации системы к отказам локальных кластеров и отдельных встраиваемых приборных вычислителей за счёт перераспределения нагрузки (запросов) между локальными и общедоступными кластерами.

Верхний уровень управления является средством интеграции АСУ ТП с автоматизированной системой управления предприятием (АСУП). АСУП в

зависимости от размеров предприятия может включать ещё более высокий уровень и обеспечивать интеграцию с высшим руководством, которое может быть расположено в различных странах и на разных континентах земного шара.

К основным целям построения автоматизированных распределённых систем сбора и обработки данных управляющих и измерительных приборов и систем относят обеспечение доступа для прикладных задач управления и обработки данных к удалённым ресурсам и их совестное использование, прозрачности распределения ресурсов, открытости и масштабируемости [2].

Характерной чертой распределенных систем, которая отличает их от единичных машин, является возможность частичного отказа. Частичный отказ происходит при сбое в одном из компонентов распределенной системы. Этот отказ может нарушить нормальную работу некоторых компонентов, в то время как другие компоненты это никак не затронет. В противоположность отказу в распределенной системе отказ в нераспределенной системе всегда является глобальным, в том смысле, что он затрагивает все ее компоненты и легко может привести к неработоспособности всего приложения.

К высоконадёжным распределённым ВС, осуществляющим обработку критически важной информации, предъявляются требования доступности (availability), безотказности (reliability), безопасности (safety), ремонтопригодности (maintainability) и др.

Доступность - свойство системы находиться в состоянии готовности к работе. Обычно доступность показывает вероятность того, что система в данный момент времени будет правильно работать и окажется в состоянии выполнить свои функции, если пользователи того потребуют. Под безотказностью имеется в виду свойство системы работать без отказов в течение продолжительного времени. Безопасность определяет, насколько катастрофична ситуация временной неспособности системы должным образом выполнять свою работу. Ремонтопригодность определяет, насколько сложно исправить неполадки в описываемой системе.

Построение надежных систем тесно связано с управлением отказами. Управление в данном случае подразумевает предотвращение, исправление и предс�