автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Исследование и разработка системы автоматизации процессов децентрализованного доступа и управления потоками данных облачных ресурсов

На правах рукописи

Касимов Рустам Азатович

ИССЛЕДОВАНИЕ И РАЗРАБОТКА. СИСТЕМЫ АВТОМАТИЗАЦИИ ПРОЦЕССОВ ДЕЦЕНТРАЛИЗОВАННОГО ДОСТУПА И УПРАВЛЕНИЯ ПОТОКАМИ ДАННЫХ ОБЛАЧНЫХ РЕСУРСОВ

Специальность: 05.13.06 - Автоматизация и управление технологическими процессами и производствами (в приборостроении)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

2 8 НОЯ 2013

Москва-2013

005539935

005539935

Работа выполнена на кафедре «Информатика и программное обеспечение вычислительных систем» федерального государственного автономного образовательного учреждения высшего профессионального образования «Национальный исследовательский университет «МИЭТ»

Научный руководитель

Доктор технических наук, профессор

Портнов Евгений Михайлович

Официальные оппоненты

Гуреев Александр Васильевич

доктор технических наук, доцент, зав. каф. Радиоэлектроники МИЭТ

Нагин Дмитрий Александрович кандидат технических наук, ООО «Интернет-системы», технический директор

Ведущая организация

ОАО «ОТИК-групп»

Защита диссертации состоится «19» декабря 2013 года в 11 ч. 30 мин. на заседании диссертационного совета Д212.134.04 при Национальном исследовательском университете «МИЭТ» по адресу: 124498, Москва, Зеленоград, проезд 4806, д.5.

С диссертацией можно ознакомиться в библиотеке Национального исследовательского университета «МИЭТ»

Автореферат разослан «15» ноября 2013 года.

/7 /

Ученый секретарь

диссертационного совета Д212.134.04 доктор технических наук, профессор

^//^А.И. Погалов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Развитие информационных технологий за последние 10-15 лет привело к тому, что в настоящее время на крупных предприятиях функционирует значительное количество различных типов информационных систем. Разрозненные приложения, разработанные в разное время, на разных технологиях, разными компаниями, системы управления предприятиями от известных поставщиков, новейшие В2В и В2С системы, порталы - все эти приложения оказалось крайне сложно заставить работать вместе.

Кроме того, подобная ситуация существует также в сферах автоматизации оказания социальных услуг, процессов образования и здравоохранения, где неизбежно встают задачи обеспечения надежного сбора, хранения и обработки информации для различных видов связанных с ними учреждений, обмена данной информацией при условии использования различных приложений, имеющих часто несовместимые форматы данных. При этом характер работы с информацией, как в государственных учреждениях, так и на предприятиях имеет направленность, характеризующуюся повышенными требованиями к надежности средств автоматизации и оперативности обработки данных.

Стоит отметить также сложности, связанные с использованием программного обеспечения, заключающиеся в том, что основная часть таких решений имеет платную лицензию. При выборе же «свободного» ПО нередко приходится отмечать проблемы с его надежностью, кроме того бесплатность программных решений не отменяет проблем, связанных с межпрограммной коммуникацией и интероперабельностью.

В качестве варианта решения задачи снижения стоимости информационных и вычислительных процессов сегодня активно применяется реализация концепции облачных вычислений. При этом, как показывает обзор современных уровней создания облачных приложений, в том числе: инфраструктура как сервис (ГааБ); платформа как сервис (РааБ); программное обеспечение как сервис (ЗааБ); коммуникация как сервис (СааБ); мониторинг как сервис (МааБ), основное преимущество данных моделей для пользователя состоит в отсутствии затрат, связанных с установкой, обновлением и поддержкой работоспособности оборудования и работающего на нем программного обеспечения, при этом выявляется ряд проблем, связанных безопасностью, и интероперабельностью в области стандартизации

облачных вычислений. В качестве их решения сегодня используются крупные программные комплексы, к примеру, в области безопасности это: Cloud-in-a-Box (Intel); Symantec Endpoint Protection 12 (Symantec); Cisco ScanSafe Web Intelligence Reporting и Cisco IPS Sensor (Cisco); IBM Network Intrusion Protection System GX7800 (IBM); HP Secure Advantage.

Однако существующие облачные сервисы имеют ряд недостатков, среди которые стоит особо отметить: необходимость для пользователей платить за использование облачных ресурсов в случае применения их для решения хоть сколько-нибудь ресурсоемких задач, а также использование облачными сервисами, в общем случае, «классической» клиент-серверной архитектуры, что создает определенные риски в плане надежности хранения данных, а также увеличивает неравномерность нагрузки информационно-телекоммуникационных сетей.

Тем не менее, для решения описанных задач можно использовать и иной подход, основанный на создании автоматизированных систем, которые обеспечат гибкое децентрализованное управление и оперативную обработку облачных ресурсов.

В основе создания подобной системы может лежать концепция пиринговых сетей (Р2Р-системы), обеспечивающих непосредственную пересылку данных между пользователями (узлами) системы, минуя серверы передачи данных.

Однако данные технологии нельзя сочетать механистически, а автоматизация процессов распределенного доступа к децентрализованным облачным ресурсам требует создания новых моделей, алгоритмов и специализированных программных средств.

Таким образом, становится актуальной задача разработки системы автоматизации процессов децентрализованного доступа и управления потоками данных облачных ресурсов, использующей при передаче данных принцип организации пиринговой сети.

Целью диссертации является разработка основ теории, математических моделей и алгоритмов функционирования системы автоматизации, позволяющей осуществлять децентрализованную обработку облачных ресурсов, и при этом обеспечивающих снижение загрузки узлов сети и повышение отказоустойчивости.

Для достижения цели в работе решаются следующие задачи:

1) исследование современного состояния проблем автоматизации управления распределенными облачными ресурсами;

2) математическое моделирование автоматизированной системы децентрализованного управления облачными ресурсами;

3) разработка методики децентрализованной обработки данных в распределенной облачной среде;

4) разработка принципа масштабируемого распределенного объектного хранения данных для обеспечения эффективного доступа к облачным ресурсам;

5) разработка обобщенной схемы автоматизированной системы децентрализованного управления облачными ресурсами;

6) имитационное моделирование, программная реализация и оценка эффективности предложенных теоретических решений.

Методы исследования. Теоретическую и методологическую базу исследования составили методы математического моделирования, элементы теории принятия решений, элементы теории вероятностей, теории массового обслуживания, теории формальных языков, теории графов. Использованы методика информационного поиска, методы теоретического исследования, теории реляционных и иерархических баз данных.

Научная новизнй работы состоит в разработке совокупности научно обоснованных технических решений, обеспечивающих создание автоматизированных систем децентрализованного управления облачными ресурсами, характеризующихся повышением отказоустойчивости и снижением загруженности узлов сети.

В процессе исследований и разработок получены следующие научные результаты:

1) выявлены, обоснованы и исследованы проблемы автоматизации управления распределенными облачными ресурсами;

2) предложена математическ4я модель автоматизированной системы децентрализованного управления облачными ресурсами, позволяющая рассчитать загрузку компонентов и отказоустойчивость функционирования распределенной облачной среды;

3) разработана обобщенная схема построения автоматизированной системы децентрализованного управления облачными ресурсами, позволяющая улучшить структуру взаимодействия компонентов распределенной среды и упростить процесс их модификации;

4) разработана методика децентрализованной обработки данных в распределенной облачной среде, позволяющая сократить время создания потоков обработки и преставления данных, не прибегая, при этом, к вызовам функций операционной системы;

5) разработан принцип масштабируемого распределенного объектного хранения данных и методов их обработки, обеспечивающий

высокую скорость доступа и снижение нагрузки при обращении к данным;

6) разработана имитационная модель автоматизированной системы децентрализованного управления облачными ресурсами.

Результаты работы подтверждены свидетельствами о государственной регистрации программ для ЭВМ №№ 2011616777, 2012615015.

Достоверность новых научных результатов подтверждается соответствием результатов теоретических исследований и имитационного моделирования, а также их успешным внедрением в НИР.

Практическая ценность работы заключается в том, что использование основных результатов работы позволяет существенно увеличить вероятность успешного доступа к облачным ресурсам, скорость обработки больших объемов данных, а также отказоустойчивость процессов управления и использования облачных ресурсов.

Результаты исследования доведены до конкретных алгоритмов, методик и программного обеспечения.

Самостоятельное практическое значение имеют:

- обобщенная схема автоматизированной системы децентрализованного управления потоками данных облачных ресурсов;

- механизмы реализации внешнего инспектора вызовов (команд);

- механизмы создания потоков выполнения (в том числе, удаленных) и децентрализованной обработки данных в распределенной среде;

- автоматизированный механизм очистки и выделения памяти, основанный на принадлежности копий объектов конкретным пользователям;

- автоматизированный механизм передачи и защиты данных в децентрализованной среде;

-механизм доступа пользователей к их профилям и коммуникации пользователей друг с другом.

Результаты экспериментальных исследований показали, что предложенные средства автоматизации децентрализованного управления потоками данных облачных ресурсов в зависимости от топологии сети могут обеспечивать уменьшение загруженности центров обработки и передачи данных в облачной среде минимум в 4 раза, и позволяют достигать требуемой отказоустойчивости при уменьшении дублирования хранимых данных по сравнению с централизованными системами в 2,1-2,8 раза.

Полученные в ходе выполнения диссертационных исследований результаты обеспечивают создание масштабируемого, свободного распространяемого программного обеспечения, реализующего функции автоматизированного управления облачными ресурсами.

Разработанные принципы децентрализованного управления были реализованы при создании программного комплекса рейтинговой оценки качества систем обеспечения энергоэффективности для организации автоматизированного доступа к децентрализованным облачным ресурсам.

Личный вклад автора. Все основные результаты диссертационной работы получены автором лично. Главными из них являются следующие:

1) выявлены, обоснованы и проанализированы проблемы распределенной обработки и хранения данных, существующие на сегодняшний день;

2) проведено математическое моделирование автоматизированной системы децентрализованного управления облачными ресурсами, позволяющее оценить параметры отказоустойчивости и загруженности узлов распределенной облачной среды;

3) разработана обобщенная схема автоматизированной системы для децентрализованного управления облачной средой;

4) разработана методика децентрализованной обработки данных в распределенной среде, включающая автоматизированные механизмы реализации внешнего инспектора вызовов (команд) и создания потоков выполнения и децентрализованной обработки данных в распределенной облачной среде;

5) разработано описание масштабируемого распределенного объектного хранилища данных и методов их обработки;

6) разработана имитационная модель системы;

7) осуществлена программная реализация предложенных теоретических решений.

Автор диссертации принимал непосредственное участие в имитационном моделировании, испытаниях и апробации результатов диссертационных исследований.

Реализация полученных результатов. Диссертационная работа выполнялась в соответствии с планом научно-технических исследований кафедры «Информатика и программное обеспечение вычислительных систем» Национального исследовательского университета «МИЭТ».

Все работы по программной реализации предложенных в работе

методик проводились под руководством или при непосредственном участии автора. Результаты диссертационной работы используются в учебном процессе кафедры в материалах курса «Компьютерные технологии в науке и образовании» для подготовки магистров по направлению 231000 «Программная инженерия», программа -«Программное обеспечение автоматизированных систем и вычислительных комплексов». Результаты работы внедрены в НИР, проводимую Научно-исследовательской лабораторией управляющих информационных систем (НИЛ УИС) Национального исследовательского университета «МИЭТ»: «Разработка унифицированных многофункциональных систем для повышения надежности и достоверности управления, а также энергоэффективности эксплуатирующегося оборудования тепловых электрических станций» (шифр «2011-1.6-516-028-021-НИЛ УИС»), а также в производственный процесс компании ООО «КОМПНЕТ» (г. Москва, Зеленоград).

В результате проведенных исследований получены и выносятся на защиту следующие основные научные положения:

1. Предложенная математическая модель позволяет разрабатывать автоматизированные системы децентрализованного управления облачными ресурсами с неЬбходимыми характеристиками отказоустойчивости, быстродействия и надежности на базе технологий Р2Р при наличии в ней определенного, сравнительно небольшого, (от 500-750) числа узлов и определенной топологии, обеспечивающей требуемую скорость передачи данных.

2. Предложенная методика автоматизированной децентрализованной обработки данных в распределенной среде позволяет в больших хорошо связных сетях существенно увеличить вероятность успешного доступа к данным и скорость обработки больших объемов данных.

3. Разработанный принцип масштабируемого распределенного объектного хранения данных и методов их обработки реализует автоматизированную очистку и выделение памяти, основанную на принадлежности копий объектов конкретным пользователям, и в совокупности с механизмом доступа пользователей к их профилям и коммуникации пользователей друг с другом обеспечивает безопасность хранения данных.

4. Разработанный принцип масштабируемого распределенного объектного хранения данных и методов их обработки позволяет уменьшить время, используемое на создание и закрытие потоков, перевод потоков режим ожидания и их вывод из режима ожидания, за

счет устранения необходимости обращаться при выполнении этих действий к функциям операционной системы.

Апробация работы и публикации. Основные положения диссертационной рабб'ты докладывались на следующих конференциях:

1) 18-я Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика-2011». МИЭТ, апр. 2011 г.

2) 19-я Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика-2012». МИЭТ, апр. 2012 г.

3) 20-я Всероссийская межвузовская научно-техническая конференция «Микроэлектроника и информатика-2013». МИЭТ, апр. 2013 г.

4) 3-я окружная научно-техническая конференция молодых ученых и специалистов: Сб. тезисов докладов., Москва, Зеленоград, 2011.

5) Доклад по программе «Участник Молодежного Научно-Инновационного Конкурса» («УМНИК»), 2012 г.

6) XI Всероссийская выставка научно-технического творчества молодежи НТТМ-2011 - проект «Интегрированная распределенная программная платформа с иерархическим представлением объектов для построения социальной инфраструктуры», 2011 г.

7) Конференция в рамках экспозиции Минобрнауки России на XXII ежегодной выставки информационных . и коммуникационных технологий БоПоокгОП, Москва, ВВЦ, 25-28 октября 2011 г.

8) 4-я Всероссийская научно-практическая конференция «Актуальные проблемы информатизации в науке, образовании и экономике», МИЭТ, окт. 2011 г.

9) 5-я Всероссийская научно-практическая конференция «Актуальные проблемы информатизации в науке, образовании и экономике», МИЭТ, окт. 2012 г.

По результатам исследования опубликовано 16 работ: в том числе 5 статей в рецензируемых журналах, входящих в перечень, утвержденный ВАК, тезисы докладов на конференциях - 8, публикация в межвузовском сборнике научных трудов - 1, свидетельства о регистрации программ для ЭВМ - 2. Автор диссертации является победителем конкурса проектов по программе «УМНИК», тема проекта «Проект децентрализованной объектной облачной платформы», 2012 г., а также лауреатом диплома по результатам XI Всероссийской выставки научно-технического творчества молодежи «НТТМ-2011», проект «Интегрированная распределенная программная платформа с иерархическим представлением объектов для построения социальной инфраструктуры», 2011 г.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Диссертация изложена на 176 страницах, включает 33 рисунка и 19 таблиц. Список литературы содержит 127 источников.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность темы диссертации, формулируются общие проблемы, цели и задачи исследования, научное и практическое значение полученных результатов.

В первой главе обзорного характера проведен анализ современного состояния проблемы автоматизированного управления распределенными облачными ресурсами.

Проведенный анализ показал, что в настоящее время не созданы автоматизированные системы, одновременно реализующие функции хранения, распределенной обработки и представления данных в децентрализованной облачной среде. Существующие решения ориентированы, в основном, на поддержку централизованных клиент-серверных решений, и, в большинстве своем, не имеют возможности масштабирования до уровня взаимодействия с решениями других, упомянутых выше задач, в том числе, в силу отсутствия формализации.

Проведенный анализ также показал, что в существующих решениях имеют место проблемы неэффективного с точки зрения повышения надежности хранения и оперативности обработки информации проектирования БД, а также проблемы масштабируемости.

В ходе проведенного в первой главе анализа сформулированы цели и задачи диссертационных исследований, направленные на разработку основ теории, математических моделей и алгоритмов функционирования автоматизированной системы, позволяющей осуществлять децентрализованную обработку облачных ресурсов, и при этом обеспечивающей снижение загрузки узлов и повышение отказоустойчивости функционирования облачно^ среды.

Вторая глава посвящена исследованию функциональных зависимостей и возможностей, определяющих основные характеристики автоматизированных систем децентрализованного управления облачными ресурсами (АСДУОР), основанные на технологии Р2Р.

Рассматриваются вопросы анализа времени отклика АСДУОР, проводится математическое моделирование на уровне системы, на уровне компонентов, предлагается методика имитационного

моделирования системы. Проводится исследование и описывается разработка способов ограничения доступа к информации в АСДУОР. Проводится анализ зависимости общего объема пользовательских данных от количества пользователей и их активности.

Предложена модель программного комплекса, автоматизирующего процесс децентрализованного хранения и обработки данных, как «черного ящика», на вход которого поступают запросы со средней частотой /л запросов в секунду, обслуживаемые системой с усредненной производительностью V запросов в секунду. В предположении, что нагрузка однородна, следовательно, запросы статистически неразличимы, а значимо лишь количество запросов. Допускается, что система находится в операционном равновесии, таким образом число запросов, которые обслуживает система в начале анализируемого периода времени, равно количеству запросов, обрабатываемых в конце данного периода. Состояния системы описываются количеством запросов, которые ожидают обработки либо обрабатываемых в текущий момент запросов, при этом последействие отсутствует, а анализируемый процесс работы системы является марковским.

Так как система пребывает в операционном равновесии, поток переходов в состояние I равен потоку переходов из этого состояния, таким образом, обеспечивается принцип равенства входящего и исходящего потоков. На основании этого, составим систему уравнений:

где - относительный период времени, в течение которого система находится в состоянии /. Из уравнений 1 получим:

М1Я1 = МгЯг',

(1)

(2)

= В± КНа.

V, '"У, V.

—

запишем 2 в виде:

/-і ^ Чк = 9оГТ ~

так как сумма всех <у/ равна 1, получаем:

/-1 ¡2 00 /-1 ¡^ Е?і=?о+2>/ =<7о+Е?оП— = <?О 1 + ЕГТ—

/=0 /=1 следовательно:

Ы /=0 "у+1

<70 =

^ /«I у=о ^у+І

Ы\ >0

= 1"

(4)

(5)

Далее, находим коэффициент использования системы как долю времени, в течение которого система занята обработкой запросов:

1У = 1-д0- (6)

Усредненная производительность системы будет равна сумме произведений производительностей V, на доли времени д/, в течение которых система работала с данной производительностью:

ы\

Получаем среднее число запросов, находившихся в системе:

Р = Ь'1Г (8)

1=1

По закону Литтла, среднее количество обслуживаемых системой запросов равно произведению среднему времени обслуживания на производительность системы, то есть, среднее время отклика определяется как:

-Р Т.'-я,

5 = м-

У ^

¿.т

(9)

В данной модели обозначены варианты ее функционирования, которые отличаются переменной или постоянной скоростью обработки, бесконечной или конечной очередью, а( также бесконечной или конечной совокупностью поступающих запросов (закрытым или открытым типом системы).

При моделировании, АСДУОР рассмотрена, как система массового обслуживания имеющая конечную очередью (определяется настройками

подсистемы управления потоками данных), переменную скорость обработки и конечную совокупностью запросов (из-за ограниченного числа пользователей системы).

Будем считать, что в закрытой пиринговой среде для каждого из N пользователей частота отправки запросов равна 1/А, где А - интервал между двумя последовательными запросами. Пусть, в очереди обработки находятся / запросов, N-1 пользователей, отправляющих запросы с интенсивностью 1/А, находятся в ожидании, т.е. частота принятия запросов: ц, = (//-/)/А, 1 =

Далее, вплоть до достижения определенного числа одновременно обрабатываемых запросов К, скорость их обработки узлом растет, затем наступает состояние насыщения, опишем его следующей функцией:

|7(/),/ = !,...,К; (10)

[У(К),1>К.

С учетом и у,, и того, что максимальное число запросов ограничено Х{Х<И), из (3) и (5) получаем:

N1

1 +

Ъ =

У(К)"

,/ = 1.....К\

Яо

(.Ы-1)\А'у{1) у(К)кт

£ N1

,1>к;

М

где у(1) = 7(1) • 7(2) •... • У(1), а доля теряемых запросов равна дх. С учетом (8), усредненное число запросов в узле равно:

(П)

(12)

Р = 2><й-

(13)

/=1

А средняя скорость их обработки, исходя из (7) равна:

^ = Е У(1) ■ д, = £ 7(/) • д, + 7(К) £ д, ■ (14)

При этом, в соответствии с законом Литтла, время отклика можно определить как:

5 = Р/7. (15)

То есть, для определения базовых параметров скорости работы Р2Р-системы необходймо знать:

- средний интервал между двумя последовательными запросами А;

- число узлов, одновременно подключенных к системе //;

- максимальное количество одновременно обрабатываемых системой запросов Х\

- зависимость скорости работы системы от числа запросов, находящихся в ней 7(/).

Анализ представленной математической модели показал, что построение автоматизированной системы децентрализованного управления облачными ресурсами с необходимыми характеристиками отказоустойчивости, быстродействия и надежности возможно на базе Р2Р-системы при наличии в ней определенного, сравнительно небольшого (от 500~750) числа узлов и определенной топологии, обеспечивающей требуемую скорость передачи данных.

Во третьей главе предложена обобщенная смеха АСДУОР, проводится анализ концепции предоставления удаленных сервисов в рамках распределенной системы, предлагается обобщенная структурная схема платформы, рассмотрены вопросы разработки структуры основных подсистем; анализируются технологии построения программных комплексов для распределенной обработки данных, построения и функционирования современных облачных инфраструктур, рассматриваются основные методики построения современных облачных сред и предоставления облачных сервисов.

Проводится исследование и описывается процесс разработки структур и способов хранения информации, методов оптимизации алгоритмов доступа к данным, структур хранения иерархической информации, а также масштабируемого распределенного объектного хранилища для обеспечения эффективного доступа к информации.

Описываются особенности разработки подсистем и модулей, в частности: инспектора обработки запросов, подсистемы управления потоками данных, подсистемы управления профилями пользователей, подсистем управления пользовательским интерфейсом и взаимодействия с внешними средами (предложенная обобщенная схема взаимодействия подсистем представлена на рис. 1, направления потоков передачи данных между подсистемами показаны стрелками).

Описан способ преставления объекта для его хранения и обработки в рамках описываемой автоматизированной системы, при котором размер каждого поля объекта равен стандартному размеру ссылки. Каждое из полей, за исключением поля размера структуры и резервного поля

являются ссылками на другие объекты (Addr, Fin, This, Parent, Sender), массивы данных (Name), или массивы объектов (Supers, Interfs, Constrs).

Рисунок 1. Обобщенная схема системы

Адресная структура объекта представляет собой структуру данных описывающую место хранения объекта, время последнего изменения объекта, а также содержащую ссылку на массив резервных копий данного объекта и ссылку на массив его предыдущих версий (используемых для создания резервных копий объектов).

Таблица 1. Структура внутрисистемного представления объекта в

общем виде_

Поле Пояснение

SizeAU Полный размер структуры в байтах

Name Ссылка на имя объекта

Supers Ссылка на массив наследуемых суперклассов

Interfs Ссылка на массив имплементируемых интерфейсов

Constrs Ссылка на массив конструкторов

Fin Ссылка на финализатор (деструктор)

Addr Ссылка на адресную структуру объекта

This Ссылка на делегирующий объект

Parent Ссылка инкапсулирующий объект

Sender Ссылка на объект, вызвавший данную копию объекта

Reserve Резервное поле

Таблица 2. Адресная структура объекта

Поле Пояснение

ChangeTime Время последнего изменения объекта

Stor Ссылка на хранилище объекта

Addr Физический или логический адрес объекта

Supers Ссылка на массив резервных копий

Interfs Ссылка на массив резервных копий предыдущих версий

Хранилищем объекта может являться либо память, либо база данных, либо удаленное хранилище, при этом базы данных и удаленные хранилища могут являться дополнительными средствами абстракции друг для друга. Хранилище объектов описывается интерфейсом, имплементируемым данными сущностями. В случае, если ссылка на хранилище (Stor) пуста, вместо него используется ссылка на хранилище инкапсулирующего объекта (Parent. Stor).

Чтение и изменение данных осуществляется по средствам функциональных запросов (методов). При чтении данных, объект, обрабатывающий данные, оправляет хранилищу считываемого объекта запрос (get), содержащий IP-адрес и порт отправителя, и полный адрес считываемого объекта с указанием адресов инкапсулирующих его объектов:

get IP-отправителя Порт-отправителя Obj 1.....ObjN.Obj,

где Obj 1..... ObjN - адреса «родителей» считываемого объекта с

адресом Obj. При этом запроса get является интерфейсом непосредственно для работы с данным конкретным объектом (передаваемым в виде символьного массива).

Изменение объектов осуществляется по средствам запроса set, принимающего на вход интерфейс представления изменяемого объекта в виде символьного массива (ObjData), и выбрасывающего исключение в случае ошибки:

set IP-отправителя ObjData.

При выполнении запросов get и set для текущего объекта производится контроль версий (Отслеживаются изменения его

внутренних объектов) и, при необходимости, аналогичные запросы (get и set) выполняются также и для внутренних объектов.

Функции (запросы) get и set выполняются внутри потока (Thread) ввода-вывода, ассоциированного с хранилищем считываемого (изменяемого) объекта, что позволяет избежать проблем связанных многопоточным вводом-выводом и организацией транзакций при считывании и изменении объектов.

Предложена схема взаимодействия автоматизированной программной системы с внешними аппаратными средствами или средствами виртуализации (см. рис. 2), при которой подсистема программно-аппаратного интерфейса взаимодействует с подсистемой управления потоками данных через два типа потоков данных -

Рисунок 2. Схема взаимодействия с внешними аппаратными средствами (или средствами виртуализации)

Такое разделение предусмотрено в целях безопасности данных внутри самой системы, благодаря чему, подсистема управления потоками данных воспринимает подсистему программно-аппаратного

интерфейса как две разные подсистемы с двумя разными относительными адресными пространствами, что позволяет защитить от несанкционированного действия внешних приложений внутренние объекты: так как интерфейсы взаимодействия с внешними приложениями работают в другом адресном пространстве, внутренние объекты лишь обращаются к ним.

Таким образом, внутренние потоки используются для пересылки данных интерфейсами взаимодействия с внешними приложениями исключительно между собой, а внутренние потоки - для обращения внутренних объектов платформы к данным интерфейсам и ответам интерфейсов на их запросы.

Сами интерфейсы взаимодействия с внешними приложениями представляют собой аналоги драйверов, могут создаваться и модифицироваться пользователями, и взаимодействуют с внешними программами не непосредственно, а через платформу-оболочку, в рамках которой они работают, что позволяет сделать данный механизм наиболее универсальным и снизить затраты времени на создание (или изменение) каждого нового интерфейса взаимодействия. В роли такой платформы может выступать как операционная система, так и другие программные платформы (Java, .NET и т.п.).

Подобная схема позволяет абстрагировать процессы взаимодействия системы с приложениями и с внешней платформой друг от друга, так как в предложенной схеме они работают на разных уровнях (по аналогии с моделью OSI). Аналогичная схема может использоваться и при работе с внешними данными, имеющими разные форматы: отличие будет состоять в том, что соответствующие интерфейсы описывают взаимодействие не с приложениями, а с файловой системой или СУБД.

Для создания интерфейсов взаимодействия с платформой-оболочкой пользователь может использовать уже существующие к тому моменту интерфейсы, в том числе, программно-аппаратного взаимодействия.

Также предложена методика управления многопоточным обменом данных, в рамках которой, каждый объект системы ассоциирован с определенным потоком выполнения (потоком, внутри которого он создан). Поток является объектом, имплементирующим интерфейс потокового объекта и создается по средствам соответствующего запроса, при этом ключевым моментом является то, что для некоего объекта потоки, запущенные с ним на одной машине и удаленные потоки логически неотличимы. Схема алгоритма взаимодействия объектов внутри разных потоков системы представлена на рис. 3.

Рисунок 3. Алгоритм взаимодействия объектов в разных потоках

Взаимодействие между объектами, запущенными в разных потоках, осуществляется следующим образом:

1) при вызове конструктора потокового объекта создается новый поток выполнения, далее в этом потоке вызывается код конструктора;

2) при этом для каждого потока создается динамическая очередь запросов, к которой по средствам обращения к данному потоковому объекту (через вызов методов) обращаются объекты, запущенные в других потоках, для которых данных поток находится в области доступа;

3) при вызове метода объекта, запущенного в другом потоке (если данный поток не остановлен), супервизор потоков помещает данный запрос в очередь запросов соответствующего потока, где запрос будет ожидать обработки до остановки потока, к которому он адресован;

4) после выполнения конструктора поток останавливается, но не удаляется (как минимум логически, то есть с точки зрения объектов системы) и переходит в режим ожидания, если очередь запросов данного потока пуста, либо начинает последовательно обрабатывать запросы из очереди;

5) после обработки всех запросов из очереди, поток снова переходит в режим ожидания;

6) в режиме ожидания поток находится до тех пор, пока не будет удален сборщиком потоков (функция супервизора системы, включающая автоматизированную очистку памяти);

7) перед удалением потока сборщик вызывает деструктор потока.

Также допускается возможность принудительного перевода потока в

режим ожидания до наступления некоего условия (в том числе на некоторое время), либо выполнения накопившихся запросов (вплоть до наступления некоего условия).

При этом предлагается использовать концепцию т.н. «зеленых» потоков, подразумевающую использование ограниченного количества системных потоков (потоков, выделенных операционной системой) и наличие внутреннего супервизора (диспетчера потоков), то есть подсистемы, отвечающей за своевременное переключение потоков выполнения и выделения каждому из них правильных по продолжительности квантов времени в зависимости от приоритета.

Реализация концепции «зеленых» потоков позволяет уменьшить время, используемое на создание и закрытие потоков, перевод потоков режим ожидания и их вывод из режима ожидания, за счет ликвидации необходимости обращаться при выполнении этих действий к функциям операционной системы (для систем классов Windows и UNIX, как

правило, требующих переключения в режим работы ядра). В итоге это позволит создавать потоки при минимальных затратах ресурсов.

В качестве механизма реализации многозадачности в рамках внутреннего диспетчера потоков предлагается использовать вытесняющую приоритетную многозадачность, при этом система должна работать в режиме схожем с режимом реального времени, основной особенностью которого является использование для синхронизации потоков не реального времени, а виртуального, основанного на счетчиках положений указателей команд.

В четвертой главе описывается процесс экспериментального исследования и испытаний программных средств автоматизации управления децентрализованными облачными ресурсами, приводятся результаты апробации.

Описываются результаты разработки программных средств на основе модулей автоматизации процессов децентрализованного доступа и управления потоками данных облачных ресурсов, реализующих методику рейтинговой оценки качества систем обеспечения энергоэффективности, позволяющую повысить объективность оценки качества систем обеспечения энергоэффективности за счет увеличения числа сравниваемых параметров и показателей.

Результаты моделирования работы созданных программных средств в распределенной среде показывают высокое соответствие наблюдаемых значений метрик работы ПО (скорости передачи данных между узлами сети, вероятности отказа доступа к данным при сбое работы узлов для различных метрик и вариантов топологии сети) теоретическим. Для моделирования использовались различные типы сетевых топологий с различными характеристиками.

В работе предложена имитационная модель системы, содержащей N узлов, в которой в течение времени Т с периодичностью И вероятностью р эмулируется случайный сбой в работе одного из узлов системы. На рис. 4 приведены графики, показывающие вероятности безотказной работы модели системы при Г=100 с, N=100, ¡0,5= 1 с ир=0,5 для трех различных вариантов децентрализованных топологий (на графике - «Д.С.») со средним коэффициентом связности (среднее число узлов непосредственно связанное с каждым узлом) равным <у=3, при коэффициенте балансировки (отношение распределяющих узлов к их общему числу) равном ¡У= 0,25; результатов теоретического расчета в среднем для децентрализованных систем с такими параметрами (на графике - «Теория»), и для централизованной системы из 100 узлов (на

графике - «Ц.С.»). На графике £> - величина, обратная среднему числу дублирующих копий объекта в системе, Р — вероятность безотказной работы системы за время Т. Из графиков на рис. 4 видно, что предложенные подходы к автоматизации децентрализованного доступа и управления потоками данных облачных ресурсов позволяют достигать требуемой отказоустойчивости при уменьшении дублирования хранимых данных по сравнению с централизованными системами не менее чем в 2,8 раза.

0.8 _ ______ ________________ ____

.С. Топологмя 1

0,6 -Щг----—--—р------¡----------■----Д.С, Тоположя 2

•—Ш—Д.С. Топология 3

0,4 I— - 4 -..........—-.—¡—^------------------------Ж Ц.С.

Рисунок 4. График вероятности безотказной работы системы

На рис. 5 приведен график, показывающий максимальную загрузку наиболее загруженного узла системы для тех же конфигураций. По оси ординат отложено максимальное число объектов, обрабатывавшихся в секунду наиболее загруженным узлом за время Из данного графика видно, что для предложенных топологий обеспечивается уменьшение загруженности центров обработки и передачи данных в децентрализованной среде примерно 4 раза по сравнению с централизованной.

Таким образом, в ходе экспериментальных исследований подтверждена эффективность предложенной системы автоматизации процессов децентрализованного доступа и управления потоками данных облачных ресурсов, которая выражается в повышении отказоустойчивости и снижении максимальной загрузки узлов при обработке, передаче и представлении данных.

V,

об./с

7000 • -------,----- „ ^ о , ^ _ п,

, ----. •-• — •------—

: ::: :::у-с: г Ж ^

—Центр. 1

:V ; Л-Л : г[ ;; ^ ;; : ; : Щ'- -. ; " ^ЩШ Ш -*- Центр. 2

4000 Центр. 3

......... Дец. 1

3000 -*-Дец. 2

Дец. 3

. . . ------ . * - " ... —

1 '':' • 1 . .:'•." '} ■

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95

Рисунок 5. График максимальной загрузки узла системы

В приложениях представлены документы, подтверждающие внедрение полученной научно-технической продукции, а также фрагменты программной реализации разработанных методик.

В заключении отражены основные выводы и результаты диссертации.

Основные результаты и выводы

В ходе выполнения диссертационной работы получены следующие основные результаты:

1. Предложена математическая модель автоматизированной системы децентрализованного управления облачными ресурсами, позволяющая рассчитать загрузку компонентов и отказоустойчивость функционирования распределенной облачной среды.

2. Предложена методика автоматизированной децентрализованной обработки данных в распределенной среде, позволяющая в больших хорошо связных сетях существенно увеличить вероятность успешного доступа к данным и скорость обработки больших объемов данных, а также проводить параллельную обработку и управления облачными ресурсами.

3. Разработан принцип масштабируемого распределенного объектного хранения данных и методов их обработки, обеспечивающего высокую скорость доступа и снижение нагрузки при обращении к данных в децентрализованных облачных ресурсах.

4. Предложена обобщенная схема автоматизированной системы децентрализованного управления потоками данных облачных ресурсов.

5. Разработана имитационная модель автоматизированной системы децентрализованного управления облачными ресурсами, содержащей N узлов, в которой в течение времени Т с периодичностью t0:S и вероятностью р эмулируется случайный сбой в работе одного из узлов системы.

6. Результаты экспериментальных исследований имитационной модели показали, что предложенные средства автоматизации децентрализованного доступа и управления потоками данных облачных ресурсов обеспечивают уменьшение загруженности центров обработки и передачи данных в облачной среде минимум в 4 раза, и позволяют достигать требуемой отказоустойчивости при уменьшении дублирования хранимых данных по сравнению с централизованными системами не менее чем в 2,8 раза.

7. Разработанные принципы децентрализованного управления были реализованы при создании программного комплекса рейтинговой оценки качества систем обеспечения энергоэффективности для организации автоматизированного доступа к децентрализованным облачным ресурсам.

8. Результаты диссертационной работы внедрены в производственный процесс компании ООО «КОМПНЕТ», в НИР «Разработка унифицированных многофункциональных систем для повышения надежности и достоверности управления, а также энергоэффективности эксплуатирующегося оборудования тепловых электрических станций» (шифр «2011-1.6-516-028-021-НМЛ УИС», Государственный контракт № 16.516.11.6037 от 21 апреля 2011 г.) и учебный процесс Национального исследовательского университета «МИЭТ».

Основные результаты диссертационной работы представлены в следующих публикациях:

1. Касимов P.A. Распределенная программная платформа с открытым кодом для информатизации социальной среды // Микроэлектроника и информатика - 2011. 18-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Сб. тезисов докладов. МГИЭТ-ТУ, Москва, 2011.-е. 148.

2. Касимов P.A. Актуальность разработки распределенной облачной программной платформы для обеспечения информатизации социальной среды // Инноватика и инновационные процессы в

экономике, науке и образовании. Пятая межвузовская научно-практическая конференция: Материалы научных докладов. ИГУПИТ, Москва, 2011.-е. 128-137.

3. Слюсарь В .В., Чумаченко П.Ю., Касимов P.A. Методика управления логистическими ресурсами предприятия на основе матричного подхода // Оборонный комплекс - научно-техническому прогрессу России, № 2. Москва, 2011.-е. 73-77.

4. Портнов Е.М., Баин A.M., Касимов P.A. Интегральная достоверность как обобщающий критерий качества информационно-управляющих систем в теплоэнергетике // Естественные и технические науки, № 4(54). Москва, 2011.-е. 424-425.

5. Гагарина Л.Г., Дорофеев В.А., Дорогова Е.Г., Макаренко Е.Ю., Касимов P.A. Программный комплекс для дистанционной коммуникации лиц с ограниченными возможностями здоровья (программа ЭВМ) / Свидетельство о государственной регистрации программы для ЭВМ №2011616777 от 31.08.2011.

6. Касимов P.A. Аспекты проектирования системы управления потоками данных для распределенной облачной среды // III окружная научно-техническая конференция молодых ученых и специалистов: Сб. тезисов докладов, Москва, Зеленоград, 2011. - с. 19.

7. Касимов P.A. Подходы к разработке децентрализованной объектно-ориентированной облачной платформы // Актуальные проблемы информатизации в науке, образовании и экономике. 4-я Всероссийская межвузовская научно-практическая конференция: Сб. тезисов докладов. НИУ «МИЭТ», Москва, 2011.-е. 140.

8. Касимов P.A. Проектирование децентрализованной объектно-ориентированной платформы для облачных вычислений // Исследования и разработки молодых ученых, студентов и аспирантов в области электроники и приборостроения. Финальный отбор победителей программы «У.М.Н.И.К.»: Сб. тезисов докладов. Фонд содействия развитию малых форм предприятий в научно-технической сфере, Москва, 2011. - с. 13.

9. Гагарина Л.Г., Акимов К.С., Кузнецов A.A., Касимов P.A. Разработка инструментария самооценки эффективности управления организацией в виде SaaS-приложения // Проблемы разработки информационных технологий и подготовки ИТ-кадров: Сб. научных трудов. НИУ «МИЭТ», Москва, 2012. - с. 28-31.

10. Портнов Е.М., Байн A.M., Чумаченко П.Ю., Касимов P.A. Модель информационных потоков многофункциональной системы

управления энергообеспечением // Оборонный комплекс — научно-техническому прогрессу России, № 3. Москва, 2012. - с. 17-22.

11. Касимов P.A. Формализация задачи рефакторинга программ в специфике концепции облачных вычислений // Микроэлектроника и информатика - 2012. 19-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов: Сб. тезисов докладов. НИУ «МИЭТ», Москва, 2012. - с. 136.

12. Касимов P.A. Проектирование децентрализованной объектной платформы для облачных вычислений // Исследования и разработки молодых ученых, студентов и аспирантов в области электроники и приборостроения. Финальный отбор победителей программы «У.М.Н.И.К.»: Сб. тезисов докладов. Фонд содействия развитию малых форм предприятий в научно-технической сфере, Москва, 2012.-с. 16-18.

13. Портнов Е.М., Баин A.M., Чумаченко П.Ю., Городилов A.B., Касимов P.A. Программный модуль оперативного регулирования нагрузки распределенных логистических систем (программа ЭВМ) / Свидетельство о государственной регистрации программы для ЭВМ №2012615015 от 05.06.2012. Федеральная служба по интеллектуальной собственности, патентам и товарным знакам.

14. Касимов P.A. Актуальность разработки распределенной интегрированной программной платформы для обеспечения коммуникации в сфере образования // Инноватика и инновационные процессы в экономике, науке и образовании. 6-я межвузовская научно-техническая конференция: Материалы научных докладов. ИГУПИТ, Москва, 2012. - с. 173-184.

15. Портнов Е.М., Федотова E.JI., Касимов P.A. Теоретические подходы к созданию рассредоточенной объектно-ориентированной платформы для облачных вычислений // Оборонный комплекс - научно-техническому прогрессу России, № 1. Москва, 2012. - с. 66-71.

16. Чжо Зо Е, Тайк Аунг Чжо, Чжо Зин Лин, Смирнов В.О., Касимов P.A. Повышение эффективности внутренних информационных обменов в распределенных системах управления // Естественные и технические науки, № 6(62). Москва, 2012. - с. 465-466.

Подписано в печать:

Формат 60x84 1/16. Уч.-изд.л. 1,Ъ

Тираж -ЮОэкз. Заказ №

Отпечатано в типографии ИПК МИЭТ.

124498, г. Москва, г. Зеленоград, проезд 4806, д. 5, МИЭТ