автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Автоматизация диспетчерского управления в газотранспортной отрасли на основе технологий параллельных и распределенных вычислений

На правах рукописи

Швечков Виталий Александрович

АВТОМАТИЗАЦИЯ ДИСПЕТЧЕРСКОГО УПРАВЛЕНИЯ В ГАЗОТРАНСПОРТНОЙ ОТРАСЛИ НА ОСНОВЕ ТЕХНОЛОГИЙ ПАРАЛЛЕЛЬНЫХ И РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ

Специальность 05 13 06 - Автоматизация и управление технологическими процессами и производствами (технические науки)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

003160246

Москва - 2007 год

Работа выполнена в Российском государственном университете нефти и газа имени ИМ Губкина

Научный руководитель доктор технических наук, доцент

Сарданашвили Сергей Александрович

Официальные оппоненты доктор технических наук, профессор

Гливенко Елена Валерьевна

кандидат технических наук Берман Рэм Яковлевич

Ведущая организация Общество с ограниченной ответственностью «Мострансгаз»

Защита состоится « (3 » ноября 2007 г в часов СО минут в аудитории lO¿_ на заседании диссертационного совета Д 212 200 09 при Российском государственном университете нефти и газа имени И М Губкина Ленинский проспект, 65, Москва, ГСП-1, 119991, Россия

С диссертацией можно ознакомиться в библиотеке РГУ нефти и газа имени И М Губкина

Автореферат разослан «.3» октября 2007 г

Ученый секретарь

диссертационного совета Д 212 200 09 кандидат технических наук

Великанов Д Н

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Эволюция аппаратного и программного обеспечения ведет к необходимости постоянного совершенствования расчетно-аналитической базы автоматизированной системы диспетчерского управления Единой системой газоснабжения (АСДУ ЕСГ) России, важным элементом которой являются диспетчерские комплексы моделирования (ДКМ) и компьютерные тренажерные комплексы (КТК)

Существующие ДКМ применяются диспетчерскими службами в основном для решения задач моделирования, планирования, прогнозирования режимов работы газотранспортных систем (ГТС), ретроспективного анализа ситуаций, диагностики фактического состояния объектов и ГТС

Применение КТК позволяет проводить компьютерное моделирование различных аварийных ситуации в ГТС и в процессе противоаварийных тренировок диспетчерского персонала формировать навыки принятия решений в условиях дефицита времени и ресурсов управления

В настоящее время ДКМ устанавливаются на каждом из уровней диспетчерского управления (ДУ) диспетчерского пункта линейного производственного управления магистрального газопровода (ДП ЛПУ МГ), производственно-диспетчерской службы (ПДС) газотранспортного общества (ГТО) или центрального производственного диспетчерского департамента (ЦПДЦ), и их взаимодействие в основном осуществляется через простые форматы данных

Алгоритмическая и программная составляющие ДКМ используют последовательную схему вычислительного процесса, которая приводит к проблеме значительного снижения общей производительности ДКМ при выполнении расчетов для региональных ГТС или ЕСГ в целом Особо остро проблема производительности ДКМ возникает при решении задач ДУ в режиме реального времени, требующем синхронизации работы ДКМ и SCADA-систем, а также задач планирования режимов, основанных на многоитерационных вычислительных процедурах Кроме того, все чаще возникает необходимость реализации процедур доступа и подключения ДКМ к внешним базам данных, а также создания механизмов интеграции с программными продуктами сторонних производителей

Поскольку компьютерные диспетчерские тренажеры основаны на ДКМ, то к ним также относятся отмеченные выше проблемы Кроме того, современные тренажеры ориентированы на однопользовательский режим работы, в то время как реальный процесс диспетчерского управления часто требует коллективного согласованного принятия решения не только по вертикали схемы управления ДП ЛПУ МГ - ПДС ГТО - ЦПДД ОАО «Газпром», но и по горизонтали между различными диспетчерскими службами одного уровня ДУ

-4В результате к наиболее актуальным проблемам автоматизации систем поддержки принятия диспетчерских решений можно отнести

- отсутствие расчетных компьютерных комплексов, отражающих многоуровневую, распределенную систему ДУ ЕСГ России,

- недостаточная приспособленность ДКМ к использованию современных информационных технологий, в частности технологий распределенных и параллельных вычислений,

- несоответствие структуры КТК существующему распределенному многоуровневому коллективному процессу диспетчерского правления

Таким образом, следующим этапом в эволюции программных систем автоматизации процесса поддержки диспетчерских решений должен стать переход к распределенной многопользовательской вычислительной среде, позволяющей организовывать взаимодействие между различными уровнями ЕСГ России и получать взаимосвязанное (согласованное) решение При разработке инструментальных средств нового поколения необходимо также учитывать существующие тенденции в развитии компьютерного и программного обеспечения Эти тенденции связаны с увеличением быстродействия и разрядности процессоров и скорости передачи информации по сети, с созданием высокоуровневых интегрированных средств разработки, широким внедрением технологий распределенного и параллельного программирования, ориентацией на технологии, позволяющие унифицировать процесс взаимодействия между гетерогенными системами

Цель и задачи исследования. Целью диссертационной работы является разработка технологии проектирования и организации многоуровневых распределенных компьютерных комплексов, направленной на автоматизацию поддержки принятия диспетчерских решений в управлении газотранспортными системами на основе методологии объектно-ориентированного анализа, общей архитектуры построения распределенных систем и методов организации параллельных вычислений

Для достижения поставленной цели необходимо решить следующие основные задачи

- провести анализ основных направлений развития ДКМ с учетом требований автоматизации диспетчерского управления ЕСГ,

- разработать архитектуру и технологию реализации распределенного ДКМ, позволяющих организовать многоуровневое многопользовательское взаимодействие диспетчерских служб при решении расчетных задач,

-5- разработать расчетно-аналитические подсистемы ДКМ в соответствии с распределенной архитектурой, ориентированной на сетевое взаимодействие клиентских автоматизированных рабочих мест (АРМ) и расчетного сервера,

- разработать методы распараллеливания вычислительных процедур с целью повышения эффективности использования ресурсов современных мультипроцессорных и многоядерных вычислительных систем,

- разработать средства взаимодействия вычислительных процессов в многопользовательском режиме, а также на различных уровнях иерархической структуры ДУ ЕСГ России

Методы исследования. Для решения поставленных задач используются теория построения распределенных вычислительных систем, методы и технологии организации параллельных вычислительных процессов, теоретические основы построения вычислительных систем, теория имитационного моделирования, принципы модульного объектно-ориентированного и сервис-ориентированного подходов

Научная новизна. В диссертационной работе были получены следующие результаты

1 Предложена научно-методическая основа проектирования и реализации расчетных компьютерных комплексов диспетчерского управления и компьютерных тренажерных комплексов, базирующаяся на технологии объектно-ориентированного подхода, принципах построения распределенных систем и технологиях параллельных вычислений

2 Разработана научно обоснованная схема организации и управления вычислительным процессом, ядром которой является реализация технологий распределенных и параллельных вычислений

3 Разработана архитектура распределенного вычислительного комплекса расчетно-аналитической поддержки диспетчерского управления

4 Разработаны основные компоненты архитектуры построения многоуровневого, многопользовательского взаимодействия подразделений диспетчерских служб в едином распределенном вычислительном процессе

Практическая ценность работы. Результаты работы использованы при проектировании и разработке программного обеспечения компьютерного комплекса ДКМ «Веста» (РГУ нефти и газа имени И М Губкина, ООО фирма «Ингойл»)

На основе данного многофункционального комплекса реализуются ДКМ и КТК для Г1ДС ГТО ООО «Лентрансгаз», ООО «Пермтрансгаз», ООО «Татгрансгаз», ООО «Югтрансгаз» и других ГТО

Основные положения, выносимые на защиту.

1 Схема организации и управления вычислительным процессом, ядром которой является реализация технологий распределенных и параллельных вычислений

2 Методы распараллеливания алгоритмов решения режимно-технологических задач магистрального транспорта газа

3 Архитектура распределенного вычислительного комплекса диспетчерского управления

4 Основные компоненты и архитектура построения многоуровневого, многопользовательского взаимодействия подразделений диспетчерских служб в едином распределенном вычислительном процессе

Апробация работы. Основные положения работы докладывались и обсуждались на следующих научно-технических конференциях

- 1-я Международная научно-техническая конференция «Развитие компьютерных комплексов моделирования, оптимизации режимов работы систем газоснабжения и их роль в диспетчерском управлении технологическими процессами в газовой отрасли» (Диском-2002), ноябрь 2002 г , г Москва,

- 5-я Всероссийская конференция молодых ученых, специалистов и студентов по проблемам газовой промышленности России «Новые технологии в газовой промышленности», сентябрь 2003 г, г Москва,

- научная конференция аспирантов, молодых преподавателей и сотрудников вузов и научных организаций «Молодежная наука - нефтегазовому комплексу», март 2004 г, г Москва,

- 2-я Международная научно-техническая конференция «Теория и практика разработки, промышленного внедрения компьютерных комплексов поддержки диспетчерских решений в газотранспортной и газодобывающей отраслях» (Диском-2004), октябрь 2004 г, г Москва,

- 6-я и 7-я научные конференции «Актуальные проблемы состояния и развития нефтегазового комплекса России», январь 2005 г, январь 2007 г, г Москва Публикации. По результатам исследований и разработок опубликовано 9 печатных

работ, в т ч 3 статьи в ведущих научных журналах, утвержденных ВАК РФ, 6 тезисов докладов международных, всероссийских и межвузовских научно-технических конференций

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и 2 приложений, изложена на 152 страницах, содержит 6 таблиц, 36 рисунков, список литературы из 112 наименований

ОСНОВНОБ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, сформулированы основные задачи исследования и научные результаты, которые выносятся на защиту

В первой главе «Компьютерные расчетно-аналитические комплексы поддержки диспетчерского управления трубопроводным транспортом газа (состояние проблемы)» рассмотрены вопросы развития и внедрения АСДУ, в частности развития Отраслевой системы оперативно-диспетчерского управления (ОСОДУ) ЕСГ России на базе взаимосвязанного иерархического комплекса АСУ, охватывающего все уровни управления ЕСГ (рисунок 1)

Уровень 3 ЦПДД ОАО «Газпром» Управление, планирование, оптимизация

Отраслевая сеть

Уровень 2 Газотранспортное общество (ПДС ГТО) Контроль, планирование, оптимизация

ф Региональная сеть

Уровень 1 ЛПУМГ Контроль, управление

Рисунок 1 - Иерархическая структура диспетчерского управления Рассмотрены этапы развития аппаратного и программного обеспечения, архитектуры и основных компонентов программных комплексов АСДУ газотранспортных систем Сформулированы основные проблемы развития расчетно-аналитической и информационной поддержки АСДУ транспортом газа, основными элементами которой являются диспетчерские комплексы моделирования и компьютерные тренажерные комплексы Показана необходимость перехода к распределенной архитектуре при построении ДКМ, которая наилучшим образом соответствует реальной иерархической системе диспетчерского управления транспортом газа

В настоящее время для проведения практических расчетов режимов ГТС и ее отдельных технологических объектов широко используются нормы технологического

проектирования магистральных газопроводов (НТП МГ-2006), расчетные методики и алгоритмы, предложенные ведущими учеными мира Практическим результатом научных трудов стали отечественные и зарубежные комплексы моделирования российские комплексы - «АСТРА» (Тюменский филиал ОАО «Газпромразвитие»), «САМПАГ» (ООО «Мострансгаз», ООО фирма «Ингойл»), ДКМ «Веста» (РГУ нефти и газа имени И M Губкина, ООО фирма «Ингойл»), зарубежные комплексы - «GAMOS/GANESI» фирма Debis Systemhaus (Германия), «SIMONE» фирма SIMONE Research Group (Чехия)

Большинство существующих ДКМ содержат в своей основе алгоритмы решения задач, организованные последовательно, что не дает значительного выигрыша даже при использовании кластерной, многопроцессорной или многоядерной платформ

При интеграции ДКМ со SC4-системами, когда частота поступления данных составляет менее минуты, накладывается жесткое ограничение на время проведения расчета В результате решение задач ПДС ГТО, содержащих десятки тысяч технологических объектов, в режиме реального времени становится затруднительным

Таким образом, возникает необходимость применения методов, которые позволили бы увеличить скорость расчетов Анализ режимно-технологических задач показал, что многие из них требуют многократного итерационного расчета отдельных моделей технологических объектов и содержат естественный параллелизм К ним относятся расчеты трубопроводных систем, режима работы компрессорных цехов (КЦ), областей допустимых режимов работы газоперекачивающих агрегатов (ГПА), режима работы многоцеховой компрессорной станции (КС), режима работы ГТС в целом

Анализ предметной области и трудов Б А Бабаяна, В В Воеводина, Д M Ортеги, посвященных вопросам повышения производительности многопроцессорных вычислительных систем и организации параллельных вычислений, показал потенциальную возможность увеличения скорости расчета ГТС путем внедрения технологий параллельных вычислений

Другим способом повышения эффективности программного обеспечения АСДУ является модернизация КТК Направление усовершенствования - создание распределенной многопользовательской имитационной вычислительной обучающей среды, адекватной многоуровневому диспетчерскому управлению ЕСГ России

В настоящее время тренажеры разрабатываются и внедряются в основном в однопользовательском, индивидуальном режиме эксплуатации Гакие тренажеры созданы для ряда линейных производственных управлений магистральными газопроводами Активно разрабатываются тренажеры ПДС ГТО

Однако, поскольку диспетчерское управление ЕСГ России (рисунок 1) основано на тесном взаимодействии ЦПДД, ПДС ГТО, ДП ЛПУ МГ, все больший интерес проявляется к проблеме разработки многоуровневых распределенных тренажерных комплексов

Такие тренажеры призваны обеспечивать имитацию информационного и интерактивного взаимодействия между персональными диспетчерскими тренажерами, установленными в ПДС разных уровней ДУ- ДП ЛПУ МГ - ПДС ГТО, ПДС ГТО - ЦПДЦ ОАО «Газпром», ПДС ГДО - ЦПДД ОАО «Газпром»

Для создания таких тренажеров необходимо решение целого ряда научных и практических задач

- разработка серверной среды имитационного моделирования,

- организация сетевого взаимодействия АРМ пользователей с сервером,

- разработка учебно-тренировочных задач (УТЗ), ориентированных на коллективное взаимодействие,

- разработка методического обеспечения коллективного процесса обучения,

- реализация возможности работы КТК в различных режимах (индивидуальный, коллективный, распределенный),

- интеграция со SCADA-системши и имитация режима реального времени Наиболее важными из них являются переход к построению серверной имитационной

среды моделирования и организация взаимодействия в интранет/интернет сетях

Во второй главе «Методология применения технологии параллельных и распределенных вычислений в расчетных комплексах АСДУ» рассматриваются современные подходы к разработке программного обеспечения компьютерных комплексов АСДУ газотранспортных предприятий Описываются основные характеристики распределенных систем прозрачность, открытость, гибкость и масштабируемость применительно к КТК ДУ Проведен анализ основных наиболее важных принципов построения распределенных систем связи, процессов, именований, синхронизации, репликации, защиты от сбоев и несанкционированного доступа Рассмотрены наиболее популярные компонентные технологии построения распределенных приложений CORBA, COM/DCOM, EJB, Net Remotmg Предложена схема построения интегрированной распределенной иерархической системы диспетчерского управления ЕСГ на основе компонентных технологий и сервис-ориентированной методологии

В данной главе реализация подхода распараллеливания вычислений рассматривается на примере расчета режима балансирования потоков газа в ГТС Данная задача сводится к определению значений давлений и температур газа в узлах графа потоков ГТС При этом расчетное балансирование потоков в узлах (на основе 2-го закона Кирхгофа) включает в

себя итерационные процедуры многократного расчета производительностей каждой дуги графа потоков ГТС (трубопроводов, компрессорных цехов (КЦ), крановых систем байпасные краны, краны-регуляторы, краны редуцирования давлений и тд) При этом расчет режима каждой дуги графа является независимым, и весь вычислительный процесс может быть распараллелен

Временные затраты на каждой итерации при последовательном расчете производительностей каждой дуги могут быть определены по следующей формуле

=тв+тс+тп+¿r;+¿r + £г , (1)

1=1 «»i

где Тв - суммарное время выполнения вспомогательных вычислительных процедур, таких, как подготовка данных и тд, Тс - время решения системы уравнений, Тп - суммарное время, потраченное на учет объектов потерь, к - общее количество труб, I - общее количество моделируемых кранов, m - общее количество КЦ, Tj - время расчета /-го трубопровода, Т' -время расчета /-го крана (редуцирования, байпассирования)

Время расчета i-го компрессорного цеха Г определяется выражением

К, =±Т/ш+±Пю+±Т1+Т™, (2)

Н j=l

где я - количество ГПА в ¡-ом КЦ, о - количество ABO в /-ом КЦ, р - количество кранов в /-ом КЦ, Т/ПА - время расчета j-го ГПА, Т'лво - время расчетау-го ABO, T¿ - время расчета j-го крана, Т*'1 - время выполнения вспомогательных вычислительных процедур

Переход от последовательного решения задачи (рисунок 2) к ее параллельному аналогу состоит из нескольких шагов

- представление алгоритма решения каждой расчетной задачи в виде графа программы и анализ его структуры,

- выделение участков кода, подлежащих распараллеливанию,

- векторизация начальных и выходных данных - формирование независимых массивов входных и выходных данных,

- построение эквивалентного преобразования последовательного алгоритма в параллельный,

- реализация параллельного алгоритма в терминах выбранной технологии Преобразование последовательной итерационной процедуры в параллельную

базируется на применении совокупности нескольких типов распараллеливания

(3)

-и-

параллелизма множества объектов, параллелизма независимых ветвей, параллелизма смежных операций

В результате распараллеливания итерационной процедуры расчета режима по каждой дуге графа получим следующую оценку временных затрат

N

где N - суммарное количество процессоров (ядер) компьютера, Т" - время создания параллельных потоков и подготовки данных для процедуры расчета трубопроводов, Т" - время создания параллельных потоков и подготовки данных дм процедуры расчета кранов, Т"ц - время создания параллельных потоков и подготовки данных для процедуры расчета компрессорных

к I »>

цехов, + У Т'^ - общее время расчета объектов ГТС, к > N,1 к Кт > N

Обработка |

начальных данных; *

1=0 N т

Входные

данные

Модель объекта! | г

Выходные

данные »

Обработка ' выходных данных

(суммирование произведение и т п)

Вывод результатов

Трансформация

/

I Обработка I

начальных данных

»

*

Векторизация I входных данных \

----1----

I | К потоков где К* кол- | | Модель объекта! »опроцессоров (ядер) I Модель объекта!

| ( I «системе 1 I

Синхронизация потоков!

Массив выходных

данных »

Обработка векторов выходных данных

(суммирование произведение и т п)

т

Вывод результатов

Параллельным расчет

Рисунок 2 - Преобразование последовательной итерационной процедуры в параллельную

Значение суммарных затрат на организацию параллельных вычислений Т" = Т" + Т" + ТЦЦ > является переменной величиной и -определяется следующими характеристиками аппаратной платформой, операционной системой (ОС), текущей загрузкой ОС, используемой технологией распараллеливания

Для практической оценки временных затрат и эффективности применения параллельных вычислений был проведен расчет производительности компрессорных цехов с параллельными группами ГПА В качестве аппаратно-программной платформы

использован двухпроцессорный сервер с частотой 1 2 GHz и ОС Microsoft Windows Server 2003 В оценивании производительности вычислений, с учетом ограничений, накладываемых операционной системой, языком программирования и архитектурой компьютера, были рассмотрены наиболее популярные технологии MPI, OpenMP, Windows API (MultiThreadmg) В результате расчета получены данные о временных затратах при использовании последовательных вычислений и технологий параллельного программирования (рисунок 3)

Разница между временем последовательного расчета и параллельных вычислений увеличивается с ростом числа итераций, тес увеличением расчетной сложности задачи и уменьшением относительной доли последовательных операций увеличивается скорость вычислений Это объясняется уменьшением суммарного вклада слагаемых Тс, Г„, Т", Т", Т"ц, по сравнению со значением Тс + Та

350,00 -

230.00

" 200.00

Î *

£ 150.00 10000 5000 0.01)

-serial

/ / ^openmp

/ 1

— mpi — winapi

г*-- ~-

0 20 <0 60 20 100 120 Нтерйцмя

Рисунок 3 - Время расчета дуг ГТС с использованием различных технологий Анализ полученных результатов также показывает, что с увеличением времени расчета различие между применяемыми технологиями параллельного программирования невелико и измеряется десятками миллисекунд

Следует отметить, что достигаемое от распараллеливания вычислений ускорение наступает не с первой итерации, а лишь при достаточном количестве итераций или при изначально высоком уровне вычислительной сложности задачи

В общем случае при проведении расчетов с применением технологий параллельных вычислений для оценки максимального ускорения используется закон Амдаля

(и-1)'

(4)

где л - наибольшая относительная скорость параллельных (быстрых) вычислений,

Т

принимая за единицу скорость последовательных вычислений (п^ = = 1), 5 - некоторая доля

общего объема вычислений, выполняемых в параллельном режиме

Таким образом, при неограниченном увеличении относительной скорости быстрых вычислений максимальное ускорение, достигаемое от распараллеливания, зависит от доли последовательных вычислений и определяется выражением

»->«. 1 —5

(5)

В третьей главе «Методы построения распределенных компьютерных тренажерных комплексов» предложена схема построения локальных и распределенных тренажерных комплексов для производственно-диспетчерских служб газотранспортных обществ Распределенная модель взаимодействия возникает в случае, когда компьютеры обучаемых территориально удалены или находятся в различных сегментах сети интернет При этом обеспечение коллективного режима обучения достигается за счет интеграции АРМ обучаемых на уровне серверной имитационной среды (рисунок 4)

АРМ диспетчера

ЭСАРА

Серверная имитационная среда моделирования

зционная Щ£г

Сервер БД

ШША|

АРМ

диспетчера ^эКземпляр.

ктк

АРМ диспетчера

АРМ АРМ АРМ

диспетчера диспетчера диспетчера

Рисунок 4 - Структурная схема перехода к распределенной коллективной среде

имитационного моделирования

Укрупненная архитектура построения многоуровневого распределенного компьютерного тренажерного комплекса (МРКТК) представлена на рисунке 5.

В основу построения МРКТК положен объектно-ориентированный подход с модульной организацией подсистем.

Вычислительную основу МРКТК составляет серверная имитационная среда моделирования, которая позволяет:

- осуществлять моделирование газотранспортной системы предприятия;

- получать данные из БД ЗСЛОЛ систем различных предприятий;

- вести репозиторий схем ГТС с накоплением данных по состоянию оборудования;

- создавать учебно-тренировочные задачи для индивидуального и коллективного

обучения с учетом специфики схемы ГТС конкретной ПДС.

Подсистема имитационного моделирования стационарных и динамических режимов ГТС и ее технологических объектов

8

БДУТЗ

0 0

БД схем ГТС БД БСАРА

Сервер БД

€

АРМ диспетчера

Рисунок 5 - Укрупненная архитектура многоуровневого тренажерного комплекса. Важными вспомогательными структурными элементами сервера приложений являются:

- модуль контроля удаленного взаимодействия, обеспечивающий взаимодействие АРМ обучаемых с серверной средой моделирования;

■ - модуль синхронизации, обеспечивающий согласованность данных в системе «АРМы обучаемых - сервер» и реализующий механизмы одновременного обновления информации и их актуализации на рабочих станциях пользователей;

- подсистема обработки сообщений, предназначенная для анализа входящих сообщений и генерации исходящих сообщений при формировании управляющих

воздействий, посредством модуля анализа и планирования реализации управления процессом решения задачи;

- модуль анализа и планирования реализации управления процессом решения задачи, обеспечивающий обработку управляющих воздействий и итеративное взаимодействие имитационной среды моделирования с АРМами диспетчеров;

- модуль регистрации пользователей, предназначенный для учета персональных данных обучающихся, которые вместе с протоколами решения УТЗ хранятся в единой БД пользователей;

- модуль протоколирования, обеспечивающий фиксацию во времени всех действий пользователей, используемых впоследствии для анализа и оценки действий обучаемого;

- модуль диагностики, предназначенный для анализа и оценки результатов моделирования, индивидуальной и коллективной работы пользователя, режимно-технологических расчетов;

- информационно-справочная система, содержащая регламент работ в аварийных и нештатных ситуациях и систему рекомендаций и подсказок по формированию управляющего воздействия.

В реализации коллективного тренажера должна учитываться иерархическая структура системы диспетчерского управления ГТС (рисунок 1). Для имитации процесса многоуровневого диспетчерского управления предлагается работа пользователя в следующих режимах.

Однопользовательский (индивидуальный) режим. Тренажер устанавливается на одной рабочей станции и является полностью автономным. База данных УТЗ содержит данные для конкретной ГТС и позволяет в течение одного сеанса работы проводить подготовку только одного диспетчера. В этом режиме пользователь может монопольно управлять объектами расчетной схемы на любом из уровней иерархической структуры диспетчерского управления (рисунок 6).

уровень ЦПДД

АРМ диспетчера

Фь , Уровень

1-

Польмкатсль упра алнет

ПДС ПО

Уровень ЛДП пу мг

умг <ДП)

Г умг~] Гумг ] Г умг 1_1 • ■ • 1 (ДП) N I |_ШЛ)_У • ■ ■ 1 (ДП)Ы

Расчетная схема

Рисунок 6 - Монопольное многоуровневое управление объектами.

Сетевой (коллективный) режим. Рабочие станции располагаются в дисплейном классе, объединенном локальной вычислительной сетью. На сервере приложений устанавливается полнофункциональный диспетчерский тренажер, на рабочих станциях -модули графического интерфейса пользователя и локальные базы данных. Работа каждого диспетчера автономна, и при выполнении УТЗ не предусматривается взаимодействия с другими диспетчерами. В этом режиме пользователю доступны различные расчетные схемы и расширенный набор учебно-тренировочных задач.

Распределенный многоуровневый режим. Используются как локальные, так и территориально распределенные вычислительные сети. Рабочие станции тренажера размещаются на АРМах в различных диспетчерских службах и соединяются с сервером тренажера удаленными каналами связи. В данном режиме сервер распределенной тренажерной системы может полностью брать на себя вычислительные (расчетные) функции - в этом случае рабочие станции обеспечивают функции графического интерфейса пользователя.

О

Кпышт Пользователь

Пользователь

Сервер

Уровень цпдд

г- * —1 и 1'

Гумг [ умг 1 1 умг ] 1 умг 1

1дп) 1 i • • I <ап)* | | (дп) 1 i ■ ■ ■ I ^п) n |

Уровень ПДС ГТО

Уровень ЛДП ПУ МГ

^ Клиент ^

Пользователь Пользователь

Рисунок 7 - Многоуровневое коллективное управление.

Во втором варианте расчетные функции распределяются по рабочим станциям тренажерной системы, а сервер обеспечивает синхронизацию всех информационных потоков. Распределенные многоуровневые тренажерные системы призваны обеспечивать информационное и интерактивное взаимодействие между индивидуальными диспетчерскими тренажерами, установленными в ПДС разных уровней диспетчерского управления (рисунок 7): ДП ЛПУ МГ - ПДС ГТО; ПДС ГТО - ЦПДД ОАО «Газпром»; ПДС ГДО - ЦПДД ОАО «Газпром».

t

Важным показателем результатов работы обучаемых как в индивидуальном режиме, так и с многоуровневым тренажерным комплексом является оценка результатов выполнения УТЗ Оценка деятельности участников складывается не только из индивидуальных показателей деятельности каждого участника, но также из групповых и экспертных оценок коллективного решения по управлению объектами газотранспортной системы

Оценивание результатов коллективного обучения предлагается осуществлять по ряду наиболее важных аспектов деятельности обучаемых

- эффективность сформированного участниками решения (представление решений к заданному сроку, управление в аварийных и нештатных ситуациях, согласно регламенту, учет технологических ограничений, наличие ошибок и их количество),

- межгрупповое взаимодействие в процессе решения задачи (быстрота принятия решений, аргументированность при защите своих решений обучаемыми, согласование обобщенного решения, межличностное общение участников обучения),

- взаимодействие участников работы внутри групп (активность каждого из обучаемых и его вклад в общий результат),

- личностные качества обучаемых, которые невозможно формализовать (эрудированность, принципиальность, умение аргументировать и отстаивать решение, честность и другие)

Четвертая глава «Организация коллективных и распределенных компьютерных комплексов поддержки АСДУ» посвящена разработке архитектуры и основных подсистем распределенных компьютерных комплексов поддержки АСДУ на примере ДКМ «Веста».

Основными элементами разработанной клиент-серверной архитектуры распределенного диспетчерского комплекса моделирования (РДКМ) является программное обеспечение сервера приложений и рабочей станции диспетчера (рисунок 8) Компоненты сервера приложений выполнены в виде отдельных функциональных модулей, образующих ядро и основные подсистемы РДКМ

Сервер приложений выполняет функции проведения режимно-технологических

расчетов схем ГТС в различных динамических режимах (OnLine, RealTime), обмена

>

данными с внешними БД и информационными система, обмена сообщениями, синхронизации результатов на удаленных рабочих станциях диспетчерского персонала В серверном приложении не предусмотрен графический интерфейс, что обусловлено узкой направленностью сервера на проведение расчетов и на диспетчеризацию работы всего вычислительного комплекса в коллективном режиме работы

Сервер приложений

Модуль приема сообщений

Модуль генерации сообщений

Ядро (диспетчер)

Модуль ► анализа сообщений

Подсистема обработки сообщений

Модуль синхронизации

Модуль контроля I удаленного к взаимодействия

Модуль поддержки принятия решений

Модуль ' протоколирования

Модуль контроля ошибок

г

| Подсистема моделирования режимов работы ГТС/ЕСГ

♦ \

АРМ диспетчера

I.

Графический интерфейс пользователя

Модуль генерации сообщений

Модуль приема сообщений

Модуль анализа сообщений

Подсистема обработки событий

Модуль ■* ♦] протоколи рования

Модупь контроля ошибок

Подсистема моделирования объектов ГТС

Рисунок 8 - Архитектура распределенного ДКМ.

ее

АРМ диспетчера

Клиентские части РДКМ устанавливаются на рабочих станциях диспетчеров ДП ЛПУ МГ, ПДС ГТО и ЦПДД ОАО «Газпром», соединенных с сервером приложений посредством вычислительной сети Программное обеспечение АРМ диспетчеров является менее требовательным к ресурсам вычислительной техники и позволяет управлять состоянием объектов расчетной схемы, осуществлять визуализацию результатов расчетов, проведенных на сервере приложений и проводить расчеты отдельных подсистем и объектов ГТС

В диссертации подробно рассмотрены все подсистемы серверной и клиентской частей РДКМ и описано их назначение Наиболее важные из них - подсистема моделирования режимов объектов и газотранспортных систем и подсистема сетевого взаимодействия Подсистема моделирования является расчетной основой распределенного вычислительного комплекса Она базируется на расчетном графе ГТС, математических моделях и вычислительных алгоритмах, которые позволяют решать существующие режимно-технологические задачи диспетчерского управления в масштабах ГТО или отдельных подсистем и объектов, таких, как ЛПУ МГ

Основу подсистемы моделирования составляет разработанная библиотека расчетных классов Библиотека построена по принципам модульного подхода, который позволил создать набор независимых расчетных модулей в виде динамических подключаемых библиотек (dll) Основными преимуществами примененного подхода являются независимость разработки новых и обновления текущих модулей, простота отладки и тестирования без необходимости компиляции всего вычислительного комплекса, простота интеграции расчетной подсистемы с внешними программными оболочками, простота поддержки (обновления) установленных версий ДКМ «Веста»

В программной реализации подсистемы моделирования произведена декомпозиция каждого расчетного класса объектов ГТС на два основных компонента - расчетные методы и данные Такое разделение позволило провести векторизацию исходных данных и распараллелить последовательные расчетные алгоритмы, реализовать эффективные методы межсетевой передачи информации, создать интерфейсные модули для работы с удаленной базой данных, внешними программными модулями и системами

Распараллеливание расчетных алгоритмов, используемых в подсистеме

>

моделирования ДКМ «Веста», выполнено с применением директив компилятора, согласно спецификации ОрепМР Выбор технологии ОрепМР был обусловлен аппаратной платформой, операционной системой, языком программирования и средством разработки, используемым для создания ДКМ «Веста» Интеграция расчетной библиотеки с ядром и графическим интерфейсом ДКМ «Веста» реализована через специальный интерфейсный

класс К()Ь;ес1. Он обеспечивает механизм сериализации данных, доступ к свойствам объектов расчетной схемы, хранимых в текстовых //¡/-файлах, и виртуальную функцию Са1си1а1е(), вызываемую при расчегах и переопределенную в расчетных модулях.

Следующим важным компонентом распределенного ДКМ является подсистема сетевого взаимодействия, обеспечивающая совместную работу АРМ диспетчеров с сервером приложений в гетерогенной сетевой среде в двух возможных режимах, согласно схеме, приведенной на рисунке 9.

вариант 1

87-2А0

20.10-

,М11

IP: 87.240.20.10 port: 1111

„.•ss.«1

21 oie®1 э, Эа1рос 77

°rBerS:7l°l [30 21*

LAN • Behind NAT

АРМ 1 IP 192 166.XXX XX1 PORT 1001

NAT Traversal API

- GW with real IP port mapping 1101 -> 1001 1102 -> 1002

вариант 2

АРМ N

IP 192 168 XXX XXN PORT 1002

LAN • Behind NAT

АРМ 1 IP 192 168XXX.XX1 PORT 1001

GW with real IP

АРМ N

IP 192 168.XXX.XXN PORT 1002

Рисунок 9 - Схема распределенного сетевого взаимодействия.

Необходимость разработки собственного программного обеспечения сетевого уровня явилась следствием ограниченности применения существующих распределенных технологий CORBA, DCOM, NET и др. в гетерогенных сетях, когда важное значение имеет скорость взаимодействия, объем передаваемых данных и возможность работы с многочисленными брандмауэрами.

При разработке подсистемы сетевого взаимодействия реализована синхронная многопоточная передача данных от сервера клиентам на базе низкоуровневого API, обеспечивающего максимальную скорость взаимодействия. Инициация сетевого соединения с сервером приложений осуществляется клиентским приложением, что позволяет работать как в локальных сетях предприятия, так и в гетерогенных сетях с трансляцией адресов (NAT) на внутренние IP-адреса.

Важным вопросом организации распределенного взаимодействия рабочих станций диспетчеров с сервером приложений РДКМ и тренажерного комплекса является

отображение актуального состояния результатов расчетов и четкое соблюдение последовательности управляющих воздействий Если представить моделируемую систему конечным автоматом, а управляющие сигналы, поступающие от рабочих станций, переходами, то, вследствие задержек передачи данных в сети, состояния моделируемой системы и реплик на рабочих станциях могут оказаться противоречивыми Для устранения противоречивости на базе алгоритма Беркли и метода синхронизации логических часов Лампорта с векторными отметками был разработан собственный алгоритм, схематично приведенный на рисунке 10

_ping с

Сервер приложений

1 Определение средней задержки канала передачи данных дг[|]

2 Отправка задержки

5 Проверка непротиворечивости последовательности событий ^Ы

6 Применение управляющего воздействия

7 Групповая рассылка нового состояния системы

частотой V

delay

data

data

—1-

data

—N-

Клиентское приложение

3 Установка задержки ДГ[|]

4 Отправка управляющего воздействия s'Ij)

в Запуск таймера на время дг[|]

9 Отображение нового состояния

Рисунок 10 - Схема работы алгоритма синхронизации состояний системы Суть предлагаемого подхода заключается в реализации следующих основных положений

1 Определение максимальной задержки в сети путем вычисления среднего значения задержек и установка времени запаздывания /-го клиентского приложения АГ[<]

АГ[|] = 1(тах(^-

(6)

N N

где Г[/,у] - массив векторов времен задержки в сети /-го клиента Проверка и устранение непротиворечивости сообщений, отправленных клиентским приложением В результате случайности задержек в сети сообщение А, отправленное раньше сообщения В, может прийти на сервер позднее, что приведет к неправильной работе РДКМ или тренажера

Проведение полностью упорядоченной групповой рассылки с подтверждением на основе реализации алгоритма Лампорта Таким образом, все события в распределенной системе будут доставляться в одинаковом порядке

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1 В результате анализа состояния АСДУ транспортом газа России обозначены проблемы развития расчетно-аналитической и информационной подцержки АСДУ транспортом газа Определены задачи и пути их решения на основе совершенствования ДКМ путем перехода к распределенной системе поддержки принятия решения в АСДУ на базе технологий параллельных и распределенных вычислений Показана слабая приспособленность существующих КТК к организации коллективного многоуровневого обучения, позволяющего вырабатывать навыки совместной деятельности диспетчерского персонала

2 Рассмотрены основные характеристики построения распределенных систем, выделены и рассмотрены наиболее важные принципы связь, процессы, именование, синхронизация, репликация, защита от сбоев и несанкционированного доступа Проведен анализ режимно-технологических задач диспетчерского управления и выделены задачи, содержащие естественный параллелизм Предложены методы распараллеливания существующих расчетных процедур, с целью повышения эффективности использования ресурсов современных мультипроцессорных и многоядерных вычислительных систем Рассмотрены способы организации параллельных вычислений и практические вопросы перехода от последовательных вычислительных алгоритмов к параллельным

3 Разработана архитектура построения многоуровневого распределенного компьютерного тренажерного комплекса Предложены варианты организации тренинга в однопользовательском (индивидуальном), сетевом (коллективном) и распределенном режимах на различных уровнях иерархической структуры диспетчерского управления ЕСГ России Предложены подходы к оценке результатов коллективного обучения по ряду наиболее важных аспектов деятельности обучаемых

4 Разработаны основные расчетно-аналитические подсистемы, в соответствии с распределенной архитектурой построения многоуровневого РДКМ на базе модульного принципа построения системы Описано назначение и взаимосвязь всех основных подсистем комплекса

5 Разработана подсистема сетевого взаимодействия компонентов РДКМ, обеспечивающая работу комплекса в локальной и гетерогенной вычислительных сетях Разработаны вычислительные средства взаимодействия вычислительных процессов в многопользовательском режиме, а также на различных уровнях иерархической структуры ДУ ЕСГ России

-23-

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1 Леонов Д Г, Швечков В А Организация хранения данных в распределенном вычислительном комплексе при решении задач диспетчерского управления режимами ГТС // Автоматизация, телемеханизация и связь в нефтяной промышленности Научно-технический журнал №9,Сентябрь -М ОАО«ВНИИОЭНГ»,2005 -С 29-33

2 Швечков В А Технологии параллельных вычислений для решения расчетных задач диспетчерского управления транспортом газа // Автоматизация в промышленности Научно-технический и производственный журнал № 7, Июль - М ООО Издательский дом «ИнфоАвтоматизация», 2006 - С 43-47

3 Швечков В А, Сарданашвили С А Сервис-ориентированная архитектура как инструмент интеграции информационного обеспечения в гетерогенной распределенной АСДУ ЕСГ России // Автоматизация в промышленности Научно-технический и производственный журнал № 5, Май - М ООО Издательский дом «ИнфоАвтоматизация», 2007 - С 20-24

4 Швечков В А Разработка объектно-ориентированных, независимых от интерфейса расчетных модулей объектов газотранспортной системы // Новые технологии в газовой промышленности 5-я Всероссийская конференция молодых ученых, специалистов и студентов по проблемам газовой промышленности России Тез докл РГУ нефти и газа Москва,2003 -С 186

5 Сарданашвили С А , Митичкин С К, Леонов Д Г, Свистунов А А, Швечков В.А Архитектура программного комплекса моделирования, оптимизации и прогнозирования режимов трубопроводного транспорта газа «ОКМ РГУ-ЬТ» // Развитие компьютерных комплексов моделирования, оптимизации режимов работы систем газоснабжения и их роль в диспетчерском управлении технологическими процессами в газовой отрасли Материалы 1-й Международной научно-технической конференции -М ООО«ИРЦГазпром»,2004 -С 37-38

6 Швечков В А Построение распределенных компьютерных комплексов моделирования режимов работы системы трубопроводного транспорта газа // Молодежная наука -нефтегазовому комплексу Научная конференция аспирантов, молодых преподавателей и сотрудников вузов и научных организаций Тез докл • РГУ нефти и газа Москва, 2004 - Том 7, с 27

7 Швечков В А, Леонов Д Г Построение многопользовательского сетевого программного комплекса для решения задач диспетчерского управления // Диском-2004 2-я Межд научно-техническая конференция Тез докл РГУ нефти и газа Москва, 2004 - С 43-44

-248 Швечков В А, Леонов Д Г Организация хранения данных в распределенном вычислительном комплексе при решении задач диспетчерского управления режимами ГТС // Актуальные проблемы состояния и развития нефтегазового комплекса России 6-я научная конференция Тез докл РГУ нефти и газа Москва, 2005 -С 434-435 9 Швечков В А Методы построения локальных и распределенных тренажерных комплексов для производственно-диспетчерских служб газотранспортных обществ // Актуальные проблемы состояния и развития нефтегазового комплекса России 7-я научная конференция Тез докл РГУ нефти и газа Москва, 2007 - С 433 - 434

Подписано в печать^/ 03Формат 60x90/16 Объем Тираж -УОО _Заказ $£/Г_

119991, Москва, Ленинский просп ,65 Отдел оперативной полиграфии РГУ нефти и газа им И М Губкина

ВВЕДЕНИЕ.

ГЛАВА 1. КОМПЬЮТЕРНЫЕ РАСЧЕТНО-АНАЛИТИЧЕСКИЕ КОМПЛЕКСЫ ПОДДЕРЖКИ ДИСПЕТЧЕРСКОГО УПРАВЛЕНИЯ ТРУБОПРОВОДНЫМ ТРАНСПОРТОМ ГАЗА (СОСТОЯНИЕ ПРОБЛЕМЫ).

1.1. Развитие АСДУ транспортом газа и проблемы ее расчетно-аналитической и информационной поддержки.

1.2. Эволюция базовой архитектуры и основных компонент расчетных программных комплексов АСДУГТС.

1.3. Задачи интеграции Тренажерных комплексов производственно-диспетчерских служб в распределенную структуру АСДУ.

ВЫВОДЫ.

ГЛАВА 2. МЕТОДОЛОГИЯ ПРИМЕНЕНИЯ ТЕХНОЛОГИЙ ПАРАЛЛЕЛЬНЫХ И РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ В РАСЧЕТНЫХ КОМПЛЕКСАХ АСДУ.

2.1. Основные характеристики и принципы построения распределенных вычислительных систем.

2.2. Применение распределенных технологий в расчетных комплексах поддержки АСДУ.

2.3. Применение технологий параллельных вычислений для решения расчетных задач диспетчерского управления транспортом газа.

ВЫВОДЫ.

ГЛАВА 3. МЕТОДЫ ПОСТРОЕНИЯ РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ ТРЕНАЖЕРНЫХ КОМПЛЕКСОВ.

3.1. Архитектура коллективной имитационной среды обучения.

3.2. Разработка системы оценивания деятельности обучаемых.

3.3. Организация и проведение обучения.

ВЫВОДЫ.

ГЛАВА 4. ОРГАНИЗАЦИЯ КОЛЛЕКТИВНЫХ И РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ КОМПЛЕКСОВ ПОД ДЕРЖКИ АСДУ.

4.1. Многозвенная клиент-серверная архитектура ДКМ.

4.2. Разработка подсистемы моделирования режимов работы ГТС.

4.3. Методы организации хранения данных в ДКМ «Веста».

4.4. Разработка подсистемы сетевого взаимодействия компонентов ДКМ «Веста».

ВЫВОДЫ.

Актуальность темы. Эволюция аппаратного и программного обеспечения ведет к необходимости постоянного совершенствования расчетно-аналитической базы АСДУ ЕСГ России, важным элементом которой являются диспетчерские комплексы моделирования (ДКМ) и компьютерные тренажерные комплексы (КТК).

Существующие ДКМ применяются диспетчерскими службами в основном для решения задач моделирования, планирования, прогнозирования режимов работы газотранспортных систем (ГТС), ретроспективного анализа ситуаций, диагностики фактического состояния объектов и ГТС.

Применение КТК позволяет проводить компьютерное моделирование различных аварийных ситуации в ГТС и в процессе противоаварийных тренировок диспетчерского персонала формировать навыки принятия решений в условиях дефицита времени и ресурсов управления.

В настоящее время ДКМ устанавливаются на каждом из уровней ДУ: диспетчерского пункта линейного производственного управления магистрального газопровода (ДП ЛПУ МГ), производственно-диспетчерской службы (ПДС) газотранспортного общества (ГТО) или центрального производственного диспетчерского департамента (ЦПДД), и их взаимодействие в основном осуществляется через простые форматы данных.

Алгоритмическая и программная составляющие ДКМ используют последовательную схему вычислительного процесса, которая приводит к проблеме значительного снижения общей производительности ДКМ при выполнении расчетов для региональных ГТС или ЕСГ в целом. Особо остро проблема производительности ДКМ возникает при решении задач ДУ в режиме реального времени, требующем синхронизации работы ДКМ и SCAD А- систем, а также задач планирования режимов, основанных на многоитерационных вычислительных процедурах. Кроме того, все чаще возникает необходимость реализации процедур доступа и подключения ДКМ к внешним базам данных, а также создания механизмов интеграции с программными продуктами сторонних производителей.

Поскольку компьютерные диспетчерские тренажеры основаны на ДКМ, то к ним также относятся отмеченные выше проблемы. Кроме того, современные тренажеры ориентированы на однопользовательский режим работы, в то время как реальный процесс диспетчерского управления часто требует коллективного согласованного принятия решения не только по вертикали схемы управления: ДП ЛПУ МГ - ПДС ГТО - ЦПДД ОАО «Газпром», но и по горизонтали между различными диспетчерскими службами одного уровня ДУ.

В результате к наиболее актуальным проблемам автоматизации систем поддержки принятия диспетчерских решений можно отнести:

- отсутствие расчетных компьютерных комплексов, отражающих многоуровневую, распределенную систему диспетчерского управления Единой системы газоснабжения (ЕСГ) России;

- недостаточная приспособленность ДКМ к использованию современных информационных технологий, в частности технологий распределенных и параллельных вычислений;

- несоответствие структуры КТК существующему распределенному многоуровневому коллективному процессу диспетчерского правления. Таким образом, следующим этапом в эволюции программных систем автоматизации процесса поддержки диспетчерских решений должен стать переход к распределенной многопользовательской вычислительной среде, позволяющей организовывать взаимодействие между различными уровнями ЕСГ России и получать взаимосвязанное (согласованное) решение. При разработке инструментальных средств нового поколения необходимо также учитывать существующие тенденции в развитии компьютерного и программного обеспечения. Эти тенденции связаны с увеличением быстродействия и разрядности процессоров и скорости передачи информации по сети, с созданием высокоуровневых интегрированных средств разработки, широким внедрением технологий распределенного и параллельного программирования, ориентацией на технологии, позволяющие унифицировать процесс взаимодействия между гетерогенными системами.

Цель и задачи исследования. Целью диссертационной работы является разработка технологии проектирования и организации многоуровневых распределенных компьютерных комплексов, направленной на автоматизацию поддержки принятия диспетчерских решений в управлении газотранспортными системами на основе методологии объектно-ориентированного анализа, общей архитектуры построения распределенных систем и методов организации параллельных вычислений.

Для достижения поставленной цели необходимо решить следующие основные задачи:

- провести анализ основных направлений развития ДКМ с учетом требований автоматизации диспетчерского управления ЕСГ;

- разработать архитектуру и технологию реализации распределенного ДКМ, позволяющих организовать многоуровневое многопользовательское взаимодействие диспетчерских служб при решении расчетных задач;

- разработать расчетно-аналитические подсистемы ДКМ в соответствии с распределенной архитектурой, ориентированной на сетевое взаимодействие клиентских АРМ и расчетного сервера;

- разработать методы распараллеливания вычислительных процедур с целью повышения эффективности использования ресурсов современных мультипроцессорных и многоядерных вычислительных систем;

- разработать средства взаимодействия вычислительных процессов в многопользовательском режиме, а также на различных уровнях иерархической структуры ДУ ЕСГ России.

Методы исследования. Для решения поставленных задач используются теория построения распределенных вычислительных систем, методы и технологии организации параллельных вычислительных процессов, теоретические основы построения вычислительных систем, теория имитационного моделирования, принципы модульного объектно-ориентированного и сервис-ориентированного подходов.

Научная новизна. В диссертационной работе были получены следующие результаты.

1. Предложена научно-методическая основа проектирования и реализации расчетных компьютерных комплексов диспетчерского управления и компьютерных тренажерных комплексов, базирующаяся на технологии объектно-ориентированного подхода, принципах построения распределенных систем и технологиях параллельных вычислений.

2. Разработана научно обоснованная схема организации и управления вычислительным процессом, ядром которой является реализация технологий распределенных и параллельных вычислений.

3. Разработана архитектура распределенного вычислительного комплекса расчетно-аналитической поддержки диспетчерского управления.

4. Разработаны основные компоненты архитектуры построения многоуровневого, многопользовательского взаимодействия подразделений диспетчерских служб в едином распределенном вычислительном процессе.

Практическая ценность работы. Результаты работы использованы при проектировании и разработке программного обеспечения компьютерного комплекса ДКМ «Веста» (РГУ нефти и газа имени И.М.Губкина, ООО фирма «Ингойл»).

На основе данного многофункционального комплекса реализуются ДКМ и КТК для ПДС ГТО ООО «Ленгрансгаз», ООО «Пермтрансгаз», ООО «Татгрансгаз», ООО «Югтрансгаз» и других ГТО.

Основные положения, выносимые на защиту.

- Схема организации и управления вычислительным процессом, ядром которой является реализация технологий распределенных и параллельных вычислений.

- Методы распараллеливания алгоритмов решения режимно-технологических задач магистрального транспорта газа.

- Архитектура распределенного вычислительного комплекса диспетчерского управления.

- Основные компоненты и архитектура построения многоуровневого, многопользовательского взаимодействия подразделений диспетчерских служб в едином распределенном вычислительном процессе.

Апробация работы. Основные положения работы докладывались и обсуждались на следующих научно-технических конференциях:

- 1-я Международная научно-техническая конференция «Развитие компьютерных комплексов моделирования, оптимизации режимов работы систем газоснабжения и их роль в диспетчерском управлении технологическими процессами в газовой отрасли» (Диском-2002), ноябрь 2002 г., г. Москва;

- 5-я Всероссийская конференция молодых ученых, специалистов и студентов по проблемам газовой промышленности России «Новые технологии в газовой промышленности», сентябрь 2003 г., г. Москва;

- научная конференция аспирантов, молодых преподавателей и сотрудников вузов и научных организаций «Молодежная наука - нефтегазовому комплексу», март 2004 г., г. Москва;

- 2-я Международная научно-техническая конференция «Теория и практика разработки, промышленного внедрения компьютерных комплексов поддержки диспетчерских решений в газотранспортной и газодобывающей отраслях» (Диском-2004), октябрь 2004 г., г. Москва;

-7- 6-я и 7-я научные конференции «Актуальные проблемы состояния и развития нефтегазового комплекса России», январь 2005 г., январь 2007 г., г. Москва. Публикации. По результатам исследований и разработок опубликовано 9 печатных работ, в т.ч. 3 статьи в ведущих научных журналах, утвержденных ВАК РФ, 6 тезисов докладов международных, всероссийских и межвузовских научно-технических конференции.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и 2 приложений; изложена на 152 страницах, содержит 6 таблиц, 36 рисунков, список литературы из 112 наименований.

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. В результате анализа состояния АСДУ транспортом газа России обозначены проблемы развития расчетно-аналитической и информационной поддержки АСДУ транспортом газа. Определены задачи и пути их решения на основе совершенствования ДКМ путем перехода к распределенной системе поддержки принятия решения в АСДУ на базе технологий параллельных и распределенных вычислений. Показана слабая приспособленность существующих КТК к организации коллективного многоуровневого обучения, позволяющего вырабатывать навыки совместной деятельности диспетчерского персонала.

2. Рассмотрены основные характеристики построения распределенных систем, выделены и рассмотрены наиболее важные принципы: связь, процессы, именование, синхронизация, репликация, защита от сбоев и несанкционированного доступа. Проведен анализ режимно-технологических задач диспетчерского управления и выделены задачи, содержащие естественный параллелизм. Предложены методы распараллеливания существующих расчетных процедур, с целью повышения эффективности использования ресурсов современных мультипроцессорных и многоядерных вычислительных систем. Рассмотрены способы организации параллельных вычислений и практические вопросы перехода от последовательных вычислительных алгоритмов к параллельным.

3. Разработана архитектура построения многоуровневого распределенного компьютерного тренажерного комплекса. Предложены варианты организации тренинга в однопользовательском (индивидуальном), сетевом (коллективном) и распределенном режимах на различных уровнях иерархической структуры диспетчерского управления ЕСГ России. Предложены общие подходы к оценке результатов коллективного обучения по ряду наиболее важных аспектов деятельности обучаемых.

4. Разработаны основные расчетно-аналитические подсистемы, в соответствии с распределенной архитектурой построения многоуровневого распределенного ДКМ, на базе модульного принципа построения системы. Описано назначение и взаимосвязь всех основных подсистем комплекса.

5. Разработана подсистема сетевого взаимодействия компонентов распределенного ДКМ, обеспечивающая работу комплекса в локальной и гетерогенной вычислительных сетях. Разработаны вычислительные средства взаимодействия вычислительных процессов в многопользовательском режиме, а также на различных уровнях иерархической структуры ДУ ЕСГ России.

1. Аллен Р., Кеннеди К. Автоматическая трансляция Фортран-программ в векторную форму. Пер. с англ. В Сб. статей Векторизация программ: теория, методы, реализация. М.: Мир, 1991. - 275 с.

2. Апостолов А.А., Вербило А.С., Панкратов B.C. Автоматизация диспетчерского управления газотранспортным предприятием. М.: ООО «ИРЦ Газпром». 1999. - 72 с. Обз. информ. Сер. Автоматизация, телемеханизация и связь в газовой промышленности.

3. Апостолов А.А., Панкратов B.C. Интегрированная автоматизированная система управления. М.: ИРЦ Газпром, 1999. - 50 с.

4. АСТРА, 2006. Электронный ресурс. Филиал «Информгазтюмень» <http://www.informgaztvumen.ru/ >

5. Атавин А. А., Карасевич A.M., Сухарев М.Г. и др. Трубопроводные системы энергетики: модели, приложения, информационные технологии. М.: ГУП Издательство «Нефть и газ» РГУ нефти и газа им. И.М. Губкина, 2000. - 320 с.

6. Баркалов С.А. Деловые имитационные игры в организации и управлении., изд. АСВ, 2003, 200 с.

7. Бессонный А.Н., Дрейцер Г.А., Кунтыш В.Б. и др. Основы расчета и проектирования теплообменников воздушного охлаждения. //СПб., Недра, 1996. -512 с.

8. Бешелев С. Д., Гурвич Ф.Г. Экспертные оценки. М., Наука, 1973. 246 с.

9. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 261 с.

10. Бирштейн М. М. Советские деловые игры 30-х годов и проблемы развития современной производственной деловой игры // Деловые игры и их программное обеспечение. М., 1976. 304 с.

11. Бэкон Д., Харрис Т. Операционные системы. Параллельные и распределенные системы. СПб.: Питер; Киев: Издательская группа BHV, 2004. -800 е.: ил.

12. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и её инженерные приложения М.: Наука, 1988. - 480 с.

13. Вероятность и математическая статистика. Энциклопедический словарь. М.: Большая Российская энциклопедия, 2003. 912 с.

14. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. СПб.: БХВ-Петербург, 2004. 608 с.

15. ВРД 39-1.10-017-2000. Сборник нормативно-технических документов для газопровода «Россия-Турция». //Том I, М.: ОАО ИРЦ Газпром, 2002 г.

16. Гмурман В.Е. Теория вероятностей и математическая статистика. Уч. пособ. 12-е изд. - М.: Изд-во Высшее образование, 2006. - 479 с.

17. ГОСТ 30319.2 96. Газ природный. Методы расчета физических свойств. Определение коэффициента сжимаемости. М.: Изд-во стандартов, 1997. - 53 с.

18. Григорьев Л.И. Автоматизация процессов обучения и принятия решений в диспетчерском управлении транспортом газа //Дисс. докт. техн. наук. М., 1997 г.-217 с.

19. Григорьев Л.И. Компьютерные средства обучения и профессиональной подготовки. //Автоматизация, телемеханизация и связь в нефтяной промышленности, вып. 2, 1994. С. 2 - 6.

20. Григорьев Л. И., Владимиров А. И. Компьютерные технологии профессиональной подготовки инженерных кадров //Высшее образование в России, вып.4, 1995.

21. Григорьев Л.И., Митичкин С.К. Организация информационного обеспечения тренажера диспетчера ГТС //Газовая промышленность. Вып. 4, 1988 32 - 35с.

22. Григорьев Л.И., Сарданашвили С.А., Дятлов В.А. Компьютеризированная система подготовки диспетчерского персонала в транспорте газа. ИМ., Нефть и газ, 1996 г. 195с.

23. Григорьев Л.И. Диспетчерское управление трубопроводным транспортом газа: состояние, проблемы, перспективы. Тезисы докладов. 1-я Международная научно-техническая конференция Диском 2002. М.: Нефть и газ, 2002. - с. 12 - 13

24. Дубова Н. СОМ или CORBA? Вот в чем вопрос, 2000. Электронный ресурс. CIT Forum Море аналитической информации <http://www.citforum.ru/>

25. Закон Мура, 2006. Электронный ресурс. Добро пожаловать в Intel! <http://www.intel.com/ru/>

26. Информатика. Основы вычислительных систем, 2006. Электронный ресурс. Информатика, математика, лекции, учебники, курсовые студенту и школьнику <http://256bit.ru/>

27. Киселев В.В., Прилов С.Н. Метод оптимизации неустановившихся режимов транспорта природного газа с применением модели активной сети. //Сб. Тез. Международной конференции ДИСКОМ 2004. М., 2004 г.

28. Кристофидес Н. Теория графов. Алгоритмический подход. М.: изд-во «Мир», 1978.-429 с.

29. Крюков В.А. Разработка параллельных программ для вычислительных кластеров и сетей. Институт прикладной математики им. М.В. Келдыша РАН. 2006. Электронный ресурс. Институт прикладной математики им. М.В. Келдыша РАН <http://www.keldvsh.ru/>

30. Лабусов А.Н. Технологии распараллеливания, 2007. Электронный ресурс. Центр перспективных исследований СПбГПУ <http://www.spbcas.ru/>

31. Леонов Д.Г. Объектно-ориентированная технология разработки систем поддержки принятия диспетчерских решений в транспорте газа //Дисс. канд. техн. наук. М.: РГУ нефти и газа им. И.М. Губкина, 2000. - 143 с.

32. Леонов Д.Г., Швечков В.А. Организация хранения данных в распределенном вычислительном комплексе при решении задач диспетчерского управления режимами ГТС. М.: ОАО «ВНИИОЭНГ», №9,2005. - С.29 - 33.

33. Лурье М.В. Математическое моделирование процесса трубопроводного транспорта углеводородов. М.: Нефть и газ, 2002. - 336 с.-14739. Методика теплового и аэродинамического расчета АВО. М.: ВНИИНЕФТЕМАШ, 1971.

34. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974. 256 с.

35. Новиков Д. А. Механизмы функционирования многоуровневых организационных систем. М.: Фонд «Проблемы управления», 1999. 150с.

36. Новиков Д.А., Петраков С.Н. Курс теории активных систем. Учебное пособие. М.: Синтег, 1999г. 108 с.

37. Новицкий Н.Н., Сеймов Е.В., Сухарев М.Г. и др. Гидравлические цепи. Развитие теории и приложения //Новосибирск, Наука, Сибирская издательским фирма РАН, 2000.-273 с.

38. Нормы технологического проектирования магистральных газопроводов (НТП МГ). М.: ООО ВНИИГАЗ, ООО «ИРЦ Газпром», 2003.

39. Общесоюзные нормы технологического проектирования. Магистральные газопроводы. ОНТП 51-1-85. Мингазпром. М., 1985. - 220 с.

40. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы. СПб.:Питер, 2000. - 672 е.: ил.

41. Олифер В.Г., Олифер Н.А. Сетевые операционные системы. Учебник. -СПб.: Питер, 2001.-539 с.

42. Оре О. Теория графов. М.: Наука, Гл. ред. физ.-мат лит., 1980. - 336 с.

43. Дж. Ортега. Введение в параллельные и векторные методы решения линейных систем М.: Мир, 1991. - 365 с.

44. Панкратов B.C., Герке В.Г., Сарданашвили С.А., Митичкин С.К. Комплекс моделирования и оптимизации режимов работы ГТС М: ООО «ИРЦ Газпром», 2002. - 56 с.

45. Панкратов B.C., Вербило А.С. Автоматизированная система диспетчерского управления ГТС. М.: ООО «ИРЦ Газпром», 2001. - 98 с. Обз. информ. Серия: Автоматизация, телемеханизация и связь в газовой промышленности.

46. Платов В.Я. Деловые игры: разработка, организация, проведение: Учебник. М.: Профиздат, 1991. - 192 с.

47. Саати Т. Принятие решений. Метод анализа иерархий. Пер. с англ. М.: Радио и связь, 1993. 278 с.

48. Сарданашвили С. А. Дисс. на соискание степени доктора технических наук. -М.:РГУ Нефти и газа им. И.М. Губкина, 2006. 577 с.

49. Сарданашвили С.А. Расчетные методы и алгоритмы (трубопроводный транспорт газа). М.:ФГУП Изд-во «Нефть и газ» РГУ Нефти и газа им. И.М. Губкина, 2005.-577 с.

50. Сарданашвили С.А., Ваулина Е.В. Применение объектно-ориентированной технологии решения задач планирования режимов газодобывающего предприятия. //Наука и технология углеводородов. 1999 г., № 2.

51. Сухарев М.Г., Ставровский Е.Р. Расчеты систем транспорта газа с помощью вычислительных машин. М., изд-во «Недра», 1971. 208 с.

52. Сухарев М.Г., Ставровский Е.Р. Оптимизация систем транспорта газа. М.: изд-во «Недра», 1971. 277 с.

53. Сухарев М.Г., Ставровский Е.Р., Брянских В.Е. Оптимальное развитие систем газоснабжения. М.: изд-во «Недра», 1981. 294 с.

54. Сухарев М.Г., Карасевич A.M. Технологический расчет и обеспечение надежности газо- и нефтепроводов. М.: изд. «Нефть и газ», 2000. 271 с.

55. Таненбаум Э. Архитектура компьютера. 4-е издание. СПб.: Питер, 2003. -698 е.: ил.

56. Таненбаум Э., М, ван Стеен. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 807 е.: ил.

57. Трахтенгерц Э.А., Степин Ю.П., Андреев А.Ф. Компьютерные методы поддержки принятия управленческих решений в нефтегазовой промышленности. -М.: Синтег, 2005. 592 с.

58. Трубопроводные системы энергетики: модели, приложения, информационные технологии, под редакцией д.т.н., проф. Сухарева М.Г., М.: изд-во «Нефть и газ», 2000. 318 с.

59. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир, 1975. 536 с.

60. Хьюз Камерон, Хьюз Трейси. Параллельное и распределенное программирование на С++. Пер. с англ. М.: Издательский дом «Вильяме», 2004. -672 с.

61. Что такое ОрепМР, 2003. Электронный ресурс. Информационно-аналитический центр по параллельным вычислениям <http://www.parallel.ru/>

62. Шаронова С. А. Деловые игры. Учебн. пособие. М.: изд. РУДН, 2004. 166 с.

63. Швечков В.А. Технологии параллельных вычислений для решения расчетных задач диспетчерского управления транспортом газа. М.: ООО Издательский дом «ИнфоАвтоматизация», №7, 2006. - С. 43 - 46.

64. Швечков В.А., Леонов Д.Г. Построение многопользовательского сетевого программного комплекса для решения задач диспетчерского управления // Диском, 2004. 2-я Межд. научно-техническая конференция: Тез. докл. РГУ нефти и газа. Москва, 2004. С. 43 - 44.

65. Buretta, М.: Data Replication: Tools and Techniques for Managing Distributed Information. New York: John Wiley, 1997.

66. Callaghan, B.:NFS Illustrated. Reading, MA: Addison-Wesley, 2000.

67. Catalog of OMG CORBA®/IIOP® Specifications, 2007. Электронный ресурс. Object Management Group <http://www. omg.org/>

68. DCOM Architecture, 1997. Электронный ресурс. MSDN Home Page <http.V/msdn.microsoft.com/>

69. Distributed File System overview, 2005. Электронный ресурс. Microsoft TechNet Home Page <http://technet.microsoft.com/ru-ru/default.aspx >

70. Foster. I.: Designing and Building Parallel Programs: Concepts and Tools for Parallel Software Engineering package : Addison Wesley, 1st ed, 1995. 430 p.

71. Gupta A.: An Introduction to Parallel Computing: Design and Analysis of Algorithms : Addison Wesley, 2nd ed, 2003. 856 p.

72. How widely used is HPF?, 2007, Электронный ресурс. High Perfomance Fortran <http://hpff.rice.eda/index.htm>

73. Renee Huggett Business case studies.: Cambridge university press, 1990.

74. ISO: «Open Distributed Processing Reference Model.» International Standard ISO/IEC IS 10746, 1995.

75. Harold Kerzner Project Management Case Studies.: Wiley, 2003 448 p.

76. Kistler, J.: Disconnected operation in a Distributed File System, vol. 1002 of Lect. Notes Сотр. Sc. Berlin: Springer-Verlag, 1995.

77. Kistler, J. and Satyanaryanan, M: «Disconnected operation in a Coda File System.» ACM Trans. Comp .Syst., vol. 10, no. 1, Feb. 1992, pp. 3-25.

78. Kopetz, H and Verissimo, P.: «Real Time and Dependability Concepts» In Mullender, S. (ed.), Distibuted Systems, pp. 411-446. Wokingham: Addison-Wesly, 2nd ed., 1993.

79. Lamport, L.: «Time, Clocks, and the Ordering of Events in Distributed System. » Comrnun. ACM, vol. 21, no. 7, pp. 558-565, July, 1978.

80. Laprie, J.-C.: and Laurie, P.: Apache: The Definitive Guide. Sebastpool, С A: O'Reily & Associates, 2nd ed., 1999.

81. Pfleeger, C.: Security in Computing. Upper Saddle River, NJ: Prentice Hall, 2nd ed., 1997.

82. Michael J. Quinn.: Parallel Programming in С with MPI and OpenMP package, McGraw-Hill Science/Engineering/Math, 2003. 544 p.

83. MPI: The Message Passing Interface, 2006. Электронный ресурс. Информационно-аналитический центр по параллельным вычислениям <http://www.parallel.ru/>

84. MPICH2, 2007. Электронный ресурс. MPICH 2 Home Page <http://www-unix.mcs.anl.gov/mpi/mpich2/index.htm>

85. MPI Documents, 2006. Электронный ресурс. Message Passing Interface Forum <http://www.mpi-forum.org/>

86. Reap the Benefits of Multithreading without All the Work, 2005. Электронный ресурс. MSDN Home Page <http://msdn.microsoft.com/>

87. Remote Method Invocation Home, 2006. Электронный ресурс. Java Technology <http ://iava. sun. com/>

88. Scott Short, Building XML WEB Services for the Microsoft .NET Platform, Microsoft Press, 2002. 426 p.

89. Andrienne Schmitz, Deborah L . Brett Real Estate Market Analysis: A Case Study Approach. Urban Land Institute, 2001. 240 p.

90. C. Szyperski. Component Software Beyond Object-Oriented Programming. Boston, MA: Addison-Wesley and ACM Press, 1998.

91. SIMONE Software, 2007. Электронный ресурс. SIMONE Research Group <http ://ww w. simone. eu/>

92. Java EE Technology at Glance, 2006. Электронный ресурс. Java Technology <http://iava. sun. com/>