автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.16, диссертация на тему:Методы построения и анализа распределенных гетерогенных систем локальных баз данных

а д На правах рукописи

I I а

\ о фЕВ ДО»

НГУЕН ЗУЙ ЧАЙ

МЕТОДЫ ПОСТРОЕНИЯ И АНАЛИЗА РАСПРЕДЕЛЕННЫХ ГЕТЕРОГЕННЫХ СИСТЕМ ЛОКАЛЬНЫХ

БАЗ ДАННЫХ

Специальность 05.13.16 - Применение вычислительной техники, математических методов и математического моделирования в научных исследованиях

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва 1997

Работа выполнена в Институте Машиноведения им. Благонравова A.A. Российской Академии Наук.

Научный руководитель -

доктор технических наук, профессор Саксонов Е.А..

Официальные оппоненты -

доктор технических наук, профессор Фролов Е.Б., кандидат технических наук, доцент Чемоданов Е.С.

Ведущая организация НПО Автоэлектроника.

Защита диссертации состоится « ж> о2, _;1998г. в ¡tfчасов на заседают Диссертационного совета К003.42.02 при Институте Машиноведения им. Благонравова A.A. Российской Академии Наук

по адресу: город Москва, Малый Харитоньевский пер., д. 4.

С диссертацией можно ознакомиться в библиотеке Института Машиноведения РАН.

М г /

Автореферат разослан " !J" * / 1998 г.

Ученый секретарь Совета к.т.н., доцент

Пурцеладзс В.А.

Общая характеристика работы

Актуальность п практическая ценность работы. Развитие многих локальных систем (локальных баз данных) предусматривает их интеграцию в единые системы, обеспечивающие корпоративные шггересы предприятий, координацию цела! и методов их развития и функционирования.

Часто все эти локальные базы данных реализованы с использованием различного системного и прикладного программного обеспечения, различных подходов к построению и управлению БД, различных аппаратных платформ. Таких» образом актуальной является задача построения интегрированных, распределенных систем, объединяющих разнородные базы данных построенные с использованием разнородного программного (прикладное и системное) и технического обеспечения и обеспечивающих требуемый сервис, соответствующий прикладному назначению системы, предоставляющих владельцам и пользователям данных, максимальное число услуг при высоком качестве обслуживания и регламентированных затратах на создание системы.

В настоящее время имеется эффективный подход к построению подобных систем, позволяющий удовлетворить запросы пользователей и потребности прикладных программистов - это использование технологии "клиент-сервер. Успешное и эффективное применение технологии вычислений "клиент-сервер" требует разработки и обоснования методов организации взаимодействия между клиентами и серверами, составляющими распределенную систему. При этом наряду с применением традиционных и известных

подходов к решению данных задач необходимо создавать методы, учитывающие специфику конкретных систем.

Целью диссертационной работы является разработка и анаши методов организации взаимодействия в распределенных гетерогенных системах локальных баз данных на базе технологии "клиент-сервер", создание математических моделей для их исследования и расчета основных характеристик, позволяющих проводить обоснованный выбор того или иного решения в зависимости от параметров и сферы применения реальных систем подобного типа.

Для достижения поставленной цели в диссертации решаются следующие задачи:

1. Определение применяемых информационных технологий при построении распределенных гетерогенных систем локальных баз данных.

2. Разработка методов организации взаимодействия между клиентами и серверами систем.

3. Разработка математических моделей для оценки качества предложенных методов.

Методы исследования. Для решения поставленных задач применяются методы теории массового обслуживания, имитационного моделирования, теоретического программирования.

На защиту выносятся следующие положения:

• анализ методов построения распределенных гетерогенных систем локальных баз данных;

• анализ методов организации взаимодействия элементов системы (клиентов и серверов) основанных на применении современных информационных технологий;

• математические модели для расчета характеристик системы при различных методах взаимодействия клиентов и серверов при поиске информации в распределенной гетерогенной системе.

Научная новизна диссертации заключается в разработке методов взаимодействия клиентов и серверов и создании математических моделей для исследования различных алгоритмов поиска информации (взаимодействия клиентов и серверов) в распределенных гетерогенных системах локальных баз данных.

Практическая значимость состоит в разработке, на основе построенных математических моделей, пригодных для использования на практике методов расчета и анализа характеристик алгоритмов поиска информации при анализе и проектировании распределенных гетерогенных систем локальных баз данных.

Реализация и внедрение. Методы оценки эффективности алгоритмов работы распределённой системы разработаны й внедрены в ряде предприятий и организаций.

Апробация работы. Результаты диссертационно.! работы были доложены и обсуждались на Международном научно-техническом семинаре "Проблемы передачи и обработки информации в информационно-вычислительных сетях", Москва, 1997 г.

Публикации. Основные теоретические положения работы были изложены автором в двух печатных работах.

Структура и объем работы. Диссертация состоит из введения, 4 глав, заключения (общих выводов) и содержит список литературы из 77 наименований. Объём работы составляет 124 страницы, включая рисунки и таблицы.

Содержание работы

Во введении обоснована актуальность темы диссертационной работы, сформулированы цель и основные задачи исследований, приведены основные научные положения, которые выносятся на защиту; отмечается новизна и практическая значимость работы; дана её общая характеристика и приведены сведения об апробации; приведён обзор основной литературы, в которой изложены наиболее важные теоретические положения работы.

В первой главе приводится описание объекта исследования -распределенной гетерогенной системы локальных баз данных. Определяется состав системы как совокупности аппаратных и программных средств, методы ее построения и проектирования. Приводятся данные о структуре распределешшя системы локальных баз данных, об основных технологиях, применяемых в настоящее время при создании подобных систем.

Рассматриваются преимущества и достоинства технологии клиент-сервер: возможность работы в неоднородной вычислительной среде, межплатформенные вычисления (возможность работы приложений на различных аппаратных и программных платформах), распределенные вычисления (распределение работ между несколькими ЭВМ, когда на одного клиента могут работать несколько серверов, а один сервер обслуживать нескольких клиентов). Обсуждаются особенности применения технологии клиент-сервер в распределенных гетерогенных системах, а также необходимые предпосылки для реализации модели клиент-сервер.

В (Главе рассмотрены также вопросы применения сетевых технологий для построения системы: выбор архитектуры сети,

6

аппаратных средств и программного обеспечения сети. Характеристиками для оценки качества построения и функционирования сети являются: время доставки передаваемых сообщений абонентам сети; загрузка сетевого оборудования (каналов связи, структурообразующей аппаратуры, серверов); надежность и живучесть. Изучены особенности технологии организации и администрирования баз данных и возможности их применения при построении системы. Наиболее важными представляются вопросы организащш баз данных, их взаимодействия с другими системами и между собой, а также проблемы проектирования баз данных (инфологическое, логическое и физическое проектирование; определение требований к операцио!шой обстановке, в которой будет функционировать информациошгая система; выбор СУБД и других инструментальных программных средств ее реализации). Определены задачи проектирования и построения системы, критерии качества функционирования системы, которые зависят от сферы применения.

Таким образом в первой главе проведен анализ свойств и особенностей распределенной гетерогенной системы баз данных, определены основные задачи, которые необходимо решать при построении и проектировании подобных систем. Выделены основные направления их решения: применение технологии клиент-сервер, применение сетевых технологий, применение технологий баз данных.

Во второй главе излагаются задачи организации работы элементов системы их взаимодействия между собой, методы решения этих задач и особенности функционирования системы. Одной из таких задач является организация взаимодействия разнородных баз данных в распределенных системах, при котором удовлетворяются

такие требования как расширяемость, определенная степень детализации, поддержание целостности данных.

Далее в главе исследуются механизмы взаимодействия разнородных баз данных в распределенных системах: работа с гетерогенными БД в среде Internet (WWW), доступ к БД на стороне клиента, доступ к БД на стороне Web-сервера, доступ к внешним базам данных через ODBC-интерфейс, взаимодействие через собственные API различных СУБД, мехашпм MQSeries.

Приводиться анализ информациошшх потоков в системе (в исследуемой системе выделены два внутренних источника сообщений - клиент и сервер, и один внешний), структура запросов, исследовано взаимодействие между клиентами и серверами.

Таким образом в главе рассмотрены вопросы организации взаимодействия разнородных баз данных в распределенных системах, что позволило определить наиболее эффективные методы взаимодействия и выбрать их как базовые для дальнейшего исследования. Определены возможные режимы работы клиентов и серверов в модели «клиент-сервер» и возможности применения Internet технологий дая построения системы. Рассмотрены два типа оргашпации работы по поиску информации в распределенной системе, объединяющей локальные базы данных: самостоятельный поиск каждым клиентом системы; централизованный поиск с применением специального выделенного сервера. Эти способы взяты за основу и в дальнейшем исследованы с применением математического моделирования.

В третьей главе представлены результаты математического моделировашм различных режимов работы системы. В качестве математических моделей дая анализа режимов работы системы

использованы системы массового обслуживания. Построены и исследованы несколько математических моделей.

Математическая модель для режима самостоятельного поиска. Здесь время обработки запроса каждого пользователя складывается из времени рассылки запросов на все серверы локальных баз данных, времени обработки запросов на серверах и времени получения ответа от всех серверов.

Если (31 - время обработки запроса от клиента номер 1, то = рп + Р21, где ри- время рассылки запроса на все серверы локальных баз данных, доступные данному клиенту и получения от них ответов; Рг1 - время обработки запросов данного клиента на серверах.

При последовательной обработке запросов на серверах:

а в

Рй = ХР2Ц и Рц = , где р2у - время обработки запроса от И 1=1

клиента номер » на сервере номер ^ а Рц - время обмена данными (запрос и ответ) между клиентом номер I и сервером номер } б = I.....М).

Поток запросов на j сервер локальной базы данных имеет й

интенсивность X,| = ^ , где Ял - интенсивность потока запросов 1=1

от клиента номер 1 (Ы - количество клиентов) . Длительность обработки запроса на сервере складывается из длительности ожидания запросом в очереди и длительности непосредственной обработки: ргц = шц + Ру , где соц - длительность ожидания в очереди на сервере j запроса от клиента номер Ру - длительность обработки запроса от клиента номер I на сервере номер].

В общем случае работа сервера может быть описана стандартной однолинейной СМО (МЛЗ/1) с общей очередью запросов от всех клиентов (внутренних и внешних). Интенсивности потоков которых X) й А.2. Здесь Ял =Ц.

Длительность обработки заявки от внутреннего клиента случайная величина Рц, а длительность обработки заявки от

внешнего клиента - случайная величина

Среднее время пребывания в очереди заявки, поступающей в СМО (независимо от типа, поскольку все они обрабатываются в

порядке общей очереди): = + ^^—, где Ы2> - второй

1-р,

момент случайной величины с функцией распределения, имеющей ПЛС (Уф.

Средняя длина очереди определяется по формуле: = (Я.1+Я.2) Загрузка сервера} определяется по формуле: р, = (XI + кг) В^ Время пребывания заявки в системе (время обработки на сервере $ определяется по формуле: В^ = + В^ здесь ВгЗ - среднее значение случайной величины ргу поскольку заявки всех типов и от разных клиентов перемешиваются, Bj - среднее значение случайной величины рц. Среднее время обработки запроса клиента номер 1: II

в.=1в2|+В11.

И

Математическая модель режима работы с выделенным центральным сервером. Как и в предыдущем случае суммарный поток заявок на выделенный сервер равен суммарному потоку запросов °от всех клиентов системы. Время обработки запроса

пользователя складывается из длительности передами запроса и ответа (длительность обмена данными между клиентом и выделенным сервером), длительности ожидания запросом в очереди на сервере и длительности непосредственной обработки запроса сервером.

Выделенный сервер работает поочередно либо в режиме обслуживания клиентов (обработка запросов), либо в режиме согласования данных с серверами локальных БД. Длительность периода согласования данных, «прогулка», складывается из длительности обмена данными между выделенным сервером и всеми серверами локальных БД и длительности обработки запросов на локальных серверах и ответов на выделенном сервере. Запросы от внутренних клиентов стоят в очереди, ожидая окончания "прогулки" сервера и начала обслуживания. Длительность «прогулхи» -случайная величина 0<у<оо с фу!псцией распределения 0(0 и конечными первым и вторым моментами 0<ук»н О^угоо.

Среднее время обслуживания запроса Тгруп складывается из дв^х слагаемых: Тгруп = 1<ч+ и2>, где Ю) - среднее время ожидания запросом от момента его появления до окончания «прогулки»; 1<:> -Среднее время обработки группового запроса. 1

Среднее время обработки группового запроса определяется

в 1 «

как сумма случайных величин: Р=Р1+Р2+Рз+ЕР 4+ Р 5+Рб. где Р1 -время

, 1

передачи сообщений (запросов) к серверу, р2-время пересылки сообщения подтверждения правильности запросов всем клиентам, рз-время обработки подтверждающего сообщения клиентом, р4-время пересылки одного ответа клиента на подтверждающее

сообщение, р 5-время обработки группового запроса, состоящего из

к запросов на сервере, (Зб-время рассылки ответов клиентам.

Пусть pi - стационарная вероятность того, что по окончании «прогулки» очередь будет состоять m i запросов, а - вероятность того, что за выделенный квант времени было послано i запросов, г -максимальное количество запросов, которое может быть обработано в группе за один раз.Тогда вероятности p¡ могут быть вычислены как решения системы уравнений:

Pe-Poio +Mo + Mo+-+Pr*Q 1Н - íoii + PiKi+ P,ii ♦ Pf+i'e

- * Mi * * »M«I + Pr+jio

•••••

». - Pe«. + Pili + 9г1щ+...*9,1ш * Pr+1Iл4 + P,

Рассмотрены да а случая: замкнутая система и открытая система. Принципиальное отличие в составлении системы уравнений для этих двух случаев заключается в том, что в замкнутой системе с п клиентами в очереди не может быть больше, чем п запросов, т.к. каждый клиент, пославший запрос, ждет на него ответ и не вырабатывает новых запросов. В открытой системе может быть бесконечное количество запросов и бесконечные очереди, поскольку количество клиентов считается неограниченным.

Математическая модель замкнутой системы с групповой обработкой запросов. Здесь решается система из n+1 уравнений, т.к. при количестве клиентов равному п в закрытой системе не может быть в очереди больше п запросов. Для пуассоновского потока

_ Л

запросов а =-.

Получено выражение для среднего времени ожидания клиентом обслуживания запроса на сервере:

Тгрламх — Ъ2- + bu+bn+bi3+nbi4+ bis Hfl +bi6.

Математическая модель открытой системы с 1рунповой

обработкой запросов. Для открытой системы с помощью введения

« |

производящей функции вероятностей л(х)= , получена

1=0

формула для вычислешш ^'-среднего времени групповой обработки запроса: t'2»=bn+bi2+bi3+nbi4+Jvbi5yi+bi6. Среднее время ожидания обработки группового запроса равно: Тгр.отч>.= t(l)+

t(2,= ^- +bn+bi2+bi3+nbM+Xbi5yi+bi«. |

1

Таким образом в третьей главе | определены состав математических моделей и семантика основных параметров систем массового обслуживания, использующихся для модел}фовашш системы. Это позволило установить связь между параметрами и

характеристиками реальных объектов исследуемой системы И их

/

Математических моделей. Определены режимы взаимодействия /клиентов и серверов в СМО для различных способов организации работы в системе: самостоятельный поиск; клиентами нужной информации; использование выделенного сервера для централизованного поиска. Построенные модели позволили вычислять характеристики системы, оценить эффективность различных методов взаимодействия.

В четвертой главе приводятся результаты практического применения разработанных в диссертации методов для построения и анализа распределенной гетерогетюй информационно-поисковой

системы снабжения автозапчастями государственных и частных

предприятий Вьетнама.

Основные результаты

1. Проведен анализ особенностей построения и функционирования распределенных гетерогенных систем локальных баз данных, определены технологии, использование которых позволяет построить систему, удовлетворяющую пользователя по своим функциональным и экономическим характеристикам. Показано, что технология "клиент-сервер" является наиболее приспособленной для построения систем подобного класса.

2. Определены основные параметры и характеристики сетевых систем, протоколы и среда передачи данных, обеспечивающие качественную связь между клиентами и серверами системы. Показаны возможности использования коммутируемых телефонных каналов для построения системы.

3. Исследованы возможные способы организации взаимодействия между разнородными локальными базами данных, входящими в состав системы, выделены особенности применения Internet и ODBC технологий и обоснованы варианты их применения для построения системы.

4. Определены базовые способы организации взаимодействия между клиентами и серверами в системе, которые обеспечивают поиск требуемой информации на серверах удаленных баз данных с учетом возможностей каналов связи, производительности серверов и временных параметров системы, таких как частота поступления запросов, частота обновления информации в локальных базах данных, длительность обработки запросов серверами.

5. Разработаны математические модели для расчета характеристик системы, позволяющие вычислять длительность обработки запроса пользователя (клиента), длины очередей на серверах, загрузку серверов для различных способов организации взаимодействия между клиентами и серверами. Примените моделей позволяет оценить возможность и эффективность применения того или иного способа в зависимости от параметров каналов связн, серверов, частоты появления запросов различного типа.

6. Показаны возможности применения полученных результатов дня построений распределенной гетерогенной информационно-поисковой системы, предназначенной для хранения и поиска информации о наличии автомобильных ! запасных частей на складах государственных и частных предпр1штнй.

Основные результаты диссертационной работы опубликованы в следующих работах:

1. Нгуен Зуй Чай, Саксонов Е.А. Организация взаимодейсгвия в распределенной системе локальных баз данных. // Тезисы докладов Международного научно-технического смеминара "Проблемы передачи и обработки информации в

информационно-вычислительных сетях". С.95.

- Москва. - 1997 г.

2. Саксонов Е.А., Нгуен Зуй Чай. Построение и организация работы гетерогенной распределенной системы локальных баз данных. // Тезисы докладов Международного научно-технического смеминара "Проблемы передачи и обработки информации в информационно-вычислительных сетях". -Москва. - 1997 г. - С.96-97. ^