автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.15, диссертация на тему:Использование технологий баз данных для системной интеграции гетерогенных комплексов научных вычислений

На правах рукописи

Тхуреин Киав Лин

ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИЙ БАЗ ДАННЫХ ДЛЯ СИСТЕМНОЙ ИНТЕГРАЦИИ ГЕТЕРОГЕННЫХ КОМПЛЕКСОВ НАУЧНЫХ ВЫЧИСЛЕНИЙ

Специальность: 05.13.15 Вычислительные машины, комплексы и компьютерные сети

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

2 2 И ЮН 2012

Санкт-Петербург 2012

005046078

Работа выполнена в Санкт-Петербургском государственном морском техническом университете «СПбГМТУ»

Научный руководитель — доктор физико-математических наук, профессор Богданов Александр Владимирович

Официальные оппоненты:

доктор технических наук, профессор Гордеев Александр Владимирович кандидат технических наук, начальник отдела компьютерного дизайна «ЗАО, Инжиниринговая Компания, НЕОТЕК МАРИН» Анищенко Ольга Петровна

Ведущая организация — Факультет прикладной математики и процессов

управления Санкт-Петербургского Государственного университета

Защита диссертации состоится « 27 » июня 2012г. в « » часов на заседании диссертационного совета Д212.238.01 Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В.И. Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке Санкт-Петербургского государственного электротехнического университета «ЛЭТИ».

Автореферат разослан « р5 2012 г.

Ученый секретарь совета по защите докторских и

кандидатских диссертаций, к.т.н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Одной из главенствующих тенденций развития современных вычислительных средств по-прежнему остается существенное увеличение объемов обрабатываемых данных и связанные с этим проблемы создания оптимальных архитектур для их хранения и обработки. Одним из наиболее эффективных архитектурных решений проблемы хранения и обработки сверхбольших баз данных является погружение в распределенную вычислительную среду, обеспечивающую параллельную обработку запросов на многопроцессорных вычислительных системах. В области технологий параллельной обработки запросов для реляционных баз данных достигнуты значительные успехи, воплощенные в целом ряде исследовательских и коммерческих СУБД. В качестве примеров успешных коммерческих проектов создания параллельных систем баз данных можно привести UDB DB2, NonStop SQL и Teradata. Подобные системы объединяют тысячи процессоров и жестких дисков и способны обрабатывать петабайтные базы данных. Тем не менее, в области параллельных систем баз данных и консолидации до сих пор остается ряд направлений, требующих дополнительных научных исследований. Одно из них - дальнейшее развитие архитектуры параллельных систем баз данных с целью консолидации ресурсов гетерогенных вычислительных комплексов.

Задача консолидации ресурсов не решена до сих пор даже на уровне лидеров рынка. Еще хуже обстоит дело для распределенных систем, где проблемы возникают уже на уровне консолидации данных.

С другой стороны, для большинства приложений было бы актуальным и эффективным даже промежуточное решение - консолидация серверов и данных. Если принять, что консолидация данных в такой парадигме является первоочередной, возникает вопрос - какие СУБД могут справиться с этой задачей?

В диссертации рассматривается технология консолидации баз данных для системной интеграции гетерогенных комплексов, решающих задачи проведения научных вычислений и поддержки принятия решений. При этом основное внимание обращено на создание элементов виртуального полигона (сервисов), необходимых для создания, управления и консолидации базы данных. При этом тестирование СУБД в распределённых гетерогенных вычислительных комплексах позволяет выбрать архитектуру и компоненты СУБД для задач консолидации.

Цель и задачи исследования. Целью диссертации является теоретический анализ и экспериментальное исследование вопросов системной интеграции гетерогенных комплексов для улучшения характеристик их производительности и расширения диапазона приложений, разработка научных методов и алгоритмов организации параллельной и распределенной обработки информации, оптимизация приложений баз данных. С точки зрения поиска перспективных архитектурных решений. Целью диссертации является создание такого операционного окружения для базы данных и консолидации в распределенной вычислительной среде, которое является некоторым общим решением для относительно небольших сетей и может быть использовано, и в научных институтах, и в коммерческих предприятиях, в которых ресурсы могут располагаться как в одном здании, так и в географически удаленных объектах.

Для достижения этой цели необходимо было решить достаточно сложные задачи выбора прототипа архитектуры системы, разработки алгоритмов, а так же проблемы создания и адаптации соответствующих программных продуктов. Сама такая система реализуется в виде блоков, которые составляют распределенный виртуальный вычислительный комплекс, называемый виртуальным полигоном.

Предмет исследования. Методы теоретического анализа и экспериментальное исследование архитектур вычислительных комплексов, в том числе, гетерогенных, методики специальной обработки данных больших объемов, информационные модели соответствующих архитектур, методы оптимизации программного обеспечения для гетерогенных комплексов, способы обеспечения интеграции компьютерных систем.

Методы исследования. Анализ и синтез архитектурных решений, технологии проектирования информационных систем, программного обеспечения, баз данных и консолидации ресурсов. Экспериментальные исследования реляционной модели данных на различных архитектурах. Использование предложенных автором программ для построения моделей управления распределенными массивами данных.

Научная новизна работы заключается в следующем: I. Предложен новый подход для консолидации данных в гетерогенном распределенном вычислительном ресурсе.

2. Создана модель операционной среды, позволяющая моделировать работу приложения с интенсивной параллельной и распределенной обработкой информации.

3. Создано специализированное программное обеспечение для создания, консолидации и управления информационными структурами.

Достоверность научных результатов н выводов подтверждена результатами тестирования СУБД в распределенной среде гетерогенных вычислительных комплексов и консолидации информационных ресурсов таких комплексов, а также практическим использованием разработанных баз данных и предложенного программного продукта.

Основные научные результаты.

1. Разработана методика консолидации баз данных в гетерогенном распределенном вычислительном ресурсе.

2. Создана модель операционной среды, позволяющая моделировать работу приложения с интенсивной параллельной и распределенной обработкой информации.

3. Создано специализированное программное обеспечение для консолидации и управления информационными структурами.

Научные положения, выносимые на защиту:

• Алгоритмы консолидации ресурсов в гетерогенной среде, основанные на распределенных базах данных.

• Методика специальной обработки данных, позволяющая объединить возможности промежуточного программного обеспечения Sun Grid Engine и СУБД DB2 на распределённых гетерогенных вычислительных ресурсах с целью улучшения их технико-экономических и эксплуатационных характеристик.

• Информационная модель обработки данных и ее оптимизация для консолидации данных в гетерогенном вычислительном комплексе.

Практическую значимость составляют:

1. Программный комплекс UDB DB2 в гетерогенном распределенном вычислительном комплексе.

2. Программные продукты, осуществляющих тестирование и консолидацию в гетерогенной распределенной вычислительной среде.

Внедрение результатов работы. Результаты диссертационной работы внедрены в гетерогенном вычислительном комплексе факультета ПМ-ПУ СПбГУ для поддержки баз данных и консолидации ресурсов и использованы в учебном процессе кафедр ВТ и ИТ СПбГМТУ и ВТ СПбГЭТУ «ЛЭТИ».

Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях:

1. Международная конференция МОРИНТЕХ 2009, Санкт-

Петербург, 2009 г.

2. Международная конференция «Computer Science & Information

Technologies»,Yerevan, Armenia, 2009 г.

3. 4-ая Международная конференция «Distributed Computing and

Grid-Technologies in Science and Education». Dubna, 2010 r.

4. Международная конференция « Eighth International Conference on

Computer Science and Information Technologies » Yerevan, Armenia,

2011Г.

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 6 статьях и докладах, из них по теме диссертации 6, среди которых 1 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 5 международных, всероссийских и межвузовских научно-практических конференциях.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав с выводами, заключения и списка литературы, включающего 115 наименований. Основная часть работы изложена на 142 страницах текста. Работа содержит 68 рисунков.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность диссертационной работы и сформулированы ее основные цели и задачи, дано описание технологии консолидации ресурсов и создания баз данных в предметной области научных вычислений и при поддержке принятия решений, приведен краткий обзор предметной области.

Первая глава посвящена исследованию теоретических основ технологий создания распределенных вычислительных сред, а также методы развития таких технологий на гетерогенных структурах. В последние десятилетия информационные системы строятся по сетевой технологии и на концепции баз данных. Наиболее передовой технологией построения баз данных является технология «клиент-сервер» (рис.1). Клиент-сервер — это не только архитектура, это парадигма, пришедшая на смену устаревшим концепциям. Сервер, который физически может находиться на том же компьютере, а может на другом конце земного шара, обрабатывает запрос клиента и, произведя соответствующие манипуляции с данными, передает клиенту запрашиваемую порцию данных.

Эволюционно сложилось несколько моделей и методов данной технологии:

• модель и метод файлового сервера (File Server - FS);

• модель и метод доступа к удаленным данным (Remote Data Access

- RDA);

• модель и метод сервера базы данных (DataBase Server - DBS);

• модель и метод сервера приложений (Application Server - AS).

Рис1. Архитектура технологии «клиент-сервер»

По технологии обработки данных базы данных подразделяются на централизованные и распределенные.

Централизованная база данных - база данных, хранящаяся в памяти одной вычислительной системы. Распределенная база данных - несколько пересекающихся или даже дублирующих друг друга частей, хранимых в различных ЭВМ вычислительной сети. Работа с такой базой осуществляется с

помощью системы управления распределенной базой данных (СУРБД). По способу доступа к данным базы данных разделяются на базы данных с локальным доступом и базы данных с удаленным (сетевым) доступом. Системы централизованных баз данных с сетевым доступом предполагают различные архитектуры подобных систем: файл-сервер и клиент-сервер.

Особенности управления в распределенных системах - объединение компьютеров в единые вычислительные системы на основе технологии компьютерных сетей - поставили перед разработчиками информационных систем новые задачи, что и предопределило необходимость реализации принципиально новых подходов к организации информационного процесса в компьютерных сетях.

Распространение концепции баз данных (БД) на новый уровень позволяет определить распределенную систему как комплекс логически интегрированных и территориально рассредоточенных БД, технических, программных, языковых и организационных средств, предназначенных для накопления, ведения и использования информации. В свою очередь, распределенная база данных (РБД) определяется как интегрированная БД, физически размещаемая на нескольких территориально распределенных компьютерах сети.

В методе сервера приложений; и применении модели сервера приложений (АБ-модели) процессы, выполняющиеся на компьютере-клиенте, как обычно отвечают за интерфейс с пользователем. Прикладные функции выполняются сервером приложений. Все операции над информационными ресурсами выполняются сервером баз данных. 1ЮА и ОВ8-модели опираются на двухзвенную схему разделения функций. В АБ-модели реализована трехзвенная схема разделения функций, где прикладной компонент выделен как важнейший изолированный элемент приложения (рис. 2).

Модель сервера приложений

Рис 2. Модели доступа в современных информационных системах

В завершение, в главе делается вывод, что в распределенных информационных системах задачи управления являются комплексными. Одной из задач управления является управление доступом к информационным ресурсам. Наиболее передовой технологией такого управления является технология «клиент-сервер». Управление выполнением основных функций распределенной информационной системы осуществляет комплекс программных средств, который включает систему управления распределенными базами данных (СУРБД) в качестве основного компонента, а также сетевую операционную систему, систему разграничения доступа и др. К основным из них можно отнести четыре альтернативных стратегии распределения: централизация, расчленение, дублирование и смешанная стратегия. Таким образом, в данной главе сформулированы возможные технологии, используемые в основных практических БД, в том числе и в стандартах SQL.

Во второй главе рассматриваются применяемые алгоритмы обработки в распределенных вычислительных средах и технология консолидации. Появление компьютерных сетей позволяет пользователю получать доступ к отдаленным ресурсам, которые доступны в другой машине. В результате можно запускать вычисления на так называемых распределенных системах. Различные аппаратные средства, архитектура и особенности программного

обеспечения используются для реализации распределенного вычисления. На более низком уровне это необходимо, чтобы связать центральные процессоры некой сетью, независимо от того, что они связаны технологически или с помощью устройств и кабелей. В более широком смысле это необходимо, чтобы связать процессы, происходящие на задействованных центральных процессорах системой коммуникации.

Распределенная СУБД - это комплекс программ, предназначенный для управления распределенной БД и позволяющий сделать распределенность информации «прозрачной» для конечного пользователя. Из определения РаСУБД следует, что для конечного пользователя не должен быть заметен тот факт, что распределенная БД состоит из нескольких фрагментов, которые могут размещаться на нескольких компьютерах, расположенных в географически распределенной сети и к ней возможен параллельный доступ нескольких пользователей.

Распределенные БД (РаБД) можно классифицировать на гомогенные и гетерогенные БД. Гомогенной РаБД управляет один и тот же тип СУБД. Гетерогенной РаБД управляют различные типы СУБД, использующие разные модели данных - реляционные, сетевые, иерархические или объектно-ориентированные СУБД.

Технология консолидации в системах распределенных вычислений -вычислительного облака - состоит в объединении множества компьютеров и серверов в единую среду, предназначенную для решения определённого рода задач, например, научных проблем или сложных расчётов. Со временем в такой структуре накапливается множество данных, распределенных по вычислительным узлам и хранилищам. Обычно приложения, исполняемые в распределенной вычислительной среде, обращаются только к одному из источников данных.

Главной проблемой подхода к хранению информации в распределенных вычислительных системах является разнородность и удаленность источников данных. Решением проблемы является создание точки централизованного доступа, обеспечивающей единый интерфейс обращения ко всем источникам данных вычислительного облака в режиме реального времени. Необходимо выбрать наиболее подходящий подход и соответствующую платформу, обеспечивающую оптимальную технологию консолидацию.

В конце главы делается вывод, что консолидация данных в распределенных гетерогенных системах является важной и сложной задачей. Из исследованных подходов к решению этой задачи, наиболее подходящим

был найден подход с организацией федеративных баз данных. Создание и управление такой структурой требует использования специализированного программного обеспечения, которое в свою очередь должно отвечать ряду требований к таким характеристикам как адекватность гетерогенной структуре, производительность, прозрачность, безопасность, и т.д. Консолидация данных является сложной многоступенчатой процедурой и важнейшей составляющей аналитического процесса, обеспечивающей высокий уровень аналитических решений.

В работе предложена модель программной системы, решающей эти задачи и рассмотрены проблемы ее технической реализации.

В третьей главе приводится промежуточное программное обеспечение создания БД для гетерогенных систем. Проанализированы разные ведущие серверные СУБД, основы их функционирования и взаимодействия. Помимо собственно средств функционирования современные серверные СУБД обычно предоставляют дополнительный набор сервисов, связанных с обслуживанием хранения и обработки данных, созданием клиентских приложений, сменой СУБД или ее версии, обслуживанием нескольких баз данных, публикацией данных в Интернет.

В работе были протестированы различные серверные СУБД на разных платформах. Реляционные базы данных широко используется в приложениях. На сегодня известно большое число различных серверов баз данных SQL. Нами были исследованы следующие основные серверные СУБД - Oracle, IBM DB2, Microsoft SQL Server и PostgreSQL - и произведено сравнение их работы на каждом из основных этапов функционирования.

Выяснено, что по сравнению с информационными системами, основанными на настольных СУБД, системы, использующие серверные СУБД, обладают более высокой производительностью, меньшим сетевым трафиком, более совершенными средствами обеспечения безопасности, а также возможностями перенести на сервер баз данных часть кода, связанную с реализацией бизнес-правил и обработкой данных. Кроме того, анализируются возможные проблемы, которые могут возникнуть в процессе перехода от настольной СУБД к серверной, а также задачи, стоящие перед разработчиками, осуществляющими такой переход.

В четвертой главе приведено описание технической установки и конфигурации программных комплексов, содержащие системы DB2, использованы технологии создания баз данных для системной интеграции гетерогенных комплексов, предназначенных для научных вычислений.

В работе предложены и разработаны элементы виртуального полигона, предназначенного для исследования консолидации используемых вычислительных компонентов и средств хранения данных на базе Sun Grid Engine. Технология распределенных вычислений, Grid технологии обеспечивают хранение и обработку больших объемов данных, консолидацию сложных структур на базе гетерогенных вычислительных ресурсов, а также синхронную визуализацию. В реальном времени производится объединение всех процессов, влияющих на конечный результат агрегатирования сложных объектов поведения. Такое объединение не может быть организовано на одном компьютере только потому, что требует адекватного использования различных ресурсов, высокопроизводительных вычислений, обработки данных и визуализации в реальном времени, и.т.д. Если рассматривать весь виртуальный полигон, как единое целое для консолидации используемых вычислительных компонентов, получаем, что он является комплексом многоуровневых приложений, что и требуется для имитации распределенной среды.

В результате анализа различных возможных комбинаций вычислительных платформ и промежуточного ПО был сделан следующий выбор:

1. В качестве промежуточного программного менеджера выбрана SGE

(Sun Grid Engine);

2. Для хранения и управления данными - IBM DB 2;

3. Создание портала и шлюза - UNICORE;

4. Приложение - WRF.

Рис.3. Взаимодействие сервисов при управлении данными в распределенном параллельном окружении на базе SGE

Для тестирования предложенных разработок выбрана DB2, так как у этой программы преимуществом является генерирование сводных таблиц, которые значительно повышают эффективность работы СУБД в качестве хранилищ данных. DB2 представляется наилучшей из высокопроизводительных систем, изученных в работе. Данное решение можно рассматривать как наилучшие Базы Данных для консолидации используемых вычислительных компонентов и средств хранения данных в виртуальном полигоне.

В работе была построена и протестирована распределенная СУБД, размещенная на сервере в университете СПбГУ (факультет ПМ-Г1У).

На Рис 4 показано, как IBM DB2 может быть использована для консолидации серверов баз данных, связанных друг с другом с помощью TCP / IP. Connect сервер и сервер приложений находится между пользователем и сервером базы данных.

Connected Se*ver Federated Database

Application Server

Database Servei

Рис 4. Разработка архитектуры

База данных DB2 была установлена на сервере под управлением ОС Linux. Сервер (СПБГУ-ПМПУ). Система DB2 содержит клиент DB2 Administration Client, который реализует графические инструментальные средства, позволяющие выбирать соответствующую производительность, получать доступ к удаленным серверам, осуществлять управление всеми серверами из одного источника, разрабатывать мощные приложения и обрабатывать запросы.

___ Ülurein<3localhost:-/DB2_Package/334_ESE_LNX26_32_NLV - - х

File Edt Vjew lenninal Tabs HHp

334_ESE_LNX26_32_NLV/doc/cs_CZ/db2ir/db2irlS.htm Г»

334_ESE_LNX26_32_NLV/doc/cs_CZ/db2ir/db2irl4.htm

334_ESE_lNX26_32_NIV/doc/cs_CZ/db2ir/db2irl8.htm

334_ESE_LNX26_32_NlV/doc/cs_CZ/db2ir/db2irll.htm

334_ESE_INX26_32_NIV/doc/cs_CZ/db2ir/db2irl9.htm

334_ESE_LNX26_32_NLV/doc/cs_CZ/db2ir/db2ir05.htm

334_ESE_lNX26_32_NLV/doc/cs_CZ/install.htm

334_ESE_LNX26_32_NLV/doc/cs_CZ/release.txt

334_ESE_INX26_32_NLV/doc/cs_CZ/install.txt

334_ESE_LNX26_32_NLV/doc/C

334_ESEJNX26_32_NlV/doc/it_IT/

334_ESE_LNX26_32_NLV/doc/it_IT/install .htm

334_ESE_LfiX26_32_NLV/doc/it_IT/install,txt

334_ESE_lNX26_32_NLV/doc/it_IT/release. txt

334_ESE_XNX26_32_NlV/db2setup

334_ESE_LNX26_32_NLV/db2_install

334_ESE_LNX26_32_NLV/db2_deinstall

[thureineiocalhost DB2_Package]$ ls

334_ESE_1NX26_32_N1V FP10_MI00142. tar

c829gml.tar IBMJava2-JRE-l.3.1-12.Í386.rpm

[thureinPlocalhost DB2_Package]i cd 334_ESE_LNX26_32J41V/

[thureineiocalhost 334_ESE_1NX26_32_N1V]$ Is К

db2 db2_deinstall db2_instal] db2setup doc

[thureineiocalhost 334_ESE_1NX26_32_N1V]J ./db2installTl k

Рис 5 - Установка СУБД DB2 на linux Сервер

В системе был обеспечен обмен данных на сервере с использованием SQL функций для обеспечения единого представления распределенных гетерогенных данных.

0 • • Terminal

File Edit View Terminal Help

Database alias Database nane Node naae

Database release level

Directory entry type Catalog database partition nuaber Alternate server hostnaae Alternate server port nuaber

Database alias Database name Node name

Database release level

Directory entry type Catalog database partition nuaber Alternate server hostname Alternate server port nuaber

db2 => I

= PHOIHAR » PHOTHAR = PHOTHAR

= HYDB = HYDB = PHOTHAR

STIO STNAHE STDOB STBOP STOEPARTHENT 5TSEX STMAIL

1868 Aung 81/18/1867 Kyannar 1 II aung@giail.cw

2806 Haunq 12/13/1» Hyaniar 4 H naung@giiail.CM

3668 Бое 89/87/1983 Hyarnar 5 F Soe@iiotiail.CDB

4688 Castia 12/26/1984 Russia 4 H

5688 Haslli 16/64/1987 RUSiia 12 F Haslngiail.m

6668 Olga 62/15/1986 Russia 13 F 01ga@aail.ru

7886 Yokohata 69/18/1984 Japan 3 К

1886 ¥ri 18/38/1964 Japan 7 F

9866 Hichael 82/14/1965 US* 6 И

1166 nrcaas 11/23/1964 UK 8 И

1266 John 83/28/1987 French 16 н

11 record(s) selected.

db2 => I

Рис.6. Иллюстрация фрагмента программы для консолидации данных и пример использование SQL команд в распределенном сервере

База данных обеспечивает и сохраняет нужную информацию в процессе вычисления по модели WRF (Weather Research and Forecasting «Исследования и Прогнозирование Погоды») в распределенной среде. Технологии распределенных вычислений и хранения данных представляют собой интерес для тех исследователей которые занимаются решением задач, требующих значительных затрат вычислительных ресурсов.

Рис 7. Иллюстрация процессов вычисления по модели WRF на сервере DB2

Исследована производительность программного обеспечения на системе IBM с использованием процессора AMD и VMware ESXServer 3.0.1.

Проведено исследование моделирования производительности Веб-транзакционной нагрузки с использованием распределенной СУБД IBM DB2. В этом тесте были смоделированы 10 пользователей для каждого используемого виртуального процессора. На Рис. 8 показаны результаты сравнения эффективности работы DB2 с 1-VCPU и 2-VCPU виртуальных машин.

Рис 8. Иллюстрация масштабируемости с постоянным числом виртуальных

машин

Из эмпирических результатов в этом исследовании следует, что запуск виртуальных сред Vmware на системе IBM X сервер на базе AMD процессора с использованием базы данных IBM DB2 приводит к более эффективной масштабируемости по пропускной способности.

По результатам, изложенным в четвертой главе, можно сделать вывод, что в работе предложена оригинальная концепция анализа и обработки больших массивов данных в гетерогенных вычислительных комплексах, основанная на использовании комплексного подхода, который предполагает применение определенного набора технологий объединения ресурсов, виртуализации серверов данных и опирается на федеративный подход к консолидации данных. позволяющий эффективно работать в многоплатформенных средах и с неоднородными данными. Серия испытаний и соответствующий анализ, приведенный выше, подтверждает вывод о том, что запуск виртуальных машин VMware на серверах IBM System х на основе процессоров AMD Opteron и с использованием IBM DB2 может обеспечить

эффективную готовую платформу для размещения нескольких виртуализированных рабочих нагрузок обработки транзакций. Результаты ясно показывают, что виртуальное операционное окружение в значительной степени устойчиво при увеличении количества запросов и количества пользователей, при этом насыщения при увеличении числа виртуальных машин не было выявлено.

ЗАКЛЮЧЕНИЕ.

В настоящей диссертации получены следующие результаты.

• Создано операционное окружение для базы данных и консолидации данных в распределенной вычислительной среде. Данное окружение является некоторым общим решением для относительно небольших сетей и может быть использовано в научных институтах и в коммерческих предприятиях, в которых ресурсы могут располагаться как в одном здании, так и в географически удаленных объектах.

• Разработана научная методика специальной обработки данных, которая позволяет объединить возможности БОЕ и ОВ2 для СУБД на распределённых гетерогенных вычислительных ресурсах, и которая явилась важным шагом в глобальной задаче консолидации ресурсов.

• Получены результаты тестирования, которые ясно показали, что базы данных в распределенной вычислительной среде могут служить эффективным средством консолидации программного обеспечения, а практическое использование разработанных методик позволяет существенно повысить эффективность обработки данных и улучшить масштабирование распределенных систем.

• Поскольку предлагаемые методики и продукты были опробованы на разных платформах и операционных системах, то можно надеяться, что они найдут широкое применение не только в распределенных вычислительных комплексах, но и для кластерных вычислений.

Публикации в изданиях, рекомендованных ВАК России:

1. А.В.Богданов, Тхуреин Киав Лин. Использование технологий баз данных для системной интеграции гетерогенных комплексов научных вычислений [текст] // Известия СПбГЭТУ «ЛЭТИ». №4/2012 г., с. 21-24.

Другие статьи и материалы конференций:

2. Тхуреин Киав Лин, Использование технологии DB2 для интеграции гетерогенных комплексов [текст] // Сборник докладов 5-я Общероссийская конференция молодых и специалистов по морским интеллектуальным технологиям «Моринтех-юниор 2009». Санкт-Петербург. 10-12 ноября 2009 г. с.97-99.

3. A.V. Bogdanov, Thurein Kyavv Lvvin, Myo Tun Tun, La Min Htut. System integration of heterogeneous complexes for scientific computing, based on the use of DB2 technology [текст] (Система интеграции гетерогенных комплексов для научных вычислений, основанных на использовании технологии DB2) // Proceedings of International Conference «Computer Science & Information Technologies», 28 September - 2 October, 2009, Yerevan, Armenia, p.397-399.

4. A.V.Bogdanov, Thurein Kyaw Lvvin, A. Shuvalov, Soe Мое Lwin. Unconventional use of distributed Databses from server consolidation to consolidation resources [текст] (Нетрадиционное использование распределенных баз данных с сервера консолидации к консолидации ресурсов) // Distributed Computing and Grid Technologies in Science and Education: Proceedings of the 4th International Conf. (Dubna, June28-July 3, 2010). -Dubna: JINR,-p.75-81.

5. A.V.Bogdanov, A.B.Degtyarev, Thurein Kyavv Lvvin, Soe Мое Lwin. Problem of Development complex multi-layered applications in distributed environment [текст] (Проблемы развития комплекса многослойных приложений в распределенной среде) // Distributed Computing and Grid Technologies in Science and Education: Proceedings of the 4th International Conf. (Dubna, June28-July 3, 2010). -Dubna: JINR, -p.51-57.

6. A.V.Bogdanov, Thurein Kyavv Lwin, Ye Myint Naing. Database Used for Consolidation of Cloud Computing [текст] (База данных используется для консолидации облачении вычислении) // CSIT-2011 International Conference. (Armenia, September 26-30,2011). p-237-239.

Подписано в печать 24.05.12. Формат 60*84 1/16. Бумага офсетная. Печать офсетная. Печ. л. 1,0. Тираж 100 экз. Заказ 56.

Отпечатано с готового оригинал-макета в типографии Издательства СПбГЭТУ "ЛЭТИ"

Издательство СПбГЭТУ "ЛЭТИ" 197376, С.-Петербург, ул. Проф. Попова, 5

Содержание.

ВВЕДЕНИЕ.

Глава 1. Теоретические основы развития технологии Базы Данных и их методы.

1.1. Эволюция технологий баз данных.

1.2. Основные понятия баз данных.

1.3. Базы Данных моделей и методов.

1.4. Базовая модель и метод «клиент-сервер» - принцип централизованной базы данных.

1.5. Модификации модели и метода «клиент-сервер».

1.5.1. Модель и метод доступа к удаленным данным.

1.5.2. Модель и метод сервера базы данных.

1.5.3. Модель и метод сервера приложений.

1.6. Программы-агенты и модель «клиент-агент-сервер».

1.7. Особенности управления в распределенных системах.

1.8. Управление транзакциями и синхронизация.

1.8.1. Интегрированные или федеративные системы и мультибазы данных.

Выводы.

Глава 2. Применяемые алгоритмы и технологии.

2.1. Распре деленных вычислительных сред.

2.2. Архитектура распределенной БД.

2.2.1. Гомогенные и гетерогенные распределенные БД.

2.3. Технология Консолидации в системах распределенных вычислений.

2.3.1. Характеристики интеграции данных.

2.3.2. Консолидация данных.

2.3.3. Федерализация данных.

2.3.4. Распространения данных.

2.3.5. Гибридный подход и Гибридные хранилища данных.

2.3.6. Обзор существующих подходов к консолидации.

2.3.7. Архитектура централизованных баз данных.

2.3.8. Архитектура федеративных баз данных.

2.3.9. Сравнение федеративного и централизованного подходов.

2.3.10. Требования к программному обеспечению федеративных баз данных.

2.3.11. Существующие платформы федеративных баз данных.

2.4. Основные задачи консолидации данных.

2.5. Обобщенная схема процесса консолидации.

Выводы.

Глава 3. Промежуточное программное обеспечение БД для гетерогенных систем.

3.1. Промежуточное ПО доступа к базам данных.

3.2. Собственное ПО промежуточного слоя.

3.3. Основное промежуточное ПО доступа к БД.

3.4. Middleware.

3.5. Серверные СУБД и основы функционирования.

3.5.1. Oracle.

3.5.2. Установка Oracle Database на Linux.

3.5.3. СУБД Microsoft SQL Server.

3.5.4. Установка СУБД «MS SQL Server».

3.5.5. Создание пользователя базы данных.

3.5.6. Создание и настройка алиаса в ODBC для базы данных MS SQL Server.

3.5.7. PostgreSQL

3.5.8. Установка сервера баз данных PostgreSQL на Ubuntu.

3.5.9. IBM DB2.

3.5.10. Установка и настройка DB2 на Linux Server.

3.5.11. Администрирование баз данных с помощью Центра управления (Control Center).

Выводы.

Глава 4. Использование технологии баз данных для системной интеграции гетерогенных комплексов научных вычислений.

4.1. Причина выбора DB2 для гетерогенных систем.

4.2. Распределенные Базы данных. Работа с данными на удаленном сервере.

4.2.1. Администрирования баз данных на сервере.

4.3. Тестирование работы многопоточной архитектуры сервера DB2.

4.4. Использование SQL функций для обеспечения единого представления распределенных гетерогенных данных.

4.4.1. Создание БД с помощью DB2 для WRF и использование разделов таблиц на Сервере.

4.5. Исследование IBM DB2 в операционном окружении VMware Infrastructure.

4.5.1 Результаты тестирования.

4.5.2. Результаты с 2 -VCPU виртуальными машинами.

4.5.3. Сравнение 1-VCPU и 2-VCPU виртуальных машин.

4.5.4. Сравнение с родной операционной среде.

Выводы.

Современные многопроцессорные системы в большинстве случаев организуются по иерархическому принципу. Например, большая часть вычислительных кластеров сегодня имеют трехуровневую архитектуру. В рамках такой архитектуры многопроцессорная система строится как набор однородных вычислительных модулей, соединенных высокоскоростной сетью. Это - первый уровень иерархии. Каждый вычислительный модуль является, в свою очередь, многопроцессорной системой с разделяемой памятью и образует второй уровень иерархии. Так как в современной кластерной системе, как правило, используются многоядерные процессоры, то мы получаем третий уровень иерархии. Еще одним источником многопроцессорных иерархий являются Опс1-технологии позволяющие объединять несколько различных кластеров в единую вычислительную систему. Подобная Опё-система будет иметь многоуровневую иерархическую структуру.

Одной из главенствующих тенденций развития современных вычислительных средств по-прежнему остается существенное увеличение объемов обрабатываемых данных и связанные с этим проблемы создания оптимальных архитектур для их хранения и обработки. Одним из наиболее эффективных архитектурных решений проблемы хранения и обработки сверхбольших баз данных является погружение в распределенную вычислительную среду, обеспечивающую параллельную обработку запросов на многопроцессорных вычислительных системах. В области технологий параллельной обработки запросов для реляционных баз данных достигнуты значительные успехи, воплощенные в целом ряде исследовательских и коммерческих СУБД. В качестве примеров успешных коммерческих проектов создания параллельных систем баз данных можно привести UDB DB2, NonStop SQL и Teradata. Подобные системы объединяют тысячи процессоров и жестких дисков и способны обрабатывать петабайтные базы данных. Тем не менее, в области параллельных систем баз данных и консолидации до сих пор остается ряд направлений, требующих дополнительных научных исследований. Одно из них - дальнейшее развитие архитектуры параллельных систем баз данных с целью консолидации ресурсов гетерогенных вычислительных комплексов.

Задача консолидации ресурсов не решена до сих пор даже на уровне лидеров рынка. Еще хуже обстоит дело для распределенных систем, где проблемы возникают уже на уровне консолидации данных.

С другой стороны, для большинства приложений было бы актуальным и эффективным даже промежуточное решение - консолидация серверов и данных. Если принять, что консолидация данных в такой парадигме является первоочередной, возникает вопрос — какие СУБД могут справиться с этой задачей?

В диссертации рассматривается технология консолидации баз данных для системной интеграции гетерогенных комплексов, решающих задачи проведения научных вычислений и поддержки принятия решений. При этом основное внимание обращено на создание элементов виртуального полигона (сервисов), необходимых для создания, управления и консолидации базы данных. При этом тестирование СУБД в распределённых гетерогенных вычислительных комплексах позволяет выбрать архитектуру и компоненты СУБД для задач консолидации.

Цель и задачи исследования. Целью диссертации является теоретический анализ и экспериментальное исследование вопросов системной интеграции гетерогенных комплексов для улучшения характеристик их производительности и расширения диапазона приложений, разработка научных методов и алгоритмов организации параллельной и распределенной обработки информации, оптимизация приложений баз данных. С точки зрения поиска перспективных архитектурных решений целью диссертации является создание такого операционного окружения для базы данных и консолидации в распределенной вычислительной среде, которое является некоторым общим решением для относительно небольших сетей и может быть использовано и в научных институтах, и в коммерческих предприятиях, в которых ресурсы могут располагаться как в одном здании, так и в географически удаленных объектах. I

Для достижения этой цели необходимо было решить достаточно сложные задачи выбора прототипа архитектуры системы, разработки алгоритмов, а так же проблемы создания и адаптации соответствующих программных продуктов. Сама такая система реализуется в виде блоков, которые составляют распределенный виртуальный вычислительный комплекс, называемый Виртуальным полигоном.

Предмет исследования. Методы теоретического анализа и экспериментальное исследование архитектур вычислительных комплексов, в том числе, гетерогенных, методики специальной обработки данных больших объемов, информационные модели соответствующих архитектур, методы оптимизации программного обеспечения для гетерогенных комплексов, способы обеспечения интеграции компьютерных систем.

Методы исследования. Анализ и синтез архитектурных решений, технологии проектирования информационных систем, программного обеспечения, баз данных и консолидации ресурсов. Экспериментальные исследования реляционной модели данных на различных архитектурах. Использование предложенных автором программ для построения моделей управления распределенными массивами данных.

Научная новизна работы заключается в следующем:

1. Предложен новый подход для консолидации данных в гетерогенном распределенном вычислительном ресурсе.

2. Создана модель операционной среды, позволяющая моделировать работу приложения с интенсивной параллельной и распределенной обработкой информации.

3. Создано специализированное программное обеспечение для создания, консолидации и управления информационными структурами.

Достоверность научных результатов и выводов подтверждена результатами тестирования СУБД в распределенной среде гетерогенных вычислительных комплексов и консолидации информационных ресурсов таких комплексов, а также практическим использованием разработанных баз данных и предложенного программного продукта.

Основные научные результаты.

1. Разработана методика консолидации баз данных в гетерогенном распределенном вычислительном ресурсе.

2. Создана модель операционной среды, позволяющая моделировать работу приложения с интенсивной параллельной и распределенной обработкой информации.

3. Создано специализированное программное обеспечение для консолидации и управления информационными структурами.

Научные положения, выносимые на защиту:

• Алгоритмы консолидации ресурсов в гетерогенной среде, основанные на распределенных базах данных.

• Методика специальной обработки данных, позволяющая объединить возможности промежуточного программного обеспечения Sun Grid Engine и СУБД DB2 на распределённых гетерогенных вычислительных ресурсах с целью улучшения их технико-экономических и эксплуатационных характеристик.

• Информационная модель обработки данных и ее оптимизация для консолидации данных в гетерогенном вычислительном комплексе.

Практическую значимость составляют:

1. Программный комплекс UDB DB2 в гетерогенном распределенном вычислительном комплексе.

2. Программные продукты, осуществляющих тестирование и консолидацию в гетерогенной распределенной вычислительной среде.

Внедрение результатов работы. Результаты диссертационной работы внедрены в гетерогенном вычислительном комплексе факультета ПМ-ПУ СПбГУ для поддержки баз данных и консолидации ресурсов и использованы в учебном процессе кафедр ВТ и ИТ СПбГМТУ и ВТ СПбГЭТУ «ЛЭТИ».

Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях:

1. Международная конференция МОРИНТЕХ 2009, Санкт

Петербург, 2009 г.

2. Международная конференция «Computer Science & Information

Technologies»,Yerevan, Armenia, 2009 г.

3. 4-ая Международная конференция «Distributed Computing and

Grid-Technologies in Science and Education». Dubna, 2010 r.

4. Международная конференция « Eighth International Conference on

Computer Science and, Information Technologies » Yerevan, Armenia,

2011Г.

Публикации. Основные теоретические и практические результаты диссертации опубликованы в 6, статьях и докладах, из них по теме диссертации 6, среди которых 1 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 5 международных, всероссийских и межвузовских научно-практических конференциях.

Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав с выводами, заключения и списка литературы, включающего 115 наименований. Основная часть работы изложена на 142 страницах текста. Работа содержит 68 рисунков.

Выводы

В данной главе, предложена оригинальная концепция анализа и обработки больших массивов данных в гетерогенных вычислительных комплексах, основанная на использовании комплексного подхода, который предполагает применение определенного набора технологий объединения ресурсов, виртуализации серверов данных и опирается на федеративный подход к консолидации данных, позволяющий эффективно работать в многоплатформенных средах и с неоднородными данными. Серия испытаний и соответствующий анализ, приведенный выше, подтверждает вывод о том, что запуск виртуальных машин VMware на серверах IBM System х на основе процессоров AMD Opteron и с использованием IBM DB2 может обеспечить эффективную готовую платформу для размещения нескольких виртуализированных рабочих нагрузок обработки транзакций. Результаты ясно показывают, что виртуальное операционное окружение в значительной степени устойчиво при увеличении количества запросов и количества пользователей, не демонстрируя насыщения при увеличении числа виртуальных машин.

Заключение

Таким образом, в настоящей диссертации центральной задачей является создание операционного окружения для базы данных и консолидации данных в распределенной вычислительной среде. Данное окружение является некоторым общим решением для относительно небольших сетей и может быть использовано и в научных институтах, и в коммерческих предприятиях, в которых ресурсы могут располагаться как в одном здании, так и в географически удаленных. Разработка научной методики специальной обработки данных, позволяющей объединить возможности 8СЕ и ОВ2 для СУБД на распределённых гетерогенных вычислительных ресурсах, явилась важным шагом в глобальной задаче консолидации ресурсов. Полученные в результате тестирования результаты ясно показали, что базы данных в распределенной вычислительной среде могут служить эффективным средством консолидации программного обеспечения, а практическое использование разработанных методик позволяет существенно повышать эффективность обработки данных и улучшать масштабирование распределенных систем. Поскольку предлагаемые методики и продукты были опробованы на разных платформах и операционных системах, можно надеяться, что они найдут широкое применение не только в распределенных вычислительных комплексах, но и для кластерных вычислений.

1. Васильев A.C. Компьютерный учебный, контролирующий курс "Веб-технологии" для дистанционного обучения кафедры ИТС. Дипломный проект-М.:МИРЭА, 2006. 177 с.

2. Малыхина М.П. Базы данных: основы, проектирование, использование. СПб.:БХВ-Петербург,2004.512с.

3. Силин A.B., Силин В.В., Воробьев В.И. Методы и модели проектирования логических структур баз данных // Деп. рук. ВИНИТИ. 2000. №3282-00В. - С. 16-20.

4. Силин A.B., Воробьев В.И., Ревунков Г.И. Методы и модели проектирования структур территориально распределенных баз данных // Деп. рук. ВИНИТИ № 3282-00В. С.21-25.

5. ВьюковаН.И. Продукты Informix и распределенные вычисления // СУБД. 1995. №4. С. 18-29.

6. Мартин Дж. Организация баз данных в вычислительных системах. М.: Мир, 1988.-366 с.

7. В.В. Бойко, В.М. Савинков, «Проектирование баз данных информационныхсистем», М., Финансы и статистика, 1989 г.I

8. Д.Цикритизис, Ф. Лоховски, «Модели данных», М., Финансы иIстатистика, 1985 г.

9. К. Дейт, «Руководство по реляционной СУБД», М., Финансы и статистика, 1988 г.

10. Д. Мейер, «Теория реляционных баз данных», М., Мир, 1987 г.)

11. Акинфиев В.К., Цвиркун А.Д. Постановка и решение некоторых задач определение рациональной структуры АСУ // Автоматика и телемеханика. -1972.-№ 1.С.54-75.

12. В.Ю. Егоров, Ю.О. Михалев, М.С. Сайкин // Авт. свид. СССР №1661501, Б.И., 1991, №25.

13. Шастова Г.А., Гризадубова О.Н. Размещение информационных фондов индивидуального пользования и вычислительных работ абонентов ВВДШУправляющие системы и машины.- 1978.- №1.- С.3-6.

14. Атре Ш. Структурный подход к организации баз данных. М.: Финансы и статистика, 1983. - 320 с.

15. Беренсон X., Бернштейн Ф., Грэй Д., Мелтон Д., ОмНил Э., С'Нил П. Критика уровней изолированности в стандарте ANSI SQL //СУБД. -1996. №2. - С.45-60.

16. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем. М.: Финансы и стати-стика, 1989. - 351 с.

17. Боуман Д, Эмерсон С., Дарновски М. Практическое руководство по SQL. Киев: Диалектика, 1997.

18. Васкевич Д. Стратегии клиент/сервер. Киев: Диалектика, 1997.

19. Гилуа М.М. Множественная модель данных в информационных системах. М.: Наука, 1992. ,

20. Голосов А.О. Аномалии в реляционных базах данных //СУБД. 1986. -№3. - С.23-28.

21. Грабер М. Введение в SQL. М.: Лори, 1996. - 379 с.

22. Ю.К. Дмитриев, В.Г. Хорошевский, Э.В. Евреинов. М.: Радио и связь, 1982. -304 с.

23. Евдокимов, В.Ф. Параллельные вычислительные структуры на основе разрядных методов /: Наукова думка, 1987. -311 с.

24. Евреинов, Э.В. Однородные универсальные вычислительные системы высокой производительности / Э.В. Евреинов, Ю.Г. Косарев. Новосибирск: Наука. Сибирское отд-е, 1966. -308 с.

25. Каляев, A.B. Модульно-наращиваемые многопроцессорные системы со структурно-процедурной организацией вычислений / A.B. Каляев, И.И. Левин. -М.: Янус-К, 2003. -380 с.

26. Чаудхари С. Методы оптимизации запросов в реляционных системах //СУБД. 1998. - №3. - С.22-36.

27. Чен П. Модель "сущность-связь" шаг к единому представлению о данных //СУБД. - 1995. - №3. - С.137-158.

28. ANSI ХЗ. 135-1992, American National Standart for Information Systems -Database Language SQL, November, 1992.

29. Astrahan. M.M., System R: A Relational Approach to Data Base Management //ACM Transactions on Data Base Systems. 1976. - VI, 97, June.

30. Haizpoulos M., Kollias J.G, Arozulah G The file allocation problem under dynamic usage // Information Systems, 1990.- V.5, № 5.- P. 197-201.

31. Boyce R.F., Chamberlin D.D., King W.F., Hammer M.M. Specifying Queries as Relational Expressions: The SQUARE Data Sublanguage //Communications ACM. 1975. V.18, November. - P.621.

32. Chamberlin D.D., Raymond F.B. SEQUEL: A Structured English Query Language. //Proc. ACM-SIGMOD. 1974. - Workshop, Ann Arbor, Michigan, May.

33. Chamberlin D.D., Gray J.N., Traiger L.L. Views, Authorization and Locking in a Relational Data Base System // Proceedings of AFIPS National Computer Conference, Anaheim, CA, May. 1975.

34. Codd E.F. Relation Model of Data for Large Shared Data Banks //Comm. ACM. 1970. - V.13, №.6. - P.377-383. (Имеется перевод: Кодд Е.Ф. Реляционная модель данных для больших совместно используемых банков данных //СУБД. - 1995. - №1. - С. 145-160.)

35. Codd E.F. Normalized Data Base Structure: A Brief Tutorial //Proc. of 1971 ACM-SIGFIDET Workshop on Data Description, Access and Control.- N.Y.: ACM. 1971. -P.l-17.

36. Codd E.F. A data base sublanguage founded on the relational calculus //Proc. АСМ-SIGFIDET/ 1971. - Workshop, San Diego, Calif., Nov. P.35-68.

37. Segall A. Dynamic file assignment in computer network // IEEE Trans.-1986.-V.AC-21, № 2.- P. 161-173.

38. Кнут, Д. Э. Искусство программирования, том 1. Основные алгоритмы = The Art of Computer Programming, vol.1. Fundamental Algorithms. 3-е изд. — M.: «Вильяме», 2006. С. 720. - ISBN 0-201-89683-4.

39. Корнеев, B.B. Об организации коммуникаций между процессами в вычислительной системе МИКРОС / В.В. Корнеев и др. // Вычислительные системы. 1985. С. 70-84.

40. Корнеев, В.В. Вычислительные системы / В. В. Корнеев. -М.: Гелиос АРВ, 2004. 512 с.,

41. Levin ,K.D., Morgan H.L. Optimizing distributed data base a framework for research // Proc. AFIPS.- 1985.- V. 44, № 5. p.473-478.

42. Смородинский А. В., Ривкин M. H. Базы данных: тенденции развития // Мир ПК, 1990, N 3.j

43. Смородинский А. В., Ривкин М. Н. Системы управления базами данных и оболочки экспертных систем для персональных компьютеров. Тверь, 1991.

44. К. Nitzsche. The baker's dozen of key features // Network world, November, 1992

45. Барабанов В.Ф., Нужный A.M. Маршрут интерактивного проектирования сложных технологических процессов // Современные проблемы информатизации в непромышленной сфере и экономике: Сб. тр. VI междунар. науч. конф. Воронеж: ВЭПИ, 2001. С. 38.

46. Кузнецов С.Д. Основы современных баз данных. www.citforum.ru.

47. Кузнецов С.Д. Проектирование и разработка корпоративных информационных систем. www.citforum.ru.

48. Morgan H.L., Levie K.D. Optimal program and data locations in computerinetworks // J. Of the ACM.- 1987.- V.20, № 5.- P.315-322.

49. Донианц В.И., Лазарев В.Г. Оптимизация размещения информационных массивов в распределенных банках данных сетей ЭВМ // Информационно-вычислительные сети ЭВМ,- 1980.- С.89-94.

50. Брянских В.Е. Моделирование нестационарных режимов магистральных газопроводов методами повышенной точности / В.Е. Брянских, М.Н. Кулик, Г.Б. Пухов // Электронное моделирование. 1984. -Т. 6, N 3. С. 61-65.

51. Базилевич И.А., Волосков И.И., Стогний А.А. Принципы построения функционально-ориентированного распределенного банка дан-ньшУУправляющие системы и машины.- 1988.- № 6.- С.31-35.

52. Воеводин А.Ф., Шугрин С.М. Численные методы расчета одномерных систем. Новосибирск: Наука, 1981. 205 с.

53. Войцеховская O.K. Подход к построению базы данных по физическим параметрам // Программирование. 1987. N 6. - С. 35-39.

54. Вязгин В.А., Федоров В.В. Математические методы автоматизированного проектирования. М.: Высшая школа, 1989. 184

55. Гилой В. Интерактивная машинная графика: Структура данных, алгоритмы, языки. М.: Мир, 1981. 384 с.

56. Tabatabai V., Arozulah М. Queuetheoretic model for file assignment in a distributed data base network // Proc. Comput. Commun. Networks.- 1989.-№4.-P. 123-127.

57. ВьюковаН.И. Продукты Informix и распределенные вычисления // СУБД. 1995. №4. С. 18-29.

58. Промежуточное программное обеспечение // http://www.4stud.info/networking/lecture6.html

59. Wolfgang Emmerich, Mikio Aoyama, Joe Sventek. The impact of research on middleware technology, ACM SIGSOFT Software Engineering Notes, Volume 32, Number 1, January 2007.

60. Громов Г.Р. Автоформализация профессиональных знаний // Микропроцессорные средства и системы. 1986. -№ 3. -С. 80-91.

61. Oracle® TimesTen In-Memory Database Documentation Media Library 11 g (11.2.1) // http://citforum.rU/database/oracle/timestenclusterware/2.shtml#references

62. Using Openfiler iSCSI with an Oracle RAC database on Linux (Doc ID 371434. l)//http://citforum.ru/database/oracle/timestenclusterware/2.shtml#r eferences

63. О создании стенда с использованием Oracle VM (Евгений Горбоконенко) // http://citfomm.rU/database/oracle/timestenclusterware/2.shtml#references

64. CHEN, P.; LEE, E.; GIBSON, G.; KATZ, R.; PATTERSON, D. 1994. «RAID:high-performance, reliable secondary storage» in ACM Computing Surveys, Vol. 26 No. 2 (Jun 1994).

65. GUI, JEFFREY. 1993. «OLTP and System Reliability» in OLTP Handbook, edited by Gary McClain, Intertext/McGraw-Hill, New York NY.

66. MAULIK, В.; PATKAR, S. 1995. «Outage recovery timings» in Technical Reports Compendium Vol. I (Dec 1995). Oracle internal document.

67. MILLS АР, C. 1995a. «The OFA Standard-Oracle7 for Open Systems». Oracle internal document, available on-line at http://www.europa.com/~orapub/.

68. MILLSAP, C. 1996. Selecting the Optimal Oracle Database Block Size. Oracle internal document. Not yet available on-line.

69. Oracle7 Server Concepts Manual. 1996. Oracle standard product documentation, Redwood Shores CA.

70. Davenport R.A. Data analyses for data base design // Aust. Comput. J. 1978. -V.10, №4. P.122-137.

71. PATTERSON, D.; GIBSON, G.; KATZ, R. 1988. «А case for redundant arrays of inexpensive disks (RAID)» in International Conference on Management of Data (SIGMOD). ACM, New York: 109-116.

72. Установка SQL Server Express. Лаборатория оптимальных решений.// http://ksksw.ru/art sql exprinstman.htm

73. Артемов Д. Microsoft SQL Server 2000. Новейшие технологии. M.: Русская Редакция, 2001.

74. Мамаев Е.В. Microsoft SQL Server 2000. СПб.: БХВ-Петербург, 2001.

75. Тихомиров Ю. В. MS SQL Server 2000: разработка приложений. . -СПб.: БХВ-Петербург, 2000.

76. Иван Бодягин, MS SQL 2005: оконные функции, RSDN Magazine #62004

77. Алексей Ширшов, Использование XML совместно с SQL, RSDN Magazine #2-2004

78. С.Д. Кузнецов. Введение в СУБД. "СУБД" 2-3,1996г.

79. С.Д.Кузнецов. Доступ к базам данных с использованием технологии "СУБД" 5-6, 1996 г.

80. Johansson J.M., March S.T., Naumann J.D. The effects of parallel processing on update response time in distributed database design // Twenty first international conference on Information systems. Brisbane, Queensland, Australia. -2000. pp. 187-196.

81. PostgreSQL and Postgres Plus Technical Support http://www.enteфrisedb.com/products/support/overview

82. Инструкция no оптимизации PostgreSQL 8.x // http://postgresmen.ru/articles/view/3

83. Предприятие PostgreSQL на Linux Ubuntu.// http://forum.lissyara.su/viewtopic.php?f=47&t=27087&start=0.

84. IBM помогает клиентам Oracle перейти на программное обеспечение IBMhttp://www.ibm.eom/news/ru/m/2011/05/13/x773488d36916h98.html.

85. Дроздов В.Н. Системы автоматического управления с микроЭВМ / В.Н. Дроздов, И.В. Мкрошник, В. И. Скорубскай и др. JL: Машиностроение. Ленингр. отд-ние, 1989. 284 с.

86. D. Chamberlin М. Kaufmann. A Complete Guide to DB2 Universal Database, 1998. с -198.

87. G. Baklarz, B. Wong DB2 Universal Database v7.1 for UNIX, Linux, Windows and OS/2 Data-base Administration Certification Guide. Prentice Hall, October 30, 2000.

88. Best practices for DB2 for Linux, UNIX, and Windows pages: http://www.ibm.com/developerworks/data/bestpractices/

89. D. Chamberlin M. Kaufman. A Complete Guide to DB2 Universal Database, 1998. www.ibm.com

90. Дополнительная информация о самонастраивающихся вычислительных технологиях размещена на сайте www.ibm.com/autonomic.

91. IBM Information Management Bookstore:http ://www-01.ibm.com/software/data/education/bookstore/certify .html

92. IBM Data Management magazine: http://www.ibm.com/developerworks/data/dmmag/

93. Evrendilek C., Dogac A., Nural S., et al. Multidatabase .Query Optimization // Distributed and Parallel Databases. 1997. Vol. 5, N1. -pp. 77-114.

94. Евдокимов C.A, Программно-компьютерная среда для автоформализации знаний / C.A. Евдокимов, A.B. Рыбаков // Вестник машиностроения. 1990. № 7. - С. 40-44.

95. Воеводин B.B. Математические основы параллельных вычислений. -М.: Изд-воМГУ, 1991.

96. Воеводин В.В. Математические модели и методы в параллельных процессах. М.: Наука, 1986.

97. Исследование IBM DB2 в операционном окружении VMware Infrastmcture://http://www.sz¿rá. com. иа/resources/files/18091648944bfel 9a 3e9476.pdf

98. Сайт Лаборатории параллельных информационных технологий НИВЦ МГУ http://parallel.ru

99. Векторизация программ: теория, методы, реализация Пер. с англ. и нем. Под ред. Г.Д.Чинина. М. Мир, 1991.

100. Brunie L., Kosch H. Control strategies for complex relational query processing in shared nothing systems // SIGMOD Ree. 1996. Vol. 25, N3. -pp. 34-39. - ISSN 0163-5808.

101. Павловский Ю.Н. Проблема декомпозиции в математическом моделировании. М. Фазис. 1998.

102. Программирование на параллельных вычислительных системах под ред. Р.Бэбба, М. Мир, 1991.

103. Bogdanov A.V. and Boukhanovsky A.V. Advanced High Performance Algorithms for Data Processing// ICCS 2004 Proceeding // M. Bubak et al. (Eds.) Springer-Verlag Berlin Heidelberg LNCS 3036, 2004, P. 239-246

104. Григорьев E. Объектно-ориентированная организация реляционных данных (формальное обоснование объектно-ориентированных систем управления реляционными БД) // http://citforum.ru/database/articles/oooreldata/

105. СуперЭВМ. Аппаратная и программная организация. Под. Ред. С. Фернбаха М.: Радио связь, 1989.

106. Тербер К.Дж. Архитектура высокопроизводительных вычислительных систем.- М: Наука, 1985.

107. Хокни, JI. Джесхоуп Параллельные ЭВМ: Архитектура, программирование и алгоритмы. М.: Радио и связь, 1986.

108. A.V. Bogdanov, Thurein Kyaw Lwin, Myo Tun Tun, La Min Htut.