автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Математическое обеспечение удаленного взаимодействия распределенных баз данных в туннелируемых виртуальных сетях

На правах рукописи

Дементьев Иван Олегович

МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ УДАЛЕННОГО ВЗАИМОДЕЙСТВИЯ РАСПРЕДЕЛЕННЫХ БАЗ ДАННЫХ В ТУННЕЛИРУЕМЫХ ВИРТУАЛЬНЫХ СЕТЯХ

05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва 2009

9 ГЕН

003477771

Работа выполнена на кафедре Технических и информационных средств систем управления (ТИССУ) Государственного образовательного учреждения высшего профессионального образования «Московский государственный институт радиотехники, электроники и автоматики (технический университет)»

Научный руководитель Официальные оппоненты:

Ведущая организация

кандидат технических наук, профессор Мордвинов Владимир Александрович доктор технических наук, доктор экономических наук, профессор Цветков Виктор Яковлевич

кандидат технических наук, доцент Григорьев Виктор Карлович

Федеральное государственное учреждение "Государственный научно-исследовательский институт информационных технологий и телекоммуникаций"

Защита состоится 14 октября 2009 г. в 11 часов 00 минут на заседании диссертационного совета Д212.131.05 при Московском государственном институте радиотехники, электроники и автоматики (техническом университете) по адресу: г.Москва, пр.Вернадского, д.78, в библиотеке.

С диссертацией можно ознакомиться в библиотеке МИРЭА.

Отзывы на автореферат в двух экземплярах, заверенные печатью, просим направлять по адресу: 119454, г. Москва, пр. Вернадского, д. 78, диссертационный совет Д 212.131.05.

Автореферат разослан 14 сентября 2009 г.

Ученый секретарь /

диссертационного совета Д 212.131.05 Е. Г. Андрианова

к.т.н., доцент ¿У

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Современные объемы хранимых данных, обязательные требования к их доступности и скорости обработки, динамика развития информационных систем и нарастающее количество задач, требующих разработки новых средств информационной поддержки, обуславливают актуальность исследований в области распределенных баз данных (РБД) - одного из наиболее перспективных подходов к организации информационных систем, отвечающих современным требованиям рынка информационных технологий, промышленности, бизнеса и науки.

С точки зрения функционирования распределенной системы, согласно наиболее распространенному определению, одним из главных критериев качества является время отклика при обращении к базе данных. Время отклика, согласно наиболее распространенному типу организации распределенных баз данных в архитектуре «клиент-сервер», складывается из продолжительности следующих процессов: доставка запроса; обработка запроса и поиск необходимой информации; доставка результатов запроса клиенту. Основные усилия исследователей и инженеров в последнее время были направлены на разработку теоретических основ функционирования распределенных систем и решения задач интероперабельности гетерогенных баз данных, управления распределенными запросами и транзакциями, интеграции полученных решений в современные архитектуры телекоммуникационных систем. При этом в оценке и регулировании качества сетевого обслуживания в настоящее время принято руководствоваться результатами исследований, направленных на моделирование телекоммуникационных сетей общего назначения, прежде всего, с использованием теории массового обслуживания. Отсутствие специализированных методов организации распределенного взаимодействия в РБД на практике приводит к снижению качества функционирования подобных систем. Синхронных трафик, генерируемый РДБ передается в существенно-распределенных системах по общественным линиям связи одновременно с асинхронным, генерируемым другими приложениям. Это приводит к искажению потоков данных, нарушению непрерывности их передачи в РДБ, и, следовательно, к простоям системы и неэффективному использованию вычислительных мощностей оборудования в узлах РБД. С другой стороны, временные характеристики средств передачи информации соизмеримы с производительностью средств обработки и хранения. Учитывая эти обстоятельства, можно утверждать, что требуется исследование процессов удаленного взаимодействия в РБД, функционирующих на базе современ-

ных компьютерных сетей и разработка новых методов организации такого взаимодействия и их математического обеспечения, целевым образом направленных на обеспечение качества функционирования РБД, функционирующих на базе современных компьютерных сетей общего назначения.

Современная организация компьютерных сетей позволяет использовать для организации удаленного взаимодействия РБД по публичным каналам в качестве наиболее приемлемой технологию туннелируемых виртуальных сетей, позволяющую разделить передаваемый в сетях трафик и создать виртуальное объединение удаленных узлов РБД вне зависимости от типа физического подключения при гарантированной пропускной способности туннеля.

Таким образом, цель диссертационной работы заключается в исследовании и разработке математического обеспечения удаленного взаимодействия РБД в туннелируемых виртуальных сетях с учетом туннельных и канальных ограничений на линиях связи.

В соответствии с поставленной целью в работе решаются следующие основные задачи:

• Исследование существующих методов и математического аппарата моделирования телекоммуникационных сетей, применяемых для решения задач управления передачей потоков данных в туннелируемых виртуальных сетях с оценкой уровня взаимного искажения мультиплексированных потоков данных.

• Разработка математической модели удаленного взаимодействия в распределенных базах данных, учитывающей туннельные и канальные ограничения на линиях связи распределенных баз данных в туннелируемых виртуальных сетях.

• Разработка метода оценки уровня взаимного искажения мультиплексированных в едином туннеле потоков данных, передаваемых между удаленными узлами распределенных баз данных.

• Разработка на основе полученных решений алгоритмов, позволяющих использовать и внедрять разработанное математическое обеспечение.

• Разработка метрик оценки взаимных искажений мультиплексированных потоков данных в туннелируемых виртуальных сетях, позволяющих производить оценку общего уровня искажений виртуальной сети базы данных заданной топологии и искажений для конкретного маршрута передачи потоков данных.

• Проведение экспериментальных исследований и оценка качества полученных результатов с целью получения количественной оценки эффекта от их внедрения.

Методы исследования. В работе использовались понятия и методы теории массового обслуживания, теории оптимизации, элементы системного анализа, линейного программирования и прикладного программирования, а также современные методологии организации распределенных систем.

Научная новизна результатов работы состоит в следующем: впервые разработаны специализированное математическое обеспечение для организации удаленного взаимодействия распределенных баз данных, построенных на базе туннелируемых виртуальных сетей, отличающееся возможностью оценки уровня взаимных искажений потоков данных, мультиплексированных в едином туннеле, при учете канальных и туннельных ограничений. Разработан метод оценки уровня взаимных искажений мультиплексированных в едином туннеле потоков данных.

Полученные в диссертации результаты позволяют преодолеть ряд существенных проблем организации удаленного взаимодействия распределенных баз данных, построенных на основе туннелируемых виртуальных сетей, таких как совмещение асинхронных и синхронных потоков данных, неограниченный рост числа туннелей на линии связи при генерации большого числа запросов на обработку распределенных данных, искажения потоков данных, передаваемых по единому туннелю между узлами РБД.

В ходе работы были выявлены новые закономерности удаленного взаимодействия узлов РБД, что позволило обновить и дополнить Классификатор информационных систем по признакам характера удаленного взаимодействия (Per. №11390 в Отраслевом фонде алгоритмов и программ - ОФАП).

Практическая значимость. Практическая значимость работы состоит в разработке математического обеспечения процессов удаленного взаимодействия в распределенных базах данных, построенных на базе современных виртуальных сетей, с учетом повышенных требований к производительности и качеству сетевого обслуживания, вызванных необходимостью передачи непрерывных потоков данных с гарантированной скоростью. На основе разработанного математического обеспечения реализованы основные алгоритмы управления процессами удаленного взаимодействия, полученные решения проверены на вычислительную сложность и реализуе-

мость методами прикладного и системного программирования. Указанные результаты использованы при разработке и реализации программ повышения квалификации педагогических и научно-педагогических работников НПО, СПО и ВПО: приказы Федерального агентства по образованию (Рособразования) № 1780 «О повышении квалификации в 2009 году научно-педагогических работников федеральных государственных образовательных учреждений высшего профессионального образования, находящихся в ведении Федерального агентства по образованию» от 01.12.2008 и № 1681 «О повышении квалификации в 2009 году педагогических работников государственных образовательных учреждений начального профессионального и среднего профессионального образования, находящихся в ведении Федерального агентства по образованию» от 24.11.2008, что подтверждено соответствующим актом внедрения результатов диссертационной работы.

Апробация работы. Результаты диссертационного исследования докладывались и обсуждались на 10-й международной выставке и конференции CSTB 2008 (Москва, 2008), на VIII и IX региональной научно-практической конференции «Профессиональная ориентация и методики преподавания в системе «Школа - ВУЗ» (Москва, 2007-2008), на 56 и 57 научно-практической конференции МИРЭА (Москва, 2008-2009), II Межвузовской научно-методической конференции «Инновационные и Наукоемкие технологии в высшем образовании России» (Москва, 2008), прак-тико-ориентированной конференции «Преемственность среднего (полного) общего образования и высшего профессионального образования» (Москва, 2008), демонстрировались в рамках Всероссийского форума «Образовательная среда-2008» (Москва, 2008). Работа прошла обсуждение на аспирантском семинаре кафедры Технических и информационных средств систем управления МИРЭА в 2009 году.

Публикации. По теме диссертации опубликовано 8 работ, в том числе в журнале, входящем в список ВАК, получено свидетельство об отраслевой регистрации разработки в ОФАП (Рег.№ 11390)

Структура и объем диссертации. Диссертация состоит из введения, 3-х глав, заключения, списка литературы и 2 приложений. Общий объем работы - 121 стр., в том числе основной текст - 102 стр., 37 рисунков, 5 таблиц, список литературы из 119 наименований.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования и сформулирована цель диссертационной работы,

Первая глава диссертации посвящена анализу текущего состояния теории распределенных баз данных и методов организации удаленного взаимодействия в РДБ. В первых двух параграфах представлена общая характеристика объекта исследования, рассмотрено определение распределенной базы данных К. Дж. Дэйта. Произведен обзор моделей организации распределенных баз данных, выявлены наиболее перспективные решения, применяемые при разработке территориально-распределенных баз данных. Рассмотрена архитектура «клиент-сервер» и её трехзвенная реализация в распределенных системах. Сделаны выводы о достаточности разработки отдельных методов организации распределенных баз данных. В третьем параграфе приведены определения основных критериев качества функционирования распределенных систем с позиции параллелизма, определен фактор влияния процессов удаленного взаимодействия на качество распределенной системы. Применительно к удаленному взаимодействию в распределенных базах данных, исследована на применимость технология туннелируемых виртуальных сетей. В последующих параграфах произведен анализ методов моделирования телекоммуникационных сетей на применимость к задаче моделирования туннелируемых виртуальных сетей, в результате которого выявлен пробел в существующих методах, не позволяющий адекватно использовать существующие методы моделирования, применительно к указанной задаче. На основании произведенного аналитического исследования и в соответствии с целью диссертационной работы сформулированы основные задачи исследования.

Во второй главе автором предлагается решение задачи управления туннелируемыми виртуальными сетями при их использовании в организации удаленного взаимодействия в распределенных базах данных. Приводится описание разработанных методов управления виртуальными сетями на основе математического моделирования туннелируемых сетей, позволяющий учитывать в математической модели потоки данных, передаваемые по статическим маршрутам с представлением системы удаленного взаимодействия в распределенных базах данных в виде логической (виртуальной) сети. Рассматривается модельное представление сети передачи данных, способное учитывать, в отличие от существующих подходов, такие особенности виртуальных сетей, как искажение информации при росте числа туннелей на линии связи.

В качестве первоочередной задачи разработки указанных методов автором выбрано создание обобщенной модели виртуальной сети на основе ограничения пропускной способности линии связи, что позволило создать основу для разработки аппарата управления передачей потоков данных в туннелируемых сетях. Сравнение пропускной способности канала с объемом передаваемого трафика в модели виртуальной сети является существенным критерием, что стоит первостепенно учесть на уровне модельного ограничения. Следующим шагом стало введение в обобщенную модель ограничения на количество туннелей, с учетом выделяемой для них пропускной способности канала передачи данных (Рис. 1): сеть, состоящую из Л" узлов, соединенных Ь связями, каждая пропускной способностью СI можно определить, используя сформулированные ниже нотации. Количество запросов, проходящих по сети между и tk обозначается как к £ К из множества о^. те Рк - маршрут от я* до по которому передается информация по запросу к, а коэффициент использования пропускной способности канала согласно запросу к по маршруту т автором обозначен как Хкт- Тогда общий объём передаваемой по маршруту информации будет хктак.

£1 -пропускная способность линии связи

TI- количество активных туннелей на линии связи

- коэффициент использования пропускной способности линии связи {^-количество запросов на передачу потоков данных на линии связи

Рис. 1. Обобщенная модель удаленного взаимодействия РБД

к-запрос на передачу потока данных т-маршрут передачи потока данных Й- генератор потока данных

получатель потока данных Й-объем потока данных Ак- интенсивность потока данных

N - количество узлов РБД L-количество линий связи

Исходя из необходимости не допущения превышения суммарного объема данных, передаваемых по всем туннелям над пропускной способностью линии связи, предлагается следующее решение:

1,квК. (1)

ык

Далее за счет введения новой переменной, позволяющей контролировать движение данных по различным маршрутам, с опорой на запрос — б'ы., становится возможным определение объема потока данных на линии связи. Введенная переменная 8'*т принимает два значения: 1 - если путь т по запросу к использует линию связи I; О-в обратном случае.

При помощи введенной переменной суммарный объем потока данных на линии связи 1 автором определяется следующим образом:

^ЕЕ^ьА- (2)

ЫК т$Рк

Используя эту нотацию, появляется возможность проверить, может ли некоторый объем данных передаваться по заданной линии связи. Это реализовано в модели за счет вводимого автором ограничения, гарантирующего соблюдение интенсивности передачи данных на заданном участке виртуальной сети:

ЕЕ^ЛА (3)

¡«¡К теРк

Чтобы использовать предложенный подход к моделированию сетей передачи данных в задаче управления передачей потоков данных в распределенной базе данных, а именно снижению уровня взаимных искажений потоков данных в туннелируемых сетях, определено условие доступности/недоступности пути, как управляющую маршрутизации потоков данных (туннелей). Для этого автором предложено ввести новую бинарную переменную-индикатор хкт.. Значение хкт определяет статус туннеля т для запроса к: при хкт=0 туннель не существует, в обратном случае, он задействован в маршруте. Отсюда видно, что указатель активности пути (туннеля) должен быть бинарным со значением 1 или 0. Определим соответствующую переменную следующим образом: у/<хктс1к и хкт<\\!кт, теРь ЫК.

Здесь же учитывается и ситуация, когда пропускная способность линии связи настолько мала, что её нужно расценивать как несуществующую. Для этого формулировка указателя активности пути уточняется регулирующим коэффициентом е: ем><хктс!кихкт<м>кт, теРь кеК.

Значение е определяется в каждом отдельном случае согласно топологии конкретной сети, требованиям к объемам передаваемых потоков данных и их интенсивности.

Количество активных туннелей на линии связи в соответствии с указанными нотациями определяется как:

= (4)

ЫК тчРк

Модельное ограничение на количество активных туннелей на линии связи в РБД представляется как:

кеКтаР,,

С целью оценки уровня взаимного искажения потоков данных, мультиплексированных в едином туннеле, автором рассматривается процесс передачи мультиплексированных потоков данных по одной физической линии с позиции классической для подобной задачи теории массового обслуживания. Показывается слабая применимость теории массового обслуживания к разработке математического аппарата, способного учитывать туннельные ограничения и искажения при передаче мультиплексированных в едином туннеле потоков данных. В связи с этим предлагается использовать определение взаимной энтропии для разработки соответствующего аппарата.

Взаимная энтропия в работе вычисляется последовательным суммированием по строкам (или по столбцам) всех вероятностей канальной матрицы, умноженных на их логарифм:

Н{АВ) = -^р{а,Ъ1)Щр{а1Ъ]). (6)

' 1

Пределы суммирования определяются в соответствии с общим модельным представлением и зависят от размерностей виртуального пространства. Такая формулировка позволяет определить степень взаимного негативного влияния мультиплексированных потоков данных и проводить количественные оценки.

Коэффициент искажения при таком определении находится как:

ди=УУ_I__(7)

Окончательная формулировка принципа управления передачей потоков данных в распределенной базе данных, основывающегося на мак-

симизации функции управления в туннелируемой виртуальной сети, определена автором следующим образом:

тах/=И ЕЖ, (8)

{*,»} кеК теР, реО, ?«(&*/>)

где ¿¡к - коэффициент предпочтительности пути для запроса; <рк - регулирующий коэффициент; - уровень взаимных искажений мультиплексированных потоков данных ряд.

Сформулированная выше задача решена на основе декомпозиции функции с применением релаксации Лагранжа.

В третьей главе исследуется в условиях, приближенных к реальным условиям функционирования существенно-распределенных баз данных, влияние использования для организации удаленного взаимодействия РБД разработанного во второй главе диссертационной работы математического обеспечения, за счет которого происходит учет взаимного искажения потоков данных, передаваемых внутри единого туннеля. На основе вариации четырех основных характеристик туннелируемых виртуальных сетей (пропускной способности канала, количества туннелей на линии связи, количества заявок на обслуживание и топологии сети) показано положительное влияние использования целевой функции управления передачей потоков данным между узлами РБД, лежащей в основе разработанного математического обечпечения, произведено сравнение полученных результатов со сценарием управления туннелируемой сетью без учета взаимного искажения потоков данных. Вышеуказанное продемонстрировано на примере типичных условий функционирования РБД, построенных на базе туннелируемых виртуальных сетей (топологии экспериментальных сетей представлены на Рисунке 2, где узел РБД обозначен окружностью, а линии связи узлов РБД прямыми линиями).

Рис. 2. Топологии экспериментальных сетей

Основные результаты приведены на Рисунках 3-6, где Т/ - количество активных туннелей на линии связи, F, - уровень пропускной способности линии связи, относительно базовой (100 Mb/s).

IJ34S67B Номер маршрута

В С УЧ4ПМ НСКШНЧННЙ О Е « Y4 ста и MtKtHrtfl

Рис. 3. Распределение потоков данных по маршрутам экспериментальной сети №1 для Т(=3, Р/=100%

1 г » Л 5 6 7 в Номер мари!рутд

Рис. 4. Уровень искажения потоков данных экспериментальной сети №1 для Т,=3, Р/=100%

4 5 6

Номер маршрута

Рис. 5. Распределение потоков данных по маршрутам экспериментальной сети №2 для Т/=3, Р/=100%

Маршрут»

Рис. 6. Уровень искажения потоков данных экспериментальной сети №2 для Тг=3, Р/=Ю0%

Сводные результаты проиллюстрированных экспериментов представлены а Таблице I.

Табл. 1. Сводные результаты экспериментов для одиночных запросов на передачу потоков данных_____

ь Т,=3 Тг=7

С учетом искажений Без учета искажений С учетом искажений Без учета искажений

п Г2 п п £1 п П 12

Экспериментальная сеть №1

100% 200 61 195 621 200 61 185 182

300% 350 692 350 1660 350 348 350 1145

Экспериментальная сеть №2

100% 200 121 170 394 200 46 195 320

300% 350 1415 350 2425 350 903 350 1593

В экспериментах по определению количества активных туннелей на линии связи и уровня взаимных искажений потоков данных и рассматривались сценарии поведения сети при одном активном запросе на передачу

потока данных. В реальных РБД одновременно генерируется и обслуживается одновременно несколько запросов. Для проведения подобных экспериментов, автором разработаны метрики для оценки уровня взаимного искажения потоков данных, так как с использованием ранее предложенного подхода к условной оценке уровня взаимного искажения потоков данных задача оценки уровня искажений при передаче потоковых данных в туннелируемой виртуальной сети с множественными запросами на передачу видится весьма трудоемкой. Ниже представлены основные метрики, позволяющие оценивать уровень взаимных искажений мультиплексированных потоков данных в туннелируемой виртуальной сети.

Метрика оценки уровня взаимного искажения всей виртуальной сети при передаче потоковых данных:

Л = -. (9)

2>£А'

Метрика оценки уровня взаимного искажения потоков данных при передаче в туннелируемой виртуальной сети для индивидуального запроса:

Е*£А»*г.

-. (Ю)

Метрика, позволяющая количественно отразить позитивное влияние использования разработанного в диссертации математического обеспечения, относительно применяемого в настоящее время при организации РБД:

где - количество активных туннелей.

Результаты экспериментального определения значений метрики А приведены в Таблице 2. Дополнительно в скобках указано количество активированных туннелей в пределах модельного ограничения.

Как видно из Таблицы 2, общий уровень искажения внутри виртуальной сети при применении разработанного в диссертации математического обеспечения значительно снижается.

Табл. 2, Сводные результаты экспериментов с использованием метрики Л

р/ Т/=15 Т(=25

С учетом искажений Без учета искажений С учетом искажений Без учета искажений

Экспериментальная сеть №1

100% 2.45 (58) 5.41 (38) 1,80 (75) 4.22 (59)

150% 2.42 (60) 6.07 (37) 1.42 (75) 6,31 (46)

200% 2.54 (59) 8.35 (25) 1.48 (75) 7,74 (35)

Экспериментальная сеть №2

100% 2.60 (56) 5.23 (39) 1.78 (75) 3.28 (63)

150% 2.39 (57) 4.93 (38) 1.58 (75) 4.26 (56)

200% 2.42 (59) 5.05 (43) 1,63 (75) 6.06 (40)

Результаты экспериментов по определению метрики В представлены, отраженные на рис. 7-10. Помимо преимущества разработанного в диссертации математического обеспечения над традиционными, демонстрируют общую тенденцию к уменьшению искажений ори увеличении количества туннелей, разрешенных, к активации на каналах виртуальной сети. По оси X отложен номер запроса, по оси У - значение метрики В.

Номер запрос»

Рис. 7. Результаты экспериментов по определению метрики В для экспериментальной сети №1 при Т/=15 и ¥¡=100%

Номер «проса

Рис. 8. Результаты экспериментов по определению метрики В для экспериментальной сети №1 при Т/=25 и Р/=100%

Нй/Л*р «ЛросЧ

Рис. 9. Результаты экспериментов по определению метрики В для экспериментальной сети №2 при Т/=15 и Рг=100%

19 10

Немаргедрап

Рис. 10. Результаты экспериментов по определению метрики В для экспериментальной сети №2 при Т/=25 и Рг=Ю0%

Представленные выше результаты показывают уменьшение уровня взаимных искажений при использовании разработанного в диссертации математического обеспечения, учитывающего взаимное искажение мультиплексированных потоков данных. Дополнительно отмечается, что даже при разрешении активации до 25 туннелей на канале передачи данных, разработанное в рамках настоящей работы математическое обеспечение позволяет обеспечить приемлемый уровень искажений для всех без исключения запросов на передачу.

Метрика С показывает дифференцированную по элементарным единицам потока данных среднюю разницу в искажениях при использовании сравниваемых подходов, нормализованную по количеству туннелей (Таблица 3).

Табл. 3. Результаты экспериментов по определению метрики С

F, Т,=15 Т;=25

Экспериментальная сеть №1

100% 3.17 7.12

150% 3.45 6.34

200% 1.72 4.00

Экспериментальная сеть №2

100% 3.43 6.10

150% 2.69 6.32

200% 4.65 3.43

Таким образом, в большинстве экспериментов предложенное в рамках настоящей работы математическое обеспечение удаленного взаимодействия распределенных баз данных в туннелируемых виртуальных сетях позволяет повысить качество функционирования распределенных баз данных за счет снижения уровня взаимных искажений мультиплексированных потоков данных и улучшения стратегии выбора маршрутов передачи потоков данных в РБД, построенных на базе общественных телекоммуникационных сетей.

Далее приводятся графики, демонстрирующие достигнутые благодаря использованию разработанного математического обеспечения удаленного взаимодействия распределенных базах данных значения параметров ускорения и масштабируемости экспериментальной РБД, в сравнении с организацией распределенных баз данных на основе туннелируемых виртуальных сетей существующими методами.

• Классические методы -Учет искажений

8 узлов, 8 узлов, 16 узлов, 16 узлов, 8 16 16 32

процессоров процессоров процессоров процессора

Рис. 11. Среднее значение коэффициента ускорения.

-Классические методы -Учет искажений

8 узлов, 8 узлов, 16 узлов, 16 узлов, 8 16 16 32

процессоров процессоров процессоров процессора

Рис. 12. Среднее значение коэффициента масштабируемости.

Как видно из Рисунков 11,12, во всех тестах предложенное в рамках диссертационной работы математическое обеспечение удаленного взаи-

модействия распределенных баз данных в туннелируемых виртуальных сетях позволяет повысить ключевые показатели качества функционирования распределенных баз данных в целом, обеспечивая улучшение параметров ускорения и масштабируемости.

В заключении подводятся итоги диссертационной работы, определяется научная новизна результатов и их производственная ценность.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

На защиту выносятся следующие основные результаты диссертационной работы:

• Разработана математическая модель удаленного взаимодействия распределенных баз данных в туннелируемых виртуальных сетях, позволяющая учитывать туннельные и канальные ограничения на линиях связи.

• Предложена и разработана методика и метрики для оценки взаимного искажения потоков данных в процессе мультиплексирования, основывающиеся на применении взаимной энтропии для количественной оценки уровня искажений, позволяющая осуществлять мотивированный выбор потоков данных для мультиплексирования внутри единого туннеля.

• Разработано математическое обеспечение процессов передачи потоков данных в распределенных базах данных в условиях мультиплексирования отдельных потоков внутри единого туннеля туннелируемой виртуальной сети.

• Разработаны алгоритмы, реализующие предложенное математическое обеспечение удаленного взаимодействия распределенных баз данных в туннелируемых виртуальных сетях.

• В ходе экспериментальных исследований получены статистические данные, позволяющие эффективно использовать комбинации канальных и туннельных ограничений при заданных конфигурациях распределенных баз данных для обеспечения удаленного взаимодействия распределенных баз данных в туннелируемых виртуальных сетях.

СПИСОК ОСНОВНЫХ ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССРЕТАЦИИ

1. Дементьев И.О. Управление мультиплексированными потоками данных в туннелируемых виртуальных сетях. - Журнал «Научный вестник МИРЭА». - 2009. - №1. - с.86-91.

2. Дементьев И.О. Организация удаленного взаимодействия распределенных баз данных в туннелируемых виртуальных сетях. // Единое образовательное пространство славянских государств в XXI веке: Проблемы и перспективы: Материалы III международной научн.-практ. конф. -Брянск: БГТУ; СГА. - Т.2 - с.112-116.

3. Дементьев И.О. Математическое обеспечение удаленного взаимодействия распределенных баз данных. Сборник трудов 58 научно-технической конференции МИРЭА. В 4.1. Информационные технологии и системы. Вычислительная техника. - М.:2009. - с.81-85.

4. Дементьев И.О. Математическое моделирование туннелируемых виртуальных сетей. - М.:2008 / Деп. в ВИНИТИ № 56-В2008. - 9 с.

5. Дементьев И.О., Сигов А.С. Математическое моделирование и управление интенсивными информационными потоками в туннелируемых виртуальных средах. - Журнал «Известия Томского политехнического университета». - 2009. - Т.314. - №5. - с.147-150.

6. Дементьев И.О., Никулин Г.С. Информационный морфизм и его модельное представление. Семантико-энтропийные характеристики модели информационного морфизма. - Журнал "Компьютерные учебные программы и инновации". - М.:2008. - №5. - с. 174-184.

7. Дементьев И.О., Ильин И.В., Мордвинов В.А. Аннотированный классификатор информационных систем. - М.:2008 / Деп. в ВИНИТИ № 467-В2008. - 44 с.

8. Дементьев И.О., Ильин И.В., Мордвинов В.А., Чернова О.С., Чи-калова В.М. Классификатор информационных систем. М.:ОФАП, 2008 / Рег.№11390. -45 с.

Отпечатано в ООО «Компания Спутник+» ПД № 1-00007 от 25.09.2000 г. Подписано в печать 11.09.2009 Тираж 100 экз. Усл. п.л. 1,2

БЛАГОДАРНОСТИ.

ВВЕДЕНИЕ.

ГЛАВА 1 АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ И ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ.

1.1 Общая характеристика объекта исследования.

1.2 Обзор моделей организации распределенных баз данных.

1.3 Параметры качества распределенных систем.

1.4 Применение туннелируемых виртуальных сетей в организации распределенных баз данных.

1.5 Обзор методов моделирования локальных вычислительных сетей.

1.5.1 Аналитическое моделирование.

1.5.2 Симуляционное моделирование.

1.6 Постановка задач исследования.

1.7 Выводы.

ГЛАВА 2 РАЗРАБОТКА ПРИНЦИПОВ, МОДЕЛЕЙ И МЕТОДОВ ОРГАНИЗАЦИИ УДАЛЕННОГО ВЗАИМОДЕЙСТВИЯ В РАСПРЕДЕЛЕННЫХ БАЗАХ ДАННЫХ.

2.1 Разработка обобщенной модели на основе ограничения пропускной способности линии связи.

2.2 Вариативные определения маршрутов базовой топологии сети в задаваемом диапазоне пропускной способности линий связи.

2.3 Оценка уровня взаимного искажения данных с использованием СМО.

2.4 Определение взаимных искажений потоков данных с использованием взаимной энтропии.

2.5 Формулировка задачи управления передачей потоков данных распределенных базах данных.

2.6 Линеаризация целевой функции управления передачей потоков данных в распределенной базе данных в условиях динамической маршрутизации.

2.6.1 Декомпозиция задачи.

2.6.2 Максимизация функции определения маршрутов с учетом туннельных ограничений.

2.6.3 Линеаризация функции, определяющей взаимные искажения мультиплексированных потоков данных.

2.6.4 Минимизация функции, определяющей взаимные искажения мультиплексированных потоков данных на основе декомпозиции задачи

2.6.5 Оптимизация функции, определяющей взаимные искажения мультиплексированных потоков данных после декомпозиции.

2.7 Выводы.

ГЛАВА 3 ПРОВЕДЕНИЕ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ.

3.1 Планирование экспериментов.

3.2 Результаты эксперимента на сходимость функции управления.

3.3 Результаты экспериментального определения уровня взаимных искажений потоков данных.

3.4 Разработка метрик для оценки уровня взаимного искажения потоков данных в туннелируемых виртуальных сетях.

3.5 Представление результатов экспериментов с использованием разработанных метрик.

3.6 Оценка полученных результатов с позиции параметров качества функционирования распределенной базы данных.

3.7 Выводы.

Современные объемы хранимых данных, обязательные требования к их доступности и скорости обработки, динамика развития информационных систем и нарастающее количество задач требующих разработки новых средств информационной поддержки обуславливают актуальность исследований в области распределенных баз данных - одного из наиболее перспективных подходов к организации информационных систем, отвечающих современным требованиям рынка, промышленности, бизнеса и науки [1]. Это обстоятельство подтверждается большим интересом инженерно-научного сообщества к вопросам организации распределенных баз данных. В последние два десятилетия значительный вклад в развитие теории баз данных внесли К. Дэю. Дейт и Э. Ф. Кодд. В настоящее время наиболее заметны работы таких авторов, как Д.В. Куракин, А.Л. Калиниченко, С. С. Шумилов, С. Я. Архипенков, Д. В. Голубев, О. Б. Максименко Сердж Абитбуль, Ракеш Агравал, Фил Бернштейн, Майк Кери, Стефано Чери, Брюс Крофт, Дэвид Девитт, Майк Франклин, Гектор Гарсиа-Молина, Дитер Гавлик, Джим Грей,.

С развитием отрасли информационных технологий в Российской Федерации, повсеместным внедрением средств автоматизации и информатизации различных сфер деятельности, в том числе науки и образования, базы данных стали более широко рассматриваться не только с позиции прикладной технологии, но и с позиций исследования и разработки теоретических основ функционирования, математического аппарата поддержки функционирования баз данных и т.д. В последнее время сформировалось отдельное направление теории распределенных баз данных [2], призванное решить задачи хранения и обработки сверхбольших объемов информации, используя подходы, дающие значительное улучшение параметров производительности и масштабируемости. В рамках настоящей работы под распределенной базой данных понимается территориально распределенная совокупность локальных баз данных, объединенных согласованными принципами организации, комплектования и эксплуатации, а также каналами связи, и доступная для совместного использования.

На этапе эксплуатации готовой системы вопрос производительности считается одним из главных, поскольку, если не обеспечивается требуемое время реакции системы, то система не выполняет возложенных на нее функций. С точки зрения функционирования распределенной системы, одним из главных критериев, обеспечивающих должный уровень производительности, является время отклика при обращении к базе данных. Время отклика, согласно [3], складывается из продолжительности следующих процессов: доставка запроса; обработка запроса и поиск необходимой информации; доставка результатов запроса клиенту. При этом в области решения задач обработки запросов и поиска достигнуты впечатляющие результаты, оставляя «узким местом» распределенных систем - удаленное взаимодействие в распределенной базе данных. Прежде всего, этот распространенный тезис относится к базам данных, оперирующим потоками данных, т.е. предъявляющих повышенные требования к скорости и непрерывности информационного потока. Таким образом, целью диссертационной работы является разработка комплексной модели и методов организации удаленного взаимодействия в распределенных базах данных, повышающих производительность при передаче потоков данных.

Основные результаты использованы при реализации госбюджетных НИОКР, что подтверждено актом внедрения ФГУП НИИ «Восход».

На основе использования материалов диссертационной работы выпущено и используется при подготовке магистров информационных систем в МИРЭА учебно-методическое пособие под грифом «Допущено учебно-методическим объединением вузов по университетскому политехническому образованию в качестве учебного пособия» для студентов V высших учебных заведений, обучающихся по направлению 230200 "Информационные системы" (Приложение 2).

ЗАКЛЮЧЕНИЕ

В заключение можно отметить, что в настоящей диссертационной работе разработаны принципы, модели и методы организации удаленного взаимодействия распределенных баз данных при его организации с использованием туннелируемых виртуальных сетей. Произведен анализ текущего состояния области распределенных баз данных и сфер их применения, на основании которого обоснована актуальность исследования. Научная новизна работы состояла в разработке теоретически обоснованного подхода к организации удаленного взаимодействия в гетерогенных распределенных базах данных.

В качестве основных можно выделить следующие результаты:

1. Разработана обобщенная модель туннелируемой виртуальной сети, учитывающая туннельные и канальные ограничения на линиях связи в туннелируемой виртуальной сети.

2. Доказана слабая применимость существующих методов и математического аппарата моделирования телекоммуникационных систем (сетей) для решения задачи управления передачей потоков данных в туннелируемых виртуальных сетях с оценкой уровня взаимного искажения мультиплексированных потоков данных.

3. Разработан метод оценки взаимного искажения мультиплексированных потоков данных на основе определения взаимной энтропии источника и передатчика потоков.

4. Разработан принцип управления передачей потоков данных в туннелируемой виртуальной сети, основывающийся на формулировке целевой функции управления.

5. Предложен принцип декомпозиции целевой функции, позволяющий обеспечить разрешимость и приемлемую вычислительную сложность алгоритмов реализации принципа управления передачей потоков данных с учетом взаимного искажения при мультиплексировании потоков в едином туннеле.

6. Разработаны и апробированы при проведении экспериментальных исследований метрики для оценки взаимных искажений мультиплексированных потоков данных в туннелируемых виртуальных сетях, позволяющие производить оценку общего уровня искажений виртуальной сети базы данных заданной топологии, искажений для конкретного маршрута передачи потоков данных.

7. Установлен ряд закономерностей в задаче управления передачей потоковых данных в туннелируемых виртуальных сетях, в том числе зависимость роста уровня общих искажений в сети от увеличения числа активных туннелей.

1. Dragomirl, G., Ignat, I. Distributed Database Environment Testing / Automation, Quality and Testing, Robotics, 2006 IEEE International Conference, Volume: 2 Proceedings/ IEEE Pres, 2006 p.90-95.

2. Esakkirajan, S. Fundamentals of Relational Database Management Systems. -Springer, 2007. p.559-610.

3. Milsap, G., Holt, J. Optimizing Oracle Performance: Пер. с англ. -Спб:Символ-Плюс, 2006. 464 стр.

4. Ratner, В. Statistical Modeling and Analysis for Database Marketing: Effective Techniques for Mining Big Data. CRC Press, 2003. - 362 p.5. Özsu, M., Valduriez, P. Principles of distributed database systems. Prentice Halll999. - 666 p.

5. Дейт, К Дж. Введение в системы баз данных: Пер. с англ. М. и др.: Вильяме, 2008. - 1328 стр.

6. Doyle, S. Essential ICT for WJEC. Folens Limited, 2009. - 173 p.

7. ГОСТ P ИСО/МЭК 7498-1-99. Взаимосвязь открытых систем. Базовая эталонная модель. Введ. 01.01.2000.

8. Bryla, В., Loney, K. Oracle Database llg DBA Handbook. McGraw-Hill Professional, 2008. - 670 p.

9. Ryan, M., Sharkey P. Distortion in Distributed Virtual Environments / First Virtual World. International Conference, VW'98 Paris, France, July 1-3, 1998 Proceedings / Springer, 2008. p.42-48.

10. Shneyderman, A., Casati, A. Mobile VPN: Delivering Advanced Services in Next Generation Wireless Systems. John Wiley and Sons, 2002. - 352 p.

11. Alchaal, L., Roca, V., Habert, M. Managing and securing Web services with VPNs / IEEE International Conference 6-9 July 2004 Proceedings / IEEE Pres, 2004. — p.236-243.

12. Лукацкий А. Неизвестная VPN / КомпьютерПресс. 2001. - № 10.

13. RFC2020 IEEE 802.12. Interface MIB. - 1996.

14. Олифер В.Г., Олифер H. А. Компьютерные сети. Принципы, технологии, протоколы. Питер, 2007. - 960 стр.

15. Дудин А.Н., Медведев Г.А., Меленец Ю.В. Практикум на ЭВМ по теории массового обслуживания Электронный ресурс.: Учебное пособие -Мн.: «Электронная книга БГУ», 2003.

16. Tanenbaum, A. Computer networks. Prentice Hall PTR, 1996. - 813p.

17. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. ЖИ, 2007. - 400 стр.

18. Таха Х.А. Введение в исследование операций. Вильяме, 2005. - 901 стр.

19. Lam, S., A Carrier. Sense Multiple Access Protocol for Local Networks / Computer Networks, vol. 4, n. 1 / 1980. pp. 21-32.

20. Brockmeyer, E., Erlang, A., Halstrom, H., Jensen, A. The Life and Works of A. K. Erlang. The Danish Academy of Technical Sciences, 1960. - 275 p.

21. Law, A., Simulation Modeling and Analysis. McGraw-Hill Education -Europe, 2006. - 768 p.

22. RFC4448 Encapsulation Methods for Transport of Ethernet over MPLS Networks. - 2006.

23. Орлов А.И. Математика случайная. Вероятность и статистика основные факты. - М.: МЗ-Пресс, 2004. - 110 стр.

24. Дэвид Девитт, Джим Грэй Параллельные системы баз данных: будущее высоко эффективных систем баз данных. Журнал «Системы Управления Базами Данных». №2, 1995 г.

25. The Performance Handbook for Database and Transaction Processing Systems. J. Gray, Ed., Morgan Kaufmann, San Mateo, Ca., 1991.

26. Alonso, J., Abrahamsson, H., Ahlgren, В., Andersson, A., and Kreuger, P. Objective Functions for Balance in Traffic Engineering. Tech. Rep. T2002-05, Swedish Institute of Computer Science, 2002.

27. Banerjee, G., Sidhu, D. Path Computation for Traffic Engineering in MPLS Networks. Lecture Notes in Computer Science 2094, 2001.

28. Bear, D. Principles of Telecommunication—Traffic Engineering. IEEE Press, 1976.

29. Beker, S., Kofman, D., Puech, N. Off-line Reduced Complexity Layout Design for MPLS Networks. In Proceedings of 3rd IEEE Workshop on IP Operations and Management, 2003.

30. Benes, V. E. Programming and Control Problems Arising from Optimal Routing in Telephone Networks. Bell System Technical Journal 45 (1966), 13731439.

31. BouiUet, E., Mitra, D., Ramakrishnan, K. G. The Structure and Management of Service Level Agreements in Networks. IEEE Journal on Selected Areas in Communications 20(4) (2002).

32. Chou, С. T. Traffic Engineering for MPLS-based Virtual Private Networks. Computer Networks 44(3) (2004), 319-333.

33. Corte, A. L., Lombardo, A., Schembra, G. Modeling Superposition of ON-OFF Correlated Traffic Sources in Multimedia Applications. In Proceedings of INFOCOM (1995), IEEE Press, pp. 993-1000.

34. Davies, N., Holyer, J., Stephens, A., Thompson, P. Generating Service Level Agreements from User Requirements. In Proceedings of the Third IFIP workshop on the Management and Design of ATM Networks (1999).

35. Lipsky, L. Queueing Theory: A Linear Algebraic Approach. MacMillan, New York, 1992.

36. Eppstein, D. Finding the k Shortest Paths. In Proceedings of Symposium on Foundations of Computer Science (1994), IEEE Press, pp. 154-165.

37. Erbas, S. C, Mathar, R. An Off-line Traffic Engineering Model for MPLS Networks. In Proceedings of Local Computer Networks (2002), IEEE Press.

38. Fortz, B., Thorup, M. Internet Traffic Engineering by Optimizing OSPF Weights. In Proceedings of INFOCOM (Tel Aviv, 2000), IEEE.

39. He, Q., Ammar, M., Riley, G., Raj, H., Fujimoto, R. Mapping Peer Behavior to Packet-Level Details: A Framework for Packet-Level Simulation of Peer-to-Peer Systems. In Proceedings of MASCOTS (October 2003), ACM, pp. 7178.

40. Heindl, A., Mitchell, K., and Liefvoort, A. V. The Correlation Region of Second Order Maps with Applications to Queueing Network Decomposition. In Proceedings of TOOLS (2003).

41. Hyland, K., Kaut, M., and Wallace, S. W A Heuristic for Moment-matching Scenario Generation. Computational Optimization and Applications 24 (2003), 169-185.

42. Jimnez, V M., and Marzal, A. Computing the K Shortest Paths: A New Algorithm and an Experimental Comparison. In Proceedings of Annual Workshop on Algorithmic Engineering (London, UK, 1999).

43. Katz, S. Trunk Engineering of Non-Hierarchal Networks. In Proceedings of International Teletraffic Congress (1971), vol. 6, Elsevier Science, pp. 142.1142.

44. Dewitt, D., Gray, J. Parallel database systems: the future of high performance database systems. Communications of the ACM, Volume 35, Number 6, 1992.

45. Kodialam, M., Lakshman, T. V. Dynamic routing of bandwidth guaranteed tunnels with restoration. In Proceedings of INFOCOM (March 2000), IEEE Press.

46. Krithikaivasan, B., Srivastava, S., Medhi, D., Pioro, M. Backup Path Restoration Design using Path Generation Technique. In Proceedings of Design of Reliable Communication Networks (DRCN) (Banff Country, Canada, 2003).

47. Kumar, A. Intelligent Traffic Engineering of Internets: Towards a ModelBased Approach. Lecture Notes in Computer Science 2228 (2001).

48. Lau, W.-C, and Li, S.-Q. Traffic Distortion and Inter-source Cross-correlation in a High Speed Integrated Networks. Computer Networks and ISDN Systems 29(1997), 811-830.

49. Lee, Y., Liefvoort, A. V., and Wallace, V. Modeling Correlated Traffic with Generalized IPP Performance Evaluation 40 (2000), 99-114.

50. Medhi, D., Tipper, D. Some Approaches to Solving a Multihour Broadband Network Capacity Design Problem with Single-Path Routing. Telecommunications System 13 (2000), 269-291.

51. Minoux, M. Mathematical Programming Theory and Algorithms. J. Wiley & Sons, 1986.

52. Mitchell, K. Constructing Correlated Sequence of Matrix Exponentials with Invariant First-Order Properties. Operations Research Letters 28(1) (2001), 27-34.

53. Mitchell, K., LiefVoort, A. V., Place, J. Second Order Statistics of an Isolated Departure Stream from a Shared Buffer with Correlated Sources. In Proceedings of MASCOTS (March 2000).

54. Mitra, D., Ramakrishnan, K. G. Techniques for Traffic Engineering of Multiservice, Multipriority Networks. Bell Labs Technical Journal 6(1) (2001), 139—151.

55. Mitra, D., Wang, Q. Stochastic Traffic Engineering, with Applications to Network Revenue Management. In Proceedings of INFOCOM (San Francisco, 2003), IEEE.

56. Pioro, M., and Medhi, D. Routing, Flow, and Capacity Design in Communication and Computer Networks. Morgan Kauffmann, 2004.

57. Pioro, M., Srivastava, S., Krithikaivasan, B., and Medhi, D. Path Generation technique for Robust Design of Wide-Area Communication Networks. In Proceedings of Polish Reletraffic Symposium (PSRR) (2003).

58. Pioro, M., Szentsi, A., Harmatos, J., Juttner, A., Gajowniczek, P., and Koz-drowski, S. On Open Shortest Path First Related Network Optimisation Problems. Performance Rvaluation 48(1-4) (2002), 201-223.

59. Ramakrishnan, K. G., and Rodrigues, M. A. Optimal Routing in Shortest-Path Data Networks. Bell Rabs Rechnical Journal 6(1) (2001), 117-138.

60. Ricciato, R, Salsano, S., Belmonte, A., and Ristanti, M. Off-line Configuration of a MPRS over WDM Network under Rime-varying Offered Traffic. In Proceedings of INFOCOM (June 2002), IRRR Press.

61. Roughan, M., Rhorup, M., and Zhang, Y. Performance of Estimated Rraffic Matrices in Rraffic Rngineering. In Proceedings of SIGMRRRICS (2003), ACM Press, pp.326-327.

62. Salvadori, R., Battiti, R., and Ardito, F. Razy Rerouting for MPRS Rraffic Rngineering. Rech. Rep. DIR-03-011, Department of Information and Communication Rechnology, University of Rreto, Italy, March 2003.

63. Scott, S. R., and Smyth, P. Rhe Markov Modulated Poisson Process and Markov Poisson Cascade with Applications to Web Traffic Data. Bayesian Statistics 7 (Ro Find), 671-680.

64. Sha, R. System Architecture and Hardware Implementation for a reconfigurable MPLS router. Master's thesis, University of Saskatchewan, Canada, 2003.

65. Shapiro, J. F. A Survey of Lagrangean Techniques for Discrete Optimization. Tech. Rep. 133, M. I. T., May 1977.

66. Sridharan, A., Guerin, R., and Diot, C. Achieving Near-Optimal Traffic Engineering Solutions for Current OSPF/IS-IS Networks. In Proceedings of INFOCOM (San Francisco, 2003), IEEE.

67. Thirumalsetty, S. R., and Medhi, D. Traffic Engineering for Survivable Book-Ahead Guaranteed Services. Tech. rep., University of Missouri—Kansas City, 2000.

68. Srivastava, S., Krithikaivasan, B., Beard, C, Medhi, D., Liefvoort, A. V., Al-anqar, W., Nagarajan, A. Benefits of Traffic Engineering using QoS Routing Schemes and Network Controls. Computer Communications 27(5) (2004), 271-275.

69. Srivastava, S., Mitchell, K., and LiefVoort, A. V. Correlations Induced in a Packet Stream by Background traffic in a Multiplexed Environment. In Proceedings of International Teletraffic Congress (ITC) (Berlin, 2003), Elsevier Science.

70. Tamura, H., Kawahara, K., Oie, Y. Performance Analysis of Flow Loss Probability and Link Utilization in MPLS Networks for Traffic Engineering. Lecture Notes in Computer Science 2550 (2002).

71. Uhlig, S., Bonaventure, O., Magnin, V., Rapier, C, and Deri, L. Implications of the Topological Properties of Internet Traffic on Traffic Engineering. In Proceedings of symposium on Applied computing (2004), ACM Press, pp. 339-346.

72. Wang, Y., Wang, Z., and Zhang, L. Internet Traffic Engineering without Full Mesh Overlaying. In Proceedings of INFOCOM (New York, 2001), IEEE.

73. Yang, Y, and J.Wang. Routing Permutations with Link-Disjoint and Node-Disjoint Paths in a Class of Self-Routable Networks. In International Conference on Parallel Processing (ICPP'02) (Vancouver B.C., Canada, 2002), IEEE Press.

74. Atkinson, M., Bancilhon, F., DeWitt, D., etc. 1st International Conference on Deductive and Object-Oriented Databases. New York, N.Y.: Elsevier Science,- 1990.

75. Stonebraker, M. Rowe, L. Lindsay, L. etc. Third-Generation Data Base System Manifesto. Elsevier Science Publishers В. V., - 1991 — 30 p.

76. Darwen, H., Date C. J. The Third Manifesto. ACM SIGMOD Record 24, No. 1. СУБД, No. 1, 1996

77. Date, C., Darwen, H., Lorentzos, N. Temporal Data and the Relational Model.- Morgan Kaufmann, 2002.

78. Date, C., Darwen, H., Foundation for Future Database Systems: The Third Manifesto. Addison-Wesley Pub Co, 2000.

79. Date, C. A Critique of the SQL Database Language. ACM SIGMOD Record 14, No. 3, 1984.

80. Мордвинов В.А Формализация семантического анализа информационных систем/ Аспирантские чтения, выпуск 10, МГДД(Ю)Т, МИРЭА, AMO, ФГУ ГНИИ ТТ «Информика» М.: 2008. 20 с.

81. Иванников А.Д., Кулагин В.П., Тихонов А.Н., . Цветков В.Я., Черемных С.В., Павлов А.Н. Проектирование моделей данных и баз данных (программа для аспирантов). М.: МаксПресс 2001 -8 с.

82. Цветков В.Я. Информация и теория информации. М.гМИИГАиК, «Госинформобр». 2006. 123 с.

83. Цветков В.Я. Анализ больших корпоративных систем. . М.: Макс Пресс 2005 - 49 с. Цветков В.Я. Телематика. Журнал "Успехи современного естествознания". №7, 2008 г.

84. Цветков В .Я., Воинов А.И. Управление и антроэнтропия. Журнал "Современные наукоемкие технологии". №4, 2008 г.

85. Цветков В.Я., Воинов А.И. Методология исследования объектов управления. Журнал "Современные наукоемкие технологии". №4, 2008 г.

86. Цветков В.Я., Домницкая Э.В. О методологии сбора данных. Журнал "Современные наукоёмкие технологии". №1, 2008 г.

87. Цветков В.Я. ИНФОРМАТИЗАЦИЯ: Создание современных информационных технологий. Часть 1. Структуры данных и технические средства. М.: ГКНТ, ВНТИЦентр, 1990. - 118 с.

88. Цветков В.Я. ИНФОРМАТИЗАЦИЯ: Создание современных информационных технологий. Часть 2. Средства массового обслуживания и концентрации информации. М.: ГКНТ, ВНТИЦентр, 1990. - 103 с.

89. Дементьев И.О., Сигов A.C. Математическое моделирование и управление интенсивными информационными потоками в туннелируемых виртуальных средах. Журнал «Известия Томского политехнического университета» (в печати).

90. Дементьев И.О., Никулин Г.С. Информационный морфизм и его модельное представление семантико-энтропийные характеристики модели информационного морфизма. 11с. - МОСКВА, Журнал "Компьютерные учебные программы и инновации" N4" 2008г.

91. Дементьев И.О., Ильин ИВ., Мордвинов В.А., Чернова О.С., Чикалова В.М. Классификатор информационных систем. 45 с. - ОФАП -МОСКВА, 2008 / Рег.№11390.

92. Войтович А.Ю., Дементьев И.О., Мордвинов В.А. Информационный морфизм в описании расслоенной архитектуры sWWW Бернерса-Ли. 18 с. - МОСКВА, 2008 / Деп. ВИНИТИ №758.

93. Дементьев И.О. Математическое моделирование туннелируемых виртуальных сетей. 9с. - МОСКВА, 2008 / Деп. в ВИНИТИ № 56-В2008.

94. Дементьев И.О., Ильин И.В., Мордвинов В.А. Аннотированный классификатор информационных систем. 45с. - МОСКВА, 2008 / Деп. в ВИНИТИ № 467-В2008.

95. Ш.Дементьев И.О., Твердохлебов И.Н. Обработка данных состояния автоматизированных систем организации с функциями регулирования на инциденты. 5с. - МОСКВА, 2008 / Деп. в ВИНИТИ № 470-В2008.

96. Дементьев И.О. Особенности моделирования и проектирования современных виртуальных сетей \ некоторые результаты НИР по направлению высшего профессионального образования «Информационные технологии»: МГДЦ(Ю)Т, МОСКВА-2007 32 с.

97. A.Б.Фоминой. МГДД(Ю)Т, МИРЭА, AMO, ФГУ ГНИИ ИТТ «Информика». М., 2007. 79 с. библ.: 16 назв.

98. Дементьев И.О., Мордвинов В.А. Ontonet: теория семантических информационных систем и сетей. 73с. - МОСКВА, 2008 - МГДД(Ю)Т

99. Дементьев И.О., Храмов В.И., Шемончук Д.С., Юргаев Д.А. Количественная оценка надежности системы телеобработки данных. МИРЭА, МГДД(Ю)Т, М.: 2008, 50с.

100. Дементьев И.О.,. Ильин И.В, Ковалёв С.Н., Матчин В.Т., Мордвинов

101. Дементьев И.О. Методические указания (учебно-методическое пособие) по курсу «Имитационное моделирование информационных систем», МГДД(Ю)Т, М: 2009. 36 с.