автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.13, диссертация на тему:Анализ загрузки телекоммуникационной сети интегрированной информационной системы статистическими данными для оценки и обеспечения качества информации

На правах рукописи

ЗАБЕЛИН ОЛЕГ АЛЕКСЕЕВИЧ

АНАЛИЗ ЗАГРУЗКИ ТЕЛЕКОММУНИКАЦИОННОЙ СЕТИ ИНТЕГРИРОВАННОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ СТАТИСТИЧЕСКИМИ ДАННЫМИ ДЛЯ ОЦЕНКИ И ОБЕСПЕЧЕНИЯ КАЧЕСТВА ИНФОРМАЦИИ

Специальность: 05.13.13 - Телекоммуникационные системы и

компьютерные сети

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

ииоч4ав74

Москва-2008

003449874

Работа выполнена в Московском государственном институте электроники и математики на кафедре «Вычислительные системы и сети»

Научный руководитель: доктор технических наук, профессор

С аксонов Евгений Александрович

Официальные оппоненты: доктор технических наук, профессор

Защита диссертации состоится " 1.1 " ноября 2008г. в 14.00 часов на заседании диссертационного совета Д 212.133.03 при Московском государственном институте электроники и математики (МИЭМ): 109028, Москва, Б. Трехсвяютельский пер., дом 3/12.

С диссертацией можно ознакомиться в библиотеке МИЭМ.

Иванников Александр Дмитриевич, кандидат технических наук, доцент Будихин Анатолий Владимирович

Ведущая организация:

ФГУП Межотраслевой НИИ «Интеграл».

Автореферат разослан у " октября 2008г.

«

Ученый секретарь диссертационного совета кандидат технических наук, доцент

ЛеохинЮ.Л.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

На сегодняшний день большое количество предприятий и организаций различных форм собственности имеют свои локальные информационные системы, где хранится необходимая для обеспечения их деятельности информация. Происходящие процессы объединения предприятий и расширение круга решаемых задач обуславливают необходимость интеграции локальных данных в единое информационное пространство. При этом резко возрастают объемы хранимой и обрабатываемой информации. Информационные системы становятся все более крупномасштабными как по объемам обрабатываемых данных, так и по функциональному назначению и числу решаемых задач.

В этих условиях особое внимание должно уделяться обеспечению качества данных, поскольку оно определяет эффективность применения информационной системы, обоснованность и правомерность принимаемых решений. От качества используемой в информационных системах информации часто зависит принципиальная возможность ее использования при принятии управленческих решений. Поэтому наряду с количественным ростом информационных систем, значимость проблемы обеспечения качества данных будет постоянно возрастать.

Однако, если вопросы оценки и обеспечения качества данных на теоретическом уровне достаточно хорошо исследованы в работах по теории вероятностей и математической статистике, то реализация алгоритмов и моделей для оценки и обеспечения качества данных в реальных условиях требует проведения дополнительных исследований. Это обусловлено тем, что когда в информационных системах хранятся и обрабатываются очень большие объемы данных (109 - 1012) записей, работы по оценке и обеспечению качества данных становятся весьма трудоемкими, сильно загружая телекоммуникационные и вычислительные средства информационной системы дополнительными потоками данных и программным обеспечением.

Для проведения таких работ, в рамках существующей информационной системы, целесообразно создавать специализированные подсистемы, использующие уже имеющиеся телекоммуникационные и серверные ресурсы. При этом необходимо оценивать дополнительную нагрузку, вносимую данной подсистемой, чтобы исключить перегрузки телекоммуникационного и серверного оборудования и снижение, в связи с этим, качества обслуживания основных задач.

В связи с этим тематика диссертационной работы, направленная на решение задач, связанных с оценкой нагрузки на телекоммуникационные и вычислительные средства информационной системы при решении задач оценки и обеспечения качества данных, актуальна как на сегодняшний день, так и на достаточно удаленную перспективу.

Целью работы является разработка структуры подсистемы обеспечения качества данных в распределенной информационной системе и создание математических моделей для количественной оценки нагрузки на телекоммуникационную сеть и серверное оборудование информационной системы при решении задач обеспечения полноты и актуальности данных.

Для достижения поставленной цели в работе сформулированы и решены следующие задачи:

• проведен анализ параметров качества данных и методов их оценки и поддержания на заданном уровне;

• разработаны алгоритмы обеспечения полноты и актуальности данных в интегрированной информационной системе;

• разработаны математические модели для количественной оценки полноты и актуальности данных и расчета необходимых объемов передаваемых и обрабатываемых данных для обеспечения заданных значений показателей полноты и актуальности;

• разработана структура подсистемы обеспечения качества данных;

• разработаны математические модели для расчета нагрузки на каналы связи и серверы обработки данных подсистемы обеспечения качества данных.

На защиту выносятся:

• алгоритмы обеспечения полноты и актуальности данных в распределенных интегрированных информационных системах;

• комплекс математических моделей для расчета характеристик полноты и актуальности данных;

• комплекс математических моделей для расчета нагрузки на каналы связи и серверы при решении задач обеспечения полноты и актуальности данных для заданной структуры подсистемы обеспечения качества данных.

Научная новизна полученных результатов заключается в разработке математических моделей для комплексной оценки полноты и актуальности данных, ориентированных на конкретные алгоритмы инте1рации и поддержания качества данных и методов оценки нагрузки на телекоммуникационную сеть и серверное оборудование информационной системы.

Практическая ценность результатов диссертации состоит в создании методов расчета показателей полноты и актуальности данных, позволяющих определять необходимые объемы выборок для достижения заданных значений показателей и связанную с этим нагрузку на каналы связи и серверы информационной системы, что дает возможность обоснованно выдвигать требования к качеству каналов связи и параметрам серверов для обслуживания подсистемы обеспечения качества данных.

Достоверность и обоснованность результатов диссертации

обеспечиваются соответствием разработанных алгоритмов и математических моделей известным теоретическим результатам и практическому опыту по оценке и обеспечению качества данных в информационных системах, применением при разработке моделей современных методов математической статистики и подтверждаются положительными данными об их применении в реальной информационной системе.

Методы исследований. При решении поставленных в диссертации задач применялись методы теории систем, теории вероятностей и математической статистики, теории множеств, математического программирования, а также использовались данные о современных методах создания распределенных интегрированных информационных систем, распределенных баз данных, телекоммуникационных систем.

Реализация и внедрение результатов исследований. Результаты проведенных исследований применялись при исследовании качества данных в специализированной информационной системе учета иностранных граждан, а также использовались в учебном процессе в Московском государственном институте электроники и математики и Московской финансово-юридической академии.

Апробация работы: Результаты работы докладывались на научно-технических конференциях, обсуждались на семинарах в Московской финансово-юридической академии и Московском государственном институте электроники и математики.

Публикации. Результаты диссертационной работы отражены в 7 опубликованных печатных работах.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, списка литературы и приложения. Объем диссертации 130 страниц.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ Во введении обосновывается актуальность темы диссертационной работы и проводимых исследований, описываются новизна, практическая значимость и реализация результатов работы.

В первой главе приведены результаты анализа современных информационных систем, определены основные факторы, влияющие на качество работы ИС.

Показано, что к числу наиболее значимых особенностей современных информационных систем можно отнести: интеграцию данных из различных по составу, структуре, методам управления и принадлежности локальных информационных систем (подсистем); большие объемы данных, требуемых для обработки запросов и обеспечения работы прикладных программ; наличие разнородных данных об одних и тех же объектах в различных подсистемах; обслуживание большого числа разнородных пользователей, запросы которых требуют привлечения данных из различных подсистем; работу с динамичными

данными, состав которых, количество и содержание меняются со временем; территориальную распределенность средств хранения и обработки информации.

Базовыми компонентами современной интегрированной ИС являются: телекоммуникационная (сетевая) подсистема, предназначенная для передачи разнообразной информации; вычислительная сеть, построенная на основе телекоммуникационной системы; программное обеспечение, обеспечивающее решение прикладных задач в среде вычислительной сети; система данных, собираемых, хранимых, передаваемых и обрабатываемых тремя первыми компонентами информационной системы.

Организация работы и взаимодействия этих компонент в основном определяет качество работы всей информационной системы.

К настоящему времени разработчиками ИС создано и освоено множество разнообразных стандартов, технологических, аппаратных и программных решений по созданию и взаимодействию перечисленных компонент, которые в совокупности составляют значительную часть современных информационных технологий. Техническая и программная компоненты архитектуры ИС достаточно хорошо отработаны на практике и поддерживаются большим количеством производителей, предлагающих соответствующие продукты с необходимой адаптацией (настройкой).

Сложнее дело обстоит с компонентой, представляющей систему данных, включающую все данные, необходимые для решения прикладных задач ИС, обработки запросов пользователей, а также вспомогательную информацию для интеграции, поиска требуемых данных, обеспечения качества данных и управления данными.

По результатам анализа современных информационных систем, можно сделать вывод, что одним из определяющих факторов для обеспечения эффективной, а в принципе просто правильной, работы интегрированной распределенной информационной системы является качество данных.

Под качеством данных здесь, понимаем совокупность специальных характеристик (показателей), отражающих пригодность данных для использования в информационной системе.

Обеспечение качества данных предусматривает проведение с данными, поступающими в систему и уже находящимися в системе, работ по проверке их соответствия требованиям системы (требования прикладного ПО, требования со стороны пользователей), поддержанию актуальности и полноты.

Очевидно, что качество данных должно закладываться как при формировании локальных подсистем, так и при создании интегрированной системы и поддерживаться при ее эксплуатации.

Таким образом, проблема обеспечения качества данных состоит из двух частей: обеспечение качества поступающей в систему информации в виде конкретных данных, описывающих объекты, относящиеся к той предметной

области, в которой работает информационная система; поддержание качества данных (информации) в процессе эксплуатации информационной системы.

Проведен анализ современных методов определения и оценки качества базы данных.

Определены задачи, которые необходимо решить при построении и эксплуатации информационной системы для обеспечения требуемого качества данных, а также средства информационной системы, необходимые для обеспечения качества данных.

Среди задач выделены наиболее важные:

• определение обоснованных требований к качеству данных;

• оценка текущего состояния (уровня) качества данных в системе в целом и отдельных подсистемах;

• разработка методов и средств поддержания качества данных на заданном уровне;

• создание специализированной подсистемы для оценки и поддержания качества данных.

Здесь следует отметить, что все перечисленные задачи тесно связаны с прикладными задачами, решаемыми с применением информационной системы, поскольку устанавливаемые показатели качества данных, например, могут зависеть от требований, предъявляемых к качеству решения прикладных задач.

Алгоритмы оценки и обеспечения качества данных существенно зависят от объемов данных и требований к качеству данных и могут быть очень трудоемкими и дорогостоящими, значительно загружать телекоммуникационную среду и вычислительные средства информационной системы.

В связи с этим целесообразно выделить в отдельную подсистему аппаратно-программные средства оценки и поддержания качества данных информационной системы. Распределенная подсистема обеспечения и поддержки качества данных в интегрированных информационных системах предназначена для реализации алгоритмов и процедур, обеспечивающих оценку качества данных, сбор и обработку информации для поддержки качества данных.

В соответствии с этим определением в состав подсистемы входит аналитический центр, средства сбора и передачи данных. Перечисленные компоненты системы могут использовать уже имеющиеся в информационной системе технические средства обработки и передачи данных (серверы, телекоммуникационные системы, компьютерные сети).

Основные задачи, которые решает подсистема: проведение расчетов по оценке качества данных; вычисление параметров процедур для поддержки качества данных в требуемом состоянии; сбор, передача и обработка необходимой информации для обеспечения качества данных; модификация хранимой в системе (базах данных) информации, для обеспечения качества

(ввод новых данных, удаление негодных данных).

Как правило, все действия по оценке и обеспечению качества данных в информационной системе, приводят к обмену данными между различными компонентами системы (базы данных, средства ввода данных) при этом объемы передаваемых данных могут быть весьма значительными и вызывать перегрузку каналов связи и серверов.

Для передачи данных в подсистеме используются каналы связи телекоммуникационной сети информационной системы, а для обработки информации - серверы, количество которых зависит от объема обрабатываемых данных и требований к временным характеристикам процедур поддержания качества. Серверы могут быть установлены как программные компоненты на аппаратных серверах информационной системы.

Таким образом, физическая структура подсистемы оценки и обеспечения качества данных информационной системы встраивается в структуру вычислительной сети информационной системы. Поэтому необходимо оценить объемы работ по оценке и обеспечению качества данных и, в соответствии с этими объемами, строить телекоммуникационную систему интегрированной информационной системы.

Во второй главе приводятся результаты анализа задач оценки и обеспечения качества данных по заданным показателям - полноте и актуальности.

Показано, что администрирование данных имеет свою специфику, которая определяется решаемыми службой администрирования данных задачами. Проведен анализ этих задач и выделены те, которые обеспечивают оценку и поддержание качества данных в интегррованной информационной системе.

Определены конкретные характеристики качества данных. Отмечено, что данные в информационной системе собираются, как правило, об объектах, которые представляют интерес для пользователей системы. Данные должны давать возможность пользователю (и приложению) получать необходимые сведения об объекте, характеризовать объект, по возможности однозначно определять объект. При этом данные должны давать сведения и о совокупности объектов (как однотипных, так и разнотипных). С этих позиций будем определять характеристики качества данных.

К наиболее значимым характеристикам качества данных и количественным показателям для их измерения, можно отнести следующие:

• физическая полнота - отношение имеющегося числа записей об объектах - к потенциально возможному числу объектов - N. Мера полноты -

• актуальность - относительное число актуальных на данный момент времени данных об объектах - та к общему числу накопленных и обрабатываемых данных - , Мера актуальности - да = та / А^.

Эти характеристики выделены для дальнейших исследований поскольку они представляют наибольший практический интерес потому, что именно полнота и актуальность оказывают наибольшее влияние на возможность обработки запросов, качество получаемых результатов и принимаемых на их основе решений. Кроме того, их обеспечение на должном уровне требует значительных ресурсов и усилий.

Введено понятие затрат, связанных с качеством данных. Эти затраты обусловлены либо с невозможностью исполнения запроса из-за отсутствия требуемых данных по объекту (физическая полнота данных неудовлетворительна), либо с невозможностью получения качественного результата исполнения запроса из-за низкой актуальности данных. Для количественной оценки качества данных в информационной системе введен комплексный показатель качества, учитывающий полноту и актуальность данных: Ь^ г ^ а) = сх-{\ - q ¡) +с2 ■ (\ - q а), где сис2 - весовые коэффициенты, определяющие значимость характеристик качества и связанные равенством -сг + с2 = 1.

Определены задачи, которые необходимо решить для оценки полноты и актуальности данных в информационной системе.

Показано, что одной из основных целей исследований является разработка методов количественной оценки качества данных (полноты и актуальности) получаемых при применении заданных алгоритмов интеграции и актуализации, оценки затрат на обеспечение актуальности и полноты данных и затрат, связанных с использованием некачественных данных при обработке запросов и принятии решений. Алгоритмы оценки и обеспечения качества данных требуют передачи и обработки значительных объемов дополнительной информации, поэтому второй целью работы является определение загрузки телекоммуникационной системы и компьютерной сети при обеспечении заданных параметров оценки и обеспечения актуальности и полноты данных.

Исследован метод создания базы данных интегрированной информационной системы (интегрированной базы данных), основанный на поэтапном объединении существующих баз. Считается, что эти базы данных были созданы ранее н принадлежат рчзггичнг.ш локальным информационным системам. Анализ данных для оценки полноты интегрированной базы в этом случае эквивалентен выборочному методу: каждую последующую базу можно рассматривать как случайную выборку из генеральной совокупности. Здесь необходимо отметить, что интеграция не подразумевает непосредственно физического объединения данных, а может проводиться с использованием специального программного обеспечения, позволяющего создавать виртуальную интегрированную базу данных, когда все локальные БД (ЛБД ) для пользователя представляются как единая база данных. Соответственно и обрабатываются запросы пользователей. Поскольку в нашем случае

интеграция проводится в несколько этапов, то возникает задача получения оценки полноты создаваемой интегрированной базы данных интегрированной системы - на каждом из этапов (шагов). Кроме того, из-за неполноты

интегрированной БД возможен отказ в обработке запросов по объектам, которые не зарегистрированы в интегрированной БД, но реально существуют. В этом случае необходимо иметь возможность решать задачу оценки возможного ущерба, связанного с принятием решений на основе неполных данных.

Отметим, что оценка полноты может проводиться не только при интеграции ЛБД, но и при добавлении в БД ИС просто порции данных из генеральной совокупности, которые получены, например, по результатам выборочной проверки генеральной совокупности. Если в этом случае выборку рассматривать как некоторую виртуальную ЛБД, то предложенный алгоритм сохраняется и методы его анализа также применимы для этого случая.

Реальные значения хранимых в информационных системах данных, как отмечалось выше, могут изменяться со временем, что вызвано изменением свойств объектов, о которых собираются данные. В связи с этим, в системах, где хранятся динамичные по времени данные, необходимо проводить процедуры актуализации данных. Актуализация в данном случае предусматривает уточнение (обновление) значений хранимых данных, путем сравнения с реальными на этот момент времени данными.

При этом возникают две задачи связанные с актуальностью данных: оценка актуальности данных и поддержание (обеспечение) актуальности данных.

В случае очень больших по объему баз данных, целесообразно применять для проверки корректировки информации выборочный метод исследования данных.

Таким образом, возникает еще одна задача: определение объема выборки, для проверки и исправления ошибок в конкретной базе данных, в зависимости от требований к актуальности данных и объема базы данных.

Определены затраты на эксплуатацию (администрирование) системы при актуализации базы данных - -■^(¿З'у.'Зу) + где

затраты на выборочное проверку и исправление устаревших данных (актуализацию); затраты (штрафы), связанные с использованием

неактуальных данных при обработке информации. Величина штрафа пропорциональна числу неактуальных записей в запросе к базе данных. При этом запросом будем считать «случайную» выборку данных (записей) определенного объема из базы данных для работы.

Естественно решать также задачу определения и оптимизации общих затрат на поддержание полноты и актуальности данных в интегрированной системе.

В третьей главе приводятся результаты разработки математических

моделей для расчета количественных значении характеристик качества данных в распределенной интегрированной информационной системе и определения загрузки телекоммуникационной системы и серверов при решении задач по оценке и поддержанию качества данных на заданном уровне.

Разработаны математические модели для оценки полноты данных в интегрированной информационной системе. Модели соответствуют предложенному итерационному процессу (алгоритму) поэтапной интеграции данных.

Рассмотрим процесс создания базы данных интегрированной системы путем слияния локальных баз данных, с математической точки зрения. Пусть N - объем генеральной совокупности (объем предметной области); является неизвестным параметром; Нль(1)- объем создаваемой БД на г'-м этапе (шаге); М(/ + 1) - объем БД, добавляемой на (¡+1)-м этапе (шаге) (объем (¿+1)-й выборки); /;(г +1) - количество данных (записей) в добавляемой БД на (¡+1)-м шаге, которые уже присутствуют в создаваемой БД (рисунок 3.1.1), к{1 +1) = 0, тц^Л^г), М(г +1)). Задача состоит в том, чтобы, зная параметр £(/ +1), который получается эмпирически, а также параметры Ы^ (г), _М(г+1), оценить параметр N для г'-го шага создания БД интегрированной системы. Поскольку больший интерес представляет не объем генеральной совокупности, а то, насколько полна создаваемая БД, то на каждом этапе проводится оценка полноты - 0) как отношения имеющихся в БД записей (//¿¿(г)) к

потенциально возможному - {N{1))-. ду (г) - Ыл (г)/N(1). Случайная величина к(г +1) = 0, шш[Л/ (г +1), (/)], г > 1, имеет гипергеометрическое распределение. Для оценивания используется метод максимального

£(гЧ1) + 1

Показано, что при (г) + М(г +1) > N оценка является несмещенной.

Соответственно, ожидаемая плата за невозможность исполнения запроса из-за отсутствия требуемых данных будет ^ (1-дДг)), где с, - стоимостной коэффициент.

Получепи ГуЮ-тсмс-Хи^ссгсис модели для ириилтси процед^'ры атсхуализатуд! данных. Определена эффективность процедуры актуализации, связанная с обеспечиваемым этой процедурой качеством данных.

Параметрами актуализации являются: Г - период актуализации

(проверки и корректировки данных); I) - объем выборки для актуализации; /0а - момент начала первой актуализации (может быть произвольным моментом времени); Ъ1 - плата за проверку одной записи; Ъ2 - плата за корректировку одной неактуальной записи; А - интенсивность потока изменений в данных об

правдоподобия. Оценка имеет вид: N(1) -

-1.

объектах.

Для каждой актуализации рассчитывается величина затрат, пропорциональная объему выборки £> и числу плохих записей в выборке.

Считаем, что длительность актуализации имеет экспоненциальное распределение со средним Г, т.е. каждая актуализация происходит, в среднем, через Г единиц времени. Среднее время до начала проведения у'-й актуализации: [/] = *оа + С/ ~ Щ, где tJX\ = tlía - момент начала 1-ой актуализации.

Поведение системы при проведении актуализаций будем рассматривать до момента и. За это время будет произведено в среднем

'Ов

+ 1

актуализаций.

Можно вычислить вероятность получить £>0(/а[У]) неактуальных записей в 7-й выборке, используя гипергеометрическое распределение, (выборка без

возвращения): р(Щ(!аи\)--—5-, где ж(/а[у]) - ожидаемое

число неактуальных записей в БД в момент у- й выборки: m(ta [у]) = m(ta [j -1]) - D0 {ta [j -1]) + AT

Получена рекуррентная формула для расчета среднего числа неактуальных записей в моменты актуализаций: m(t [j + Ц) = т{1а [у ])(1 ——) + ЛГ.

Используя ее можно рассчитать среднее число неактуальных записей в моменты актуализаций, зная только момент начала первой актуализации:

nita\j+\])=\ Л-/,

10а

D

(I——-У +—.Получена оценка актуальности

К,

D

данных

на

D

db

момент J-L D

o+v

актуализации:

Na

db

w> К

db

na

db

При этом среднее число неактуальных записей /30(^[у']) в выборке при у-

й актуализации:

M

db

A-t

ЛЩ

Oa

<й

NTNA

0-ТГ-У +

л

Ж

D

Ожидаемая плата за проведение у'-й акхуализации (в момент РЬ4[/']) может быть вычислена по формуле:

И

M

<й

Получены формулы для оценки величины возможных штрафов, которые образуются при использовании неактуальных данных при обработке запросов, и, соответственно, выбора оптимальных параметров актуализации. Так, число неактуальных записей в момент г-го запроса:

Ш-

и(Ш=

■а-^У+^+А-кй-^хдеУ» О

+1.

Актуальность на момент г-го запроса:

ЛЩА д.* _££

Л<* I)

о-^уАл.^-ш]

^ о

Ъь

Суммарные затраты, связанные с актуализацией, состоят из штрафа и платы за актуализации можно подсчитать по формуле:

Яд И)=г(д/,да, (г [/])+ #(9/>9а, * х [/]), /=й.

Разработано программное обеспечение для расчета оптиалных значений параметров Т и Д при которых затраты не превосходили бы некоторого предельного значения С как можно больше времени.

Как отмечалось, проведение операций по оценке и обеспечению качества данных приводит к дополнительной нагрузке на телекоммуникационную сеть и серверы, входящие в состав подсистемы обеспечения качества данных. Получены результаты для расчета дополнительной нагрузки на каналы связи и серверы, связанной непосредственно с решением задач оценки и обеспечения качества данных. Расчеты позволяют оценить возможные перегрузки системы и задержки в обработке и передаче данных. При построении моделей считалось, что возможно использование каналов связи и серверов, уже задействованных в информационной системе для решения основных задач, поэтому нагрузка, связанная с решением задач по оценке и обеспечению качества данных -дополнительная.

Пусть имеется обслуживающее устройство (канал связи, сервер), на вход которого поступает основной поток сообщений (основная нагрузка на ОУ) заданной интенсивности Л0. Для этого случая можно, в зависимости от типа СМО, вычислить среднее время ожидания сообщением в очереди, среднюю длину очерели. загрузку обслуживающего устройства. Пусть теперь на вход этого же устройства поступает дополнительный поток сообщений (дополнительная нагрузка) интенсивностью Я > О - дополнительная нагрузка. В этом случае изменятся и характеристики системы, величину этих изменения и требуется оценить. Очевидно, что должно выполняться неравенство: (Яд + X )£, < 1, здесь Ьх - среднее время обслуживания одного сообщения.

Так, если в качестве модели используется СМО типа М/С/1/оо, то получим следующие результаты:

- для среднего времени ожидания в очереди, величина разности между

временем ожидания при основной нагрузке и временем ожидания с

л ттг ^-Фг (Л)+ ^ дополнительной нагрузкой равна: ЛWl = ——-7—- -=— ;

2(1 ~ЛА) 2(1-(Д0 4-А)^) - для загрузки обслуживающего устройства величина разности между загрузкой при основной нагрузке и загрузкой с дополнительной нагрузкой вычисляется по формуле: Ар = ) - р{Л$ + Л )] = р(Л ).

Полученные формулы можно применять для вычисления разности между характеристиками системы для режима работы только с основными данными и для режима работы с основными и дополнительными данными. Эти разности определяют величину дополнительной нагрузки на систему.

Проведена оценка интенсивности и объемов возникающих дополнительных потоков данных. При этом будем оценивать объемы передаваемых данных без указания конкретных точек источников и приемников. Будем считать, что приложение установлено на одном из серверов, где хранятся интегрируемые данные, и при этом передается наименьший из массивов данных. Следовательно, на каждом шаге интеграции требуется передавать массив объемом RlUHm ~ min {Ndb (i),M(i+1)}. Это и будет минимальное число записей, которое необходимо предавать по каналам связи. Если обозначить через Tlmm интервал времени между процедурами интеграции i и (/+1), то интенсивность потока дополнительных данных: Кпш = vAmm !Timm, где vr - объем записи в байтах.

Если проводится только оценка полноты путем выборочной проверки (фильтрации) статистических данных, собранных из генеральной совокупности, то для расчета интенсивности потока дополнительных даных можно использовать формулу: Ilnom =vrMnmJTnom , где Mпшн - объем записей в выборке, ТШ1И интервал времени сбора и передачи статистики.

Нагрузка при проведении актуализации возникает в связи с тем, что необходимо извлекать из БД выборку для проверю! и передавать в БД результаты проверки выборочных данных. При этом объем выборки остается неизменным независимо от того, извлекается она из центральной БД, полученной при интеграции, либо и локальных БД, если при интеграции центральная БД не создавалась (создавалась виртуальная центральная БД).

Определена интенсивность потока данных, передаваемых при проведении актуализации. Как отмечалось количество записей в выборке равно Д а длительности интервалов между актуализациями имеют экспоненциальное распределение с параметром ИТ. При этом интенсивность потока данных, передаваемых по каналам связи равна DIT записей в единицу времени. Если объем записи равен vr байт, то интенсивность потока данных, связанных с актуализацией, равна vrD/T байт в единицу времени. Это есть интенсивность

дополнительного потока данных в телекоммуникационной сети информационной системы, т.е. X = уг£)/Г. Теперь для проведения расчетов по вычислению разности между различными режимами работы каналов связи и серверов можно воспользоваться полученными формулами.

При проведении процедур актуализации и интеграции одновременно, интенсивности потоков соответствующих данных складываются.

Полученные результаты дают возможность администратору планировать работы по поддержанию полноты и актуальности данных.

В четвертой главе приводятся результаты анализа качества данных в специализированной интегрированной информационной системе.

ОБЩИЕ ВЫВОДЫ По результатам проведенных исследований и разработок можно сделать следующие заключения и выводы.

1. Проведен анализ современных интегрированных систем, который показал, что одну из решающих ролей в работе системы играет качество данных. Поэтому, при возрастании объемов используемых данных, усилия по обеспечению их качества должны постоянно возрастать.

2. Проведен анализ показателей качества данных используемых в информационных системах, позволивший выделить для исследований два основных показателя: полноту и актуальность данных. Приведены количественные показатели полноты и актуальности, предложены формулы для оценки комплексных затрат, связанных с обеспечением полноты и актуальности данных.

3. Разработаны алгоритмы оценки и обеспечения полноты и актуальности данных при формировании и эксплуатации интегрированной информационной системы. Для данных алгоритмов разработаны математические модели, позволяющие вычислять значения показателей полноты и актуальности, определять параметры алгоритмов для обеспечения заданных значений полноты и актуальности и затрат на их обеспечение.

4. Разработана обобщенная структура распределенной подсистемы обеспечения полноты и актуальности данных. Показано, что система встраивается в ресурсы информационной системы и поэтому создает дополнительную нагрузку на них, что может привести к перегрузке каналов связи и серверов. В связи с этим, во избежание перегрузок, необходимо оценивать дополнительную нагрузку и связанные с ней издержки в работе интегрированной системы.

5. Разработаны математические модели для расчета дополнительной нагрузки на телекоммуникационную систему и северы при решении

задач обеспечения полноты и актуальности. Модели позволяют оценить интенсивности потоков дополнительных данных и вызванные этим задержки при передаче основных данных и в работе основных приложений.

6. Разработанные алгоритмы и модели применялись при оценке качества данных в реальной специализированной информационной системе, где позволили оценить качество информации, содержащейся в системе.

Результаты диссертационной работы могут быть полезны разработчикам и администраторам инте1рированных информационных систем различного назначения.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Забелин O.A. Оценка полноты интегрированной базы данных при неизвестном количестве учитываемых объектов // Компьютерные учебные программы и инновации. М.: 10,2007 с. 194-198.

2. Забелин O.A. Актуализация данных в интегрированных информационных системах // Сборник научных статей преподавателей, аспирантов, студентов и молодых ученых. Материалы VI Всероссийской межвузовской научно-практической конференции «Актуальные социально-экономические проблемы развития России». Часть 2, М.: МФЮА, 2007. с. 371-372.

3. Забелин O.A. Проблемы оценки и обеспечения полноты и актуальности данных в интегрированных распределенных информационных системах // Сегодня и завтра Российской экономики. Научно аналитический сборник. М.: 16,2008. с. 19-22.

4. Бодров A.A. Забелин O.A. Модели работы многосерверного центра обработки запросов. Известия Тульского государственного университета, Вып. 14, Изд-во ТулГУ, Тула, 2006. с. 46-51.

5. Забелин O.A. Подсистема оценки и обеспечения качества данных в распределенной информационной системе. Препринт. М.: МФЮА, 2008. - 18 с.

6. Забелин O.A., Саксонов Е.А. Математические модели для оценки и поддержания качества данных в интегрированной информационной системе. М.: МФЮА, 2007. - 40 с.

7. Забелин O.A. , Саксонов Е.А. Подсистема оценки и обеспечения качества данных интегрированной информационной системы. // Качество. Инновации. Образование. М.: №8,2008. с. 56-59.

Подписано в печать 3.10.2008. Формат 60x84/16. Бумага типографская N2 2. Печать - ризография. Усл. печ. л. 1,0 Тираж 100 экз. Заказ

Московский государственный институт электроники и математики 109028, Москва, Б.Трехсвятительский пер., 3/12.

Центр оперативной полиграфии (095) 916-88-04, 916-89-25

ВВЕДЕНИЕ.

1. ПРОБЛЕМА ОБЕСПЕЧЕНИЯ КАЧЕСТВА ДАННЫХ В СОВРЕМЕННЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ.

1.1. Особенности построения и работы современных информационных систем.

1.1.1. Архитектура современной информационной системы.

1.1.2. Особенности работы интегрированной ИС.

1.1.3. Проблемы обеспечения качества данных в интегрированной ИС

1.2. Общие подходы к оценке качества данных информационной системы.

1.2.1. Оценка качества баз данных.:.

1.2.2. Оценка качества данных.

1.3. Политика обеспечения качества данных в информационной системе

1.3.1. Задачи обеспечения качества данных.

1.3.2. Подсистема оценки и обеспечения качества данных.

Выводы.'.

2. ЗАДАЧИ ОЦЕНКИ И ОБЕСПЕЧЕНИЯ КАЧЕСТВА ДАННЫХ В ИНТЕГРИРОВАННЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ.

2.1. Задачи администрирования данных в информационной системе.

2.1.1. Администрирование данных.

2.1.2. Администрирование баз данных.

2.2. Характеристики качества данных.

2.3. Оценка и обеспечение полноты и актуальности данных.

2.3.1. Полнота данных.

2.4. Статистические методы обследования данных.

2.4.1. Сплошное обследование.

2.4.2. Обследование специально отобранных единиц.

2.4.3. Выборочный метод.

2.5. Задачи обеспечения и оценки полноты и актуальности данных.

2.5.1. Обеспечение и оценка полноты данных.

2.5.2. Задачи актуализации данных.

Выводы.

3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ РАСЧЕТА ДОПОЛНИТЕЛЬНОЙ НАГРУЗКИ ПРИ ОЦЕНКЕ И ОБЕСПЕЧЕНИИ ПОЛНОТЫ И АКТУАЛЬНОСТИ ДАННЫХ.

3.1. Математические модели для оценки полноты базы данных.

3.1.1. Модель двухступенчатой выборки.

3.2. Математические модели для оценки актуальности базы данных.

3.2.1. Актуализация не проводится.

3.2.2. Актуализация производится.

3.2.2.1. Оценка затрат на актуализацию данных.

3.2.2.2. Оценка величины штрафа.

3.3.2.3. Оценка затратна проведение актуализации данных.

3.3.2.4. Подбор оптимальных значений параметров Т и 0.

3.3. Модели для оценки загрузки телекоммуникационной и компьютерной сетей.

3.3.1. Расчет дополнительной нагрузки при оценке и обеспечении полноты данных.

3.3.2. Расчет дополнительной нагрузки при обеспечении актуальности данных.

Выводы.

4. ПРИМЕНЕНИЕ РАЗРАБОТАННЫХ МЕТОДОВ В АИС УЧЕТА ИНОСТРАННЫХ ГРАЖДАН.

4.1. Описание системы.

4.2. Формирование в ЦБД.

4.3. Описание работы системы.

4.2. Функционирование АИС УИГ.

4.4. Анализ потоков данных для подсистемы оценки и обеспечения актуальности данных.

Выводы.

На сегодняшний день большое количество предприятий и организаций различных форм собственности имеют свои локальные информационные системы, где хранится необходимая для обеспечения их деятельности информация.

Развитие и объединение предприятий, расширение круга решаемых задач обуславливают необходимость интеграции локальных данных в единое информационное пространство. При этом резко возрастают объемы хранимой и обрабатываемой информации. Информационные системы становятся все более крупномасштабными как по объемам хранимых и обрабатываемых данных, так и по функциональному назначению решаемых задач.

В этих условиях особое внимание должно уделяться обеспечению качества данных, поскольку оно определяет эффективность применения информационной системы, обоснованность и правомерность принимаемых решений. От качества используемой в информационных системах информации часто зависит принципиальная возможность ее использования при принятии управленческих решений. Поэтому наряду с качественным и количественным ростом информационных систем, значимость проблемы обеспечения качества данных будет постоянно возрастать.

Однако, если вопросы оценки и обеспечения качества данных на теоретическом уровне достаточно хорошо исследованы в работах по теории вероятностей и математической статистике, то реализация алгоритмов и моделей для оценки и обеспечения качества данных в реальных условиях требует проведения дополнительных исследований.

Это обусловлено тем, что когда в информационных системах хранятся и обрабатываются очень большие объемы данных (109 - 1012) записей, работы по оценке и обеспечению качества данных становятся весьма трудоемкими, сильно загружая телекоммуникационные и вычислительные средства информационной системы дополнительными потоками данных и программным обеспечением.

Для проведения таких работ, в рамках существующей информационной системы, целесообразно создавать специализированные подсистемы, использующие уже имеющиеся телекоммуникационные и серверные ресурсы. При этом необходимо оценивать дополнительную нагрузку, вносимую данной подсистемой, чтобы исключить перегрузки и снижение качества обслуживания основных задач.

В связи с этим тематика диссертационной работы, направленная на решение задач, связанных с оценкой нагрузки на телекоммуникационные и вычислительные средства информационной системы при решении задач оценки и обеспечения качества данных, актуальна как на сегодняшний день, так и на достаточно удаленную перспективу.

Целью работы является разработка структуры подсистемы обеспечения качества данных в распределенной информационной системе и создание математических моделей для количественной оценки нагрузки на телекоммуникационную сеть и серверное оборудование информационной системы при решении задач обеспечения полноты и актуальности данных.

Для достижения поставленной цели в работе сформулированы и решены следующие задачи:

• проведен анализ параметров качества данных и методов их оценки и поддержания на заданном уровне;

• разработаны алгоритмы обеспечения полноты и актуальности данных в интегрированной информационной системе;

• разработаны математические модели для расчета показателей полноты и актуальности данных;

• разработана структура подсистемы обеспечения качества данных;

• разработаны математические модели для вычисления необходимых объемов данных для обеспечения заданных значений показателей полноты и актуальности данных и расчета нагрузки на каналы связи и серверы обработки данных подсистемы обеспечения качества данных.

На защиту выносятся:

• алгоритмы обеспечения полноты и актуальности данных в распределенных интегрированных информационных системах;

• комплекс математических моделей для расчета характеристик полноты и актуальности данных;

• комплекс математических моделей для расчета нагрузки на каналы связи и серверы при решении задач обеспечения полноты и актуальности данных для заданной структуры подсистемы обеспечения качества данных.

Научная новизна полученных результатов заключается в разработке математических моделей для комплексной оценки полноты и актуальности данных, ориентированных на конкретные алгоритмы интеграции и поддержания качества и методов оценки нагрузки на телекоммуникационную сеть и серверы обработки данных информационной системы.

Практическая ценность результатов диссертации состоит в создании методов расчета показателей полноты и актуальности данных, позволяющих определять необходимые объемы выборок для достижения заданных значений показателей и связанную с этим нагрузку на каналы связи и серверы информационной системы, что дает возможность обоснованно выдвигать требования к качеству каналов связи и параметрам серверов для обслуживания подсистемы обеспечения качества данных.

Достоверность и обоснованность результатов диссертации обеспечиваются соответствием разработанных алгоритмов и математических моделей. известным теоретическим результатам и практическому опыту по оценке и обеспечению качества данных в информационных системах, применением при разработке моделей современных методов математической статистики и подтверждаются положительными данными об их применении в реальной информационной системе.

Методы исследований. При решении поставленных в диссертации задач применялись методы теории систем, теории вероятностей и математической статистики, теории множеств, математического программирования, а также использовались данные о современных методах создания распределенных интегрированных информационных систем, распределенных баз данных, телекоммуникационных систем.

Реализация и внедрение результатов исследований. Результаты проведенных исследований применялись при исследовании качества данных в системе учета иностранных граждан, а также использовались в учебном процессе в Московском государственном институте электроники и математики и Московской финансово-юридической академии.

Апробация работы: Результаты работы докладывались на отечественных и зарубежных научно-технических конференциях, обсуждались на семинарах в МФЮА, МИЭМ.

ОБЩИЕ ВЫВОДЫ

По результатам проведенных исследований и разработок можно сделать следующие заключения и выводы.

1. Проведен анализ современных интегрированных систем, который показал, что одну из решающих ролей в работе системы играет качество данных. Поэтому, при возрастании объемов используемых данных, усилия по обеспечению их качества должны постоянно возрастать.

2. Проведен анализ показателей качества данных используемых в информационных системах, позволивший выделить для исследований два основных показателя: полноту и актуальность данных. Приведены количественные показатели полноты и актуальности, предложены формулы для оценки комплексных затрат, связанных с обеспечением полноты и актуальности данных.

3. Разработаны алгоритмы оценки и обеспечения полноты и актуальности данных при формировании и эксплуатации интегрированной информационной системы. Для данных алгоритмов разработаны математические модели, позволяющие вычислять значения показателей полноты и актуальности, определять параметры алгоритмов для обеспечения заданных значений полноты и актуальности и затрат на их обеспечение.

4. Разработана обобщенная структура распределенной подсистемы обеспечения полноты и актуальности данных. Показано, что система встраивается в ресурсы информационной системы и поэтому создает дополнительную нагрузку на них, что может привести к перегрузке каналов связи и серверов. Поэтому необходимо оценивать дополнительную нагрузку и связанные с ней издержки в работе интегрированной системы.

5. Разработаны математические модели для расчета дополнительной нагрузки на телекоммуникационную систему и северы при решении задач обеспечения полноты и актуальности. Модели позволяют оценить интенсивности потоков дополнительных данных и вызванные этим задержки при передаче основных данных и в работе основных приложений.

6. Разработанные алгоритмы и модели применялись при оценке актуальности АИС Учета иностранных граждан, где позволили определить качество информации, содержащейся в системе.

Результаты диссертационной работы могут быть полезны разработчикам и администраторам интегрированных информационных систем различного назначения.

1. Авен О.И., Гурин H.H., Коган Я.А. Оценка качества и оптимизация вычислительных систем. -М.: Наука, 1982. - 464 с.

2. Айвазян С.А. и др. Прикладная статистика //том 1 Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. - 471с.

3. Альянах И.Н. Моделирование вычислительных систем. JL: Машиностроение, 1988. - 223 с.

4. Андронов A.M., Копытов Е.А., Гринглаз Л.Я. Теория вероятностей и математическая статистика: Учебник для вузов. СПб.: Питер, 2004.

5. Арсеньев Б.П., Яковлев С.А. Интеграция распределенных баз данных. СПб.: Изд-во "Лань", 2001.- 464 с.

6. Атре Ш. Структурный подход к организации баз данных. М.: Финансы и статистика, 1983.

7. Афанасьев В.Н., Фуфлыгин М.Д. Информационные технологии в социально-экономической сфере. М.: МИЭМ, 1998.

8. Балыбердин В.А. Оценка и оптимизация характеристик систем обработки данных. -М.: Радио и связь, 1987. — 176 с.

9. Башарин Г.П., Бочаров П.П., Коган Я.А. Анализ очередей в вычислительных сетях. Теория и методы расчета. М.: Наука, 1989. -336 с.

10. Беляев Ю.К. Вероятностные методы выборочного контроля. М.:1. Наука, 1975.

11. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем.- М.: Финансы и статистика, 1989. 260 с.

12. Бочаров П.П., Печинкин A.B. Теория массового обслуживания: Учебник. М.: Изд-во РУДН, 1995. - 529 с.

13. Бочаров П. П., Печинкин A.B. Теория вероятностей и математическая статистика.- М.: Гардарика, 1998.

14. Божко В.П., Гулидов А.Д., Пряхина Е.В., Хорошилов A.B. Состояние и развитие корпоративной информационно-вычислительной системы Госкомстата России / Под. редакцией Божко В.П. М.: МЭСИ, 2003. -106с.

15. Бронштейн О.И., Духовный И.М. Модели приоритетного обслуживания в информационно-вычислительных системах. М.: Наука, 1976.-220 с.

16. Вендров A.M. CASE-Технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика, 1998. - 176 с.

17. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. — М.: Техносфера, 2003. 512с.

18. Воробьев Е.М. Введение в систему «Математика». М.: Финансы и статистика, 1998. -262 с.

19. Григорьев О.Г. Современные технологии создания корпоративных информационных систем. М.: Европейский центр по качеству, 2003. -180 с.

20. Гуляев Ю.В., Олейников А .Я., Филинов E.H. Развитие и применениеоткрытых систем в Российской Федерации. // Информационные технологии и вычислительные системы. М.:1995. Том 1, N 1, с. 1-12.

21. Дейт К. Введение в системы баз данных. 6-е изд. М.: Диалектика, 1998. - 784 с.

22. Джейсон Причард. Просто и доступно. СОМ и CORBA. Архитектуры, стратегии и реализации. Из-во "Лора", 2001. 372 с.

23. Ивченко Г. И., Левин В.В. Теория вероятностей и ее применения, 23, 1978, №1

24. Ивченко Г.И., Медведев Ю.И. Математическая статистика. М.: Высш. шк., 1984

25. Ивченко Г. И., Тимонина Е. Е,, О некоторых задачах оценивания для выборок из конечной совокупности. Изв. АН УзССР. Сер. физ.-мат. н., 1981, №4, 27-33

26. Ивченко Г. И., Тимонина Е. Е., Об оценивании при выборе из конечной совокупности. Мат. заметки, 1980, № 4, 623-633

27. Информационные системы общего назначения: Аналитический обзор СУБД. М.: Статистика, 1975.-471 с.

28. Кемени Дж., Снелл Дж. Конечные цепи Маркова. М.: Наука, 1970. -272 с.

29. Клейнрок Л. Теория массового обслуживания. Пер. с англ. Под ред. В.И. Неймана. М.: Машиностроение, 1979. -432 с.

30. Клейнрок Л. Вычислительные системы с очередями. Пер. с англ. Под ред. Б.С. Цыбакова.- М.: Мир. 1979. 600 с.

31. Коннолли Т., Бегг К. Базы данных: проектирование, реализация и сопровождение. Теория и практика (3-е издание).- М.: Вильяме, 2003.

32. Концепция Федеральной целевой программы «Развитие информатизации в России на период до 2005 года» http://www.garweb.ru/misc/art/president/president6.htm.

33. Кофман А., Анри-Лабордер А. Методы и модели исследования операций. -М.: Мир, 1977.-432 с.

34. Крейг С. Маллинс Администрирование баз данных. Полное справочное руководство по методам и процедурам. М.: Кудиц-образ, 2003.

35. Кузин А. В., Демин В.М. Разработка баз данных в системе Microsoft Access. -М.: Форум-Инфа-М, 2005.

36. Кульба В.В., Ковалевский С.С., Косяченко С.А., Сиротюк В.О. Теоретические основы проектирования оптимальных структур распределенных баз данных. М.: «Синтег», 1999.

37. Липаев В.В. Выбор и оценивание характеристик качества программных средств. М.: «Синтег», 2001.

38. Липаев В.В. Обеспечение качества программных средств. М.: «Синтег», 2001.

39. Липаев В.В. Направления развития методов и стандартов открытых систем.// Информатика и вычислительная техника. Научно-технический сб. Вып. 1-2. 1995.

40. Мартин Дж. Организация баз данных в вычислительных системах. -М.: Мир, 1980.-664 с.

41. Моисеев H.H., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. М.: Наука, 1978.-352 с.

42. Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981.-488 с.

43. Николаев В.И., Брук В.М. Системотехника: методы и приложения. -Л.: Машиностроение, 1985. 199 с.

44. Олифер В.Г., Олифер H.A. Компьютерные сети. Принципы, технологии, протоколы. СПб.: Питер, 1999. 672 с.

45. Олифер В.Г., Олифер H.A. Новые технологии и оборудование IPсетей. СПб.: БХВ-Санкт-Петербург, 2000. 512с.

46. Основы построения больших информационно-вычислительных систем. Под ред. Жимерина Д.Г. и Максименко В.И. М.: Статистика, 1976.-296 с.

47. Ретано А., Слайс Д., Уайт Р. Принципы проектирования корпоративных IP-сетей. : Пер. с англ. М.: Изд. дом «Вильяме», 2002.- 368 с.

48. Саати Т.А. Элементы теории массового обслуживания и ее приложения. -М.: Сов. Радио, 1971. 520с.

49. Садовский В.Н. Основания общей теории систем. М.: Наука, 1974. -280 с.

50. Танненбаум Э., М. Ван Стен. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 877 с.

51. Ульман Дж. Основы систем баз данных: Пер. с англ. М.: Финансы и статистика. 1983. - 572 с.

52. Уэлдон Д.-Л. Администрирование баз данных: Пер. с англ. М.: Финансы и статистика. - 1984. - 360 с.

53. Федеральная целевая программа «Электронная Россия 2002-2010 годы» //http//-www. gar web. ru/im s с/art/pres i dent/.

54. Феллер В. Введение в теорию вероятностей и ее применения. В 2-х томах. Пер с англ.- М.: Мир, 1987. Т1-528с. Т2-738 с.

55. Шварц Г. Выборочный метод. -М.: Статистика, 1978.

56. Buretta М. Data Replication: Tools and Techniques for Managing Distributed Information. New York: John Wiley, 1997.

57. Emmeich W. Engineering Distributed Objects. New-York: John Wiley, 2000.

58. Forman I.R. On the design of large distributed systems // Proc. IEEE CS 1986 Int. Conf. on Computer Languages, Miami, FL.-1986.-P.84-95.

59. Ford W. Computer Communications Security Principles, Standard Protocols and Techniques. New Jersey: Prentice-Hall, 1994.

60. James D. McCabe. Practical Computer Network Analysis and Design. Morgan Kaufmann Publishing company, 1998.

61. Lawor E.L., Levitt K.N., Turres I. Module Clustering to Minimize Delay in Digital Network / IEEE Trans. v.EC - 18. - N1 - p.445-451.

62. Oracle. Database Administrator's Guide. Oracle Corp.- 1984.

63. Stallings W. Data and Computer Communications, Fifth Edition. Upper

64. Saddle River, NJ: Prentice Hall, 1997.