автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Повышение эффективности применения ссылочных массивов данных в интегрированных системах обработки информации

На правах рукописи

Бодров Алексей Анатольевич

ПОВЫШЕНИЕ ЭФФЕКТИВНОСТИ ПРИМЕНЕНИЯ

ССЫЛОЧНЫХ МАССИВОВ ДАННЫХ В ИНТЕГРИРОВАННЫХ СИСТЕМАХ ОБРАБОТКИ ИНФОРМАЦИИ

Специальность: 05.13.01 - Системный анализ, управление и обработка информации (технические системы)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

□О34ьиаио

Москва 2009

003460906

Работа выполнена в Учреждении Российской академии наук Институте конструкторско-технологической информатики РАН (ИКТИ РАН).

Научный руководитель:

доктор-технических наук Григорьев Олег Георгиевич.

Официальные оппоненты:

доктор технических наук, профессор Фролов Евгений Борисович;

доктор технических наук, профессор Саксонов Евгений Александрович.

Ведущая организация: Учреждение Российской академии наук

Институт системного анализа РАН (ИСАРАН).

Защита диссертации состоится февраля 2009 г. в И часов на

заседании диссертационного совета Д 212.142.03 в ГОУ ВПО Московском государственном технологическом университете «Станкин» по адресу: 127994, г. Москва, Вадковский пер., д. За.

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО Московского государственного технологического университета «Станкин».

Автореферат разослан «_21_» января 2009 г.

Ученый секретарь

диссертационного Совета Д 212.142.03, кандидат технических наук, доцент

V/

Е. Г. Семячкова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Проблема интеграции данных, содержащихся в локальных независимых автономных и неоднородных источниках, стала весьма актуальной в последние годы при разработке и развитии систем обработки информации различного уровня и назначения.

Интеграция позволяет пользователям и программным средствам корпоративной системы осуществлять доступ к локальным информационным системам как к одной общей системе и производить поиск и обработку требуемой информации без учета специфики представления, хранения и обеспечения безопасности в локальных системах. Поэтому интеграция информационных ресурсов является, в настоящее время, одним из наиболее важных направлений при создании корпоративных систем обработки информации и управления. Важной темой сегодняшнего дня становятся технологии и программные продукты, способные обеспечить безболезненную интеграцию локальных систем обработки информации, возможность концентрации информация с целью оперативного и более эффективного принйтий' решений (анализа и управления).

Существует множество методов интеграции информационных ресурсов. От выбора метода зависит эффективность работы программного обеспечения, скорость выполнения- запросов и актуальность предоставляемых данных. Одним из наиболее распространённых является метод, основанный : на созданий и применении ссылочных массивов. Однако его эффективное практическое применение требует разработки соответствующих методой управления процессами обработки информации, анализа взаимодействия с локальными системами, знания специфики решаемых прикладных задач, требований к качеству данных и алгоритмам управления.

В связи с этим тематика диссертационной работы, связанная с разработкой математических моделей для анализа и повышения эффективности применения ссылочных массивов в интегрированных системах обработки информации, является актуальной, а результаты диссертации имеют важное практическое значение.

Целью работы является повышение эффективности применения ссылочных массивов в интегрированных* системах обработки информации за счет разработки и теоретического обоснования методов создания, ведения и актуализации ссылочных массивов и обработки запросов к ним.

Для достижения указанной цели были поставлены следующие задачи:

1) исследование и анализ методов построения интегрированных систем обработки информации;

2) разработка алгоритмов формирования и актуализации ссылочного массива, позволяющих обеспечить доступ к информации, обработку запросов к локальным системам;

3) разработка математических моделей для управления процессами актуализации ссылочного массива и обработки запросов пользователей к ссылочному массиву;

4) разработка методики адаптации математических моделей и алгоритмов для создания специализированных интегрированных систем обработки информации.

Научная новизна полученных результатов заключается в выборе объекта исследования - ссылочного массива, проведении анализа и обобщения известных теоретических и практических данных по созданию интегрированных систем обработки информации с использованием ссылочных массивов, установлении связей между характеристиками интегрированной системы и параметрами ссылочных массивов, что

позволило построить комплекс математических моделей для системного анализа, оценки и повышения эффективности , применения ссылочных массивов в интегрированной системе. . , ■

Разработаны:

- алгоритмы создания и ведения ссылочных массивов;

- комплекс математических моделей процессов актуализации и обработки запросов в ссылочных массивах;

- алгоритмы актуализации ссылочных массивов и обработки запросов в ссылочных массивах.

Практическая значимость результатов диссертации состоит в создании алгоритмов для анализа и управления процессами организации и управления работой ссылочных массивов данных при актуализации и организации обработки запросов, ориентированных на специфику конкретной корпоративной системы управления. Полученные результаты можно применять при создании, анализе и администрировании корпоративных информационных систем, использующих интегрированные данные различного назначения.

Достоверность и обоснованность основных результатов и выводов диссертации базируются на обобщении и развитии существующего опыта создания и применения ссылочных массивов в интегрированных системах обработки информации, разработке математических моделей с учетом специфики применения ссылочных массивов и обработки запросов пользователей, на соответствии полученных результатов сведениям, опубликованным в отечественной и зарубежной печати, на результатах практического применения разработанных моделей и алгоритмов при создании конкретных интегрированных систем управления и обработки информации специального назначения.

Методы исследований. При решении поставленных в диссертации

задач применялись методы теории систем, теории очередей, теории вероятностей, теории множеств, математического программирования.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на научных семинарах ИКТИ РАН, ИСА РАН, ИЛИ РАН.

Результаты проведенных исследований использованы при создании специализированных интегрированных систем обработки информации в ФСБ России и МВД России, что подтверждено соответствующими актами.

Публикации. Основные результаты диссертации опубликованы в 6 печатных работах, в том числе 2 из них в журналах рекомендованных ВАК.

Структура диссертации. Диссертация состоит из введения, четырех глав и списка литературы. Общий объем диссертации 122 страницы, включая 25 рисунков и 2 таблицы.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертационной работы и проводимых исследований, описываются новизна, практическая значимость и реализация результатов работы.

В первой главе рассматриваются наиболее перспективные и часто употребляемые способы создания интегрированных систем обработки информации путем интеграции данных из локальных подсистем.

Показано, что интегрированные системы являются одним из основных подходов при создании крупных корпоративных и межотраслевых систем, информационных систем федерального, регионального и отраслевого уровней.

Сложность и трудоемкость процессов интеграции и необходимость их

анализа обусловлены тем, что интегрируются информационные ресурсы, находящиеся в ранее созданных системах. Причем эти системы создавались независимо друг от друга и, естественно, с использованием различных правил и стандартов.

Сформулированы требования к интегрированной системе по предоставляемым услугам и обслуживанию пользователей.

Показано, что интегрированная сис.тема может рассматриваться как набор слабосвязанных информационных ресурсов, сосредоточенных в локальных системах. Доступ пользователей к локальным ресурсам должен обеспечиваться по единым правилам и соответствовать регламентам локальных систем. Эти правила должны обеспечивать корректное совместное использование локальных ресурсов при решении специфических задач интегрированной системы, определяющих ее прикладное назначение.

Правила создания системы определяются возможностями управления локальными ресурсами и готовностью владельцев локальных ресурсов к внесению необходимых изменений в свои информационные системы.

Показано также:, что интегрированная система должна обеспечивать санкционированный доступ к локальным ресурсам при прозрачности механизма доступа.

Исследованы различные варианты интеграции, удовлетворяющие заданным требованиям по доступу к информации, но отличающиеся по таким параметрам, как объемы перемещаемых данных, затраты на интеграцию, связанные с созданием необходимых программных и информационных ресурсов, трудоемкость настройки и модернизации ранее созданных локальных информационных систем, эффективность организации процессов обработки информации и ответственность за качество данных. ^

Показано, что такие методы, как использование единого профиля стандартов, создание централизованных хранилищ данных или санкционированный доступ пользователей непосредственно к локальным системам связаны с внесением серьезных изменений в ранее созданные системы, могут нарушать требования локальных систем по безопасности информации, требуют большого объема подготовительных работ. Однако отмечены те случаи, когда применение указанных методов оправдано.

По результатам проведенного анализа вариантов интеграции для исследования в диссертационной работе выбран метод на основе ссылочных массивов или витрин данных. Здесь под ссылочным массивом понимаем специализированный массив данных, содержащий информацию о размещении данных в локальных системах и правилах доступа к таким данным. Ссылочный массив является своеобразным промежуточным слоем между пользователями интегрированной системы и локальными системами, используя который пользователи могут находить и получать доступ к требуемой информации. По сута, ссылочный массив - это массив метаданных. Часто ссылочный массив называют витриной данных.

Таким образом, ссылочный массив, представляет совокупность данных, необходимых для обработки запросов к интегрированной системе. Сервер ссылочного массива является главной точкой входа (порталом) в интегрированную систему, куда поступают запросы пользователей системы, где происходит их интерпретация и формирование запросов к локальным системам, а также получение ответов от локальных систем и формирование ответов на запросы пользователей.

Метод интеграции на основе ссылочного массива обладает рядом преимуществ:

- минимизирует объем изменений в локальных системах;

- минимизирует объемы данных перемещаемых из локальных систем;

- позволяет создавать виртуальное корпоративное хранилище данных;

- обеспечивает доступ в систему через единую точку входа (портал);

- позволяет скрыть истинное размещение данных в локальных системах;

- позволяет совмещать процедуры поиска и доступа к данным;

- позволяет эффективно применять известные Web- технологии;

позволяет достаточно просто администрировать работу пользователей и приложений.

К наиболее значимым недостаткам метода можно отнести:

- необходимость регулярной актуализации ссылочного массива с учетом изменений и дополнений в локальных информационных ресурсах, обеспечивающей полноту обработки запросов к интегрированной системе;

- сложность создания единой семантической модели данных и ее применения во всех локальных системах;

- высокие требования к производительности серверов обработки запросов к ссылочному массиву, связанные с централизацией получения и обработки запросов.

Показано, что при правильной организации и управлении работой со ссылочным массивом, перечисленные достоинства, позволяют повысить эффективность обработки информации в интегрированной системе за счет увеличения скорости и повышения качества обработки запросов.

Таким образом, определен объект исследования - ссылочный массив интегрированной систем обработки информации, исследованы свойства объекта и наиболее значимые задачи, решение которых необходимо при организации интегрированных систем на основе ссылочных массивов.

Все это позволило сформулировать направление и задачи исследований данного объекта, связанные с разработкой моделей для

вычисления (оценки) и оптимизации количественных значений характеристик системы.

Во второй главе диссертации проводится анализ процесса формирования ссылочного массива (витрины) данных, сформулированы основные задачи, которые необходимо решить при организации обработки информации с использованием ссылочных массивов.

Рассмотрены различные варианты организации процессов формирования и обработки запросов.

Так, варианты формирования ссылочного; массива учитывают возможные отличия в семантике атрибутов, относящихся к одному и тому же объекту в локальных базах данных. При этом формируемое множество поисковых атрибутов в ссылочном массиве должно позволять получать информацию об объекте во всех интегрируемых локальных системах.

Обработка запросов в интегрированной системе может проводиться в синхронном и асинхронном режимах в зависимости от возможностей клиентского программного обеспечения и организации работы пользователей. Режим обработки влияет на время получения ответа на запрос и требует соответствующих настроек прикладного программного обеспечения, поэтом необходим предварительный анализ каждого из режимов.

Поскольку локальные системы обычно создаются на различных программных платформах, то при формировании ссылочного массива должны создаваться необходимые структуры данных для формирования запросов к локальным системам. Здесь важное значение имеет возможность формирования интегрированных запросов к нескольким локальным системам одновременно и формирование результатов обработки таких запросов. Показано, что особенность обработки интегрированных запросов заключается , в том, что ответы из локальных

систем поступают не одновременно, и требуется ожидать полумения всех ответов для формирования интегрированного ответа.

В связи с динамичностью информации в локальных системах, данные там могут изменяться, удаляться и добавляться, поэтому необходимо отслеживать динамику их изменения в ссылочном массиве, чтобы при обработке запросов к интегрированной системе иметь возможность через ссылочный массив получать доступ только к актуальным данным и формировать ответы на запросы.

Определены показатели качества (эффективности) применения ссылочных массивов в интегрированной системе, связанные с длительностью ожидания обработки запросов и возможностью использования при обработке запросов актуальных данных.

Сформулированы основные задачи, которые необходимо решить для оценки (количественного выражения) и повышения качества обработки информации в интегрированной информационной системе, построенной на основе ссылочных массивов:

- актуализация ссылочного массива, обеспечивающая своевременное внесение изменений в ссылочный массив для использования при обработке запросов достоверной и актуальной информации, основным параметром актуализации является период ее проведения, а качество процесса актуализации характеризуется вероятностью исполнения запроса с актуальными данными;

- организация работы центра обработки запросов к ссылочному массиву, предусматривающая определение его состава и дисциплины (режима) обслуживания запросов, здесь основными параметрами являются количество серверов, режимы обработки запросов, а качество организации определяется длительностью N обработки запросов и загрузкой оборудования.

Таким образом, сформулированы цели и задачи анализа и оптимизации работа ссылочных массивов в интегрированной системе обработки информации.

В третьей главе приводятся результаты разработки и исследования математических моделей для решения задач анализа работы информационной системы со ссылочными массивами.

Разработаны модели для анализа и оптимизации процесса актуализации ссылочного массива. Исследовался случай, когда в локальные системы поступают пуассоновские потоки изменений. Модели учитывает возможность штрафов за работу с неактуальными данными в ссылочном массиве, а также затраты на проведение актуализации. Кроме того, модели позволяют учитывать интенсивности потоков изменений в локальных системах и интенсивность потока запросов пользователей к интегрированной системе. В качестве функционала для поиска оптимального периода актуализации Г по одной из моделей, получен, например, аддитивный функционал вида:

¿•(то=[«+с^- ёс^ -

" лн ' Т

Здесь а, Ь — весовые коэффициенты, имеющие смысл затрат на актуализацию и штрафов за работу с неактуальными данными; с1 -длительность интервала работы системы (с1 » Т), X - суммарная интенсивность потоков изменений в локальных системах.

Разработана математическая модель для анализа процесса обработки запросов к ссылочному массиву в синхронном режиме, когда следующий запрос может формироваться только после обработки предыдущего. Такой режим характерен при работе в реальном времени. В качестве модели применяется замкнутая К- канальная система массового обслуживания (СМО) с N источниками запросов. Особенностью модели является то, что в

качестве обслуживающего устройства может рассматриваться группа разнотипных серверов. Это обобщает известные результаты, полученные при исследовании подобных систем. Получены уравнения для расчета вероятностей состояний системы (г - длина очереди запросов,/ - число занятых серверов), на основе которых вычисляются характеристики системы:

- вероятность простоя серверов: р00;

- среднее время ожидания запроса в очереди:

т=0

ЛГ-К-1

- средняя длина очереди запросов: £ тРт к >

т=О

- среднее количество занятых клиентских рабочих мест:

ЛМС-1 к

N-2 (т + К)рт К - £пр0п .

т=0 п=0

Показаны возможности обобщения полученных результатов для случаев, когда клиенты системы формируют разнотипные запросы, а серверы работают в многозадачном режиме. Для этого использованы обобщенные функции распределения длительности обработки запросов и длительности формирования запросов:

N -г-1 ,

ЕЕл,- Е Е ^

' 1 ¿-и "V

№ (=1 У=1 ¡=1

где - функция распределения длительности обработки запроса ./'

типа на сервере, когда этот запрос на сервере единственный, М - число типов запросов; Ху - интенсивность потока запросов типа у, посылаемых клиентом номер ¡', Gj(f) - функция распределения длительности

формирования запроса типа j.

Исследована работа центра обработки запросов к ссылочному массиву в асинхронном режиме с различными алгоритмами диспетчеризации потоков запросов между серверами. Необходимость этих исследований обусловлена тем, что особенностью интегрированных систем является обслуживание очень большого числа пользователей, и образующиеся при этом режиме потоки запросов целерообразно перераспределять по серверам.

Исследования проводились с использованием в качестве моделей работы каждого сервера СМО типа М/С/1/оо.

Исследована работа центра обработки запросов при одинаковых серверах (однородная система обработки), что . бывает на практике достаточно часто. В этом случае каждый сервер может обработать любой запрос и используется простейшая диспетчеризация, когда запрос отправляется на любой свободный сервер.

Характеристики системы вычисляются, по известным формулам для СМО типа М/М/КЛ»:

- вероятность того, что в системе находится п пользователей:

Рп

00

в, уЬ, «- ' '

Ш К'

здесь вероятность простоя всех серверов вычисляется по формуле: Уо и! (К-ЩК-фУ '

- вероятность простоя ровно г серверов: д0г = Р(К_Г), (г = 1,...Д) ;

п (А)

- среднее число запросов в очереди: (¿х = ——!)!(£—уЬ )2 '

- среднее время ожидания запросом в очереди = Ql !у - средняя

длина очереди запросов к типа: Qk - ^/ц.

Отметим, что в формулах используется обобщенное время обработки запроса, введенное в работе, что позволяет развить известные результаты для систем с несколькими входящими потоками.

Аналогичные результаты получены для случая, когда в центре обработки запросов используются разнотипные серверы. Однако, при этом остро возникает необходимость диспетчеризации (распределения) запросов по серверам. В качестве алгоритмов диспетчеризации использовались алгоритмы программного управления, что позволило провести декомпозицию многосерверной системы на ряд односерверных подсистем с известными параметрами входящих потоков. Так, исследовались алгоритмы с жестким закреплением отдельных пользователей (клиентов) или приложений за серверами.

Полученные результаты позволяют не только проводить анализ работы центра обработки запросов, но и синтезировать его структуру путем выбора количества серверов и их параметров для повышения эффективности работы всей интегрированной информационной системы путем оптимизации характеристик центра обработки запросов.

В четвертой главе приводятся результаты адаптации и применения разработанных методов и математических моделей при создании специализированных -интегрированных систем обработки информации о физических лицах, имеющиеся в базах данных различных учреждений.

Приведены результаты разработки структуры системы, состав ссылочного массива данных. Показаны возможности применения математических моделей для расчета показателей качества работы систем и повышения эффективности обработки запросов.

ОБЩИЕ ВЫВОДЫ

По "результатам проведенных в диссертации исследований и реализации предложенных методов организации работы и математических моделей для построения и анализа специализированной интегрированной системы можно сделать следующие выводы.

1. В диссертации решена важная задача повышения эффективности применения ссылочных массивов данных в интегрированных системах обработки информации.

2. Проведен анализ современных подходов к построению интегрированных систем обработки информации, который

.. . . позволил выделить достоинства и недостатки различных методов интеграции и выбрать для исследования метод интеграции на основе ссылочных массивов.

3. Исследованы особенности, установлены наиболее важные связи и закономерности в процессах создания, обслуживания и применения ссылочных массивов в интегрированных системах обработки информации. Разработаны критерии эффективности применения ссылочных массивов. Определены задачи интегрированной системы, решение которых целесообразно проводить с применением ссылочных массивов.

4. Проведен анализ процесса обработки информации с использованием ссылочных массивов. Выделены основные задачи, решение которых необходимо при создании интегрированной системы на основе ссылочных массивов, связанные с актуализацией данных в ссылочном массиве и организацией работы центра обработки запросов.

5. Разработаны алгоритмы формирования и актуализации ссылочных массивов, обеспечивающие возможность поиска необходимых

данных в локальных системах, возможность формирования запросов к локальным системам при обращении к ссылочному массиву, актуальность данных в ссылочном массиве.

6. Разработаны математические модели для расчета характеристик интегрированной системы при применении ссылочных массивов. Модели позволяют выбрать период актуализации ссылочного массива с учетом динамики изменения данных в локальных системах, определить число серверов при создании центра обработки запросов к интегрированной системе. Модели учитывают специфику формирования запросов и возможные режимы работы серверов.

7. Разработанные методы построения системы и математические модели использованы при создании и организации работы специализированных интегрированных систем обработки информации, что позволило повысить скорость и качество обработки запросов. Разработанные модели и алгоритмы использованы также в учебном процессе при подготовке студентов.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Бодров А. А. Задачи организации витрин данных в интегрированных информационных системах. Известия Тульского государственного университета. Вып. 15.- Тула: Изд-во ТулГУ, 2006.- С. 73-76.

2. Бодров А. А., Забелин О. А. Модели работы многосерверного центра обработки запросов. Известия Тульского государственного университета. Вып. 14.- Тула: Изд-во ТулГУ, 2006 - С. 46-51.

3. Бодров А. А. Интеграция баз данных с использованием ссылочных массивов. Препринт.- М.: МИЭМ, 2007.- 24 с!

4. Бодров А. А., Зязин С. Н. Модель работы сервера с синхронной o6pá6oTKÓñ запросов // Организационно-управляющие системы на транспорте и в промышленности. Сб. научных трудов - М.: МАДИ, 2007,-С. 14-20.

5. Бодров А. А., Зязин С. Н., Миролюбов A. JI. Модели пакетной обработки запросов // Организационно-управляющие системы на транспорте и в промышленности. Сб. научных трудов - М.: МАДИ, 2007,-С. 21-29.

6. Бодров А. А. Методы и модели актуализации ссылочных массивов данных в интегрированных информационных системах. Препринт-М.: МИЭМ, 2008.- 18 с.

Подписано в печать 15.01.09. Формат 60x90/16. Бумага офсетная. Печать трафаретная. Гарнитура «Times New Roman» Усл. печ. л. 1,25. Тираж 100 экз. Заказ 09/05.

Отпечатано в Издательском центре ТГПУ им. JI. Н. Толстого. 300026, Тула, просп. Ленина, 125.

ВВЕДЕНИЕ.

1. АНАЛИЗ ПРОЦЕССОВ И ЗАДАЧ ИНТЕГРАЦИИ ДАННЫХ.

1.1. Методы интеграции данных в информационно-поисковых системах

1.2. Интеграция на основе ссылочных массивов.

Выводы.'./.

2. АЛГОРИТМЫ ФОРМИРОВАНИЯ И АКТУАЛИЗАЦИИ ССЫЛОЧНЫХ МАССИВОВ.

2.1. Формирование структуры витрины.

2.2. Алгоритм формирования витрины.

2.3. Обновление (актуализация) витрины.

Выводы.

3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ АНАЛИЗА И ОЦЕНКИ ЭФФЕКТИВНОСТИ РАБОТЫ ССЫЛОЧНЫХ МАССИВОВ.

3.1 Анализ процесса обновления витрины.

3.1.1. Алгоритмы актуализации витрины.

3.1.2. Расчет величины периода актуализации витрины.

3.2. Анализ методов организации обработки запросов к ссылочному массиву

3.2.1. Анализ работы сервера обработки запросов.

3.2.2. Анализ процесса обработки запросов группой однородных серверов

3.2.3. Анализ процесса обработки запросов группой разнородных серверов

Выводы.

4. ПРИМЕНЕНИЕ РЕЗУЛЬТАТОВ РАБОТЫ В РЕАЛЬНЫХ ИНТЕГРИРОВАННЫХ ИНФОРМАЦИОННО-ПОИСКОВЫХ СИСТЕМАХ

4.1. Специализированная интегрированная информационно-поисковая система.

4.1.1. Цели, назначение и область использования подсистемы.

4.1.2. Описание процесса деятельности подсистемы «Центр-МВД-ГИАЦ»

4.1.3. Описание организационной структуры подсистемы.

4.1.4. Основные технические решения.

4.1.5. Описание программного обеспечения.

Проблема интеграции данных, содержащихся в локальных независимых автономных и неоднородных источниках, стала весьма актуальной в последние годы при разработке и развитии систем обработки информации различного уровня и назначения.

Интеграция позволяет пользователям и программным средствам корпоративной системы осуществлять доступ к локальным информационным системам как к одной общей системе и производить поиск и обработку требуемой информации без учета специфики представления, хранения и обеспечения безопасности в локальных системах. Поэтому интеграция информационных ресурсов является, в настоящее время, одним из наиболее важных направлений при создании корпоративных систем обработки информации и управления. Важной темой сегодняшнего дня становятся технологии и программные продукты, способные обеспечить безболезненную интеграцию локальных систем обработки информации, возможность концентрации информации с целью оперативного и более эффективного принятия решений (анализа и управления).

Существует множество методов интеграции информационных ресурсов. От выбора метода зависит эффективность работы программного обеспечения, скорость выполнения запросов и актуальность предоставляемых данных. Одним из наиболее распространенных является метод, основанный на создании и применении ссылочных массивов. Однако его эффективное практическое применение требует разработки соответствующих методов управления процессами обработки информации, анализа взаимодействия с локальными системами, знания специфики решаемых прикладных задач, требований к качеству данных и алгоритмам управления.

В связи с этим тематика диссертационной работы, связанная с разработкой математических моделей для анализа и повышения эффективности применения ссылочных массивов в интегрированных системах обработки информации, является актуальной, а результаты диссертации имеют важное практическое значение.

Целью работы является повышение эффективности применения ссылочных массивов в интегрированных системах обработки информации за счет разработки и теоретического обоснования методов создания, ведения и актуализации ссылочных массивов и обработки запросов к ним.

Для достижения указанной цели были поставлены следующие задачи:

1. исследование и анализ методов построения интегрированных систем обработки информации;

2. разработка алгоритмов формирования и актуализации ссылочного массива, позволяющих обеспечить доступ к информации, обработку запросов к локальным системам;

3. разработка математических моделей для управления процессами актуализации ссылочного массива и обработки запросов пользователей к ссылочному массиву;

4. разработка методики адаптации математических моделей и алгоритмов для создания специализированных интегрированных систем обработки информации.

Научная новизна полученных результатов заключается в выборе объекта исследования - ссылочного массива, проведении анализа и обобщения известных теоретических и практических данных по созданию интегрированных систем обработки информации с использованием ссылочных массивов, установлении связей между характеристиками интегрированной системы и параметрами ссылочных массивов, что позволило построить комплекс математических моделей для системного анализа, оценки и повышения эффективности применения ссылочных массивов в интегрированной системе.

Разработаны:

- алгоритмы создания и ведения ссылочных массивов;

- комплекс математических моделей процессов актуализации и обработки запросов в ссылочных массивах;

- алгоритмы актуализации ссылочных массивов и обработки запросов в ссылочных массивах.

Практическая значимость результатов диссертации состоит в создании алгоритмов для анализа и управления процессами организации и управления работой ссылочных массивов данных при актуализации и организации обработки запросов, ориентированных на специфику конкретной корпоративной системы управления. Полученные результаты можно применять при создании, анализе и администрировании корпоративных информационных систем, использующих интегрированные данные различного назначения.

Достоверность и обоснованность основных результатов и выводов диссертации базируются на обобщении и развитии существующего опыта создания и применения ссылочных массивов в интегрированных системах обработки информации, разработке математических моделей с учетом специфики применения ссылочных массивов и обработки запросов пользователей, на соответствии полученных результатов сведениям, опубликованным в отечественной и зарубежной печати, на результатах практического применения разработанных моделей и алгоритмов при создании конкретных интегрированных систем управления и обработки информации специального назначения.

При решении поставленных в диссертации задач применялись методы теории систем, теории очередей, теории вероятностей, теории множеств, математического программирования.

Результаты диссертационной работы докладывались и обсуждались на научных семинарах ИКТИ РАН, ИСА РАН, ИЛИ РАН.

Результаты проведенных исследований использованы при создании специализированных интегрированных систем обработки информации в ФСБ

России и МВД России, что подтверждено соответствующими актами.

Основные результаты диссертации опубликованы в 6 печатных работах, в том числе 2 из них в журналах рекомендованных ВАК.

ОБЩИЕ ВЫВОДЫ

По результатам проведенных в диссертации исследований и реализации предложенных методов организации работы и математических моделей для построения и анализа специализированной интегрированной системы можно сделать следующие выводы.

1. В диссертации решена важная задача повышения эффективности применения ссылочных массивов данных в интегрированных системах обработки информации.

2. Проведен анализ современных подходов к построению интегрированных систем обработки информации, который позволил, выделить достоинства и недостатки различных методов интеграции и выбрать для исследования метод интеграции на основе ссылочных массивов.

3. Исследованы особенности, установлены наиболее важные связи и закономерности в процессах создания, обслуживания и применения ссылочных массивов в интегрированных системах обработки информации. Разработаны критерии эффективности применения ссылочных массивов. Определены задачи, интегрированной системы, решение которых целесообразно проводить с применением ссылочных массивов.

4. Проведен анализ процесса обработки информации с использованием ссылочных массивов. Выделены основные задачи, решение которых необходимо при создании интегрированной системы на основе ссылочных массивов, связанные с актуализацией данных в ссылочном массиве и организацией работы центра обработки запросов.

5. Разработаны алгоритмы формирования и актуализации ссылочных массивов, обеспечивающие возможность поиска необходимых данных в локальных системах, возможность формирования запросов к локальным системам при обращении к ссылочному массиву, актуальность данных в ссылочном массиве.

6. Разработаны математические модели для расчета характеристик интегрированной системы при применении ссылочных массивов. Модели позволяют выбрать период актуализации ссылочного массива с учетом динамики изменения данных с локальных системах, определить число серверов при создании центра обработки запросов к интегрированной системе. Модели учитывают специфику формирования запросов и возможные режимы работы серверов.

7. Разработанные методы построения системы и математические модели использованы при создании и организации работы специализированных интегрированных систем обработки информации, что позволило повысить скорость и качество обработки запросов. Разработанные модели и алгоритмы использованы в учебном процессе при обучении студентов.

Проведенные в диссертации теоретические исследования и решенные практические задачи по разработке и анализу методов повышения эффективности применения ссылочных массивов при создании и организации работы интегрированных систем обработки информации могут быть полезны разработчикам и администраторам информационных систем при решении задач управления работой систем, определении состава и параметров оборудования для центров обработки запросов.

1. Авен О.И:, Гурин H.H., Коган Я.А. Оценка качества и оптимизация вычислительных систем. - М.: Наука, 1982. - 464 с.

2. Айвазян С.А. и др. Прикладная статистика //том 1 Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. - 471с.

3. Альянах И.Н. Моделирование вычислительных систем. Л.: Машиностроение, 1988.-223 с.

4. Арсеньев Б.П., Яковлев С.А. Интеграция распределенных баз данных. -СПб.: Изд-во "Лань", 2001.- 464 с.

5. Атре Ш. Структурный подход к организации баз данных. М.: Финансы и статистика, 1983.

6. Афанасьев В.Н., Фуфлыгин М.Д. Информационные технологии в социально-экономической сфере. М.: МИЭМ, 1998.

7. Байцер Б. Архитектура вычислительных комплексов. В 2-х частях. -М.: Мир, 1974.

8. Бакусов Л.М. и др. Математические модели информационных процессов и управления в АСУ: Учебн. пособие. Уфа, 1991.

9. Балыбердин В.А. Оценка и оптимизация характеристик систем обработки данных. — М.: Радио и связь, 1987. 176 с.

10. Барышев М.Л., Драчевский В.И., Капитанов В.Т. Исследование эффективности автоматизированных систем управления дорожным движением.- М., ВНИЦБД МВД СССР, 1990.

11. П.Башарин Г.П., Бочаров П.П., Коган Я.А. Анализ очередей в вычислительных сетях. Теория и методы расчета. М.: Наука, 1989. -336 с.

12. Бертсекас Д., Галагер Р. Сети передачи данных.: Пер. с англ. М.: Мир, 1989.-544 с.

13. Блэк Ю. Сети ЭВМ: протоколы, стандарты, интерфейсы. / Пер. с англ. -М.: Мир. 1990.-510с.

14. Бобровски С. Oracle 7: вычисления клиент/сервер. Пер. с англ. С. Орлова. М.: "Лори"., 1996.

15. Богуславский Л.Б., Ляхов А.И. Оценка производительности распределенных информационно-вычислительных систем архитектуры "клиент-сервер". Автоматика и телемеханика, №9, 1995.

16. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем.- М.: Финансы и статистика, 1989. 260 с.

17. Бойченко Е.В. и др. Локальные вычислительные сети. М.: Радио и связь, 1985.

18. Бочаров П.П., Печинкин А.В. Теория массового обслуживания. М.: Изд-во РУДН, 1995. - 529 с.

19. Бронштейн О.И., Духовный И.М. Модели приоритетного обслуживания в информационно-вычислительных системах. М.: Наука, 1976.-220 с.

20. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. - 512с.

21. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: Наука, 1966.

22. Григорьев О.Г. Модель работы сервера приложений в распределенной системе // Электросвязь. 2004. № 10.

23. Григорьев О.Г. Модели работы серверов обработки запросов в распределенной информационной системе .// Proceedings of International Conference "Information and Telecommunication Technologies in Intelligent Systems" / Barcelona, Spain. May 22-29, 2004.

24. Гуляев Ю.В., Олейников А .Я., Филинов E.H. Развитие и применение открытых систем в Российской Федерации. // Информационные технологии и вычислительные системы. М.:1995. Том 1, N 1, с. 1-12.

25. Гусева А.И. Технология межсетевых взаимодействий. М.: Диалог МИФИ, 1997. - 176 с.

26. Дейт К. Введение в системы баз данных. 6-е изд. М.: Диалектика, 1998.-784 с.

27. Дирк Слема, Джейсон Гарбис, Перри Рассел. Корпоративные системы на основе CORBA. Пер. с англ. М.: Изд. Дом "Вильяме", 2000. - 386 с.

28. Дунаев С.Б. INTRANET технологии. М.: Диалог-МИФИ, 1997. - 272 с.

29. Дэвис Д., Барбер Д., Прайс У., Соломонидес С. Вычислительные сети и сетевые протоколы. М.: Мир, 1982. - 562 с.

30. Емеличев В.А. Метод построения последовательности планов для решения задач дискретной оптимизации. М.: Наука, 1981.

31. Калиниченко Л.А., Методы и средства интеграции неоднородных баз данных, 1983.

32. Калиниченко Л.А., Костромина O.E., Хитрова О.Н. Концепции построения систем управления распределенными БД// Прикладная информатика. М.: Финансы и статистика.- 1984.

33. Камер Дуглас Э. Компьютерные сети и Internet. Разработка приложений для Internet. : Пер. с англ. М.: Изд. дом "Вильяме", 2002. - 640 с.

34. Кемени Дж., Снелл Дж. Конечные цепи Маркова. М.: Наука, 1970. -272 с.

35. Клейнрок Л. Теория массового обслуживания. Пер. с англ. Под ред. В.И. Неймана. М.: Машиностроение, 1979.-432 с.

36. Клейнрок Jl. Вычислительные системы с очередями. Пер. с англ. Под ред. Б.С. Цыбакова.- М.: Мир. 1979. 600 с.

37. Конвей. Р.В., Максвелл В.Л., Миллер Л.В. Теория расписаний. М.: Наука, 1975.-360 с.

38. Кофман А., Анри-Лабордер А. Методы и модели исследования операций. М.: Мир, 1977. - 432 с.

39. Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978.-432с.

40. Кульба В.В., Ковалевский С.С., Косяченко С.А., Сиротюк В.О. и др. Теоретические основы проектирования оптимальных структур распределенных баз данных, 1999.

41. Ладыженский Г.М. Технология "клиент-сервер" и мониторы транзакций./ Открытые системы. Вып.7. 1994.

42. Ладыженский Г.М., Леонтьев В.В., Пуха Ю.В. Принципы построения распределенных информационных систем.// Развитие и применение открытых систем. Тезисы докладов Ш международной конференции.-М.: МЦНТИ, 1996.

43. Ланкастер П. Теория матриц. Пер. с англ. М.: Наука, 1978. - 280 с.

44. Лезер Н. Архитектура открытых распределенных систем. Открытые системы, вып. 3. 1993.

45. Липаев В.В. Направления развития методов и стандартов открытых систем.// Информатика и вычислительная техника. Научно-технический сб. Вып. 1-2. 1995.

46. Мартин Дж. Вычислительные сети и распределенная обработка данных /М.: "Финансы и статистика", 1985.

47. Мартин Дж. Организация баз данных в вычислительных системах. -М.: Мир, 1980.-664 с.

48. Месарович М., Мако Д., Такахара И. Теория иерархическихмногоуровневых систем. М.: Мир, 1973.

49. Моисеев H.H., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. М.: Наука, 1978.-352 с.

50. Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981.-488 с.51 .Москаленко О.М. Опыт проектирования и разработки банковской системы для трехуровневой архитектуры клиент-сервер. // СУБД. -1996.- №3. С.29-43.

51. Нейман В. И. Структуры систем распределения информации. М.: Связь, 1975.-264 с.

52. Николаев В.И., Брук В.М. Системотехника: методы и приложения. -Л.: Машиностроение, 1985. — 199 с.

53. Овчаров Л.А. Прикладные задачи теории массового обслуживания, М.: Машиностроение, 1969.

54. Олифер В.Г., Олифер H.A. Компьютерные сети. Принципы, технологии, протоколы. СПб.: Питер, 1999. 672 с.

55. Олифер В.Г., Олифер H.A. Новые технологии и оборудование IP-сетей. СПб.: БХВ-Санкт-Петербург, 2000. 512с.

56. Организация ЭВМ и вычислительных сетей. Под. ред. проф. В.Н. Азарова- М.: МГИЭМ, Центр сетевых технологий, 1997.

57. Основы теории вычислительных систем. Под ред. Майорова С.А. -М.: Высшая школа, 1978.

58. Прангишвили И.В. и др. Локальные микропроцессорные вычислительные сети.- М.: Наука, 1984.

59. Растригин Л.А. Современные принципы управления сложными объектами. М:. Сов. радио, 1980.

60. Редкозубов С.А. Статистические методы прогнозирования в АСУ.-М.: Энергоиздат, 1981.

61. Ретано А., Слайс Д., Уайт Р. Принципы проектирования корпоративных IP-сетей. : Пер. с англ. М.: Изд. дом «Вильяме», 2002.- 368 с.

62. Риордан Дж. Вероятностные системы обслуживания. М.: Связь, 1966.- 184 с.

63. Саати Т.А. Элементы теории массового обслуживания и ее приложения. М.: Сов. Радио, 1971. - 520с.

64. Садовский В.Н. Основания общей теории систем. — М.: Наука, 1974. -280 с.

65. Саксонов Е.А. Исследование многоканальной замкнутой циклической системы массового обслуживания. Автоматика и телемеханика. 12, 1979. с.80-86.

66. Семенов Ю.А. Протоколы и ресурсы Internet. М.: Радио и связь, 1996.-320 с.

67. Сипсер Р. Архитектура связи в распределенных системах.- М.: Мир, 1981.

68. Столингс В. Криптография и защита сетей: принципы и практика, 2-е изд.: Пер. с англ. М.: Изд. Дом «Вильяме», 2001. - 672 с.

69. Танненбаум Э., М. Ван Стен. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 877 с.

70. Телекоммуникационные компьютерные сети России. Справочник.-М.: Россия, 1992.

71. Воробьев Е.М. Введение в систему «Математика». М.: Финансы и статистика, 1998. — 262 с.

72. Ульман Дж. Основы систем баз данных: Пер. с англ. М.: Финансы и статистика. 1983. - 572 с.

73. Уэлдон Д.-Л. Администрирование баз данных: Пер. с англ. М.: Финансы и статистика. - 1984. - 360 с.

74. Файнберг В. Базы данных типа "клиент-сервер" // Компьютер Пресс.-1990. №7.- С.49-54.

75. Феллер В. Введение в теорию вероятностей и ее применения. В 2-х томах. Пер с англ.- М.: Мир, 1987. Т1-528с. Т2-738с.

76. Фролов А.В., Фролов Г.В. Глобальные сети компьютеров. М.: Диалог МИФИ,- 1995.

77. Фрэнк Г., Фриш И. Сети, связь и потоки. Пер. с англ. М.: Связь, 1978.- 448 с.

78. Цвиркун А.Д. Основы синтеза структуры сложных систем. -М.: Наука, 1982.

79. Шварц М. Сети связи: протоколы, моделирование и анализ: В 2 ч.- М.: Наука, 1992.-336 с.

80. Шенк Д.Д. Руководство Novell. Технология клиент/сервер и ее приложения.- М.: Лори, 1995. 272 с.

81. Adler R. Distributed Coordination Model for Client/Server Computing/ IEEE Computer, vol. 28, N4, pp. 14-22.

82. Anderson R. Security Engineering A Guide to Building Dependable Distributed Systems. New-York: John Wiley, 2001.

83. Buretta M. Data Replication: Tools and Techniques for Managing Distributed Information. New York: John Wiley, 1997.

84. Cheng P. A. Security Architecture for the Internet Protocol. IBM Systems Journal, N1, 1998.

85. Cristian F. Understanding Fault-Tolerant Distributed Systems. Commun. ACM, vol. 34, N2, hh. 56-78.

86. Emmeich W. Engineering Distributed Objects. New-York: John Wiley, 2000.

87. Forman I.R. On the design of large distributed systems // Proc. IEEE CS 1986 Int. Conf. on Computer Languages, Miami, FL.-1986.-P.84-95.

88. Ford W. Computer Communications Security Principles, Standard Protocols and Techniques. New Jersey: Prentice-Hall, 1994.

89. James D. McCabe. Practical Computer Network Analysis and Design. Morgan Kaufmann Publishing company, 1998.

90. Oracle. Database Administrator's Guide. Oracle Corp.- 1984.

91. Stallings W. Data and Computer Communications, Fifth Edition. Upper

92. Saddle River, NJ: Prentice Hall, 1997.

93. Межведомственная интеграция: пути оптимизации», Ирина Полотнюк, «ФОРС Центр Разработки».