автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Математическое и программное обеспечение обработки оперативной информации и построения специализированных баз данных

На правах рукописи

—

/

В АЛЕВ Олег Владимирович

МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ОБРАБОТКИ ОПЕРАТИВНОЙ ИНФОРМАЦИИ И ПОСТРОЕНИЯ СПЕЦИАЛИЗИРОВАННЫХ БАЗ ДАННЫХ

Специальность 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Москва 2006

Работа выполнена на кафедре «Персональные компьютеры и сети» Московского государственного университета приборостроения и информатики.

Научный руководитель: кандидат технических наук, профессор

Рощин А.В.

Официальные оппоненты: доктор технических наук, профессор

Соболев А.И.

кандидат технических наук, доцент Рязанова Н.Ю.

Ведущее предприятие: Всероссийский научно-исследовательский

институт химической технологии (ВНИИХТ) (г. Москва)

Защита состоится «20» июня 2006 г. в 13.00 часов на заседании диссертационного совета Д 212.119.02 в Московском государственном университете приборостроения и информатики по адресу: 107996, Москва, ул. Стромынка, д.20.

С диссертацией можно ознакомиться в библиотеке МГУПИ.

Автореферат разослан «19» мая 2006 г.

Ученый секретарь

Диссертационного совета Д 212.119.02

к. т. н., доцент

Никульчев Е.В.

тг

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актушьность темы. Современные системы сбора и обработки оперативной информации традиционно используют для ее хранения базы данных (БД), основанные на реляционной модели данных. Данными в этой предметной области обычно являются временные ряды - последовательности значений каких-либо характеристик, периодически получаемых ог объектов наблюдения. Современные реляционные системы управления базами данных (РСУБД) во многих случаях такого использования демонстрируют приемлемые характеристики, как времени доступа, так и объема занимаемой памяти.

Тем не менее, поскольку многим производственным, экономическим процессам, а также процессам управления сложными объектами свойственно порождение потоков важных данных высокой интенсивности, к системам сбора данных, обслуживающим такие процессы, предъявляются противоречивые требования.

С одной стороны, данные должны без потерь и пропусков сохраняться в БД и храниться в ней в течение длительных интервалов времени, что определяет жесткие требования к объему используемой памяти. Так, например, многомесячная БД завода с 7500 рабочими переменными может требовать наличия дисковой памяти объемом свыше ] Терабайта.

С другой стороны, особенности происходящих процессов и их мониторинга могут приводить к необходимости оперативного доступа, как к оперативным, так и к ранее сохраненным данным, причем глубина требуемой предыстории заранее неизвестна. Обеспечение приемлемого времени поиска данных в БД больших объемов (терабаш и более) является достаточно сложной задачей.

Для сокращения требуемого объема памяти часто используется сжатие информации, однако большинство современных методов сжатия не позволяет обеспечить требуемой оперативности доступа к данным.

Кроме того, инструментальные средства сбора и хранения данных РСУБД располагают недостаточными возможностями для дополнительной обработки привязанной ко времени информации.

Таким образом, применение традиционных РСУБД не всегда обеспечивает эффективный сбор и

БИБЛИОТЕКА С.-Петербург ОЭ 201) 4кт%3 7

объемов

информации без потерь, и исследование путей повышения эффективности сбора и обработки оперативной информации является актуальной задачей.

Состояние проблемы. В настоящий момент БД, основанные на разработках таких известных специалистов в данной области, как К. Дейт, Ф. Бернштейн, К. Росс, К. Фалутсос, К. Заниоло, С.С. Ковалевский, Н.Е. Емельянов, А.Н. Наумов, А.М. Вендров и М.Р. Когаловский не позволяют в полной мере сократить объем хранимой информации и одновременно обеспечить оперативный доступ к ней.

Объектом исследования работы являются системы управления базами данных для сбора и обработки оперативной информации.

Предметом исследования работы являются структуры организации БД, методы доступа к информации, методы сжатия числовых потоковых данных.

Цель работы состоит в разработке математического и программного обеспечения специализированной БД, направленного на повышении эффективности хранения числовых данных в системах сбора и обработки оперативной информации.

Для достижения поставленной цели решаются следующие основные задачи:

- анализ применимости современных способов организации БД;

- разработка принципиальной структуры специализированной оперативной БД (СОБД);

- построение логического представления СОБД;

- определение формы хранения оперативных числовых данных;

- разработка основных принципов взаимодействия человека с СОБД;

- разработка нового метода коррекции получаемых числовых данных в соответствие с временем опроса;

- разработка экспериментального программного обеспечения, использующего предложенную структуру хранения.

Методы исследования. При решении поставленных в работе задач использовались концепции и методы организации специализированных баз данных, методы хранения и обработки информации, теория реляционных баз данных и современные информационные технологии.

Научная новизна диссертационной работы состоит в следующем:

- разработана структура хранения для стационарных в среднем потоков данных;

- предложен способ оперативного восстановления данных, использующий разработанную структуру хранения;

- разработан метод сопоставления числовых значений с временем их получения при последовательном опросе информационных источников.

Достоверность и обоснованность научных положений подтверждается результатами проведенных экспериментальных исследований новой структуры СОБД, продемонстрировавших существенное сокращение объемов хранения стационарных в среднем данных при сохранении малого времени доступа к сохраненным данным.

Практическая ценность и реализация результатов работы. На базе предложенной концепции и разработанных в диссертации принципов организации систем сбора и обработки оперативных данных разработан программный пакет, предназначенный для обеспечения сбора, хранения, а также оперативного доступа к данным о технологических процессах установки радиоактивных имитаторов в ГУЛ МосНПО «Радон».

Апробация работы. Основные результаты работы были доложены на IX Всероссийской научно-технической конференции «Новые информационные технологии», 26 апреля 2006, г. Москва и научных семинарах кафедры «Персональные компьютеры и сети» под руководством д.т.н., проф. Б.М. Михайлова.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы из 71 наименования и содержит 103 страницы текста, 49 рисунков, 1 приложение.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность проблемы, сформулированы цели и задачи исследования, приведены основные положения, выносимые на защиту, показана структура диссертации и дана краткая аннотация ее глав.

В первой главе рассмотрены достоинства и недостатки основных способов организации хранения данных (на основе реляционной, объектно-реляционной и объектно-ориентированной моделей) при использовании в оперативных информационных системах. Описана концепция информационной модели СОБД.

Показано, что все обрабатываемые данные по сути своей делятся на оперативные и вспомогательные.

Сфера применения СОБД распространяется исключительно на числовые оперативные данные. В качестве базовых понятий используются следующие абстракции: тип физического параметра (ТФС), объект, время и дата.

В качестве ТФП может выступать любая характеристика, которая может иметь числовое, логическое или строковое значение, например, температура, давление, состояние вентиля или электроприводов, различная «сигнализация» о работоспособности системы, а также курсы валют или акций для экономических систем и т.д.

Объект - это элемент СОБД, имеющий одну или несколько числовых, логических или строковых характеристик, значения которых изменяются в соответствии с наблюдаемым процессом.

Сделан вывод, что изменение показаний одного из объектов и изменение показаний системы в целом различаются, так как параметров наблюдения может быть достаточно много и каждый из них может соответствовать своему ТФП. Пусть X - множество объектов некоторой системы, а К - множество всех ТФП; их прямое произведение X х У будет давать множество различных объектов наблюдения, привязанных к определенным ТФП. Следует учитывать и тот факт, что значения объектов имеют привязку к датам и ко времени суток: показания с наблюдаемых объектов снимаются многократно в течение длительного времени, с частотой, обусловленной периодом опроса и длительностью цикла работы всей системы. Следовательно, если И и Т - соответственно множества дат и

моментов времени суток, то декартово произведение X * У * /3 * Т будет содержать различные объекты, привязанные к «типу», «дате» и «времени», причем элемент этого множества соответствует некоторой величине -текущему значению объекта 2.

(I)

где Я - множество числовых значений, Ь - множество логических значений объекта, 5 - .множество строковых (сигнализирующих) значений объекта, формируемых на основании пользовательского словаря.

Во второй главе описана новая форма хранения и восстановления числовых оперативных данных.

Форма хранения числовых данных. Предлагаемая в диссертационной работе структура данных ориентирована на хранение последовательностей таких значений характеристик, что соседние их значения, как правило, близки. Для таких данных более экономным является дифференциальный метод хранения, т.е. сохранение не значений, а только их приращений. Обозначим через Д приращение значения текущего параметра за период опроса. В общем случае число, выражающее изменение, может быть как угодно велико. Однако для рассматриваемой прикладной области - хранения информации о стационарном в среднем состоянии процесса - величина Д обычно не бывает очень большой. Это связано с тем, что показатели такого процесса «в нормальном режиме» находятся в пределах достаточно малой рабочей области, и обычно резко не изменяются. Соответственно, изменение значения параметра за один период - невелико.

В качестве единицы хранения информации в системе выбрана 8-ми разрядная структурированная единица, что обусловлено использованием высокоуровневого языка программирования. Для повышения компактности представления целесообразно отводить под хранение каждого значения приращения Д столько разрядов, сколько разрядов имеется в его двоичном представлении (не считая фиксированного количества служебных разрядов на одно значение). Выделим логические группы, определяющие интервалы хранимых значений приращений и соответствующие им требуемые количества разрядов. В таблицах 1 и 2 показаны такие группы для хранения чисел без знака и со знаком, соответственно.

Группа Размер Д Количество разрядов

1 Д = 0..1 1 разряд

2 Д = 2..3 2 разряда

3 Д = 4..7 3 разряда

4 Д = 8..15 4 разряда

5 Д =16-31 5 разрядов

6 Д = 32..63 6 разрядов

7 Д = 64..127 7 разрядов

8 Д= 128..255 8 разрядов

Знаковые разряды находятся на границе упакованных в единицу хранения Д-разрядов и принимают следующие значения: 0 = '+', 1 = '-'. Пример двух упакованных Д-значений, принадлежащих 3-ей логической группе со знаковыми разрядами приведен на рисунке 1.

Таблица 2 - Хранение данных приращения с учетом знакового разряда

Группа Размер Д Количество разрядов

1 Д = 0..1 1 разряд

2 Д = 2..3 2 разряда

3 Д = 4..7 3 разряда

4 Д = 8..15 4 разряда

5 Д= 16..31 5 разрядов

6 Д = 32..63 6 разрядов

7 Д = 64..127 7 разрядов

Группа 3 Группа 3

_а ._*

Знак Д1

у

Разряды Д1 / Разряды Д2 Знак Д2

Рисунок 1 - Принципиальная схема хранения упакованных чисел

Эффективность предложенной дифференциальной формы хранения числовых данных в разных условиях можно оценить посредством параметра относительной эффективности

Эффективность дифференциальной формы хранения тем выше, чем меньше коэффициент ц. Для того, чтобы применяемый метод давал эффект, необходимо, чтобы значения приращений не превосходили по модулю 127.

Первое поступившее значение характеристики является опорным и записывается в БД в явном виде. Далее, для каждого вновь поступившего значения характеристики, вычисляется текущее приращение, определяется логическая группа, к которой оно относится, и в текущую единицу хранения заносится соответствующее количество разрядов. Единица хранения считается заполненной, если в ней свободно менее двух разрядов, т.е. нет места для размещения даже одноразрядного числа. Периодически очередное значение сохраняется как опорное, а не в виде приращения. Целью этого является уменьшение времени выборки упакованных данных.

Информация о мантиссе для каждого приращения, если таковая необходима, сохраняется в дополнительных информационных единицах, которые имеют структуру, показанную на рисунках 2 и 3: - с соблюдением точности до двух знаков:

"V

десятые Д|

7ZZ

~7

сотые А) доли Рисунок 2 - Принцип хранения мантиссы одного Д-числа - с соблюдением точности до одного знака:

л

десятые Д|

JK

Y

десятые Д2 доли

Рисунок 3 - Принцип хранения мантисс двух Д-чисел Для указания границ логических групп в единицах хранения полезных данных, используются служебные единицы хранения. На рисунке 4 приведены возможные комбинации Д-чисел, которые могут находиться в одной единице хранения приращений.

Кол-во разрядов, занимаемых приращением Д

Кол-во Д-чисел © Возможные комбинации Д-чисел 1 @ J^

1 8.7 ^______________"""""

2 62, 26, 53, 35, 52, 25,@4, 43, 34

3 422, 242, 224, 322, 232, 223, 332, 323, 233

4 2222

Рисунок 4 - Соотношение количества упакованных данных с их вероятными

комбинациями

В трех старших разрядах помещается код, показывающий количество упакованных чисел, а в остальные разряды заносится информация о той или иной комбинации числовых данных приращений в целочисленной информационной единице (см. рисунок 5).

Предлагаемой форме хранения числовых данных сопутствует понятие глубины несохранения, которое представляет собой числовую характеристику, определяющую размер буфера, куда записываются данные, не попавшие в предшествующие единицы хранения. Система определяет для каждого значения, записанного в буфер, наиболее подходящую из них. Следовательно, сам буфер по размеру равен количеству пропущенных записей, с момента образования буфера.

информация о дешифрации

X X X

разряды

©

разряды @

Рисунок 5 - Структура служебной единицы хранения Появление буферизованных данных возможно в единственном случае: если текущая разность занимает большее количество разрядов, чем те, что остались в единице хранения целочисленной информации.

На рисунке 6 изображена принципиальная структура СОБД:

Полезные данные Служебные данные Время Признак записи без сжатия

М 1 1 1 II м Ixlxlxl II 1 1 1 □

ИЗ

1 1 1 1 1 1 1 1 1 1X1x1x1 1 II 1 1 □

II 1 1 1 1 1 1 1 Ixlxlxl II 1 1 1 □

Рисунок 6 - Структура СОБД Организация поиска информации. Технологическое исполнение СОБД определяется объектно-ориентированной концепцией и спроектировано при помощи современной технологии MDA (Model Driven Architecture). На рисунке 7 приведено логическое представление СОБД и показаны основные связи между ее элементами.

По рисунку 7 видно, что область упакованных данных представляет собой отдельный независимый элемент. Подобное решение вызвано

необходимостью прямой работы с вычисляемыми данными, а также позволяет исключить повторяющуюся в процессе сбора информацию.

При записи в БД новых значений, каждой новой единице хранения присваивается свой порядковый номер. Исходя из условия наличия буферизованных данных, более свежее значение Лт может быть размещено в БД раньше, чем Л-/, (где Ы[2 N-1]), следовательно, пространство поиска имеет два направления (поиск заданной единицы хранения - X и поиск значения разности в данной единице - У) (см. рисунок 8).

'. Область упакованных данных !

Дата

Рисунок 7 - Логическое представление СОБД

* V

единица хранения .___№ записи А

Д) 2

3

№ единицы 4

1

и 1

3 4 \

(5>

хранения ^

Рисунок 8 - Принципиальная схема поиска данных в СОБД

Каждая информационная единица оценивается по эффективности ее использования:

- 4 Д-числа в единице хранения - 100%;

- 3 Д-числа в единице хранения - 75%;

- 2 Д-числа в единице хранения - 50%;

- 1 Д-число в единице хранения - 25%.

В БД сохраняется сумма таких эффективностей в реальном времени с учетом количества всех записанных на данный момент информационных единиц.

Пусть Е - эффективность использования информационного пространства всей БД, а е - эффективность конкретной единицы хранения

данных. Тогда формула общей эффективности использования информационного пространства на момент записи п имеет вид:

п

(3)

где S — количество задействованных единиц хранения.

Для «попадания» в нужное Д-число, наряду со значением эффективности, необходимо определить параметр С, характеризующий процентные потери области хранения БД:

С = т-Е„ (4)

Далее, результат определения единицы хранения, содержащей нужное Д-число выводится согласно пропорции:

ху с >' 100%' { )

где X характеризует информационную единицу, у - истинный номер информационной единицы, содержащей необходимые Д-разряды, i - номер единицы хранения согласно условию, при котором возможно однозначное определение Д (в каждой информационной структуре содержится по одному Д-данному, т.е. i-номер соответствует номеру записи).

Таким образом, при вычислении получается вещественное число, анализируя которое вместе с данными дешифрации, можно точно указать заданные Д-разряды в единице хранения целочисленных данных.

Формула (5) определяет общую картину поиска необходимой информации, тогда как полная процедура поиска является комбинированной и реализуется в несколько стадий. Так, значение параметра X, находится согласно запросу, выполненному, например, на языке SQL или ОСЬ, далее производится соответствующий расчет, согласно формуле (5), по завершении которого, выполняется повторный запрос на выбранном языке, но уже единицы хранения Ху с нужными Д-разрядами.

В третьей главе описан метод обработки получаемой информации при последовательном опросе информационных источников, предназначенный для корректировки значений в соответствии с временем обновления.

Процесс обновления оперативных данных происходит в два этапа:

инициализация опроса сервера обмена; получение данных от сервера.

Моменты начала этих этапов обозначим и соответственно, тогда Авр = ¡2 - ¡1 характеризует время запаздывания, по причине наличия которого пользователь может получать текущие значения параметра с ошибкой.

Для сопоставления данных их времени опроса предлагается использовать следующий метод:

1. Опрашивать наиболее интенсивно меняющиеся параметры наблюдения в первую очередь. Это уменьшает задержку получения новых значений, соответственно возрастает их «качество».

2. При получении данных компенсировать время запаздывания, в результате чего информацию в СОБД фиксировать согласно установленному периоду опроса источников.

Итак, условие задачи состоит в том, чтобы сопоставить значение параметра соответствующему моменту времени его опроса. Для этого:

- период опроса устанавливается, как т;

- каждый параметр наблюдения опрашивается последовательно, в порядке формируемой, согласно пункту 1, очереди;

- для каждого получаемого значения находится упомянутое ранее Авр;

- скорость изменения в пределах одного участка обновления (г+4,„) считается постоянной.

Г

и »

г*:

г,

1,-1

"V

т

т

1,-И

Рисунок 9 - Принципиальная схема обновления данных

На рисунке 9 представлена схема вероятного развития событий при опросе и получении значений одного параметра, ограниченная интервалом времени [?,../; Поскольку скорость изменения данного параметра для времени /, заранее не известна, в рамках данного метода рассматриваются 2 возможных варианта:

1. изменение скорости произошло непосредственно в момент запаздывания

г,

г,.,

4 к

* У У У У У У

<1 Щг—

-*-щ-4 >---►

1,-1

VI

/

Рисунок 10 - Схема обновления данных Вариант 1 2. изменение скорости произошло в текущий момент опроса канала

(О.

Рисунок 11 - Схема обновления данных. Вариант 2

В результате совмещения двух рассматриваемых случаев был получен числовой отрезок [2, у, 2,:] (см. рисунок 12), определяющий перечень вероятных значений параметра для заданного периода опроса.

г\

г,

г,.,'

1,-1

^^адп

VI

Рисунок 12 - Совмещенная картина рассматриваемых вариантов обновления данных

В данном случае для выбора одного из значений исходных данных явно не достаточно. В диссертации предлагается использование вспомогательного коэффициента /?, характеризующего числовое соотношение между периодом т и интервалом запаздывания г,й„:

"г

зап

(6)

Коэффициент ¡3 показывает, к какому из значений (2,1 или 2,2) результат лежит ближе. В итоге, согласно условию о неизменности скорости на всем участке обновления параметра, расчет 2, / и 2,_2 ведется, исходя из уравнения прямой. Следовательно, для 2..,: 5.1-5-1 _

5 5-1 ^ зап

5_1~5-1 =7-~-х(5-5-|)

'мл '/-I

5.1 = ■х(5

^ зап -'ы

ДЛЯ 2, 2'

5 2- 5 ^ зап

5->- г, ^зап

5.2- 5 = '.♦Г ^зап . ^зап

х(5+1~5)

(7)

(8)

(9) (Щ

Ш)

зап

В соответствии с (6), (9) и (12) опрашиваемый параметр в установленный момент времени опроса (, равен:

Разработанный метод позволяет проводить корректировку значений параметров больших систем оперативного сбора данных.

Основываясь на текущих разработках систем сбора данных и управления, таких, как Маз1ег8САОА компании ИнСАТ, можно утверждать, что основным показателем достоверности информации на текущий момент является отсутствие факта опоздания (превышения установленного /ш„) при получении опрашиваемых данных, а также отсутствие выпадения значений из общей картины технологического тренда (см. рисунок 13). В противном случае данные, не отвечающие описанным требованиям, считаются некачественными и исключаются из общего числового массива.

60 40 20 О

1200 00 12 0010 12 00 20 1200 32 12 0040 12 00 50 1201 00 1201 10 1201 20 1201 30 120140 Рисунок 13 - Технологический тренд с «выпавшим» из общей картины значением

В четвертой главе описан программный пакет, разработанный в соответствии с предложенной структурой СОБД и новой формой хранения числовых оперативных данных. В ходе проведенных исследований был выполнен ряд экспериментов, для оценки основных характеристик системы:

г-г, |

Р

(13)

180

| Нмшшишн вершнни ;

скорости доступа к сохраненным данным и размера БД. Для сравнения использовалась типовая РБД, в которой не использовалась стандартная форма хранения числовой информации.

В таблице 3 и на рисунке 14 представлены основные результаты сравнения скорости доступа к данным в СОБД и в MS SQL Server.

Таблица 3 - Сравнительная характеристика скорости доступа к сохраненным данным в

СОБД и в MS SQL Server

№ Опыта РБД (SQL Server), мс СОБД, мс

1 12 25

2 10 21

3 10 20

4 10 21

5 и 22

6 10 22

7 13 25

8 11 24

9 12 26

10 10 20

Ср. знач. 10,9 22,6

Скорость доступа к данным

123456789 10 № опыта

Рисунок 14 — Диаграмма скорости доступа к данным в СОБД и в SQL Server

Размер СОБД и MS SQL Server сравнивался по итогам записи в них одного и того же массива информации. В результате чего объем данных СОБД составил приблизительно в 10 раз меньше, объема данных, сохраненных при помощи MS SQL Server.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В работе получены следующие результаты:

1. Предложена новая форма хранения оперативных числовых данных которая существенно сокращает объем хранения для стационарных в среднем процессов, но сохраняет работоспособность и для нестационарных процессов (но уже без экономии ресурсов).

2. Построена новая структура специализированной оперативной базы данных (СОБД).

3. Получено логическое представление СОБД для систем сбора и обработки оперативной информации.

4. Разработан метод поиска данных в СОБД предложенной структуры, позволяющий оперативно извлекать хранимую в БД информацию.

5. Предложен метод обработки числовой информации для системы с последовательным опросом информационных источников, позволяющий сопоставить полученное значение параметра соответствующему моменту времени его опроса.

6. Разработан программный пакет для контроля технологического процесса на экспериментальной установке радиоактивных имитаторов с применением представленной технологии.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Валев О.В. Подход к организации специализированной базы данных для динамического сбора и обработки информации на предприятии // Межвузовский сборник научных трудов «Программное и информационное обеспечение систем различного назначения на базе персональных ЭВМ». Вып. 7. - М.: МГАПИ, 2004. - С.76-77.

2. Валев О.В. Методика решения динамического сбора, обработки и хранения специализированных данных в условиях промышленного предприятия // Межвузовский сборник научных трудов «Программное и информационное обеспечение систем различного назначения на базе персональных ЭВМ». Вып. 8. - М.: МГАПИ, 2005. - С.57-59.

3. Валев О.В. Архитектура обмена информацией в рамках концепции технологической системы // Межвузовский сборник научных трудов

18

«Программное и информационное обеспечение систем различного назначения на базе персональных ЭВМ». Вып. 8. - М.: МГАПИ, 2005. -С.бЗ-64.

4. Валев О.В. Сравнительный анализ применения специализированной базы данных (СБДДСОИ) при эксплуатации архивных систем // Межвузовский сборник научных трудов «Программное и информационное обеспечение систем различного назначения на базе персональных ЭВМ». Вып. 8. - М.: МГАПИ, 2005. - С.65-66.

5. Валев О.В. Применение основного принципа дельта-модуляции в технологических базах данных // Новые информационные технологии: Сборник трудов IX Всероссийской научно-технической конференции (Москва, 26 апреля 2006) / Под общ. ред. А.П. Хныкина. - М. МГУПИ, 2006-С.19-24.

6. Валев О.В. Специализированный программный комплекс автоматического слежения за протекающими технологическими процессами для опытной промышленной установки «Cold Crucible» / Свидетельство об официальной регистрации программ для ЭВМ №2006611259. Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 12.04.2006.

к исполнению 18/05/2006 Исполнено 18/05/2006

Заказ №397 Тираж: 100 экз.

ООО «11-й ФОРМАТ» ИНН 7726330900 Москва, Варшавское ш., 36 (495) 975-78-56 (495) 747-64-70 www autoreferat.ru

ДОО €>ft

Wl-

»114 11

ВВЕДЕНИЕ.

1 Современные технологии сбора и обработки оперативной информации.

1.1 Средства сбора и обработки оперативных данных.

1.2 Структура представления данных в потоковых информационных системах.Ю

1.2.1 Архитектура обмена информацией.

1.2.2 Модель хранения оперативных данных.

1.3 Выводы по первой главе.

2 Структура СОБ ДВР.

2.1 Минимизация области хранения числовых потоковых данных.

2.1.1 Использование современных алгоритмов сжатия информации.

2.1.2 Принцип хранения данных в приращениях (Структура СОБДВР).

2.1.3 Концепция организации СОБДВР (Поиск данных).

2.2 Выводы по второй главе.

3 Метод обработки данных при последовательном опросе источников.

3.1 Линейная коррекция значений по трем точкам и метод среднеквадратичного приближения.

3.2 Выводы по третьей главе.

4 Оперативная система сбора информации для экспериментальной установки радиоактивных имитаторов.

4.1 Состав и назначение экспериментальной установки ИПХТ.

4.2 Требования к системе контроля, сбора и отображения информации установки ИПХТ.

4.3 Технические средства, используемые для контроля экспериментальных процессов.

4.3.1 Характеристики датчиков.

4.3.2 Характеристики вторичных приборов.

4.3.3 Характеристика системы контроля.

4.3.4 Система контроля параметров ИПХТ.

4.3.5 Состав и принцип действия системы.

4.3.6 Программное обеспечение системы контроля параметров.

4.3.7 Отображение информации.

4.3.8 Конструктивная проработка системы.

4.3.9 Тестирование программного обеспечения СОБДВР.

4.4 Выводы по четвертой главе.

Появление на информационном рынке все более быстродействующих компьютерных технологий, влечет за собой разработку и внедрение все более насыщенного с технической точки зрения программного обеспечения (ПО), создание программных пакетов (Ш1), предназначенных для решения сложных задач вычислительного характера. Сфера применения программных средств обширна и распространяется практически на все области деятельности человека, среди которых наиболее актуальной, по мнению автора, является область автономных систем сбора, обработки и хранения оперативной информации (в контексте данной работы понятие оперативных данных более расширено по отношению к общепринятому их понятию)1. Такие системы могут иметь место и для мониторинга физических объектов в условиях радиационной обстановки, и в экономической сфере или сфере финансов — для хранения информации о курсах валют или ценных бумагах. В той или иной степени каждая такая система решает круг схожих по составу задач:

1. сбор информации о наблюдаемом объекте;

2. обработка уже накопленной информации;

3. выдача управляющих воздействий в той или иной форме.

В зависимости от вида системы, управление представляет собой воздействия на физическом или информационном уровне, направленные на поддержание или улучшение функционирования управляемого объекта в соответствии с имеющимся алгоритмом или целью управления.

Различают два основных типа систем сбора, обработки и хранения:

1. системы, предназначенные для различных процессов в широком смысле этого слова, используются при непосредственном управлении, технологическими процессами на физическом уровне процесса или в экономической области - для сбора важных сведений о различных ценовых показателях;

1 Оперативные данные - это текущие и исторические данные, доступ к которым необходим в реальном времени.

2. системы информационного управления, имеющие дело с объектами организационной природы, предназначенные для решения задач наблюдения за такими сложными объектами, как крупные I технические, военные, строительные подразделения и т.д.

Главное отличие между ними заключается в характере объекта наблюдения и управления. В первом случае это всевозможные установки, механизмы, приборы, станки и прочее оборудование, во втором — прежде всего люди. Но как первый тип, так и второй имеет одну общую черту, которая заключается в том, что, несмотря на назначение системы, в любом случае информация об объекте должна поддаваться анализу, вследствие чего, ее необходимо интенсивно собирать и при этом долговременно хранить.

Как правило, персоналу, занятому, в сфере рассматриваемой предметной области всегда не хватает данных о состоянии контролируемых объектов. ) Операторам, специалистам, ремонтному персоналу, начальникам - всем нужен доступ к текущим и накопленным оперативным данным, итоговой информации и т.д. Все они хотели бы иметь какое-нибудь единое средство доступа к данным, например, мощную и открытую систему, предоставляющую такую возможность. Типичным примером подобных систем могут служить программные пакеты SCADA (системы диспетчерского управления и сбора данных), которые наряду со средствами управления включают и средства для организации области хранения данных. Концепция SCADA предопределена ) всем ходом развития систем управления и результатами научно-технического прогресса. Внедрение SCADA-технологий в системы сбора, обработки и хранения позволяет достичь высокого уровня автоматизации в решении широкого круга задач по управлению сложными промышленными объектами. При этом полноценный эффект от применения достигается посредством взаимодействия с базами данных (БД), оптимизированными для хранения временных рядов (БДВР).

Если со вторым типом систем управления вопросов о хранении инфор-) мации не возникает, так как используемые БДВР унаследовали весь аппарат, накопленный за время существования передовых СУБД, то с первым типом возникает ряд законных соображений.

База данных временных рядов как технология предназначена, как для хранения данных второго типа систем, так и для долговременного хранения данных первого типа с возможностью быстрого доступа к накопленной ранее информации, в том числе — для полноценной организации всей информационной системы (ИС) контролируемого объекта, и обладающая для этого характерными особенностями:

- имеет заранее определенный динамический характер;

- обрабатываемая информация представляет собой, числовую последовательность с привязкой ко времени;

- опрос контролируемых параметров происходит последовательно, в заранее установленном порядке.

Следуя выше отмеченному, можно сказать, что ИС для системы сбора, и обработки есть специализированная оперативная БДВР (СОБДВР), разработанная согласно особенностям промышленной, экономической, а в частном случае технологической системы, а перечисленные выше моменты характеризуют технические требования к этой СОБДВР.

Актуальность темы. На данный момент системы сбора и обработки оперативных данных основываются на различных концепциях проектирования БДВР, в частности на реляционной,,которая получила в этой среде чрезвычайно большое распространение. Связано это с тем, что технология является достаточно простой, полностью отработанной и общепринятой в современных приложениях, а мощь и гибкость языка SQL превосходят характеристики различных узкоспециализированных интерфейсов, пришедших в производственную среду. Но применение реляционных БД (РБД) для хранения временных рядов при отсутствии минимизации объема хранимых данных не всегда позволяет обеспечить эффективный сбор и сохранить большой количество информации без потерь, а с применением настоящих методов сжатия - обеспечить к ним быстрый доступ:

- Производственные или экономические процессы генерируют данные в реальном времени и больших объемов, так, что порождаемые ими потоки представляют собой интенсивно добавляющиеся числовые данные, не подвергающиеся какому-либо сжатию на этапе работы системы. Например, многомесячная БДВР завода с 7500 рабочими переменными может требовать дисковой памяти объемом свыше 1 Терабайта [27].

- Современные методы сжатия не обеспечивают оперативный доступ к сохраненным данным.

- Инструментальные средства сбора и хранения располагают недостаточными возможностями для дополнительной обработки привязанных ко времени данных.

Цель работы состоит в разработке математического и программного обеспечения специализированной БДВР, направленного на повышении эффективности хранения числовых данных в системах сбора и обработки оперативной информации.

Для достижения поставленной цели решаются следующие основные задачи:

- анализ применимости современных способов организации БДВР;

- разработка принципиальной структуры специализированной оперативной БДВР (СОБДВР);

- построение логического представления СОБДВР;

- разработка метода хранения оперативных числовых данных, с ограничением на конечную разность первого порядка;

- разработка основных принципов взаимодействия с СОБДВР;

- разработка нового метода коррекции временного ряда получаемых числовых данных;

- разработка программного обеспечения, основанного на предложенном методе хранения и восстановления данных.

Обоснованность научных положений, выводов и рекомендаций. Обоснованность и адекватность новой структуры СОБДВР подтверждается результатами проведенных экспериментальных исследований, продемонстрировавших существенное сокращение объемов БДВР при хранении оперативной информации с возможностью малого времени доступа к данным.

Научная новизна диссертационной работы состоит в следующем:

- разработан метод хранения значений числового временного ряда, основанный на вычислении конечных разностей первого порядка и обеспечивающий возможность, сокращая объем хранимых данных при ограничении на конечную разность, одновременно получить быстрый доступ к ним;

- предложен алгоритм оперативного восстановления данных для разработанного метода хранения;

- разработан метод коррекции временного ряда получаемых числовых данных при последовательном опросе информационных источников.

Практическая ценность результатов работы заключается в:

- организации специализированной БДВР, позволяющей обеспечить хранение оперативной числовой информации на основе предложенного метода хранения;

- реализации комплекса программных средств, позволяющих в 10 раз | сократить объем дисковой памяти, необходимой для размещения

БДВР и обеспечить высокую скорость доступа к информации.

На базе предложенной концепции и разработанных в диссертации принципов организации систем сбора и обработки оперативных данных было разработано и зарегистрировано (Приложение А) программное обеспечение, характеризующее основные преимущества СОБДВР, и используемое в данный момент на опытной промышленной установке радиоактивных имитаторов в ГУП МосНПО «Радон».

4.4 Выводы по четвертой главе

Разработанная экспериментальная система не только решает задачу сбора, контроля процесса и хранения оперативной технологической информации на основе современной аппаратуры и специализированного программного обеспечения, но и позволяет существенно снизить время обработки и анализа полученной в результате проводимых работ информации, а также значительно сократить объем БДВР. Кроме того, система имеет возможность расширения своих функций за счет гибкости используемого программного обеспечения.

По итогам проведенного анализа, использование программного пакета СОБДВР в системах данного типа показало преимущество по отношению к традиционному подходу ведения технологической БДВР на предприятиях:

- позволяет сократить размер БДВР в среднем в 8-10 раз;

- сохраняет оперативность доступа к ранее накопленной информации.

ЗАКЛЮЧЕНИЕ

В ходе проведенных исследований были изложены и научно обоснованы основные идеи и принципы построения специализированных баз данных для систем сбора, обработки и хранения оперативной информации, а также достигнуты следующие результаты:

- Предложен новый метод хранения оперативных числовых данных, который позволяет существенно сократить объем хранимых данных числовых временных рядов при неизменном состоянии процесса, а также сохраняет работоспособность и для изменяющихся процессов (но уже без экономии ресурсов).

- Построена новая структура специализированной оперативной базы данных временных рядов (СОБДВР).

- Получено логическое представление СОБДВР для систем сбора и обработки оперативной информации.

- Разработан алгоритм восстановления данных в СОБДВР предложенной структуры, позволяющий оперативно извлекать хранимую информацию.

- Предложен метод обработки числовой информации для системы с последовательным опросом информационных источников, позволяющий сопоставить полученное значение параметра соответствующему моменту времени его опроса.

Разработан программный пакет для контроля технологического процесса на экспериментальной установке радиоактивных имитаторов с применением представленной технологии.

1. Ахиезер Н.И. Лекции по теории аппроксимации // Москва: Гостехиз-дат, 1947.

2. Банкет В.Л., Дорофеев В.М. «Цифровые методы в спутниковой связи» //Москва, 1988.

3. Беллами Дж. «Цифровая телефония» // Москва, 1986.

4. Блэр Рампинг, Фейерштейн С. «Oracle PL/SQL. Для профессионалов», 3-е изд. // Питер, 2005.

5. Бунин В., Анопренко В. «SCADA-системы: проблема выбора» // «СТА Современные технологии автоматизации», №4/1999 11,19 стр.

6. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. «Методы сжатия данных» // http://www.compression.ru/.

7. Виноградов В.И. «Дискретные информационные системы в научных исследованиях» // Москва «Атомиздат», 1976.

8. Виссер Сьюзен «Освой самостоятельно DB2 Universal Database за 21 день», 2-е издание // Диалектика, 2004.

9. Гарсиа-Молина Г., Ульман Дж.Д., Уидом Дж. «Системы баз данных: Полный курс» // пер. с англ. Варакина А.С., 2003.

10. Глушаков С.В., Ломотько Д.В. «Базы данных. Учебный курс» // Фолио, 2001.

11. Голицына О.Л., Партыка Т.Л., Попов И.И. «Системы управления базами данных. Учебное пособие» // Форум; Инфра-М, Москва, 2006.

12. Горвиц Г.Г., Потапова Т.Б. «Об одном методе генерации программного обеспечения для моделирования АСУТП» // Приборы и системы управления, №9/1997.13