автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.06, диссертация на тему:Разработка информационной технологии нелинейнойробастной сплайн-обработки данных в системе мониторинга.

КИЇВСЬКИЙ МІЖНАРОДНИЙ УНІВЕРСИТЕТ ЦИВІЛЬНОЇ АВІАЦІЇ

' ОСТРОПИЦЬКИЙ Віталій Михайлович

УДК 519.651.3: 519.689.4

РОЗРОБКА ІНФОРМАЦІЙНОЇ ТЕХНОЛОГІЇ НЕЛІНІЙНОЇ РОБАСТНбї СПЛАЙН-ОБРОБКИ ДАНИХ В СИСТЕМІ МОНІТОРИНГУ

05.13.06 - Автоматизовані системи управління та прогресивні інформаційні

технології

Автореферат дисертації на здобуття наукового ступеня кандидата технічних наук

Київ - 1999

Дисертацією є рукопис. ,

Робота виконана на кафедрі математичного забезпечення ЕОМ Дніпропетровського державного університету Міністерства освіти України.

Науковий керівник-

доктор технічних наук, професор ПРИСТАВКА Олександр Пилипович, НДІ геології Дніпропетровського державного університету, головний науковий співробітник.

Офіційні опоненти:

доктор технічних наук, професор, Лауреат Державної премії України ІГНАТОВ Володимир Олексійович, КМУЦА, завідувач кафедри; •

кандидат технічних наук, старшій науковий співробітник ЧУПРИН Володимир Михайлович, науково-дослідний інститут автоматизованих систем будівництва, завідувач лабораторії. Провідна установа:

Національний технічний університет України “Київський політехнічний інститут”, Міністерство освіти України, м. Київ;

Захист відбудеться “ № ".к&шгтг, 2000 р. о годині на засіданні

спеціалізованої вченої ради Д 26.062.01 при Київському міжнародному університеті цивільної авіації за адресою: 03058, м. Київ-58, проспект

Космонавта Комарова, 1!

З дисертацією можна ознайомитися в бібліотеці Київського міжнародного університету цивільної авіації.

Автореферат розісланий "2? ’’ грудня 1999 року.

Вчений секретар -----------■—^ ГУЗІЙ М.М.

спеціалізованої вченої ради '

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. При обробці інформації в системах моніторингу вирішуються як детерміновані задачі на основі рівнянь математичної фізики (методу скінченних елементів, варіаційних задач Коші), так і стохастичні задачі з використанням імітаційного моделювання процесів та статистичного рішення, яке базується на обробці масивів статистичних даних.

Задача підвищення надійності відновлення залежностей та побудови адекватних моделей на основі статистичних даних є актуальною при створенні сучасних інформаційних технологій. При автоматичній обробці статистичних даних контролю параметрів систем, які змінюються з часом та є заданими на дискретній множині, для одержання вірогідних висновків відносно відновлених залежностей необхідно здійснити сплайн-перетворення. Реалізація сплайнів дозволяє підвищувати надійність відновлення моделей та знаходити структурні зміни в процесах та явищах, які спостерігаються. Фундаментальний внесок у теорію наближення сплайнами зроблено вітчизняними та зарубіжними вченими. У статистичній постановці задача побудови сплайнів досліджена в роботах Г.Уаба, І.Шоенберга, Б.Г.Марченка, М.О.Шутка, О.П.Приставки та ін.

Особливістю статистичних масивів є їх зашумованість. Для її зменшення реалізують такі методи:

- попереднє згладжування за допомогою фільтрів (фільтрація даних) з наступним інтерполюванням; у цьому випадку реалізують процедури інтерполюючих та згладжуючих обчислювальних схем;

- безпосереднє застосування згладжуючих сплайн-регресій;

- реалізація робастних алгортмів для одержання стійких оцінок.

Існуючі методи та програмні середовища відновлення сплайн-регресійних моделей переважно базуються на інтерполяційних схемах. їх застосування не завжди дає адекватні моделі при суттєвій осциляції випадкової складової, яка потребує згладжування. Це обумовило вибір згладжуючих та усереднюючих сплайн-функцій для відновлення одновимірних та багатовимірних регресійних залежностей. .

Сучасні інформаційні технології дозволяють реалізувати методи відновлення сплайн-регресійних моделей у автоматизованій системі обробки експери\іЄії¥а!лКних даних довільного характеру: показників фізичних приборів, результатів екбгіомічних, екологічних спостережень та ін.

У зв’язку із зростаючим антропогенним впливом на довкілля виникає необхідність створення систем екологічного моніторингу, призначених для вирішення задач оперативного аналізу та прогнозу, що визначають параметри навколишнього середовища. Вирішення цієї проблеми погребує розробки автоматизованої системи обробки даних для проведення кількісного аналпу

екологічного стану довкілля. Особливо напружена екологічна ситуація склалася в районах розробки корисних копалин, де техногенна діяльність спричинила до необхідність ведення жорсткого моніторингу на території комбінатів, що можливо за умови створення автоматизованих систем оперативного аналізу та прогнозування стану природного середовища. Одним із завдань таких систем е територіальне картографування, яке відтворює функціональні залежності (рельефи функцій) техногенного впливу за гідрохімічними показниками. Одержані таким чином карти складають основу територіального атласу, який є головним джерелом оперативного аналізу та прийняття рішень щодо зменшення впливу техногенних навантажень. Вирішення сформульованої загальної задачі моніторингу здійснюється шляхом знаходження функціональних залежностей та рельєфів функцій по вибіркових точках на поверхні та виконання картографічного відображення одержаних поверхонь та їх прив’язки до рельєфу місцевості. Отримані в результаті моделі - залежності між певними факторами -реалізуються для оперативного аналізу та прийняття рішень щодо поліпшення стану природного середовища.

Зв’язок роботи з науковими програмами, планами, темами. Результати дисертаційної роботи одержані за період 1995*1999рр. згідно з тематичними планами науково-дослідних робіт:

- держбюджетна тема 90-95 “Розробка принципів, методів та програмного середовища системи обробки, аналізу і прогнозу екологічного стану в зоні дії гірничорудних підприємств” ГР 0195Ш23134;

- держбюджетна тема 01-71-98 ДДУ “Розробка автоматизованої системи зберігання, обробки та прогнозу стану природного середовища при техногенному впливі на основі сучасних інформаційних технологій (регіон Кривбасу)" ГР 019811003757;

- госпдоговірна тема 123 “Вивчення впливу зміни напрямку гірничих робіт на гідрогеологічні та інженерно-геологічні умови в Кривбасі” ГР 194Ц03923);

- госпдоговірна тема 86003001195 “Дослідження та розробка методики проведення гідрохімічних спостережень за свердловинами режимної мережі на території ПівнГЗК“.

Мета і задачі дослідження полягають у виборі методів, розробці стійких робастних алгоритмів та програмного забезпечення відновлення статистичних оцінок одновнмірних та багатовимірних залежностей за експериментальними даними на основі згладжуючих та усереднюючих сплайн-регресій та реалізації розробленої інформаційної технології в системі екологічного моніторингу. Наукова новизна одержаних результатів полягає в тому, що вперше:

- розроблені обчислювальні схеми та стійкі алгоритми на основі робастних методів, які дозволяють відновлювати більш вірогідні статистичні залежності

з

на базі згладжуючих та усереднюючих сплайн-функцій;

- запропонований ітераційний алгоритм пошуку оптимальної сітки розміщення вузлів склеювання одновимірної сплайн-регресії, який дозволяє підвищити точність відновленій моделей та процедури перевірки значимості вузлів склеювання;

- розроблені алгоритми, завдяки яким можна одержати стійкі оцінки

багатовимірних залежностей на основі робастних алгоритмів, зокрема побудови поверхонь з використанням усереднюючих двовимірних сплайн-регресій; •

- розроблено програмне середовище системи автоматизованої обробки статистичних даних для відновлення залежностей у системах моніторингу.

Практичне значення одержаних результатів дисертаційної роботи полягає в такому: •

- розроблені процедури та стійкі алгоритми відновлення сплайн-регресії для

одержання адекватних моделей процесів та явищ, які мають у своїй природі структурні змінн; '

- розроблено інформаційне забезпечення відновлення залежностей для задач

обробки експериментальних даних довільного характеру, яка має широке коло застосування; .

- реалізовано розроблене проірамне середовище для побудови аналітичних моделей та картографування в системах гідрохімічного моніторингу в умовах техногенних навантажень.

, Особистий внесок здобувача в роботах, виконаних у співавторстві, полягає в такому:

У роботі [4] запропоновані та розроблені обчислювальні схеми й алгоритми відновлеіпія білінійної усереднюючої сплайн-регресії; в роботі [5] запропонований та реалізований ітераційний метод пошуку вузлів склеювання; в роботі [6] сформульовано обгрунтування середньоквадратичного наближення кубічними сплайн-регресіями, доведено теорему; в роботі [8] наведена структура програмного забезпеченій відновлення залежностей у системі моніторингу ШЮГУ? та* здійснена ЇЇ реалізація з метою аналізу техногенного впливу; в роботі [9} проведена оцінка динаміки хімічного складу вод, наледсні приклади реалізації програмного середовища в задачах картографування;

Апробація результатів дисертації. Результати дисертаційної роботи доповідались на Міжнародній конференції з перспективних досліджень “Конверсія та екологія” (Дніпропетровськ, 1997); Міжнародній конференції “Питання оптнмізації обчислень” (Київ 1997); 1-й МНПК “Стійкий роївншк забруднення навколишнього середовища та екологічна безпека” (Дніпропетровськ, 1995); 1-му Міжнародному симпозіумі “От, ширшій

контроль та управління якістю мінеральної сировини при видобуванні та переробці” (Кривий Ріг, 1996); 1-й МНПК “Геодезія, картографія і

аерофотознімання” (Львів, 1997); Всеукраїнській конференції молодих науковців “Інформаційні технології в науці та освіті” (Черкаси, 1997); НТК “Проблеми створення нових машин і технологій” (Кременчук, 1998); 4-й Всеукраїнській НПК “Вода - проблеми та рішення” (Дніпропетровськ, 1998); 1-й та 2-й Міждержавних конференціях “Комп’ютерне моделювання” (Дніпродзержинськ, 1997-1998); 4-й МНТК “Контроль і управління в технічних системах (КУТС-97)” (Вінниця, 1997); 4-й, 5-й та 6-й Українських конференціях з автоматичного управління "Автоматика-97" (Черкаси, 1997), "Автоматика-98" (Київ, 1998) та "Автоматика-99" (Харків, 1999); “Картографія та вища школа” (Київ, 1998); 1-й Міжнародній конференції “Наука і освіта'98”

(Дніпропетровськ, 1998); Міжнародній конференції “Математичні моделі та сучасні інформаційні технології” (Херсон, 1998); наукових конференціях ДДУ за підсумками науково-дослідницької роботи (Дніпропетровськ, 1995-1999).

Публікації. Основні результати дисертаційної роботи опубліковані в 22 статтях (у тому числі 12 статей опубліковано у фахових виданнях, з яких 7 -одноособові), одному навчальному посібнику, 20 тезах доповідей на конференціях.

Структура та обсяг робот». Дисертаційна робота складається зі вступу, чотирьох розділів, висновків, що містять основні результати, списку літератури та п'яти додатків. Загальний обсяг роботи складає 135 сторінок, робота містить 18 таблиць, 38 рисунків та список літератури з 188 найменувань.

ОСНОВНИЙ. ЗМІСТ РОБОТИ

У вступі сформульовано мету дослідженій, обгрунтовано актуальність, визначено цілі роботи та коло задач, які вирішуються, вказано на наукову новизну та практичне значення. ' .

У першому розділі розглянуто задачу статистичної обробки експериментальних даних у системах моніторингу. Запропоновано використання сплайн-регресій для відновлення статистичних залежностей. Для виключення впливу випадкової складової у статистичній постановці задачі реалізується інтерполювання після первісного згладжування шумів або методи згладжуючих сплайн-регресій. Проаналізовано стан досліджень з використанням сплайн-перетворень для відновлення емпіричних залежностей, зокрема задачі: інтерполювання одновимірними поліноміальними сплайн-функціями; відмовлення згладжуючих сплайн-регресійних залежностей, відновлення багатовимірних сплайн-регресійних залежностей; визначення кількості та місцезнаходження вузлів склеювання.

Проаналізовано використання програмних комплексів, які реалізують алгоритми відновлення сплайнів, у різноманітних сферах, зокрема у системах економічного, біологічного, геофізичного та екологічного моніторингу. Особливу увагу приділено створенню нових інформаційних технологій для вирішення задач екологічного моніторингу, які пов’язані з необхідністю розробки інтелектуальних систем. Виділено пріоритетний напрямок, яким є розробка геоінформаційних систем для задач картографування та створення експертних систем.

У другому розділі представлено обчислювальні процедури та алгоритми відновлення одновимірних статистичних залежностей на основі згладжуючих сплайн-регресій. .

Виникає задача відновлення за даними статистичних спостережень = такими, що a s х. < і, / = С7/ сплайн-регресійної моделі на сітці вузлів склеювання А, :а = хт <х'л <.,.<х>м -Ь, (k«N):

S(r, (*.©,)/,(') + *>

1=1

де б - вектор випадкових похибок: £{г}=0,£>{г}=о:2 =const,

Wl = {e/j\j = Ojn),l = TJ,

|0,xe[x"-V°].

Відновлення моделей згладжуючої сплайн-регресії базується на властивостях неперервності сплайн-функцій класу Cd[a,b] та умові

. min {£ w,ly, - S(x„ в)]2 + QіlSlm>(x)]2dx}. .

***»• м ■ „

При Wj-О формулюється задача середньоквадраткчного наближення 1

-z Z .

И - Р 1-І де Wj - вагові коефіцієнти.

Розглянуто середньоквадратичне наближення поліноміальнич сплайн-регресійних залежностей

З урахуванням того, що кубічні сгшайн-регресії (пі=3) є узаконенням лінійних та параболічних моделей, проведено обгрунтування обчислювальної процедури середньоквадратичиого наближення поліноміальннх сшіайн-рсгресііі на прикладі кубічного сплайна. Доведено теорему: якщо ^ - мінімум суми квадратів відхилень оцінки кубічного сплайна відносно емпіричних даних, М-загальне число варіант, а к * кількість вузлів склеювання, тоді

с незміщена оцінка дисперсії а2. Звідси випливає, що при заданому

вимірювань аг емпіричних даних кількість вузлів склеювання визначається як

Це дозволяє формулювати пряму та зворотну задачі: мінімізації похибки на даній сітці вузлів склеювання та мінімізації кількості вузлів склеювання на базі припустимої похибки відновлення.

Розроблено обчислювальні схеми та алгоритми відновлення поліноміальних сплайн-регрейій з довільною кількістю вузлів склеювання. Три процедури базуються на МНК для функцій класу С*[а,Ь]. Параметри а^, і = б= и визначаються із властивості неперервності

Оцінки решти параметрів обчислюються з умови тп£{50!), при цьому ваговий

коефіцієнт =1,/ = £Ж Рішення зводиться до систем лінійних рівнянь, які в матричній формі мають вигляд

Точність оцінок параметрів характеризується дисперсійно-коваріаційною матрицею. Розроблено три процедури побудови усереднюючих сплайн-регресій. У цьому випадку крім вищезгаданих властивостей реалізується умова

звідки обчислюються = 0,2,/ = 2, к, а решта параметрів обчислюється з

рішення систем нормальних рівнянь. .

Обчислювальні схеми відновлення одновимірних нелінійних сплайн-регресійних моделей базуються на зведенні останніх до поліноміальних (зокрема, лінійних та параболічних) моделей, при цьому використовується перетворення координат г=<рг(у), 1=<рі(х) та перерозрахунок параметрів сплайн-регресії аоІІ=7о(°і).“і<') = '7і(А)>аі!='7г(і;/)' Використовуючи одержані оцінки поліноміальної сплайн-регресії а^0,; =(Хт,і = \71, моу.аіа реалізувати обчислення оцінок параметрів нелінійної сплайн-регресінної залежності

— і7Г' (°і<0) > =Ч~г(<*Т)- Розроблено ітераційну процедуру, яка уточнює оцінки параметрів в для МНК-оцінок. У цьому випадку ваги обчислюються ітераційио згідно з формулою

математичному очікуванні точності наближення іф,,2 та дисперсії похибки

к = № + 1)-Е$}/ог.

5(,,)(х(М>, 9)=5(,,,(ї'"і). 6-.),< = 2Х

г(,>хл<0 =л(0,/ = и.

Якщо припущення нормальності випадкового вектора не використовується, то оцінки, які були одержані за МНК, втрачають свою оптимальність. Розроблені методи оцінювання, стійкі до відхилень розподілу випадкової компоненти моделі від істинного - робастні методи. Для робастної процедури ваги обчислюються за формулою біквадратного зважування ' И(Л_1 .,,И ' -

ду

У = У,

ф2(у) - перетворене значення залежної змінної при лінеаризації

,,, = |(1-«Х«,2<1. , (л| '

1 о*** і, •

С-Я,

сє [6,9]; 9,0’ - медіана абсолютних значень залишків с'ґ>.

Розроблено алгоритм вибору вузлів склеювання сплайна, ідея якого полягає в ітераційному процесі поділу сегмента, що відповідає умовам Д=пихД|. Процес триває, доки не буде виконана одна з умов: Д<Дкр (Дкр -

максимальна. припустима похибка); згладжуюча сплайн-регресія перетворюється на інтерполяційну; остаточна дисперсія на ітерації

збільшується: Б2(і) > Здійснюється перевірка значимості вузлів склеювання

та виключення незначимих. Для перевірки значимості кожного з вузлів склеювання хт,і = 1,к-ї запропоновані два алгоритми, які базуються на перевірці гіпотез #о : = ІД-1 та Я 0 : г™ = г£'\і = £Т^] .

Порівняльний аналіз розроблених процедур, здійснений при використанні різноманітних даних, доводить перевагу застосування ітераційної та робастної процедур (табл. 1), що дає більш стійкі моделі, ніж класична процедура МНК, та запропонованого автором ітераційного метода пошуку вузлів склеювання.

’ Таблиця 1

_______________Оцінки похибки відновлення сплайн-регресії ____

Модель Процедура

Лінійна Ітераційна Робастна

Б Єср,% Б є ф, % Б єФ, %

1 /(а.іх-х^ + Ь,) я:/(аД*-*<м))+А() г>(ехр(а,(*-х<М))) 0.0485 4.4512 0.0219 4.3135 0.0242 4.6107

0.0503 4.3209 0.0197 4.0917 0.0218 4.2057

0.0210 4.0910 0.0193 4.0441 0.0204 4.0845

УІа,(х - л1’")2 + Ь,(х - *(М)) + с, х/(а((х-х°'"У +ЬІ(х-х<‘~п)+сІ) 0.0190 4.0780 0.0190 4.0780 0.0190 4.0780

0.0531 4.3179 0.0531 4.3179 0.0219 ; 4.2281

У третьому розділі розроблені методи та алгоритми обробки багатовимірних статистичних даних за результатами спостережень функції {(хі,...,ха) (ЙХь-.'.Лі)єС) на області КєЕ<і {хи,х2І:/ = Г,Лг} з використанням сплайн-регресії

8(Хі,Х2,..;Ха ,&) = )А, І4(Х11Х}У — >Ха)і

А*' І1-1

^І,,..^(.Х1<ХІ>—>Х^

^...п[хГ'\ *і0)],

на сітці вузлів склеювання А:: Ах 4х-* А/> 'л(/а) <х{р ,і = \,й .

Запропоновано два алгоритми ступінчастої сплаіін-апроксимації. Так, у першому методі реалізується відбір найбільш інформативної незалежної змінної, знаходиться її одновимірна проекція та здійснюється звичайне одновимірне відновлення сплайн-регресії. Відхилення від цієї оптимальної лінії розглядаються як новий набір даних та знаходиться друга проекція. Процес триває доки не виконається критерій закінчення процесу. Сума одновимірних сплайнів є значенням багатовимірної залежності. Другий метод спочатку відновлює класичну багатовимірну регресію. Відхилення емпіричних значень залежної змінної від оцінки функції регресії розглядається як новий набір даних, потім знаходиться одновимірна проекція* найбільш корельованої незалежної змінної. Далі процес повторюється за тією ж схемою. Це наближення не є оптимальним, але алгоритм не ускладнюється із збільшенням розмірності. Запропоновані алгоритми дозволяють досягнути будь-якої точності відновлення, але в ній не враховується взаємодія між незалежними змінними. Для усунення цього недоліку для обробки результатів спостережень функції двох змінних Дх,у) і/(х,у)еС") на області ІІ=[а,Ь]х[с,сі] запропоновані алгоритми відновлення згладжуючих двовимірних сплайн-регресійних моделей, які визначаються у такий спосіб

Ф = ££ХСх,.у, ОЖ,,(-*,>-) +є,

(-1 1-Х

1, X Є [х1‘-'\х0> ] А у Є [Уи'п, У0) І .

0, хе ] V у а іу^-'Ку'л ]■

§Л = Ї;

’ 9*0 ія о

йхй х <і!,у£ у і у= \Jt.j = й,

____’

на сітці вузлів Д, :я= хт <хт <...<хт =6, Д, с=^°' < У” <...< У4 =іі. Відновлення сплайн-регресій здійснюється на основі умов і(х,у. Ще сі;;™:;*

тіп £{£’}, де 502=Х м',[г,-5(л„>ґ, ^]2.

0 г-1

Розроблено шість обчислювальних процедур відновлення поліноміальних сплайн-регресій довільного ступеня. Три алгоритми базуються на МНК для функцій класу С^рЕІ]. Оцінки параметрів а<?\г = 0,сі, д = г,т,і = ІД,у = 2,1; а^\г = (і,сі, І = г,т,і = 2,к,] = 1,/ слід обчислювати з урахуванням властивості неперервності сплайн-функції та її похідних на лініях склеювання

= її.,/ = 2,7; •

= -£^$іаМ,л\у\ує[/Н\У'"]. / = 2Лу = и.

Задача обчислення оцінок решти параметрів за умови тщ £■{£*} зводиться до

кхі систем лінійних рівнянь .

' ТтхАт =Л№,,/ = ЇЛу=:и.

Для оцінки точності відновлення параметрів обчислюються довірчі інтервали. Для відновлення усереднюючих сплайн-регресій розроблено три процедури, які базуються на умові усереднення

хи> уи)

■ і / (*• У)іШУ = ^^Ау, , ' = и../ = и •

*(Т-і) у<м»

звідки обчислюються = 0.2,' = 27?.,/ = 27/, а решта параметрів

обчислюється з рішення систем нормальних рівнянь.

Розроблені алгоритми орієнтовані на відновлення поліноміальних сплайн-регресій довільного ступеня. Зокрема, реалізація процедур, які базуються на властивості С0'°(Д], відновлює біпінійні (ш=1), біквадратичні (т=2) та бікубічні (т=3) моделі максимального дефекту; процедури, що реалізують умову С1 [К), дозволяють одержати біквадратичні моделі мінімального дефекту та бікубічні залежності дефекту 2; алгоритми, побудовані на властивості С2“г[К]. за умовою гп=3, відновлюють бікубічні моделі мінімального дефекту.

Оцінки МНК у випадку, якщо припущення нормальності вектора залежної змінної не виконується, втрачають свою оптимальність. Тому розроблено робастні алгоритми, які є стійкими до відхилень розподілу випадкової компоненти моделі від нормального. В цьому випадку вводиться їздача

мінімізації тіп о) = тіп — У, р[-~—.

* * п Ті а

Для двовимірної сплайн-регресії застосовані робастні алгоритми: обчислення зсуву з модифікованими залишкамй, метричне вінзорування даних, регіараметризація моделі, обчислення зсуву з модифікованими вагами.

У четвертому розділі наведено реалізацію обчислювальних схем сплайн. регресійного аналізу у вигляді програмних процедур, які були включені до програмного середовища рішення задач кореляційного та регресійного аналізу НЕСЛв. За своєю структурою вона належить до підсистем загального призначення обробки статистичних даних та відновлення залежностей.

Структурно підсистема містить:

- обчислювальні процедури одновимірного та багатовимірного регресійного та сплайн-регресійного аналіз^;

- розвинений програмний інтерфейс, який дозволяє здійснити керування обчислювальним процесом, управління вводом та виводом інформації;

- організацію обчислювального процесу, який базується на формуванні вирішальних правил для автоматичного вибору найбільш адекватної моделі, зберігання моделей у базі знань в аналітичному й табличному вигляді з метою подальшого аналізу.

Підсистема не є жорстко прив’язаною до даних - можлива обробка статистичних масивів будь-якої природи, наприклад з галузей: аерокосмічної техніки, соціометрц, економіки, картографування, екології.

Програмне середовище КЕШІв складається із блоків: створення, імпорт і ведення даних; статистична обробка даних; виведення результатів.

База даних організована у вигляді набору ОБР-файлів, зібраних в ієрархічну структуру, що дозволяє систематизувати накопичену інформацію та прискорити пошук необхідних даних..Швидкість переходу від однієї задачі до іншої, звертаній до баз забезпечується струкіурою програмного середовища. При управлінні знаннями організовано взаємодію між базою знань та програмними засобами. ■ .

Блок роботи з даними призначений для ведення баз даних: створення, наповнення, коригування даних; передбачена конвертація баз даних із однієї структури в іншу. Окрім цього, реалізовано зберігання даних у бінарних і текстових файлах паралельної структури.

У програмному середовищі інтерфейс користувача представлений ієрархічним меню, організацією вводу даних та вихідними формами. Для виводу результатів розроблені вихідні форми у вигляді таблиць та графіків. Виведення інформації здійснюється на екран, на принтер та в базу знань.

Програмне середовище реалізовано в системах моніторингу. Приведено застосування системи ШКОД» для адекватного відновлення залежностей у задачах гідрохімічного моніторингу техногенних регіонів, зокрема для

вирішення задач екологічного моніторингу в зоні дії гірничорудних підприємств Кривбасу. В зоні дії ГЗК існує мережа гідроспостережних свердловин. На основі матеріалів Саксаганської гідрогеологічної партії Міністерства промислової політики України сформовані бази даних, які містять результати спостережень за рівнями розташування та за хімічним складом води у свердловинах.

На основі накопиченої інформації проведені дослідження та визначені основні тенденції техногенної метаморфізації природних вод. Відновлені одновимірні (у точках спостережень і за гідрогеологічними профілями) та багатовимірні (по площах) регресійні моделі вмісту макрокомпоненгів (хлор-іону, сульфат-іону, мінералізації) у пробах води із свердловин. Побудовані поліноміальні сплайн-рсгресійні моделі (рис. 1) дозволяють враховувати точку структурної зміни при оцінці рівня вмісту макрокомпоненгів прн віддаленні від хвостосховшца, де починаєтеся вплив промислового майданчика.

Рис. 1. Параболічна сплайн-регресіГша модель вмісту хлор-іону за профілем від хвостосховшца до р.Саксагань

У технологічному циклі збагачення руд на ПівнГЗК використовуються як води хвостосховншз, так і води промислового майданчика. Таким чином, промисловий майданчик є другим джерелом формування гідрохімічних типів підземшк вод. Далі за профілем спостерігається незначне підвищення вмісту макрокомпонентів у підземних содах, що може бути пов’язано з впливом комунальної г^ережі на території житломасиву. .

Програмне середовище ЯБСКБ дозволяє будувата трьохвимірне

відображення поверхонь відновлених моделей. При цьому здійснюється автоматичне прив’язування трьохвимірної карти до схем місцевості та топографічних карт, які зберігаються в ірафічних файлах поширених форматів (рсх, bmp та ін.), крім того, реалізується відображення поверхонь з прив’язкою до місцевості (рис. 2).

Рис. 2. Відображення карти білінійної поверхні абсолютних відміток рівня підземних вод з прив’язкою до місцевості промислового майданчика ПівнГЗК.

На основі одержаних моделей стає можливим рішення задач кількісної оцінки рівнів підземних вод. На карті ізоліній відтворена лінія склеювання поверхонь, яка є місцем найвищого положення п’єзометричного рівня підземних вод, показані напрямки руху вод від високих відміток до більш низьких. Наявність структурних змін на ділянці поверхні обумовлена тим, що в результаті експлуатації промислового майданчика ГЗК утворився “купол” розтікання фунтових вод, причому потік і лінії розділу поширюються в північно-східному та південно-східному напрямках.

Аналіз одержаних моделей дозволяє характеризувати вузли склеювання поверхневих моделей як зміну джерела впливу на хімічний склад підземних вод на ділянці або виділення декількох джерел. Порівняння декількох моделей, побудованих на різних гідрогеологічних ділянках, дає можливість оцінити ступінь техногенного впливу на природні води. Крім цього, одержані моделі включені в базу знань про ста і природного середовища в районах

гірничовидобувної промисловосіі, що є основою для Прийняття рішень, метою яких є поліпшення екологічної ситуації на території ГЗК.

Застосування згладжуючих сплайн-регресій при побудові, гідрохімічних карт дозволяє вирішувати такі задачі:

- найбільш адекватно відтворювати реальну гідрохімічну ситуацію на досліджуваній території для оцінки екологічної ситуації;

- визначати оптимальну гідрорежимну мережу спостережень та періодичність пробування;

- оцінювати за допомогою моделей та карт, побудованих на різні дати, мінливість гідрохімічної ситуації та формувати блок баз знань у розробленій автоматизованій інформаційно-картографічній системі.

ОСНОВНІ РЕЗУЛЬТАТИ РОБОТИ Й ВИСНОВКИ:

1. Необхідність підвищення адекватності відновлення залежностей у системах автоматизованої обробки статистичних даних, у тому числі в системах моніторингу, обумовила розробку відповідного інформаційного забезпечення, в основу якого покладено обчислювальні процедури, що базуються на сплайн-перетвореннях. Проведений аналіз дозволив визначити та обгрунтувати задачі та методи їх розв’зання.

2. Стосовно до сформульованих задач розроблені обчислювальні процедури та алгоритм відновлення згладжуючих та усереднюючих поліноміальних сплайн-регресій. Знайдені оцінки точності як параметрів, так і функції регресії. Запропоновано проводити їх довірче оцінювання. Доведено теорему, яка дозволяє обгрунтувати обчислювальні процедури середньоквадратичиого наближення поліноміальтши сплайн-регресіями з вибором кількості вузлів склеювання ло даній похибці-апроксимації.

3. Уведені та обгрунтовані обчислювальні схеми для відновлення нелінійних і квазілінійних сплайн-регресійних залежностей, реалізовані алгоритми обчислення стійких оцінок на основі ітераціґшої та робастної процедур. Розроблепі процедури вибору кількості та місцезнаходження вузлів склеювання сплайи-регресії, а також алгоритми перевірки значимості вузлів склеювагаш. Проведений порівняльний аналіз запропонованих алгоритмів, який дозволяє зробити висновок про єфеютівшсть використання згладжуючих та усереднюючій сплайн-регресій, ітераційпої та робастної процедур для еідновлєішя адекватних залежностей.

4. Розроблені алгоритми багатовимірної сплайн-апроксимації: ступіігчастого відновлення багатовимірної залежності на базі одновимірних сплайн-регресій. Наведені процедури й алгоритми відновлення двовимірних сплайн-регресійшгх залежностей, які базуються на умовах згладжування та на

властивостях сплаґш-функцій; передбачена оцінка точності параметрів та довірче оцінювання. Ррзроблено обчислювальні процедури, які базуються на реалізації крім умови неперервності двовимірних сплайн-функцій додаткової умови усереднення. Для одержання стійких оцінок двовимірної сплайн-регресії запропоновані робастні алгоритми.. Приведеш оцінки точності відновлення' сплайн-регресійних залежностей у програмному середовищі ЇШОІІЗ, на основі практичної реалізації проведений порівняльний аналіз.

5. Розроблено програмне середовище автоматизованої обробки статистичних даних КЖїЛЗ, де поряд з класичними методами кореляційного та регресійного аналізу реалізовані процедури- відновлення одновимірних та багатовимірних сплайн-регресійних залежностей. Організовано взаємодію програмного середовища з базами даних та базою знань; описані її структура та функції, організація обчислювального процесу та інтерфейсу.

6. Проведена реалізація програмного середовища для відновлення

залежностей за статистичними даними в системах екологічного моніторингу в зоні дії гірничорудних підприємств Кривбасу. На основі накопиченої інформації проведено дослідження та визначено основні тенденції техногенної метаморфізації природних ’ вод. Одержані одновимірні моделі вмісту макрокомпонентів у пробах води із свердловин, які дозволяють визначити структурні зміни. .

7. Реалізація двовимірних сплайн-регресій для відновлення поверхонь та їх картографічної о відображення, одержаних на гідрогеологічних ділянках, дозволяє найбільш адекватно відтворити реальну гідрохімічну ситуацію на досліджуваній території для оцінки екологічної ситуації. Отримані сплайн-регресійні моделі значно підвищують точність опису, процесів та явищ, оскільки найбільш точно відтворюють процеси масопереносу в підземних водах. За допомогою розроблених методів визначено оптимальне число пунктів спостережень на території ГЗК.

ОСНОВНІ ПУБЛІКАЦІЇ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Остропицкий В.М. Стохастические биквадратнческне сплайны в задачах гид-

рохимического мониторинга // Математичне моделювання. - 1998. - №3. -С.55-60. .

2. Остропицкий В.М. Реализация информационной технологии обработки экспериментальных данных на основе сплайнов в системе гидрохимического,,, мониторинга // Вестн. Харьк. гос. политехи, ун-та. - X. - 1999. - Вып.71. -С.169-175.

3. Остропицкий В.М. Среднеквадратическое приближение параболических

сплайн-регрессионных зависимостей // Вопросы прикладной математики и математического моделирования: Сб. науч. тр. - Д.: ДГУ, 1999. - С.97-101.

4. Остроптікий В.М., Приставка А.Ф. Восстановление сглаживающих усредняющих билинейных сплайн-регрессий // Вопросы прикладной математики и математического моделирования: Сб. науч. тр. - Д.: ДГУ, 1999. - С. 102-106.

5. Остропицкий В.М., Приставка Л.Фі Методы поиска узлов склеивания сплайн-регрессий // Вопросы прикладной математики и математического моделирования: Сб. науч. тр. - Д.: ДГУ, 1997. - С. 121-125.

6. Приставка А. Ф., Остропицкий В.М. Среднеквадратическое приближение кубических сплайн-регрессий //Вопросы прикладной математики и математического моделирования: Сб. науч. тр. - Д.: ДГУ, 1998. - С. 166-171.

7. Остропицкий В.М. Восстановление билинейных сплайнов //Вопросы прикладной математики и математического моделирования: Сб. науч. тр. - Д.: ДГУ, 1998. - С. 140-144.

8. Приставка А.Ф., Остропицкий В.М. Программная среда регрессионного анализа в системе геоэкологического мониторинга II Геодезія, картографія і аерофотознімання: Міжвідом. наук.-техн. зб. - Л.: Львівська політехніка, 1997. -Вин. 58. -СЛ32-134.

9. Остропицкий В.М., Приставка А.Ф,, Шерстюк Н.П. Информационное обеспечение и картографирование в - системе гидрохимического мониторинга //XXI столетне - проблемы и перспективы освоения месторождений полезных ископаемых: Сб. науч. тр. Национальной горной академии Украины. - Д.: РИК НГА Украины. 1998. Т.6, N3. - С.313-317.

Остропнцышй В.М. Розробка інформаційної технології нелінійної робастної сплаґш-обробки даних в системі моніторингу. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.06 - автоматизовані системи управління та прогресивні інформаційні технології. - Київський міжнародний університет цивільної авіації, Київ, 1999. '

Досліджено проблему відновлення статистичних оцінок залежносте)! за емпіричними даними. Для підвищення надійності відновлення моделей та виявлення структурних змін у процесах, які спостерігаються, запропоновано застосовувати згладжуючі та усереднюючі сплайн-функції. Доведено теорему, яка дозволяє обгрунтувати обчислювальні процедури середньоквадратичного наближення поліноміальннші сплайн-регресіями.

Запропоновано процедури відновлення статистичних оцінок . усереднюючих та згладжуючих сплайн-регресійних одновимірннх залежностей. Розроблено процедури вибору кількості та місцезнаходження вузлів склеювання

сплайн-регресії, а також алгоритми перевірки значимості вузлів склеювання. Розроблено схеми багатовимірної сплайн-апроксимації на базі ступінчастого алгоритму. Реалізовано процедури та алгоритми відновлення двовимірних згладжуючих та усереднюючих сплайн-регресійних залежностей. Для одержання стійких оцінок сплайн-регресії запропоновано реалізувати робастш алгоритми. Проведено порівняльний аналіз класичних ^а розроблених автором алгоритмів на основі практичної реалізації, який дозволяє зробити висновок про ефективність використання останніх. •

Розроблено інформаційну технологію автоматизованої обробки

статистичних даних КЕОНБ, де реалізовані, поряд з класичними, запропоновані автором процедури; організовано взаємодій програмного середовища, баз даних і бази знань. Проведено реалізацію інформаційної підсистеми ІШлІІЗ для адекватного відновлення залежностей за статистичними даними та картографування в системах екологічного моніторингу. Одержані моделі значно підвищують точність опису процесів і явищ, що мають у своїй природі структурні зміни.

Ключові слова: інформаційна технологія, обробка даних, сплайн-регресія, робастні алгоритми, програмне середовище, моніторинг,

картографування.

Остропицкнм В.М. Разработка информационном технологии нелинейной робастной сплайн-обработки данных в системе мониторинга. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 - автоматизированные системы управлення и прогрессивные информационные технологии. - Киевский международный университет гражданской авиации, Киев, 1999.

Представляемая диссертация является научной работой, в которой предложен и исследован метод, проведена алгоритмизация и разработана информационная технология организации вычислительного процесса автоматизированной обработки статистических данных мониторинга, базирующиеся на сплайн-регрессиях и робастных алгоритмах.

Исследована проблема восстановления статистических оценок зависимостей по эмпирическим данным. Проведенный анализ позволил выбрать и обосновать задачи и методы их решения. Для повышения надежности восстановления моделей и обнаружения структурных изменений в наблюдаемых процесса^ и явлениях предложено использовать сглаживающие и усредняющие сплайн-функции. Найдены оценки точности как параметров, так и функции регрессии. Предложено проводить их доверительное оценивание. Доказана теорема, по-

зволяющая обосновать вычислительные процедуры среднеквадратического приближения зависимостей полиномиальными сплайи-регрессионными моделями.

Введены и обоснованы вычислительные схемы для восстановления нелинейных сплайн-регрессионных зависимостей. Реализованы алгоритмы получения устойчивых оценок на основании итерационной и робастной процедур. Предложены процедуры выбора количества и расположения узлов сплайн-регрессии, а также алгоритмы проверки значимости узлов склеивания. Проведен сравнительный анализ разработанных алгоритмов, позволяющий сделать вывод об эффективности использования сглаживающих и усредняющих сплайн-регрессий, а также робастных процедур для восстановления моделей.

Разработаны алгоритмы восстановления многомерной сплайн-регрессионной зависимости. Приведены процедуры восстановления двумерных сплайн-регрессиониых зависимостей, при этом предусмотрена как оценка точности параметров, так и доверительное оценивание. Разработаны вычислительные процедуры, базирующиеся на реализации условия усреднения. Для получения устойчивых оценок двумерной сплайн-регрессии реализованы робастные алгоритмы. Приведены оценки точности восстановления сплайн-регрессионных зависимостей в программной среде ЯЕСЯБ, па основании практической апробации проведен сравнительный анализ предложенных алгоритмов.

Разработана программная среда автоматизированной обработки статистических данных КЕСЛЭ, в которой реализованы наряду с классическими методами корреляционного и регрессионного анализа разработанные автором процедуры восстановления одномерных и многомерных сплайн-регрессионных зависимостей. Организовано взаимодействие программной среды, баз данных и базы знаний; описаны ее структура и функции, организация вычислительного процесса и интерфейса. Приведена практическая реализация программной среды 1ШЗК.8 для восстановления зависимостей по статистическим данным в системах экологического мониторинга. На основании накопленной информации проведены исследования и определены основные тенденции техногенной мета-морфизащга природных вод. Реализация двумерных сплайн-регрессий для восстановления поверхностей и их картографического отображения, полученных на различных участках, позволяет наиболее точно отобразить реальную ситуацию на исследуемой территории в целях оценки экологической ситуации, рекомендовать оптимальную гидрорежимную сеть наблюдений и периодичность опробования.

Ключевые слоаз: 1шформационная технология, обработка данных, сплайн-регрессня, робастные алгоритмы, программная среда, мониторинг, картографирование. '

Ostropitsky V.M. Development of the information technology of non-linear robust spline data process for monitoring system. - Manuscript.

Thesis for a Candidate of Technical Sciences degree by speciality 05.13.06 -automated control systems and progressive information technologies. - Kyiv International University of Civil Aviation, Kyiv, 1999.

The problem of statistical evaluation fitting according to empirical data is researched. Smoothing and averaging spline functions are suggested for adequacy increasing of models fitting and structure changes detection. The theorem is proved, that allows to substantiate computational procedures of least-square fitting of polynomial spline regression.

Procedure of statistical evaluation fitting for smoothing and averaging onedimensional spline regression is suggested. Procedures for estimation of number and placing of spline regression change-points as well as procedures of their valuability checking are developed. Algorithms for multi-dimensional spline approximation are suggested. Procedures for smoothing and averaging two-dimensional spline regression evaluation are developed. Robust algorithms are suggested for stiable estimation of spline regression: Comparative analisys of algorithms on the base of computational realisation allows to draw the conclusion that they are more effective.

Information technology of automated data processing REGRS is developed; many classical and author-made procedures are realised; interaction with databases and knowledge base are organised. Practical realisation of software REGRS is made for adequate dependencies fitting according to statistical data and map-building in the ecological monitoring system. Estimated models allows to improve quality of evaluation of processes that have structure changes in their nature.

Key words: information technology, data processing, spline regression, robust algorithm, software environment, monitoring, map-building.

AU.UU. fibrV me.