автореферат диссертации по приборостроению, метрологии и информационно-измерительным приборам и системам, 05.11.16, диссертация на тему:Разработка алгоритмов идентификации корреляционной функции и периодограммы на основе регуляризирующего байесовского подхода

РГ6 од

7 ч И г.,'; 1 На правах рукописи

Жукова Анна Викторовна

РАЗРАБОТКА АЛГОРИТМОВ ИДЕНТИФИКАЦИИ КОРРЕЛЯЦИОННОЙ ФУНКЦИИ И ПЕРИОДОГРАММЫ НА ОСНОВЕ РЕГУЛЯРИЗИРУЮЩЕГО БАЙЕСОВСКОГО ПОДХОДА

Специальность: 05.11.16 - информационно-измерительные системы

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург - 1997

Работа выполнена в Санкт-Петербургском электротехническом университете имени В.И.Ульянова (Ленина)

Научный руководитель -

доктор технических наук, профессор Чернявский Е.А.

Официальные оппоненты:

доктор технических наук, профессор Кокдрашкова Г. А. кандидат технических наук, доцент Коршунов И.Л.

Ведущая организация - НИИ Электроприборостроения, "Электромера"

Защита состоится " /0'" РеСЯ^АлЛ 1997 т. в 3&час, на заседании диссертационного совета К 063.36.04 Санкт-Петербургского электротехнического университета имени В.И.Ульянова (Ленина) по адресу: 197376, Санкт-Петербург, ул. Проф. Попова. 5.

С диссертацией можно ознакомиться в библиотеке университета.

Автореферат разослан " кРЯ^Л 1997 г.

Ученый секретарь диссертационного совета

Юрков Ю.В.

I. ОБЩ АЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Большинство процессов, протекающих в технических и природных объектах, имеет сложный характер. Это обусловливает необходимость привлечения всей имеющейся информации о таких объектах для получения объективного решения об их состоянии и функционировании. Часто, информация бывает недостаточной, неточной и мало достоверной, что затрудняет использование известных методов для измерения значений контролируемых величин изучаемых процессов.

Одним из наиболее важных вопросов является задача определения характеристик связи между свойствами объекта и влияющими факторами среды его окружения. Поэтому при вероятностном представлении модели объекта основным параметром взаимосвязи свойств и процессов является корреляционная функция. А для выяснения хода развития того или иного процесса необходимо знать их периодичность.

К изучению сложных объектов необходимо подходить с позиции интеллектуализации измерительных процессов. Основными требования к информационным технологиям интеллектуальных измерений можно назвать следующие:

- обеспечение контроля качества получаемых результатов и определение комплекса метрологических характеристик (точность, надежность, достоверность);

- учет специфики объекта измерения, о виде и степени определенности априорной и получаемой экспериментальной информации при выборе методов и средств измерений;

- возможность оптимизации, планирования и проведения измерительного эксперимента в соответствии с метрологическими требованиями и ограничениями;

- обеспечение наибольшей полноты получаемых решений на основе учета всей доступной качественной и количественной информации;

- способность динамической адаптации технологии к меняющимся условиям измерений и свойствам объекта в процессе эксперимента;

- создание развивающихся и саморазвивающихся технологий и интеллектуальных измерительных систем;

- возможность самообучения и на основе этого самоорганизация интеллектуальных измерительных систем.

Последние три требования обусловлены тенденцией к интеллектуализации информационных технологий, что особенно важно для опре-

деления свойств, состояний, динамики развития сложных объектов, например, таких как экологические объекты со сложной иерархией внутренних и внешних взаимосвязей.

Для преодоления указанных трудностей при выполнении названных требований призвана данная диссертационная работа, в основу которой положена методология регуляризирующего байесовского подхода. Главными достоинствами названного подхода можно назвать:

- минимизацию риска принятия неверного решения;

- возможность принятия решения как на основании экспериментальных данных, так и с использованием интуитивного неформализованного опыта исследователя;

- обеспечение последовательного накопления знаний об исследуемом объекте и постоянное замещение априорной информации апостериорной;

- возможность реализации на базе новых информационных технологий, в том числе экспертных систем;

- обеспеченность результатов измерений метрологическим сопровождением на каждом этапе исследования;

- способность к самообучению и саморазвитию при изменении условий измерения.

Целью диссертационной работы является разработка алгоритмов идентификации нормированной функции авто- и взаимной корреляции и периодограммы в условиях сложных измерительных ситуаций (недостаточность или полное отсутствие априорной информации об измеряемых параметрах) с помощью регуляризирующего байесовского подхода. В соответствии с поставленной целью предполагается решение следующих задач:

1. Разработка алгоритмов с использованием регуляризирующего байесовского подхода на основе известных методов измерения корреляционной функции и выявления скрытых периодичностей, позволяющих получать решения с гарантированным качеством в условиях сложной измерительной ситуации.

2. Создание инженерной методики на основании разработанных алгоритмов, ориентированной на применение новых информационных технологий в виде методологической базы экспертных систем.

3. Решение задачи метрологического сопровождения разработанных алгоритмов с определением характеристик точности, надежности и достоверности.

Объектами исследования являются нормированные авто- и взаимные корреляционные функции (их модели, а также значения коэффициентов корреляции в фиксированные сдвиги времени) и периодограммы (их модели, а также значения пробных периодов и максимальных отклонений преобразованных случайных процессов).

Основные методы исследования. При разработке алгоритмов идентификации корреляционной функции и периодограммы использовались математический аппарат теории вероятности, математической статистики, теории информации, функционального анализа, теории случайных величин и функций, нечетких множеств, высшей алгебры, преобразования Фурье.

Основные защищаемые положения:

1. Классические методы измерения корреляционных функций и вскрытия периодичностей в сложной измерительной ситуации не отвечают большинству требований, предъявляемых к ним в настоящее время, и поэтому не дают возможность адекватно идентифицировать корреляционную функцию и периодограмму при исследовании процессов, протекающих в природных системах.

2. В условиях значительной априорной неопределенности об изучаемых объектах целесообразно использовать методологию регуляри-зируклцего байесовского подхода, позволяющую получить многоальтернативные и метрологически аттестованные результаты идентификации авто- и взаимной корреляционной функции и периодограммы.

3. Реализация созданной на основе разработанных алгоритмов инженерной методики возможна с применением новых информационных технологий интеллектуализации измерительных процессов.

Научная новизна работы заключается в следующем:

1. Сформулированы требования к задаче определения авто- и взаимной корреляционной функции в условиях значительной априорной неопределенности.

2. Представлен критический обзор существующих методов измерения корреляционных функций и вскрытия периодичностей в свете сформулированных требований;

3. Разработаны новые алгоритмы на основе регуляризирующего байесовского подхода, позволяющие определить значения и построить модели корреляционной функции и периодограммы. Это, в отличие от традиционных методов, обеспечивает получение удовлетворительных результатов в сложной измерительной ситуации и повышение качества результатов за счет постоянного привлечения новых знаний об объекте измерения и среде его функционирования.

4. Полученные результаты идентификации обеспечены полным метрологическим сопровождением, включающем количественные характеристики точности надежности и достоверности, при их реализации посредством экспертных систем.

Практическую ценность работы обусловливает:

1. Разработка новой информационной технологии выявления структуры и взаимосвязей сложных объектов, позволяющей измерять корреляционные функции и периодограммы в условиях неполной и нечеткой априорной информации.

2. Получение конкретных моделей и результатов идентификации авто- и взаимной корреляционной функции и периодограммы при исследовании гелио-, геофизических и гидробиологических процессов, характеризующих функционирование экосистемы Балтийского моря.

Апробация работы проводилась на следующих семинарах и конференциях:

- научно-технической конференции "Диагностика, информатика, метрология, экология, безопасность - 97" (Санкт-Петербургский государственный электротехнический университет, июль 1997)

- международной конференции "Белые ночи" (Санкт-Петербург, июль 1997);

- научно-технической конференции профессорско-преподавательского состава (Санкт-Петербургский государственный электротехнический университет, январь 1997);

- международной конференции "Информационные аспекты реализации принципов устойчивого развития региональных экосистем" (Австрия, июль 1996);

- научно-практическом семинаре "Финский залив - 96" (Санкт-Петербург, октябрь 1996);

- научных семинарах кафедры информационно-измерительной техники (СПбГЭТУ, 1996 - 1997).

Публикации. По материалам диссертации опубликованы 3 печатные работы.

Структура и объем работы. Диссертационная работа состоит из введения, четырех разделов с выводами, заключения, списка литературы, включающего 133 наименования, и приложения. Основная часть работы изложена на 117 страницах. Работа содержит 39 рисунков и 1 таблицу.

II. КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность исследования, формулируется цель работы, приводятся основные научные положения, которые выносятся на защиту.

Первая глава диссертационной работы носит постановочный характер и содержит известные методы измерения корреляционных функций и периодов. Отмечается ограниченность использования классических методов, которые не позволяют изучать характеристики природных процессов в условиях значительной априорной неопределенности о свойствах объектов и влияющих факторах среды их функционирования, о взаимосвязях между ними.

Формулируются требования, предъявляемые в современных условиях к алгоритмам и средствам идентификации.

Обсуждаются существующие методы идентификации авто- и взаимной корреляционной функции, а также их нормированных аналогов. Даются формулы для прямого исчисления этих функций и косвенного (когда вначале вычисляется оценка какой-либо вспомогательной функции) как в интегральном, так и дискретном виде.

Сопоставляются различные подходы, используемые для выявления скрытых периодичностей. Делается акцент на вычислении пробных периодов анализируемых процессов. Даются формулы линейных и нелинейных селективных преобразований исходных процессов, позволяющих усилить роль периодической компоненты в преобразованном процессе.

Оцениваются возможности использования регуляризирующего байесовского подхода в задачах определения корреляционной функции и периодограммы.

Уравнение байесовских интеллектуальных измерений в обобщенной форме имеет вид:

Ы Рк} =

ащштСв[фДд:, |{У(})]

д., сА7, <р; еФ./

(1)

где \ - результат байесовских интеллектуальных измерений в форме значения параметра, аналитического выражения функции, вывода или рекомендации, являющийся элементом множества решений Н^ на соответствующей измерительной шкале;

1\ - вероятность появления результата при данных условиях У,, поступившей в ходе измерения экспериментальной информации X/ еХ] и реализованном алгоритме из множества алгоритмов Ф у;

Сц - байесовское решающее правило, оптимизирующее выбор решений из множества.

Байесовская апостериорная вероятность результата на множестве решений Нь вычисляется с использованием формулы:

(2)

где Р(Ик\х^У() - апостериорная байесовская достоверность решения при условии вновь поступающей информации Xi;

Ра(/^\У,-1) - априорная вероятность появления решения Ик',

Р(х,|/^|У,) - функция правдоподобия выборки, отражающая вероятность появления информации х1 е X] при условии истинности решения .

Рассматриваются преимущества предлагаемого регуляризирую-щего байесовского подхода по сравнению с традиционными методами оценки корреляционных функций и периодограмм. Делается вывод о целесообразности применения названного подхода в виде методологической базы экспертных систем.

Во второй главе рассматриваются общие принципы синтеза шкал и алгоритмов параметрических байесовских интеллектуальных измерений применительно к задаче идентификации нормированных авто- и взаимокорреляционных функций. Предлагается алгоритм идентификации на основе регуляризирующего байесовского подхода. Даются формулы для оценки значений функций и для достоверности решения, определяемой согласно выражению (2).

Для различения возможных решений в задаче оценки ординат нормированных авто- и взаимокорреляционных функций с учетом асимптотически нормального распределения их выборочных значений разделяющие границы находятся из нижеследующей формулы:

■4ГЧ

-

"ук ="

(3)

где <зк, GJ - среднеквадратические отклонения оценок нормированных функций авто-(взаимной) корреляции при условии существования моделей ¡ьр и к^р соответственно.

Отмечается возможность построения сопряженной лингвистической шкалы на базе числовой. Это дает возможность дополнительно привлекать вербальную информацию типа "корреляция отсутствует", или "очень сильная корреляция", или "слабая корреляция", или "сильная корреляция".

Вид трехуровневой шкалы при идентификации нормированной корреляционной функции запечаглен на рис. 1.

Результаты идентификации представляются в виде нечетких решений, состоящих из ряда альтернативных значений статистик нормированных авто- и взаимной корреляционной функции, согласно формуле (1):

швпип Св^Д^^У^)]

и

(4)

(г \

где {МХ}} - комплекс метрологических характеристик, включающий показатели точности, надежности и достоверности решений.

Приводится метрологическая аттестация методики регуляри-зирующего байесовского подхода при оценивании авто- и взаимных корреляционных функций. Полная погрешность идентификации рассматривается как сумма составляющих: погрешностей неадекватности, неидеальности и статистической погрешности. Даются формулы для вычисления точности, надежности и достоверности результата идентификации.

АПРИОРНАЯ ШКАЛА

"..С

ш

"л

-0$ -не -0.4 -0,2 0 02 0* он Коэффициент клэреляшт

С.1

ТЕКУЩАЯ ШКАЛА

АПОСТЕРИОРНАЯ ШКАПА

Д:с1о»ерность

'.'."г -

А ;!

•Г;

—( -1-- —.......:-- — г

::

•1 Ов -0« -¡>5 -13 В И 05 0£ 0« !

кээфф ициент горгеляикм

ОСОК - очень сильная отрицательная корреляция СОК - сильная отрицательная корреляция СрОК - средняя отрицательная корреляция СлОК - слабая страдательная корреляция ОСлОК - очень слабая отрицательная корреляция

ОСПК - очень сильная положительная корреляция СПК - сильная положительная корреляция СрПК - средняя положительная корреляция СлПК - слабая положительная корреляция ОСлПК - очень слабая положительная корреляция

Рис. 1 Шкалы для ординат нормированной корреляционной функции

Для определения необходимого объема выборочных данных, обеспечивающего требуемое качество решения, решаются прямая и обратная задачи метрологического обоснования.

В третьей главе рассматриваются случаи, возникающие при решении задачи выявления скрытых периодов:

- если четко определен максимум периодограммы и альтернативными решениями будут различные значения пробного периода;

- если максимум периодограммы определяется нечетко и тогда каждому пробному периоду будут соответствовать альтернативные решения значений максимумов периодограмм;

- если максимум периодограммы и величина пробного периода определяются в нечетком виде, что приводит к множеству решений в области значений пробных периодов и максимумов периодограмм.

Для первых двух ситуаций характерно применение параметрических БИИ, последний случай относится к функциональным БИИ, так как находятся решения для двух параметров, связанных функциональной зависимостью.

Предлагается алгоритм оценки значений пробного периода с помощью линейных селективных преобразований на основе регуляризи-рующето байесовского подхода. Результаты идентификации представляются в виде нечеткого решения, состоящего из ряда альтернативных значений пробного периода Т для данного максимума периодограммы. Даются формулы для определения достоверности решения.

Предлагается методика оценки максимума периодограммы по методологии регуляризирующего байесовского подхода. Полученное решение состоит из альтернативных значений максимума периодограммы, отвечающих с разной достоверностью конкретным значениям пробного периода.

Рассматривается алгоритм идентификации значений периодограммы на основе регуляризирующего байесовского подхода. Решение о виде периодограммы получается в нечеткой форме, что определяет область достоверного существования оценок для параметров периодограммы. Уравнение периодограммы имеет вид:

(Л т = Щ\и? | Рр\Р£\У% ;У2} =

/ г л Ч ~

аг^ тш Сп Ф;"|Ч>{еФу фП V 4^1 1 )

где фу - алгори™ непараметрического определения вида периодограммы;

ф"!ф® - алгоритм параметрического оценивания значений периодограммы, обеспечивающий определение пробного периода Т и максимального отклонения с1\

Н'ЦР - область решений о виде аналитической зависимости периодограммы;

Щ\Н/р - область решений байесовской идентификации параметров Г и

Приводятся формулы для определения показателей точности, надежности и достоверности, аттестующих полученный результат идентификации периодограммы.

Дается метрологическое обеспечение алгоритма в форме оценивания погрешностей смещения и дисперсии оценки идентификации периодограммы. Выводятся формулы для определения ширины шага поиска пробных периодов АГ и объема выборки, обеспечивающих получение результатов с погрешностями, не выше заданных.

Предлагается методика вскрытия периодичностей с помощью интегрального преобразования Фурье на основе регуляризирующего байесовского подхода. Результаты оценки пробных частот получаются в форме нечетких решений отдельно для четных и нечетных периодических компонент.

Результат идентификации нормированной корреляционной функции и периодограммы представлен на рис. 2 и 3.

Рис. 2 Пример идентификации нормированной автокорреляционной функции

Рис. 3 Пример идентификации периодограммы

Четвертая глава посвящена вопросам применения разработанных алгоритмов на практике.

Предлагается информационная технология мониторинга взаимосвязей и цикличности сложных процессов. Для разработанных алгоритмов идентификации корреляционных функций и периодограмм рекомендуется инженерная методика, состоящая из ряда последовательных этапов (рис. 4).

Реализация разработанных алгоритмов и методик достигается на базе экспертной системы в виде отдельной библиотеки методов идентификации нормированных авто- и взаимных корреляционных функций и периодограмм.

Разработанная инженерная методика применялась в исследовании внутренней структуры и связей природных процессов, протекающих в экосистеме Балтийского моря. Результаты проведенного опыта позволяют сделать уникальные выводы о природообусловленности современных климатических и биопродукционных процессов, о решающей роли векового солнечного цикла - его ниспадающей ветви - на снижение запасов рыбы и ее уловов в Балтийском море.

В приложении приведены акты о внедрении разработанных алгоритмов и методик в практику деятельности Управления "Севзапрыбвод", Лаборатории охотничьего хозяйства и заповедников, государственного геологического предприятия "Удмуртгеология".

III. ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В диссертационной работе поставлена и решена задача идентификации значений корреляционной функции и периодограммы на основе регуляризирующего байесовского подхода.

Основными результатами научного исследования можно назвать следующие:

1. Представлен критический обзор существующих методов измерения авто- и взаимной корреляционной функции и периодограммы, который показал, что качество получаемых результатов традиционными методами не отвечает основным требованиям, предъявляемым в совре-

Нет

VII. Реализация алгоритмов ка базе ЭС

УШ. Алробация алгоритма в реальных условиях мониторинга

Рис, 4 Информационная технология мониторинга взаимосвязей и цикличности сложных процессов

менных условиях к алгоритмам и средствам идентификации сложных объектов в условиях измерительной ситуации третьего типа (при наличии значительной априорной неопределенности о свойствах объекта измерения и влияющих факторов среды их функционирования). Поэтому в работе за основу был взят регуляризирующий байесовский подход, позволяющий значительно повысить качество решения в задаче выявления внутренней структуры и взаимосвязей сложных процессов классическими методами.

2. Предложен и разработан новый алгоритм определения нечетких моделей функций авто- и взаимной корреляции, который обеспечивает получение удовлетворительных результатов в сложной измерительной ситуации, характеризующейся неполнотой и зашумленностью априорной информации об исследуемых процессах,

3. Предложена и разработана методика выявления скрытых пе-риодичностей, которая позволяет получить нечеткое решение о виде периодограммы и наличии периодических составляющих в процессах, протекающих в сложных системах.

4. Представлен анализ источников погрешностей при идентификации нормированных корреляционных функций по методологии РБП, что дало возможность определить влияние отдельных составляющих погрешности на результат. Определен необходимый объем выборки при постановке прямой и обратной задачи метрологического анализа и синтеза алгоритмов.

5. При оценивании погрешностей смещения и дисперсии в задаче выявления скрытой периодичности выведены формулы для определения ширины шага поиска пробных периодов и количества разрядов периодограммы, обеспечивающих получение результатов с погрешностями, не выше заданных.

6. Рекомендована общая инженерная методика определения внутренней структуры процесса и взаимосвязности различных процессов между собой, которая представлена в виде информационной технологии получения моделей для периодограмм и нормированных функций авто-и взаимной корреляции. Это позволяет осуществлять постоянный контроль за качеством получаемых результатов и добиваться получения

наилучших оценок путем дополнительного привлечения априорной информации об исследуемом объекте и среде его функционирования.

7. Основные теоретические результаты, положения и утверждения экспериментально проверены на различных гелио-, геофизических и гидробиологических процессах, протекающих в экосистеме Балтийского моря. Для указанных процессов получены результаты идентификации на основе регуляризирующего байесовского подхода в виде значений нормированных авто- и взаимных корреляционных функций и периодограмм и их моделей.

8. Созданный на основе разработанных алгоритмов и методик пакет программ, являющийся отдельный блоком экспертной системы, внедрен в практику деятельности ряда организаций, о чем свидетельствуют приведенные в приложении акты о внедрении.

Основные результаты выполненных исследований отражены в данном автореферате и в следующих депонированных работах:

1. Жукова A.B. Методология параметрических байесовских интеллектуальных измерений к построению нормированной автокорреляционной функции/С-Петербургск. гос. электротехн. ун-т. - СПб., 1997. -11 с. - Деп. в ВИНИТИ 10 октября 1997, N 3007-В97.

2. Жукова A.B. Применение авторегрессионного и взаимокор-реляционнога анализов в исследовании природных процессов / С-Петербургск. гос. электротехн. ун-т. - СПб., 1997. - 9 е.: ил. - Деп. в ВИНИТИ 10 октября 1997, N 3008-В97.

3. Жукова A.B., Иванов C.B. К проблеме выявления скрытых пе-риодичностей/С-Пегербургск. гос. электротехн. ун-т. - Спб., 1997. - 10 е.: ил. - Деп. в ВИНИТИ 10 октября 1997, N 3006-В97.