автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Вычислительный метод и синтетические алгоритмы оценивания состояния динамических систем с использованием декомпозиции

На правах рукописи

*

Баена Светлана Геннадьевна

ВЫЧИСЛИТЕЛЬНЫЙ МЕТОД И СИНТЕТИЧЕСКИЕ АЛГОРИТМЫ ОЦЕНИВАНИЯ СОСТОЯНИЯ ДИНАМИЧЕСКИХ СИСТЕМ С ИСПОЛЬЗОВАНИЕМ ДЕКОМПОЗИЦИИ

05.13.18 Математическое моделирование, численные методы и комплексы программ

Автореферат диссертации на соискание учёной степени кандидата технических наук

1 АПР 2015

005566546

Комсомольск-на-Амуре - 2015

005566546

Работа выполнена в федеральном государственном бюджетном образовательном учреждении высшего профессионального образования «Комсомольский-на-Амуре государственный технический университет» (ФГБОУ ВПО «КнАГТУ»)

Научный руководитель: доктор технических наук,

профессор Амосов Олег Семенович

Официальные оппоненты: Нурминский Евгений Алексеевич,

доктор физико-математических наук, профессор, федеральное государственное автономное образовательное учреждение высшего профессионального образования «Дальневосточный федеральный университет» г. Владивосток, Школа естественных наук, профессор.

Погорелов Вадим Алексеевич, доктор технических наук, доцент, федеральное государственное унитарное предприятие «Ростовский-на-Дону научно-исследовательский институт радиосвязи», федеральный научно-производственный центр, ведущий научный сотрудник.

Ведущая организация: Федеральное государственное автономное

образовательное учреждение высшего образования «Санкт-Петербургский государственный

электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)».

Защита состоится «22» мая 2015 г. в J130 часов на заседании диссертационного совета Д 212.092.03 в Комсомольском-на-Амуре государственном техническом университете по адресу: 681013, г. Комсомольск-на-Амуре, пр. Ленина, 27, e-mail: cvmi@knastu.ru.

С диссертацией можно ознакомиться в библиотеке Комсомольского-на-Амуре государственного технического университета и на сайге (http://www.knastu.ru/dissertationannounces.html).

Автореферат разослан «/У» 2015 г.

Ученый секретарь -^

диссертационного совета ~~ "jP^-«'" ' Бормотин Константин Сергеевич

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Задача нелинейного оценивания стохастических динамических систем (ДС) является фундаментальной и до сих пор требует поиска эффективных алгоритмов. В настоящее время для решения задачи оценивания нелинейного процесса широко используются традиционные методы, среди которых можно выделить подходы байесовский и небайесовский, а также метод наименьших квадратов (МНК). В этих подходах для построения оптимальных алгоритмов требуется знание априорной информации об оцениваемых процессах и ошибках их измерений, хотя предположения о статистической природе ДС различны. Численная реализация традиционных методов для нелинейных задач оказывает значительные вычислительные трудности, поэтому необходимо исследовать альтернативные методы. Для синтеза быстродействующих субоптимальных нелинейных алгоритмов оценивания разрабатываются эффективные численные процедуры. К этой группе методов относятся и методы вычисления с использованием нейронных сетей (НС), нечетких систем (НчС) и вейвлетов. Lo J. Т. Н., Haykin S., Yee P., Alessandri A., Parisini Т., Zoppoli R„ Parios A. G., Menon S. K., and Atiya A. F., Степанов O.A., Амосов O.C. впервые использовали методы искусственного интеллекта для задач нелинейного оценивания и фильтрации. Девятисильный A.C., Дорожко В.М., Числов К.А., Гальченко В.Я., Гринь Н.Ю., Яковлев Е.К., Блатов И.А. предлагают использовать вейвлеты для подавления и снижения уровня шумов, также очищения сигнала от шума для восстановления исходного сигнала. Использование же регрессии и вейвлетов для решения задачи оценивания впервые предложили в работах Амосов О.С., Амосова JI.H., Магола Д.С.

Достоинства данных методов для решения задачи оценивания заключается в следующем: НС - обучаемы и подстраиваемы; НчС - работают в условиях неопределенности и имеют прозрачные правила вывода решений; вейвлеты -описывают сигналы в частотной и временной областях, предоставляя возможность обнаружить внутреннюю структуру существенно неоднородного объекта и изучить его локальные свойства. НС, НчС и вейвлеты могут применяться как раздельно, так и совместно в виде гибридных систем, сочетающих в себе их преимущества. Под синтетическими системами (СС) в дальнейшем и будем понимать перечисленные выше конструкции.

Однако, до сих пор остаются непроработанными такие вопросы как, проектирование архитектур НС, НчС и вейвлетов для задач оценивания; снижение значительных вычислительных затрат при настройке алгоритмов оценивания. Поэтому существует необходимость поиска эффективных субоптимальных алгоритмов, пригодных для работы в режиме реального времени (РВ). При этом необходимо спроектировать такие субоптимальные алгоритмы, которые, с одной стороны, представляют собой экономичные в вычислительном отношении процедуры, а с другой - обеспечивают значение критерия оптимизации, близкого к значению, достигаемому при использовании оптимальных оценок.

Целью диссертации является разработка эффективного по быстродействию и точности вычислительного метода оценивания состояния динамических систем на основе класса параметрически заданных функций с их численной реализацией на базе иерархических синтетических систем (ИСС).

В качестве объекта исследования рассматривается динамический процесс, который представляет собой последовательность значений некоторых переменных, регистрируемых непрерывно или через некоторые промежутки времени. Предметом исследования является вычислительный метод и синтетические алгоритмы оценивания состояния динамических систем, основанные на использовании принципов декомпозиции и эвристик.

Задачи исследования:

1) провести критический анализ существующих методов оценивания;

2) разработать эффективный по быстродействию и точности вычислительный метод оценивания состояния динамических систем, охватывающий все процессы решения задачи оценивания;

3) разработать математические модели быстродействующих ИСС нерекуррентного и рекуррентного нелинейного оценивания ДС;

4) развить численные методы (ЧМ) стохастической аппроксимации на основе нейросетевого, нечеткого и вейвлет подходов;

5) синтезировать быстродействующие субоптимальные нейросетевые, нечеткие и вейвлет алгоритмы оценивания состояния динамических систем с использованием декомпозиции;

6) на основе метода вейвлет-оценивания разработать алгоритмы для оценивания процессов без нарушений и с нарушениями;

7) реализовать и проверить точность и быстродействие алгоритмов оценивания при решении задач оценивания.

Методы исследования. При решении поставленных задач были использованы: теория оптимального оценивания и фильтрации, методы математического моделирования динамических процессов; теория систем, нечетких множеств, искусственных нейронных, гибридных сетей и вейвлет-преобразований. Для практических исследований и алгоритмической обработки использована математическая среда МаЛаЬ.

Научная новизна работы:

- предложен вычислительный метод оптимального оценивания состояния динамических систем с использованием класса параметрически заданных функций и принципа минимизации эмпирического риска для критерия оценивания, отличающийся его численной реализацией на базе иерархических синтетических систем;

- предложены математические модели быстродействующих иерархических синтетических систем нерекуррентного и рекуррентного нелинейного оценивания динамических процессов;

- развиты численные методы стохастической аппроксимации, отличающиеся тем, что для их реализации предложены быстродействующие

нейросетевые, нечеткие, вейвлет методы и декомпозиционные алгоритмы субоптимального оценивания состояния динамических систем;

- предложена реализация нейросетевых и нечетких алгоритмов обучения в реальном релсиме работы;

- разработаны комплексы программ оценивания состояния динамических систем на основе нейронных сетей, нечетких систем и вейвлетов;

- получены закономерности увеличения быстродействия обучения декомпозиционных синтетических систем оценивания при сохранении их точности.

Практическая ценность результатов работы. Предложены алгоритмы и программные комплексы для решения нелинейных задач оценивания, которые могут быть использованы для разных предметных областей, таких как навигация и системы управления движением подвижных объектов, информационно-навигационные системы, радиотехника, электротехника, робототехника.

Результаты диссертационной работы внедрены в научно-исследовательской деятельности кафедры «Информационные и управляющие системы» Факультета математики и информатики ФГБОУ ВПО «Амурский государственный университет» г. Благовещенск и в учебном процессе Факультета компьютерных технологий и Электротехнического факультета ФГБОУ ВПО «Комсомольский-на-Амуре государственный технический университет».

По результатам работы получен патент на полезную модель № 138401 РФ и свидетельства о государственной регистрации программы для ЭВМ №2014617763 и № 2014617998. В части, касающейся использования вейвлетов для оценивания, работа поддержана РФФИ, грант № 15-08-08593 А «Исследование эффективности применения вейвлетов при решении задач обработки навигационной информации» (руководитель проекта Амосов О.С.).

На защиту выносятся следующие положения:

1. Вычислительный метод оценивания состояния динамических систем.

2. Математические модели быстродействующих иерархических синтетических систем нерекуррентного и рекуррентного нелинейного оценивания динамических процессов.

3. Численные методы и комплексы программ реализация нелинейного оценивания с использованием нейросетевого, нечеткого, вейвлет подходов и декомпозиции.

4. Выявленные закономерности увеличения быстродействия декомпозиционных СС оценивания при сохранении их точностных характеристик.

Соответствие диссертации паспорту специальности. В диссертации присутствуют оригинальные результаты одновременно из трех областей: математического моделирования, численных методов и комплексов программ, что соответствует формуле и пунктам 3, 4 и 5 паспорта специальности 05.13.18 Математическое моделирование, численные методы и комплексы программ.

Достоверность и обоснованность научных результатов подтверждается корректным использованием известных научных методов обоснования полученных результатов, выводов и рекомендаций. Были изучены и критически

проанализированы известные достижения и теоретические положения других авторов. Обоснованность результатов основывается на воспроизводимости и согласованности данных компьютерного моделирования и научных выводов. Полученные научные результаты основываются на известных достижениях фундаментальных и прикладных научных дисциплин: математике, математической статистике, оптимальном оценивании, теории систем, нейронных сетях, нечетких системах и вейвлетах.

Апробация результатов работы. Основные положения и результаты диссертационной работы докладывались и получили одобрение на: 21 Международной конференции по интегрированным навигационным системам, г. Санкт-Петербург, 2014 г.; Всероссийской научной конференции XXXVIII Дальневосточная Математическая Школа-Семинар имени академика Е.В. Золотова на секциях «Вычислительная математика и компьютерные технологии» и «Управление и оптимизация», г. Владивосток, 2014 г.; Международной научно-практической конференции «Фундаментальные проблемы науки», г.Уфа, 2013 г.; Международной научно-практической конференции «Актуальные проблемы математики, физики, информатики в вузе и школе», г. Комсомольск-на-Амуре, 2012 г.; Международной заочной научно-практической конференции «Социальное и экономическое развитие АТР: проблемы, опыт, перспективы», г. Комсомольск-на-Амуре, 2012 г.; Ежегодных конференциях и семинарах ФГБОУ ВПО «КнАГТУ».

Публикации и личный вклад автора. Основные результаты диссертации отражены в 11 научных работах, в том числе 5 - в ведущих рецензируемых журналах, входящих в перечень ВАК, одна из которых включена в международную базу Web of Science; 6 работ в материалах и трудах конференции, одна из которых включена в базу Scopus. Теоретическая проработка методов оценивания состояния ДС; разработка моделей, методов и алгоритмов для решения поставленной задачи; анализ и обобщение результатов, полученных в процессе вычислительных экспериментов с моделью выполнены лично автором.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, заключения, списка сокращений и условных обозначений, словаря терминов, списка литературы, приложения. Работа содержит 172 страницы основного текста, 33 рисунка, 4 таблицы, список литературы из 130 наименований и 6 приложений.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

В первой главе проведена систематизация известных исследований по оцениванию состояния ДС и критически освещены работы отечественных и зарубежных авторов в этой области. Описана структурная схема системы оценивания (рисунок 1), где 5 - ДС с и-мерным вектором состояния {хр/е/}, / = {/:/ = 0,1,...}; М - измерительная система с ш-мерным вектором измерения {у^ДеЛ}, А = {Л:Л = 1,2,..., &}; Е - система оценивания с вектором оценок х,/£. Задача оценки представляет собой задачу определения функции h, некоторым рациональным обоснованным способом:

5 х' > М Е

Рисунок 1 - Структурная схема системы оценивания

В данной главе проведен анализ основных положений, достоинств и недостатков традиционных методов стохастического оценивания и фильтрации, среди которых можно выделить байесовский, небайесовский подходы и МНК. Выявлены причины, обосновывающие необходимость разработки альтернативных методов - нейросетевых, нечетких и вейвлетов. Рассмотрены основные положения данных методов применительно к решению задачи оценивания. В итоге составлена таблица сравнительного анализа методов оценивания, отражающая их достоинства и недостатки. Поставлена цель и сформулированы задачи настоящего диссертационного исследования.

Во второй главе рассматривается постановка нелинейной задачи оценивания состояния ДС: пусть задан недоступный непосредственному наблюдению п-мерный динамический случайный процесс с дискретным

временем xi = [х];, ..., ,г„, ]7 , / = О, I..... Требуется, располагая связанными с х,

значениями от-мерного случайного процесса измерений с дискретным временем Уj = \_y\j •> Ущ) 1 , _/ = !•£ ■ найти оценку х, для некоторого заданного вычисляемую с использованием набора измерений, задаваемого составным вектором ..., у1и угк]г размерности к-т. Обозначим оценку х,,

полученную на основе измерений \к, через хик и определим ее как и-мерную вектор-функцию измерений:

Несмотря на кажущеюся простоту приведенной постановки задачи оценивания, к ней могут быть сведены вполне конкретные прикладные задачи, например, широкий круг задач обработки навигационной информации, оценка параметров маневрирующих воздушных, морских и космических объектов.

Хотя в основе математического описания НС, НчС и вейвлетов лежат разные теоретические положения, указанные подходы объедгамет возможность их практического применения при реализации алгоритмов оценивания на основе класса нелинейных параметрически заданных функций. В связи с этим удалось обобщить результаты оценивания с использованием этих инструментов и предложить единый вычислительный метод с его реализацией на основе СС оценивания состояшы ДС с использованием декомпозиции.

I. Нерекуррентное оценивание. Для решения данной задачи оценивания, в рамках байесовского подхода, разработан вычислительный метод оценивания:

1) Вводится класс параметрически заданных функций х(у, \У).

2) Используется имеющееся в наличии обучающее множество {(уО) .

3) Определяется среднеквадратический критерий оптимизации

т

У(ХУ) = 1 -хО>(уО\АЛ0) (х(Л -х(Л(у(;),\¥)), (1)

N ;=1

где х(у)(у(л,\\0 - формируемая оценка.

4) Критерий (1) оптимизируется на основе минимизации эмпирического риска

Р -^ир |ДЩ - Т (\У)| > £■ | -> 0, при N а),

где е— заданная точность; ./(\У) = Л-/||х - х(у, \У)| .

5) Минимизация реализуется с помощью нейронных сетей, нечетких систем и вейвлетов хА(у) = К^(у,\У), // = АГМ, РБ, IV, где \У - матрица, отвечающая за параметры СС; у - вход СС; НС; РБ- НчС; IV-вейвлеты.

Для байесовского подхода в решении задачи оценивания с помощью СС выделяется два основных режима работы. Первый из них - режим создания системы - режим синтеза, второй — это штатный режим оценивания в РВ. Кроме того, еще можно выделить режим тестирования качества оценивания.

Для вычислительного метода оценивания характеристика точности оценивания, может быть рассчитана как:

П. Вычислительный метод для рекуррентного оценивания: Имеется математическая модель оцениваемого процесса вида

х, =Ф, (Л-1 ) + «',•

В каждый ¿-й момент времени проводятся т -мерные измерения, определяемые как

У,' +

где Ф, (х,_|) и (х;) — II- и /и-мерные векторные функции; \у( и V, - и- и т-мерные независимые между собой и от х0 случайные последовательности. В рассматриваемом случае оценка определяется за следующие два шага. Шаг прогноза: х,7М = Ф, (х^,,,..,); у,/,., = «, (х,7М),

где - оценка состояния на выходе алгоритма, синтезируемого СС

/-1 = NN, РБ, IV и х,/;_,, у,7,_) - прогнозы состояния и измерения.

Шаг обновления: х/}( = К?(х,п^,Е„Ъ/,), где \У, - массив коэффициентов СС; Е;=[е,7, я,',, ..., ]г - вектор, содержащий прошлые и настоящую невязки измерений к, = у, - , =[у,Г, уТн, у1„у1Г - вектор, содержащий прошлые и текущее измерения; пе и п — число прошлых невязок измерений и измерений соответственно; К;" - нелинейная функция, построенная на основе СС.

III. Вычислительный метод оценивания с использованием СС при отсутствии обучающего множества. Такой случай характерен для использования СС в режиме реального времени.

1) Вводится класс параметрически заданных функций х(у, W).

2) Отсутствует обучающее множество х^)}^,» но возможно наличие

обучающего множества вида |уО) jA ^.

3) Среднеквадратический критерий оптимизации

/(S) = {y-s[x(y)]}r{y-s[x(y)]} = |{v/ -^Дх(у)]}2, (2)

где - формируемая оценка.

4) Минимизация критерия (2) производится на основе минимизации эмпирического риска

p|sup|/(W)-7*(W)j>cj->0. при 3,

~ и м2

где е— заданная точность; /(W) = ^/||y-s[x(y)])[| .

5) Минимизация реализуется с помощью НС, НчС и вейвлетов

х"(у) = К"(у, W), ц = NN, FS, W.

Для существенного повышения быстродействия при сохранении точности оценок предлагаем для СС оценивания использовать принцип декомпозиции сложных систем на основе базовых представлений подсистем. К ним относят:

Каскадное соединение. Система S с (Хг х Х2) х (Fj х F2) допускает декомпозицию в соединенные каскадно элементы.

Параллельное соединение Пусть система S с (Х} х Х2)х (У{ х Y2) и пусть S(x) = {У '■ (х,у) с S}, где X = Хх х Х2, a Y = У, х У2. Система S допускает декомпозицию на системы S] и S2, в том и только в том случае, когда для любых xeD(S) справедливо равенство S(x) = П|(5(х)) х n2(.S'(.v)) и операторы проектирования: П, :(А', уХ2)х(}) хГ2 )->(.*, х),), ri2:(xi х д-,)х(Г, xy,)^(x2 xy2) такие, что П, (jc, , х2, v,, у2) = (х,, ) и П2 (.г, ,х2,уиу2) = (х2, у2).

Замыкание обратной связи. Любая система S с(Х} xAr2)x(F1 xF2) допускает декомпозицию S = F(St °S2) в соединенные каскадно и охваченные обратной связью элементы, где с(Х, xZ])x(Fj xZ2), S2 xZ2)x(F2 xZ,), a Zj и Z2 — вспомогательные множества.

С использованием этих принципов для решения обозначенной в работе проблемы сокращения количества входов может быть построена ИСС как для нерекуррентного, так и для рекуррентного оценивания применительно к нелинейным задачам обработки информации (Рисунок 2).

На рисунке 2 б) и в) применена рекуррентная декомпозиционная схема оценивания в виде каскадного и параллельного соединения: в первом случае, с двумя входами и одним выходом, где на вход поступает текущее измерение и

оценка, полученная на предыдущем шаге, а во втором случае на вход системы поступают текущее, р предыдущих измерений и оценка, полученная на предыдущем шаге.

У/

К,

ч У' .. кГ Х1 У; _ к Г

У1

У 2

Ко

*2 —►

*2 >

У: к*"' ь-* КГ"

У; К4 К Г

У2 > н *

Ук Ук „

ук-р

'Л .

к*

*к —►

а)

б)

в)

Рисунок 2 - Схема нерекуррентного а) и рекуррентного оценивания с использованием декомпозиции: 6) с 1 измерением; в) с несколькими измерениями

Математические модели ИСС нелинейного оценивания ДС, определяются следующими выражениями. Нерекуррентное оценивание:

х2 = К2(У1,У2,\У), ; (3)

Рекуррентное оценивание с использованием декомпозиции с 1 измерением:

х2=К2

Г

ьзованием^

(4)

Рекуррентное оценивание с использованием декомпозиции с р+1 измерениями:

г?г 'ЛГ '

х2 =КС''(З^.у^), {(хр>, у^у^х^,; (5)

х, =К

¿"К

Критерий оптимизации при вычислении оценок (4), (5) определяется (1), а в случае отсутствия обучающего множества используется критерий (2).

Таким образом, основными результатами главы 2 являются следующие. 1. Предложен эффективный с точки зрешш быстродействия и точности вычислительный метод решения нелинейной задачи оценивания состояния ДС по

нелинейным измерениям с использованием класса параметрически заданных функций. Для оптимизации критерия оценивания используется принцип минимизации эмпирического риска. Показано, что его численная реализация может быть осуществлена на базе СС как по схеме нерекуррентного, так и рекуррентного оценивания.

2. Предложены математические модели быстродействующих И СС нерекуррентного и рекуррентного нелинейного оценивания ДС.

3. Численные методы. Реализацию вычислительно метода для стохастической аппроксимации предлагается осуществить на основе нейросетевого, нечеткого и вейвлет подходов. Особенности заключаются в следующем: для НС различного типа определяется массив смещений и весовых коэффициентов с использованием разных алгоритмов обучения, для НчС - массив параметров функций принадлежности и весовых коэффициентов правил с использованием адаптивной нейронечеткой системы, а для вейвлетов - массив аппроксимирующих и детализирующих коэффициентов сигнала.

4. Для реализации экономичных вычислений предлагается декомпозиция СС оценивания с использованием трех базовых представлений подсистем: каскадное, параллельное и соединение с замыканием обратной связью.

В третьей главе рассмотрены быстродействующие численные методы стохастической аппроксимации для решения задачи оценивания состояния ДС с использованием декомпозиции. Декомпозиционные структуры реализуются как фильтры с растущей памятью на основе НС, НчС и их комбинаций.

Численные методы решения задачи нелинейного оптимального оценивания на основе СС относятся к ЧМ стохастической аппроксимации, т.к. алгоритм обратного распространения ошибки, использующий текущую опенку градиента поверхности ошибок в пространстве весов, лежащий в основе нейросетевого, нечеткого подходов рассматривается как реализация рекурсивной технологии, которая в статистическом оценивании называется стохастической аппроксимацией.

Для численного решения задачи нелинейного оценивания разработаны алгоритмы оценивания с использованием декомпозиционных НС прямого распространения (ПР), с радиальными базисными функциями (РБФ) и нейронечетких систем.

Постановка задачи. Рассмотрим синтез модели НС или НчС. Если

априорная информация задана в виде {(Y/-/),x//), то располагая таким набором данных и измерением Y,, необходимо найти оценку с использованием НС или НчС, как оценку х, (Y,), минимизирующую критерий вида

J, = 7 l|k0)" СY'°))!i' (Y<) = К< ' >'

L

где К; (Yj,Wj)- нелинейное преобразование, выполняемое НС или НчС, W,— матрица, определяющая смещения и веса НС или параметры функций принадлежности и весовые коэффициенты правил НчС, Y, - вход НС или НчС.

Решение задачи нелинейного оценивания с помощью 4M на основе НС н декомпозиции. В качестве исходной нелинейной сети Г1Р (FFNN) соответствующей рисунку 2 а) выбрана двухслойная НС с последовательными связями с i входами, с q =20 нейронами в скрытом слое и одним нейроном в выходном слое. При этом выход НС ПР определяется как:

где wl0/1, w\ß, ß = \.q, k = \.i- смещешш и веса нейронов скрытого слоя; Wq} , njlt, /л = 1 .q- смещение и веса нейрона выходного слоя FFNN; q — число нейронов

S —S

6 — е

скрытого слоя; <p(s) = th s = —-—— актпвационная функция для нейронов

е + е

скрытого слоя; t//(.v) = л - активационная характеристика нейрона выходного слоя.

До сих пор особенности применения алгоритмов обучения и их влияние на работу НС не были исследованы. Поэтому для решения задачи оценивания рассмотрено применение алгоритмов обучения Левенберга-Маркварда (JIM) и регуляризация Байеса (РБ).

Исходная НС с РБФ представляет собой двухслойную сеть без обратных связей, которая содержит единственный скрытый слой радиально симметричных шаблонных нейронов - шаблонный слой. Вычисление оценки с использованием НС с РБФ (RBFN), где при построении алгоритма в качестве априорной

информации выступает набор пар х^)}^, сводится к следующему:

mb f\

x"*»(y)=Z]wk]<p

ы

y-c-t||

где у-входной и-вектор, wk]- весовые вектора эталонного нейрона скрытого слоя, mh— число эталонов (нейронов) скрытого слоя, <р- радиально базисная активационная функция; ск- центры, количество которых равно mh, -отклонения радиальных элементов.

Решение задачи нелинейного оценивания с использованием ЧМ на основе нечеткой логики и декомпозиции. Исходная система НчС представляет собой систему MISO типа Сугено с / входами, двумя термами-гауссианами на каждую входную переменную и одним линейным выходом. Для оценки измеряемой величины х, используются системы нечеткого логического вывода

вша Сугено ср входами и 2Рправилами:

<1 = 1

где Kff (Y/^jWjj-) - НчС; a<¿> =У&(ц1Да1,,^),Й2,(а2„^),...,ц/7;(ар„^>));

f&(a,b) = mm(a,b) или f&{a,b) = a-b; цй(афункщм принадлежности í-го входа; к = 1р\лш - вектор параметров.

База знаний НчС это набор правил следующего типа: Я,,: ЕСЛИ V', есть У,®, ТО х,*5 = \у0, + \У,У,: /. = ),2Р где Щ = [лу0/ | XV,- ] - матрица параметров нечеткой системы размерности л х(р +1): >у0, - и-мерный вектор смещений и \у, - матрица весовых коэффициентов размерности их р.

Иллюстрирующий пример решения задач оценивания. Необходимо оценить равномерно распределенную на интервале [О, Ь] случайную величину х по зашумленным измерениям вида

>',=х + У,, ¡ = и,

в которых ошибки измерений V,, ¡ = 11 представляют собой независимые друг от друга и от х центрированные случайные величины, равномерно распределенные в интервале [-а/2, а/2]. В этом примере х = х, у = ... у,]т, V = [у, ... V,]1. Необходимо отметить, что апостериорная функция плотности распределения вероятностей /(х/у) здесь не является гауссовской, так как .г и V,, 1 = 1.1 - равномерно распределенные случайные переменные. При проведении

моделирования принималось: а = Ь = 1, ¡=\1, / =10.

Данный пример характерен для решения таких задач как: оценка параметров центра масс космических аппаратов, воздушных и морских объектов; оценка параметров движения относительно центра масс; оценка уходов гироскопов и смещения нуля акселерометров инерциальных навигационных систем.

Для сравнения результатов решений с помошью СС и их декомпозиции были выделены такие характеристики: 1) точность оценивания; 2) время, затраченное на обучение системы (быстродействие); 3) время работы системы в режиме РВ (штатный режим).

Для улучшения быстродействия работы СС была применена рекуррентная декомпозиционная схема оценивания (рисунок 2 б). Сравнение точности оценивания проводится с решением для оптимального нелинейного оцешшания.

Были получены и исследованы среднеквадратические отклонения (СКО) ошибок оцешшания: выборочные СКО ошибок а, для нелинейных оптимальных оценок и выборочные СКО ошибок для нейросетевых и нечетких оценок ¿г/', и = №\'А"', КВГМ, КВГ!\п1, ГЯ, /^ , (I означает декомпозиционную

структуру. Выборочные СКО были рассчитаны следующим образом:

а г-

1

(6)

I- Яе" = хи)\У). (7)

Для получения приемлемых результатов по точности оценивания число реализаций N для обучения СС было выбрано равным 20000. После обучения

осуществлялась проверка. С этой целью дополнительно моделировалось еще £ = 3000 пар реализаций для разных ¡ = \1, / = 10.

На рисунке 3 представлены СКО ошибок оценивания для НС ПР, вычисление которых рассчитывается по формулам (6), (7). Видно, что для разных алгоритмов обучения результат оценивания одинаков.

0.25 0.2 0.15 0.1 0.05

1 ЛМ £ -FFN, 'i J

\ - ö FFNN 1

\

N

0.25 0.2 0.15 0.1

0.05

с ■.FFNN i

\ — о FFNN l

\ i

4

0 2 4 6 8 г 0 2 4 6

а) 6)

Рисунок 3 - СКО ошибок оценивания РБКИ алгоритмов обучения а) Левенберга-Маркварда; б) регуляризация Байеса

На рисунке 4 /г - отражает реальное время обучения системы (в секундах), а га - аппроксимация, полученная с помощью МНК, отражает закономерность изменения времени обучения алгоритма от количества измерений.

-

— ta = e0,292l *+3,201 /

✓ ✓ /J

/ / //

а)

/\

./ v v. \ \ \ -*a M 0,688

Г ~

\ N \ \ / \ \ А

\

S)

20

j>

1 1 I »

Рисунок 4 - Время обучения НС ПР (слева исходная, справа с применением декомпозиции) алгоритмов обучения а) Левенберга-Маркварда; б) регуляризация Байеса

Из сравнения графиков (рисунок 4 а) исходной системы и с предлагаемой нами декомпозицией НС ПР алгоритма обучения ЛМ видно, что декомпозиция дает выигрыш при обучении в несколько раз, в среднем в 5-7 раз, в зависимости

от количества измерений. Даже при использовании алгоритма обучения РБ и декомпозиции (рисунок 4 6) время обучения уменьшается примерно в 2 раза. Время оценивания с использованием НС ПР в режиме РВ с декомпозицией и без декомпозиции составляет десятки мкс.

На рисунке 5 СКО ошибок оценивания рассчитаны по формулам (6), (7). Для НС с РБФ число нейронов в скрытом слое ти подобрано опытным путем равным 500. Выходной слой содержит один нейрон (по числу оцениваемых переменных). Для получения приемлемых результатов по точности декомпозиции 11ВРМ число нейронов от/, выбрано равным 10.

о

0.25 0.2 0.15

0.1 0.05

0

а)

Рисунок 5 - СКО ошибок оценивания: а) НС с РБФ; 6) НчС

Рисунок 6 - Время обучения нечеткой системы (слева исходная, справа с применением декомпозиции)

При применении декомпозиции для НС с РБФ точность оценивания заметно снижается (рисунок 5 а). На время обучения данной сети без декомпозиции было затрачено 33 ч, а с декомпозицией - 0,85 ч. В режиме РВ с использованием обученной декомпозиционной сети с РБФ составляет 50 мкс, а время оценивания без декомпозиции составляет 210 мкс. Полученные результаты свидетельствуют о том, что НС с РБФ проигрывает сети ПР по быстродействию и по точности.

Для моделирования НчС (рисунок 5 б) в среде МаИ,аЬ генерировался обучающий массив данных {(у(Л где ^ 20000, количество измерений

г = 1.7 для исходной нечеткой системы и /" = 1.10 с применением декомпозиции.

На рисунке 6 отражается время обучения НчС для исходной системы лишь для 7-ми входов, потому что функция на данном шаге резко возрастает. Из

сравнения графиков для исходной системы и системы с декомпозицией видно, что выигрыш по времени обучения составляет более чем на 3 порядка.

Таким образом, основными результатами главы 3 являются:

1. Показано, что с помощью декомпозиционных СС может быть достигнута высокая точность оценивания, которая близка к предельно достижимой точности оптимального нелинейного алгоритма. При этом их скорость обучения значительно, в несколько раз для НС и порядков для НчС, выше скорости обучения исходных СС без декомпозиции.

2. Предложены ЧМ стохастической аппроксимации, для реализации которых используются быстродействующие нейросетевые и нечеткие методы и декомпозиционные алгоритмы субоптимального оценивания состояния ДС.

3. Получена закономерность увеличения быстродействия обучения при использовании декомпозиции.

4. Реализация нейросетевых и нечетких алгоритмов обучения при использовании декомпозиции становится возможной в реальном режиме времени.

5. Получены новые результаты для решения задачи оценивания с помощью НС ПР и с РБФ с декомпозицией и без таковой. Для НС ПР проиллюстрировано применение разных алгоритмов обучения, выявлены их особенности работы. Продемонстрировано, что использование НС с РБФ затруднительно, в связи с ее излишней громоздкостью.

6. Предложены декомпозиционные НчС, которые преодолевают значительные вычислительные трудности обучения НчС при количестве входов большем, чем 5, сохраняя точность оценивания.

7. Разработаны комплексы программ для решения задачи нелинейного оценивания с использованием НС и НчС.

В четвертой главе рассмотрен ЧМ стохастической аппроксимации на основе регрессии и вейвлетов с использованием декомпозиции. При этом решение задачи оценивания сводится к стохастической схеме регрессии в следующем виде

х, =ЬДУ4) + е,, (8)

где \ик = I), (Ук ), а е, считается шумом.

А модель регрессии (8) для оценки имеет вид: л; = х(у) + е, х(у) = Ь(у), где И - неизвестная скалярная функция, ах, х, у, е - скалярные переменные. Скалярные значения переменных выбраны для упрощения вывода без потери общности. Для вычисления х = Ыу) выполняются следующие шаги:

1. Преобразование выборочных данных {(х^,с помощью процедуры разбиения области значений на малые промежутки.

2. Вейвлет-разложение сигнала для нахождения вейвлет-коэффициентов с использованием быстрых алгоритмов.

3. Пороговая обработка вейвлет-коэффициентов для удаления шума; восстановления оценки.

4. Перемасштабирование и интерполяция результирующей функции для нахождения оценки х.

При решении задачи оценивания с помощью регрессии и вейвлетов существенное значение имеет размерность входных данных. На данный момент для вейвлет-преобразования нет ПО, реализующее многомерную обработку информации. В среде МаЛаЬ реализована возможность только для одномерного и двумерного вейвлет-преобразования. Поэтому нами предлагается по аналогии с нейросетевым и нечетким подходами использовать двумерное вейвлет-преобразование по схеме декомпозиции, представленной на рисунке 2 б.

На рисунке 7 представлено решение одного рационального варианта вейвлет-оценивания для иллюстрирующего примера, рассмотренного в главе 3. Исходя из опыта разработчиков и накопленных знаний, был выбран эмпирическим путем набор параметров, который позволил получить близкое приближение к субоптимальным НС. Для достижения точности были подобраны следующие параметры: число выборок I = 20000; количество областей значения переменной равно 500; пороговая обработка проводилась с помощью мягкого трешолдинга; вейвлет - Добеши 6, с уровнем разложения 8. При перемасштабировании использовалась интерполяция с помощью сплайнов. СКО

_,

ошибок оценивания <т; для вейвлетов рассчитывается по формуле (7) при ц = IV .

Кроме того, в настоящей главе проиллюстрировано использование вейвлетов для оценивания экспоненциально-коррелированного процесса (ЭКП) с локальными особенностями (нарушениями). Такие нарушения процесса могут быть вызваны, например, уходами гироскопов и смещениями нуля акселерометров инерциальных навигационных систем. При этом математическая модель ЭКП с нарушениями имеет вид:

(9)

а

где х0 в начальный момент времени представляет собой независимую от п(1) центрированную гауссовскую случайную величину с нулевым математическим ожиданием и дисперсией процесса сГх: а = \! тк - интервал корреляции; и, независимые между собой и от ошибки измерения г', и х0 центрированные гаусовские случайные величины с дисперсией й = = <?2 ~ 1 / А?; параметр 01 моделирует локальную особенность (нарушения) в поведении процесса.

Необходимо оценить значения ЭКП используя измереши у,=х, +г>,, г =1,2,..!,

проведенные в дискретные моменты времени /,•=(; —1)Д/ с интервалом Д/, \ = у = [у{ ... у;]Г, V = [Ч'| ... ]Г. Заметим, что оптимальным решением для

к о да

\ — а '„.и

\ * ... ¿5 п-1

0 2 4 6 8 /

Рисунок 7 - СКО ошибок оценивания

оценивания ЭКП (9) в отсутствие нарушений, когда в, = 0, является линейный фильтр Калмана (ФК). Поэтому рассмотренная задача решалась путем моделирования как с использованием ФК, для которого необходимо располагать значениями сг2, а, г2, д2 = 1/Дг, так и с использованием вейвлета. При

моделировании указанные Д/ = 1 с; г2 =27; а = 1/30, г

параметры были выбраны следующими: их =10; 2 = 1 для дискретных моментов времени ti = (/ - 1)Д/,

25 20 15 10

г = \.к, к = 200. Общее число реализаций ] = \.Ь, £ = 1000. Для реализации вейвлет-алгоритма оценивания выбран вейвлет Добеши 4 с уровнем разложения 4. Оценки полученные с помощью вейвлетов и ФК практически совпадают.

При наличии скачкообразного нарушения на рисунке 8 представлены результаты оценивания ЭКП (9). СКО ошибок оценивания вычислялись по формуле (7) при /и = ГК,1¥ и а, - соответствует

дисперсии ошибки оптимального линейного оценивания. Из рисунка 8 видно, что работа ФК нарушается и для повышения точности фильтрации необходимо использование, например, банка ФК. Для алгоритма на основе вейвлета ошибка, вызванная нарушением уменьшается и сходится к расчетной.

На рисунке 9 представлены спектрограммы непрерывного вейвлет-преобразования для измерений у, процесса без нарушения и с нарушениями в виде скачкообразного и линейного изменения.

-г

_ст. .........of -Ft ...........rT,

V

о 20

60

100 140 180 Рисунок 8 - СКО ошибок оценивания процесса при наличии нарушения

140 ISO Ь ' 20 60 100 140 180 Ь

а) 6)

Рисунок 9 - Спектрограммы непрерывного вейвлет-преобразования: а) без нарушений; б) со скачкообразным изменением; в) с линейным изменением

В нижней части спектрограмм рисунка 9 видна весьма сложная структура спектра шума, верхняя часть спектрограмм для процессов с нарушениями (а > 20) отчетливо показывает наличие разрыва. Этот пример является наглядным свидетельством высокой разрешающей способности вейвлетов при выявлении локальной (тонкой) структуры сигналов.

В главе также рассматривается применение предложенных СС оценивания состояния ДС в других разработках. Одной из них является компьютерное

тестирование для оценки уровня качества образования обучающихся; другой — «Интеллектуальная изоляционная система», описанная в полезной модели №138401.

Таким образом, основные результаты главы 4 являются следующие:

1. Предлагается для вейвлет-оценивания переход от многомерной обработки к двумерной с использованием декомпозиции.

2. Предложен 4M стохастической аппроксимации на основе регрессии, вейвлетов и декомпозиции.

4. На основе метода вейвлет-оценивания разработан новый алгоритм для оценивания неоднородного процесса (ЭКП с локальными особенностями) без нарушений и с нарушениями, для которого описана модель ЭКП с нарушениями.

5. Разработан комплекс программ оценивания состояния ДС на основе вейвлетов.

В заключении приводятся основные результаты диссертационной работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В области математического моделирования:

1. Предложен эффективный с точки зрения быстродействия и точности вычислительный метод оценивания состояния ДС.

2. Предложены математические модели быстродействующих ИСС нерекуррентного и рекуррентного нелинейного оценивания ДС.

В области численных методов:

3. Развиты 4M стохастической аппроксимации, отличающиеся тем, что для их реализации предложены быстродействующие нейросетевые, нечеткие, вейвлет методы и декомпозиционные алгоритмы субоптимального оценивания ДС.

4. Синтезированы быстродействующие субоптимальные нейросетевые, нечеткие и вейвлет алгоритмы оценивания ДС с использованием декомпозиции.

5. Получены и проанализированы закономерности увеличения быстродействия обучения при использовании декомпозиции при построении СС.

В области комплексов программ:

6. Реализованы комплексы программ для моделирования разрабатываемых алгоритмов. Проверена работоспособность, эффективность и точность алгоритмов при решении задач.

Публикации по теме диссертации

1. Амосов, О.С., Баена, СТ. Байесовское оценивание с использованием нейронной сети с радиальными базисными функциями // Информатика и системы управления. -2013. - № 2 (36). - С. 127-133.

2. Амосов, О.С., Малашевская, ЕА^ Баена, CJT. Субоптималыюе оценивание случайных последовательностей с использованием иерархических нечетких систем // Информатика и системы управления. - 2013. - № 3 (37). - С123-133.

3. Амосов, О.С, Баена, С.Г. Субоптимальное нелинейное оценивание на основе иерархических синтетических систем // Системы управления и информационные технологии. - 2014. - №2(56). - С. 4-8.

4. Амосов, О.С, Баена, С.Г., Амосова, Л.Н. Нелинейное оценивание временных

рядов с использованием синтетических систем // Информатика и системы управления. -2014. -№ 2 (40). - С. 84-93.

5. Амосов, O.G, Баена, СТ. Быстродействующие численные нейросетевые и нечеткие методы стохастического оценивания состояния динамических систем // Информатика и системы управления. -2014. - № 4 (42). - С118-129.

6. Amosov, O.S., Baena, S.G. Optimal nonlinear estimation by using hierarchical synthetic systems // 21st Saint Petersburg international conference on integrated navigation systems / CSRI Elektropribor. - Saint Petersburg, 26-28 may 2014. - P. 161-166.

7. Амосов, O.C., Баена, С.Г. Вычислительный метод и синтетические алгоритмы оценивания состояния динамических систем на основе декомпозиции // Всерос. научная конференция ХХХУШ Дальневосточная Математическая Школа-Семинар имени академикаЕВ. Золошва. -2014. - С.369-380.

8. Амосов, О.С., Баена, СР. Оптимальное нелинейное оценивание с использованием иерархических синтетических систем // 21 Санкт-Петербургская Международная конференция по интегрированным навигационным системам / Концерн «ЦНИИ «Электроприбор». - СПб, 2014. - С. 126-131.

9. Амосов, О.С., Баена, СТ. Нелинейная фильтрация с использованием синтетических систем // Фундаментальные проблемы науки: сборник статей Международной научно-пр. конференции. - Уфа: РИЦ БашГУ, 2013С. 3-9.

10. Баена, CJT. Модель компьютерного тестирования в процессе мониторинга качества обучения на основе кибернетического подхода // Актуальные проблемы математики, физики, информатики в вузе и школе: материалы Международной научно-пр. конференции. - г. Комсомольск-на-Амуре: АмГПГУ, 2012. - С. 45-52

11. Баена, СГ. Оценивание результатов обучения и компетенций студентов с использованием информационных технологий // Социальное и экономическое развитие АТР: проблемы, опыт, перспективы: матер. V Международной заочной научно-пр. конференции. - г.Комсомольск-на-Амуре:Ам11И У, 2012.-С. 141-147.

12. Патент № 138401 РФ. Интеллектуальная изоляционная система / О.С.Амосов, Ю.С. Иванов, С.Н. Иванов, С.Г. Баена // Официальный бюл. «Изобретения. Полезные модели». -2014. - №7.

13. Амосов, О.С., Баена, С.Г. Нейросетевая система оценивания NN Estimator. Свидетельство о государственной регистрации программы доя ЭВМ № 2014617763 от 01.082014 г.

14. Амосов, О.С., Баена, СТ. Вейелет-оценивание временного рада Свидетельство о государственной репклрации программы для ЭВМ № 2014617998 от 07.082014 г.

Подписано в печать 03.03.2015.

Формат 60x84/16. Бумага писчая. Ризограф RIZO EZ 570Е.

Усл. печ. л. 1,16. Уч.-изд. л. 1,10. Тираж 100. Заказ 26866.

Полиграфическая лаборатория Федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Комсомольский-на-Амуре государственный технический университет» 681013, г. Комсомольск-на-Амуре, пр. Ленина, 27.