автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.18, диссертация на тему:Нейросетевые и нечеткие методы оценивания стохастических систем

На правах рукописи

АМОСОВ ОЛЕГ СЕМЕНОВИЧ

НЕЙРОСЕТЕВЫЕ И НЕЧЕТКИЕ МЕТОДЫ ОЦЕНИВАНИЯ СТОХАСТИЧЕСКИХ СИСТЕМ

05.13.18 - Математическое моделирование, численные методы и комплексы программ

АВТОРЕФЕРАТ диссертации на соискание ученой степени доктора технических наук

Владивосток - 2004

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Комсомольский-на-Амуре государственный технический университет» (ГОУВПО «КнАГТУ»)

Научный консультант: доктор технических наук,

ДЕВЯТИСИЛЬНЫЙ Александр Сергеевич

Официальные оппоненты: доктор технических наук, профессор

ЕРЕМИН Евгений Леонидович

доктор физико-математических наук, профессор

НУРМИНСКИЙ Евгений Алексеевич

доктор технических наук, профессор ПОЛЯХОВ Николай Дмитриевич

Ведущая организация:

Институт проблем управления им. В.А. Трапезникова, РАН, г. Москва

Защита состоится «21 » января 2005 г. в 10 часов на заседании диссертационного совета Д 005.007.01 Института автоматики и процессов управления ДВО РАН по адресу: 690041, г. Владивосток, ул. Радио, 5.

С диссертацией можно ознакомиться в библиотеке Института автоматики и процессов управления ДВО РАН.

Автореферат разослан 2004 г.

ч

И.о. ученого секретаря диссертационного совета Д 005.007.01 В.А. Бобков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Методы теории оптимальной фильтрации широко используются при оценивании состояния стохастических систем. Среди них особо выделяется байесовский подход, который лежит в основе теории фильтрации. Он обеспечивает решение задачи оценивания для нелинейного и негауссовского случаев. Один из его основных недостатков заключается в том, что для построения оптимальных алгоритмов требуется исчерпывающая априорная информация о свойствах оцениваемых процессов и ошибок их измерений. При решении нелинейных задач, кроме того, возникает серьезная проблема построения реализуемых алгоритмов, поскольку для нахождения апостериорной плотности, необходимой для отыскания оценок, требуется в нет прерывном случае решать интегро-дифференциальное уравнение Фоккера-Планка-Колмогорова, а в дискретном - вычислять громоздкие многократные интегралы. При решении задачи оценивания в рамках небайесовского подхода широкое распространение получила процедура, основанная на максимизации функции правдоподобия. Однако здесь нельзя указать общее правило нахождения несмещенных оценок с минимальной дисперсией, не удается определить соответствующую им матрицу ковариаций, характеризующую потенциальную точность небайесовской оценки. В случае, когда не привлекается какая-либо априорная статистическая информация, задача решается с помощью метода наименьших квадратов (МНК). Однако, если эта априорная информация имеется, то ввод в схему оценивания МНК начальных значений параметров в соответствии с априорными знаниями и предположениями вызывает трудности.

Указанные недостатки заставляют искать новые подходы к построению алгоритмов. Один из них может быть основан на использовании нейронных сетей (НС), нечетких систем - систем нечеткой логики (СНЛ) и нейронечетких систем (ННС). При попытке использования НС и СНЛ для решения задач фильтрации весьма важным является вопрос взаимосвязи и отличий предлагаемых алгоритмов с теми, которые применяются традиционно для решения этих задач. Установив эти отличия и взаимосвязи, можно более обоснованно рассуждать о преимуществах или недостатках нейросетевого и нечеткого подходов по сравнению с традиционным. К сожалению, как показал обзор отечественных и зарубежных публикаций, этот вопрос должным образом не обсуждается. Как правило, сопоставление предлагаемых и традиционных алгоритмов опирается на результаты моделирования частных примеров. При этом работ, посвященных применению СНЛ для решения задач оценивания, значительно меньше, чем с применением НС. В то же время наибольший эффект ожидается именно от их совместного использования в виде ННС.

Таким образом, нерешенной проблемой является сопоставление традиционных алгоритмов оценивания и алгоритмов, основанных на нейронных сетях и нечетких системах. При этом сопоставлении существенное внимание должно быть уделено различному характе мации. В этом контексте, необходимо

ствующие между традиционными и нейросетевыми и нечеткими алгоритмами, дать однозначный ответ относительно их достоинств и недостатков.

Цель и задачи работы. Целью работы является разработка теоретических положений и научно обоснованных технических решений, обеспечивающих эффективность и повышение качества оценивания состояния стохастических систем за счет применения нейросетевых и нечетких методов.

В соответствии с целью поставлены следующие задачи исследования:

- развитие теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма оценивания в рамках байесовской постановки и нейросетевого алгоритма;

- разработка теоретических положений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма рекуррентного оценивания - линейного и расширенного фильтра Калмана (ФК) и нейросетевого алгоритма;

- доказательство возможности идентификации моделей динамики и измерения в рамках байесовской постановки задачи оценивания с использованием методов нейросетевого и нечеткого анализа и синтеза;

- формирование теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма на основе метода Монте-Карло и нейросетевого алгоритма;

- уточнение теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма на основе метода наименьших квадратов и нейросетевого алгоритма при отсутствии априорной информации;

- сопоставление алгоритмов оценивания на основе систем нечеткой логики и традиционных алгоритмов;

- обоснование и разработка концепции построения систем оценивания на основе нейронных сетей и систем нечеткой логики;

- разработка моделей и алгоритмов нейросетевого и нечеткого оценивания с ориентацией на приложения в теории управления движущихся объектов и электромеханических преобразователей;

- создание комплекса программ для оценивания динамических процессов и последовательностей на основе традиционных, нейросетевых и нечетких методов.

Методы исследований. При выполнении диссертационной работы использовались методы современной теории оптимального управления, теории оптимальных процессов, теории идентификации, теории дифференциальных и разностных стохастических уравнений, вычислительной математики, теории вероятностей и математической статистики, теории нейронных сетей, теории нечеткой логики, а также методы математического моделирования.

Научная новизна работы состоит в том, что:

- создана и представлена с использованием предложенных признаков классификация применений нейронных и нечетких систем для оценивания, по-

зволившая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса;

- в развитие теории байесовского оценивания доказана теорема, позволяющая трактовать традиционный оптимальный байесовский алгоритм оценивания как нейронную сеть, обученную с учителем по набору согласованных реализаций процесса и измерений;

- в развитие теории рекуррентного оценивания доказаны теоремы, позволяющие трактовать линейный и расширенный фильтры Калмана как рекуррентные нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений;

- доказано, что может быть получен нейросетевой алгоритм, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок без привлечения уравнений динамики и измерения путем идентификации входящих в них матриц;

- в развитие теории нелинейного оценивания получен результат, позволяющий трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями (РБФ), обученную с учителем по набору согласованных реализаций процесса и измерений;

- в дополнение к сложившимся теоретическим представлениям получен результат, позволяющий трактовать традиционный алгоритм оценивания на основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени (РВ) по поступающим измерениям;

- показано, что с использованием нечетких систем может быть получен алгоритм оценивания, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок на основе традиционных алгоритмов;

- предложена концепция построения структурных схем систем нелинейного оценивания и фильтрации на основе нейронных, нечетких и нейронечет-ких систем, обучение которых производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и в режиме реального времени по поступающим измерениям;

- получено новое решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных сетей и нечетких систем;

- предложен класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов;

- созданы алгоритмы и комплекс программ для оценивания состояния динамических процессов и последовательностей на основе традиционных, нейросетевых и нечетких методов;

- разработаны алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием оптимальных фильтров, нейронных сетей и нечетких систем, в том числе и в технических решениях, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Практическая ценность работы.

1. Полученные теоретические положения, устанавливающие связь между традиционными методами фильтрации и оценивания и методами на основе нейросетевого подхода и нечеткой логики позволяют существенно сократить объем экспериментальных исследований или полностью их исключить, что дает возможность значительно снизить затраты материальных ресурсов, денежных средств и времени на отработку систем оценивания и фильтрации.

2. Комплексы программ оценивания и фильтрации, защищенные 4 свидетельствами об официальной регистрации программ (№ 2002611516, 2002 г.; № 2003611262,2002 г.; № 2003610707,2003 г.; № 2004610689,2004 г.), представляют практический интерес при проектировании новых и модернизации известных систем, в том числе и систем управления движением при разработке алгоритмов оценивания координат и параметров движущихся объектов.

3. Разработанные технические решения, защищенные 2 свидетельствами и 3 патентами на полезные модели, позволяют повысить качественные показатели электромеханических преобразователей и могут быть использованы при проектировании новых технических систем в электромеханике.

Реализация результатов работы. Полученные в диссертации результаты внедрены (использованы): в научный процесс Института автоматики и процессов управления ДВО РАН, г. Владивосток; в разработках ЦНИИ «Электроприбор», г. Санкт-Петербург; в проектно-конструкторской деятельности Комсомольского-на-Амуре филиала ОАО ОКБ «Сухой»; в учебный процесс КнАГТУ.

На защиту выносятся:

1. Созданная с использованием предложенных признаков классификация применений нейронных и нечетких систем для оценивания, позволившая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса.

2. Разработанные теоретические положения для оценивания и идентификации на основе нейронных, нечетких и нейронечетких систем, устанавливающие взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем и позволившие выявить преимущества и дополнительные возможности синтезируемых систем оценивания.

3. Концепция построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которых производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и в режиме реального времени по поступающим измерениям.

4. Решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейро-нечетких систем.

5. Класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов.

6. Алгоритмы и комплекс программ для оценивания динамических процессов и последовательностей на основе традиционных, нейросетевых и нечетких методов, в том числе и защищенных 4 свидетельствами об официальной регистрации программы для ЭВМ.

7. Алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием оптимальных фильтров, нейронных сетей и нечетких систем, в том числе и в технических решениях, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Апробация работы. Научные положения и результаты диссертационной работы докладывались и получили одобрение на всесоюзной конференции «Математическое и имитационное моделирование в системах проектирования и управления» (г. Чернигов, 1990 г.); международной конференции ChanDe'92 «Методы распознавания изменений в случайных процессах и полях» (г. Киев, 1992 г.); VII и VIII международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях» (г. Воронеж, 2002-2003 гг.); IX международной открытой научной конференции «Современные проблемы информатизации в системах моделирования, программирования и телекоммуникациях» (г. Воронеж, 2004 г.); III Всероссийской конференции «Математика, информатика, управление» (г. Иркутск, 2004 г.); II и III международной конференции «Идентификация систем и задачи управления» («SICPRO'03», Москва, 2003 г.; «SICPRO'04», г. Москва, 2004 г.); IX и X международной конференции по интегрированным навигационным системам (г. Санкт-Петербург, 2002-2003 гг.); международной конференции по мягким вычислениям и измерениям «SCM'2003» (г. Санкт-Петербург, 2003 г.); 5 международной конференции «Digital signal processing and its applications» (г. Москва, 2003 г.); Дальневосточной математической школе-семинаре им. Е.В. Зо-лотова (г.Владивосток, 2002-2004 гг.); международной конференции «Pro-ceedings of IFAC Workshop on Adaptation and Learning in Control and Signal Processing (ALCOSP) and IFAC Workshop on Periodic Control Systems (PSYCO)» (Япония, г. Йокохама, 2004 г.), на научно-технических семинарах лаборатории управления и навигации ИАПУ ДВО РАН; на ежегодных научно-технических конференциях и семинарах КнАГТУ.

Публикации. Содержание диссертации опубликовано в 73 работах, включая учебное пособие, 3 патента и 2 свидетельства РФ на полезную модель, 4 свидетельства об официальной регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из оглавления, введения, семи глав, заключения, библиографического списка и двух приложений. Диссертация изложена на 332 страницах и включает 13 рисунков и 52 таблицы. Библиографический список охватывает 212 литературных источников.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, дана общая характеристика научной проблемы, сформулирована цель и поставлены задачи, показана научная новизна, практическая ценность результатов работы.

В первой главе дан анализ современного состояния проблемы оптимального оценивания и фильтрации как с помощью традиционных, так и с помощью нейросетевых и нечетких методов.

По традиционным методам оптимального оценивания и фильтрации имеется большое число отечественных и зарубежных публикаций, к числу которых относятся монографии Стратоновича Р.Л.; Тихонова В.И. и Кульмана Н.К.; Тихонова В.И. и Харисова В.Н.; Ярлыкова М.С. и Миронова М.А.; Фомина В.Н.; Дмитриева СП.; Степанова ОА.; Калмана Р., Фалба П. и Арбиба М.; Медича Дж.; Брайсона А. и Хо Ю-Ши; Сейджа Э. и Мелса Дж; Jazwinski A.H. Важнейшими из традиционных являются методы, соответствующие байесовскому и классическому - небайесовскому подходам и МНК. Анализируются основные положения, достоинства и недостатки традиционных методов стохастического оценивания и фильтрации и причины, обосновывающие необходимость разработки альтернативных методов -нейросетевых и нечетких.

Если вопросы использования НС в задачах управления и идентификации исследуются достаточно давно, что видно из работ Галушкина А.И.; Горбаня А.Н.; Терехова В.А., Ефимова Д.В., Тюкина И Ю. и Антонова В.Н.; Цыпкина ЯЗ.; Омату С, Халида М. и Юсова P.; Narendra K.S. and Parthasarathy К., то проблема их применения в задачах фильтрации и оценивания стала обсуждаться лишь в последнее десятилетие, что видно из работ Ефименко B.C., Харисова В.Н. и Стребкова Е.Г.; Перова А.И. и Соколова Г.Г.; Девятисильного А.С., Дорожко В.М. и Гриняка В.М.; Alessandri A., Parisini Т., and Zoppoli R.; Haykin S., and Yee P.; Lo J. T.-H.; Parlos A.G, Menon S.K., and Atiya A.F. и др. Заметим, что в появившихся в последнее время монографиях, посвященных НС, проблема их использования для решения задач фильтрации и оценивания затрагивается в малой степени. Еще менее изученной проблемой является применение для оценивания СНЛ и ННС. Среди известных работ в этой области можно выделить лишь работы авторов Chan К.С.С., Lee V., Leung H.; Crocetto К, Ponte S.; Sabatini C.R.

Проведен системный анализ полученных теоретических и практических результатов и подходов по использованию нейронных сетей и нечетких систем в оценивании. Приведена по предложенным признакам классификация работ отечественных и зарубежных авторов в этой области.

При этом все работы разбиты на четыре группы: 1) самостоятельное применение НС и нечетких систем для оценивания; 2) совместное с традиционными методами применение НС и СНЛ для оценивания; 3) НС и СНЛ для реализации традиционных алгоритмов оценивания; 4) применение традиционных алгоритмов фильтрации для обучения НС, СНЛ и ННС.

В основе принципа классификации работ первой группы лежат следующие предложенные признаки: 1) признак, определяющий характер используемой априорной информации; 2) признак, определяющий критерий обучения; 3) признак режима обучения; 4) признак особенностей практического применения. Таким образом, здесь основное внимание уделяется поиску отличий в постановке задачи оценивания по сравнению с традиционными методами.

НС и СИЛ в рамках второй и третьей групп алгоритмов оценивания разбиваются на четыре подгруппы: 1) реализация нерекуррентных алгоритмов; 2) реализация рекуррентных алгоритмов ФК; 3) реализация алгоритмов МНК и алгоритмов оценивания при недостаточной или отсутствии априорной информации; 4) реализация отдельных подзадач оценивания.

В рамках четвертой группы рассматривается применение алгоритмов расширенного ФК и нелинейной фильтрации для обучения НС и СНЛ.

Проведено обсуждение современного состояния проблемы оптимального оценивания на основе НС, СНЛ и ННС. Названы основные вопросы, которые остались нерешенными - отсутствие теоретического сопоставления традиционных подходов и подходов на основе НС и нечетких систем.

При попытке использования нейронных сетей для решения задач фильтрации и оценивания весьма важным является вопрос взаимосвязи и отличий получаемых алгоритмов с теми, которые применяются традиционно для решения этих задач. В частности, существуют ли какие-либо предположения, при которых свойства оценок близки, а алгоритмы совпадают? Последний вопрос можно сформулировать так: можно ли традиционный алгоритм трактовать как специального вида НС? Получив ответы на эти вопросы, установив эти отличия и взаимосвязи, можно более обоснованно рассуждать о преимуществах или недостатках нейросетевого подхода по сравнению с традиционным.

Несмотря на ряд работ авторов Ефименко B.C., Харисова В.Н., Стребко-ва Е.Г.; Перова А.И. и Соколова Г.Г.; Alessandri A., Parisini Т., and Zoppoli R.; Haykin S., and Yee P.; Parlos A.G., Menon S.K., and Atiya A.F., касающихся проблемы применения НС в задачах фильтрации и оценивания, ясного ответа на указанные вопросы пока не существует. Основное внимание в этих работах уделяется исследованию эффективности использования НС различных типов для оценивания. Так возможности рекуррентных НС рассматриваются в работах Lo J. Т.-Н. и Parlos A.G., Menon S.K., and Atiya A.F., а НС с прямыми связями - в работах Alessandri A., Parisini Т., and Zoppoli R.; Parlos A.G., Menon S.K., and Atiya A.F. В работе Haykin S., and Yee P. предлагается использовать сети с радиальными базисными функциями. В работах Alessandri A., Parisini Т., and Zoppoli R. для оценивания состояния и возмущений используется следящее окно и обобщенный МНК при известной модели прогноза.

К сожалению, в известных публикациях, вопрос сопоставления должным образом не обсуждается. Публикации авторов Безмена Г.В.; Ефименко B.C., Харисова В.Н., Стребкова Е.Г.; Перова А.И. и Соколова Г.Г.; Покалова ВА, в которых проводится сопоставление предлагаемых и традиционных алгоритмов, как правило, касаются частных примеров и опираются на результаты мо-

делирования. При этом при сопоставлении нередко в тени остается вопрос о различном характере априорной информации, привлекаемой для проектирования алгоритмов.

Из работ теоретического толка следует выделить лишь работу Lo J. Т.Н., 1994, в которой показано, что рассматриваемые там рекуррентные нейронные сети при определенных условиях сходятся по точности к фильтру с минимальной дисперсией. Однако в ней не обсуждается взаимосвязь и отличия между традиционными и нейросетевыми алгоритмами.

Следует заметить, что помимо исследования эффективности использования нейросетевых алгоритмов непосредственно для решения задач фильтрации, существует еще одно направление, в котором пересекаются методы теории фильтрации и нейросетевой подход. Это направление появилось в связи с трактовкой процедуры обучения НС как задачи нелинейного оценивания и использования для этих целей различных модификаций алгоритмов нелинейной фильтрации, в частности, расширенного ФК, что отражено в работах авторов Haykin S.; Sum J., Leung C, Young G.H., and Kan W. Именно этому направлению и посвящена недавно вышедшая книга Haykin S. «Калмановская фильтрация и нейронные сети». Но, к сожалению, в ней возможности самих НС для решения задач фильтрации и оценивания не обсуждаются.

Таким образом, основные вопросы, которые не получили должного решения, это следующие:

- не установлены взаимосвязи и отличия нейросетевых, нечетких алгоритмов и традиционных;

- нет однозначного ответа относительно достоинств и недостатков ней-росетевого и нечеткого подходов в сравнении с традиционными;

- нет ответа на вопрос: можно ли традиционный алгоритм трактовать как специального вида нейронную сеть или нечеткую систему?

На основе проведенного анализа современного состояния проблемы оценивания сформулирована цель и поставлены задачи исследования.

Во второй главе применительно к задаче оценивания, решаемой в рамках байесовской постановки, исследуется связь традиционного, оптимального в среднеквадратическом смысле алгоритма и алгоритма, основанного на использовании нейронных сетей. В достаточно общем виде задача байесовского оценивания сформулирована следующим образом.

Для двух случайных векторов хбШ" и уе9?т задана совместная функция плотности распределения вероятностей (ф.п.р.в.) /(*,у).. Требуется, располагая значением вектора у, найти оценку х(у), минимизирующую критерий

где М- знак математического ожидания, соответствующий плотности /(х,у). Здесь и далее интегралы понимаются как многократные с бесконечными пределами. Минимизирующая этот критерий, оптимальная в среднеквадратиче-ском смысле оценка определяется как

и

х(у)=/х/(х/у )<1х, (2)

где /(х/у)- условная (апостериорная) ф.п.р.в. вектора х, для которой справедливо соотношение /(х/у) = /(х,у)//(у), где /(у)= |/(х,у)<Й£.

Связь между векторами х и у может быть записана в виде

У = в(х) + у,

(3)

где $(х) = [Б}(х), ..., .гот(х)]т— т -мерная в общем случае нелинейная вектор функция векторного аргумента, которая обычно считается известной; а

У,,,]1- случайный вектор, передающий наличие ошибок измере-

у = [у1(

ния. С целью удобства изложения вводится составной вектор 2=[хт уТ]Т-Считается, что для него заданы математическое ожидание г и матрица кова-риаций Рм

Оптимальная линейная оценка х(у), минимизирующая (1), и соответствующая ей матрица ковариаций ошибок оценивания е = х - х(у) определяются с помощью следующих соотношений

х(у) = х + РхуРуу1[у-у]

Ре=М[(х-х(у))(х-х(у))т] = Р:

(5)

хх ^ху^ууРух- (*>)

Одна из отличительных особенностей решения прикладных задач с использованием НС заключается в наличии обучающей выборки, что особенно характерно в случае, если предполагается использование процедуры обучения «с учителем». Применительно к рассматриваемой задаче это означает, что имеется набор данных (обучающая выборка)

{(УЫ.*(У))},7=Ь£, (7)

в котором пары согласованы, в том смысле, что они пред-

ставляют независимые между собой реализации случайного составного вектора с функцией плотности распределения вероятностей

В достаточно общем виде задача «байесовского» нейросетевого оценивания при наличии обучающей выборки сформулирована следующим образом. Пусть априорная информация задана в виде (7) и требуется, располагая

таким набором данных и измерением у, найти с помощью НС оценку х

НС ""

где К (у,\У)- НС, на вход которой поступает вектор у; а матрица, задающая массив смещений и весовых коэффициентов, которая определяется на этапе обучения НС; хНС<%0'),й)- оценка, вырабатываемая НС по измерениям соответствующим реализации х^.

Основные результаты главыдоказаны в виде следующихтеорем. Теорема 1. Если имеется набор данных (обучающая выборка) (7)

в котором пары = согласованы, в том смысле, что они пред-

ставляют независимые между собой реализации случайного составного век-тораг = [хТ ут]т сф.п.р.в /(к,у), то линейная нейронная сеть гНС/

х—(У.ХУ^о+АУУ, (10)

при выборе для ее обучения сучителем в качестве критерия обучения функции

обеспечивает при увеличении числа используемых для обучения реализаций п0 получение оценок, близких по своим свойствам к оценкам, получаемым с помощью байесовского алгоритма, оптимального в класселинейныхалгоритмов

хНС(у,\У) = хФ+Р^(р^)"1[у-у'],

где представляют собой выборочные значения

математическихожиданий и соответствующихматриц ковариаций.

Это позволяет в принципе трактовать оптимальный в линейном классе алгоритм как нейронную сеть простейшего вида, обучаемую в соответствии с приведенным критерием.

Теорема 2. Если известно, чтоуравнение измерений имеет вид у = Нх + V

при отсутствии априорной информации о матрице измерений Н и шумах измерения V и имеется обучающая выборка (7)

в которой пары = согласованы, в том смысле, что они пред-

ставляют независимые между собой реализации случайного составного вектора г = [хт ут]т сф.п.р.в /(х,у),

то линейная нейронная сеть

~нс/„ а не

при выборе для ее обучения с учителем в качестве критерия обучения функции

г НС.

У(ННС) = — "± |уО)-уНСО)(х(;)1ЙНс| "о М1 11

обеспечивает при увеличении числа используемых для обучения реализаций п0 идентификацию матрицы измерения Н и характеристик шумов измерения V в виде

где Р-ц, РХу и Руу представляют собой выборочные значения соответст-

вующихматриц ковариаций.

Несмотря на кажущуюся простоту приведенной постановки задачи оценивания одного вектора х по измеренным значениям другого вектора у, к такой постановке могут быть сведены вполне конкретные прикладные задачи. Так, полученные результаты могут быть полезными при решении задачи нерекуррентного оценивания случайных последовательностей, которая может быть сформулирована следующим образом.

Задана п-мерная случайная последовательность х, =[хц, ..., ,

/ = 0,1 ,...,к и требуется, располагая статистически связанными с х,- значениями т -мерной случайной последовательности У/=[У1/> ..., Ут^ > найти оценку х,-, вычисляемую с использованием набора измерений, задаваемого составным вектором

Решая задачу оценивания в рамках байесовского подхода, оптимальные в среднеквадратическом смысле оценки следует находить исходя из минимиза-

ции критерия, который в данном случае записывается как: ^=Щх,-хДУ,))т(х,-х,(У;))].

(И)

Эта задача легко сводится к рассмотренной задаче: достаточно предположить, что в качестве векторов х и у выступают соответственно х,- и У;, а в

качестве составного вектора г - вектор г,- =[х/ У;Т]Т.

Основные выводы по главе 2 следующие.

1. В главе рассмотрена «байесовская» постановка задачи оценивания, отличительная особенность которой заключается в том, что априорная информация об оцениваемом векторе х и используемых измерениях у задается не в виде их совместной ф.п.р.в., что характерно для традиционной постановки, а в виде согласованного набора реализаций Согласованность

здесь понимается в том смысле, что они представляют независимые между собой реализации составного случайного вектора с одной и той же ф.п.р.в.

Такая постановка в полной мере соответствует той, которая использу-

ется при решении задач с помощью нейронных сетей, настраиваемых в режиме обучения «с учителем», что позволяет достаточно просто установить взаимосвязь нейросетевых и традиционных алгоритмов решения задач оценивания.

Обращено внимание на то, что наиболее важным, но и наименее проработанным вопросом в процедуре решения задачи оценивания с использованием НС, представляется вопрос выбора типа НС, обеспечивающей точность, близкую к точности оптимального в классическом смысле байесовского алгоритма.

2. Показано, что в ряде случаев могут оказаться весьма полезными линейные нейронные сети, которые при увеличении обучающей выборки обеспечивают получение оценок, свойства которых близки к свойствам оптимальных в классе линейных классических байесовских оценок, что подтверждено на примерах решения трех задач, одна из которых является нелинейной, а две другие - задачи оценивания экспоненциально-коррелированного и двумерного узкополосного марковского процесса соответственно.

3. В качестве недостатка обсуждаемого подхода можно отметить необходимость набора данных (7), которые могут отсутствовать. В то же время, если имеется информация о совместной ф.п.р.в. или о моделях, с помощью которых эта плотность может быть получена, эти данные могут быть сформированы путем моделирования. В такой ситуации можно говорить о совпадении априорной информации, используемой для построения нейросетевых и байесовских алгоритмов, и как следствие, о возможных преимуществах или недостатках лишь вычислительного характера. В частности, для нейросетевого алгоритма не потребуется выделенная процедура идентификации, поскольку она реализуется в процессе обучения; в линейном алгоритме не потребуется непосредственное обращение матриц, а все необходимые весовые коэффициенты будут найдены в процессе обучения нейросетевого алгоритма и т.п. В качестве аналога здесь можно указать на методы решения нелинейных задач оценивания с использованием метода Монте-Карло, основным в котором является формирование реализаций с помощью имеющихся моделей.

4. Показано, что при наличии уравнения измерений входящие в него матрица измерений и шумы измерения могут быть идентифицированы с использованием тех же самых реализаций, что и для решения задач оценивания.

5. Проведенное обсуждение создает основу для дальнейшего изучения возможностей использования НС и исследования их преимуществ или недостатков по сравнению с традиционным для более интересных с практической точки зрения случаев, касающихся, в частности, построения рекуррентных алгоритмов, обучения НС в режиме РВ (режиме обучения «без учителя»), применения их для решения нелинейных задач, для которых как раз и является актуальной проблема построение экономичных алгоритмов и др.

В третьей главе применительно к задаче фильтрации случайных последовательностей исследуется связь алгоритмов оптимальной рекуррентной фильтрации - линейного и расширенного ФК и алгоритмов, основанных на использовании НС. Задача линейного рекуррентного оценивания сформулиро-

вана следующим образом.

Предположим, что в каждый дискретный момент времени /=1,2,... требуется оценить значения п -мерной гауссовской случайной последовательно -сти формируемой в виде

по m- мерным измерениям у/ =(уц>—, Ут1Т> определяемым как

где известные матрицы соответствующей размерности;

т -мерные центрированные гауссовские белошумные последовательности с матрицами ковариаций Считается, что значения последовательности

в начальный момент времени представляют собой гауссовский центрированный случайный п -мерный вектор с матрицей ковариаций Рд и при этом предполагается, что порождающие и измерительные шумы, а также начальное значение между собой статистически независимы.

Важно подчеркнуть, что в данной постановке фактически считается известной совместная ф.п.р.в. /(хд^,- ,У/) векторов Хд, ^ = [п^,П2."-> п*]т и

При нахождении оптимальной в среднеквадратическом смысле оценки (оценки с минимальной дисперсией ошибки), используется критерий вида

где - оценка в текущий момент времени, полученная с использованием

всего набора измерений

Оптимальная в среднеквадратическом смысле оценка, минимизирующая критерий (14), и соответствующая ей апостериорная матрица ковариаций ошибок оценивания при сделанных предположениях могут быть найдены с помощью дискретного ФК:

Р/ =Р//Ы -Р//мН?(Н/Р//мНТ + К,)-1Н,Р,7М =(Е-К,Н,)Р,/М,(18)

В наибольшей степени для решения задачи на основе НС подходит структура нейросетевого алгоритма, в значительной степени аналогичная ФК. Здесь также выделяется шаг прогноза и обновления. При этом прогноз вычисляется согласно (15)

а оценка на шаге обновления определяется как

где XV,)- нейронная сеть с массивом смещений и весовых

коэффициентов W¡; Ер"'- невязка, определяемая как е^ = у,-

На очередном шаге I на вход НС поступает прогноз (20), определенный с использованием оценок выработанных на предыдущем шаге и невязка НС

измерений .

Выражение для линейной оценки, отыскиваемой с помощью нейронной сети, может быть записано как

где входной вектор определяется как

^ I пх(д +1)-мерная матрица, включающая - п -мерный век-

тор смещений У/щ и их ^-мерную матрицу весовых коэффициентов

Определим теперь процедуру обучения НС «с учителем». В рассматриваемой задаче это означает, что имеется независимых между собой реализаций случайных векторов

сф.п.р.в. /(х0,Х;,У;).

В качестве критерия обучения на шаге выберем функцию:

где \¥,-_])- оценки,'на предыдущем шаге_ г -1, рассчитанные с

помощью обученной НС.

Опишем предлагаемую процедуру обучения. На каждом шаге /,приме-няя тот или иной алгоритм обучения, например, алгоритм обратного распространения ошибки, или его частный случай - алгоритм Уидроу-Хоффа, в результате обучения НС сформируем массив значений \У,-. Используя W)• и выражение (22), вычислим необходимый для последующего обучения набор оценок Ху^'^^у^^У/), т.е. набор оценок на I шаге, рассчитанных с помощью

обученной НС, для каждого измерения

Таким образом, структура и процедура обучения рекуррентного нейро-сетевого алгоритма фильтрации определены.

Основные результаты главы сформулированы и доказаны в виде двух теорем для линейного и расширенного ФК.

Теорема 3. Если считаются известнымиуравнения динамики и измерений в виде (12) и (13)

х,=Ф,хм + п,-; у,=Н,х, + у/1

без задания априорной информации о свойствах возмущений п,-, V,- и имеется п0 независимых между собой реализаций случайных векторов

{(х^у/ЛхР}, 7 = Ь£ сф.п.р.в. ДхоД/Д,-), то линейная рекуррентная нейронная сеть (22)

г1=Ьм..... ZqiY =

при выборе для ее обучения с учителем в качестве критерия обучения на шаге г функции (24)

"О j=\

я НГ

обеспечивает оптимальную текущую оценку х" , которая описывается рекуррентным соотношением

¿НС -НС

= ^М+К<<У = .....

(25)

«НС «НС -

где = Ф;^! (z/_i>W,-_i), и при увеличении числа используемых для обучения реализаций п0 будет стремиться к оптимальной оценке фильтра Кал-мана;

к/ =Р//МН/(Н/РШ-1Н? +R/)-1.

1 "о II , .4 , П 1|2 - ' "«

где

(26) (27)

о;=-1 Ыл |МЛ - н,хр))Г (28)

по у=1" 11 "о 1

- выборочные значения матриц ковариаций.

В принципе рекуррентный ФК можно трактовать как обученный «с учителем» в соответствии с описанной процедурой нейросетевой алгоритм.

Дано сопоставление характера и объема априорной информации, используемой при построении ФК и описанного выше нейросетевого алгоритма.

Аналогично случаю линейного ФК, сформулирована и доказана теорема и для расширенного ФК. Отличия состоят в том, что вместо линейных уравнений (12) и (13) используются нелинейные уравнения в виде

*;=ф/(*ы) + п/ У; =8/(1/) + V,-

(29)

(30)

и в уравнениях для матриц ковариаций ФК (16), (18) и НС (27), (28) и матриц усиления ФК (19) и НС (26) вместо Ф; и 8,- следует подставлять матрицы Яко-

би

Таким образом, рекуррентный расширенный ФК можно трактовать как обученный «с учителем» в соответствии с описанной процедурой нелинейный рекуррентный нейросетевой алгоритм.

Основные выводы по главе 3 следующие.

1. Применительно к задаче фильтрации случайных последовательностей показано, что алгоритмы, основанные на использовании линейной НС при ее соответствующем предварительном обучении, обеспечивают нахождение оценок, близких по своим свойствам к оценкам, отыскиваемым с использованием линейного и расширенного фильтра Калмана. Этот результат позволяет трактовать линейный и расширенный ФК как рекуррентные нейронные сети.

2. Основная отличительная особенность нейросетевого алгоритма заключается в том, что при его построении не требуется знания ф.п.р.в.

полностью определяющей статистические свойства оцениваемых последовательностей и ошибок их измерения. Вместо этого предполагается известным массив реализаций (23) -

В этой связи следует заметить, что в полученном нейросетевом алгоритме не требуется специально предварительной процедуры идентификации свойств оцениваемых последовательностей. Такая идентификация реализуется в процессе обучения НС. Показано, что, располагая информацией в виде набора (23) и используя описанную выше процедуру обучения, может быть получен ней-росетевой алгоритм, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок, без привлечения уравнений (12), (13). Входящие в них матрицы идентифицируются с использованием реализаций (23).

3. Рассматриваемый алгоритм при наличии необходимых для обучения данных с практической точки зрения может быть полезным как при решении стационарных, так и нестационарных задач. В случае применения нейросете-вого алгоритма, не требуется специальной предварительной процедуры идентификации свойств оцениваемых последовательностей. Если оцениваемые последовательности и ошибки их измерения отличны от гауссовских, то существенно, что нейросетевой алгоритм обеспечит нахождение оптимальных в сред-неквадратическом смысле оценок в классе линейных алгоритмов.

4. Заметим, что при решении задач прикладного характера весьма важным представляется вопрос - откуда могут быть взяты реализации (23), необходимые для построения алгоритма? Во-первых, эти данные могут быть накоплены в результате предварительных исследований разрабатываемых систем. Кроме того, эти реализации могут быть также получены путем моделирования

в условиях, когда имеется полная информация, как об уравнениях, так и о ф.п.р.в. Несмотря на некоторую парадоксальность предложения о моделировании реализаций в соответствии с известными уравнениями для получения алгоритма, на самом деле можно заметить, что такой подход уже давно используется при получении оптимальных в среднеквадратическом смысле оценок с помощью метода Монте-Карло.

5. Отмеченные особенности и ограничения практического применения описанного алгоритма, тем не менее, не снижают значимость полученных результатов, поскольку они создают основу для дальнейшего изучения возможностей использования нейронных сетей и исследования их преимуществ или недостатков по сравнению с традиционными алгоритмами для более интересных случаев, касающихся, в частности, построения нейросетевых алгоритмов, обучаемых в режиме РВ (режиме обучения «без учителя»), применения их для решения нелинейных задач и др.

В четвертой главе применительно к задаче оценивания, решаемой с применением метода Монте-Карло, исследуется связь традиционного оптимального в среднеквадратическом смысле алгоритма и алгоритма, основанного на использовании нейронных сетей. Задача оценивания с применением метода Монте-Карло сформулирована следующим образом.

Для двух случайных векторов 'х е 9?" И у 6 Я"1 заданы реализации {х(Л}, ] = 1л0 , соответствующие ф.п.р.в.. /(х), и ф.п.р.в. Ду/х^). Требуется, располагая набором данных , найти оценку х(у,{х^}), минимизирующую критерий вида:

У = м|х-х(у>{х^})| . (31)

Для метода Монте-Карло оптимальные оценки представим в виде

где 7(у/х^) определяется как /(у/х^') = /(у/х^)/ £ Ду/х^).

В достаточно общем виде задача «байесовского» оценивания при наличии обучающей выборки может быть сформулирована следующим образом.

Пусть априорная информация, задана в виде (7) и требуется, располагая таким набором данных и измерением у, найти с помощью функции приближения при использовании для стабилизации решения метод регуляризации для решения некорректно поставленных задач оценку

Х(У) = Р(У.&). (33)

минимизирующую согласно теории регуляризации критерий вида

\У) = /ДР,Й) + А/Г(Р,ЧУ)=Д £ ЛхО^^уО')^!!2 \у||2 ,(34)

2у=1!1 II 2 И Н

где - вектор или матрица, определяющая набор параметров, конкретизирующих функцию Р(у,\У) в выбранном классе; X— параметр регуляризации. В случае п -мерного выходного сигнала системы оценивания решение для задачи регуляризации примет вид:

где С(у;у^)~ функции Грина для дифференциального оператора Р*Р, V/--мерная матрица;

Разложение функции х(у) = Р(у,\У), заданное уравнением (35), с использованием функций Грина О](/) = €&',у^^) < центра^и^оддержива-

ется структурой регуляризованной НС с РБФ.

Сравнивая уравнение (32) для оценки, полученное с помощью алгоритма на основе метода Монте-Карло и уравнение для задачи регуляризации с помощью функций Грина (35), видим, что они идентичны по форме. Понятно, что решення для двух методов полностью совпадут, если в качестве функций Грина Су(-)г=С(у;у^), ^ = 1 ,п0 выбрать ф.п.р.в. /(у/х^), ав качестве вектора

весов ] - эталонные реализации х^К Так как разложение функции

заданное уравнением (35), с использованием функций Грина с

центрами поддерживается структурой НС с РБФ, то непосредственно следует вывод, что НС с РБФ обеспечивает точность фильтрации, которая сходится по точности к решению с минимальной дисперсией.

Проведено сопоставление характера и объема априорной информации, используемой при построении традиционного и нейросетевого алгоритмов.

При наличии реализаций для метода Монте-Карло проблема состоит в задании условных ф.п.р.в. /(у/х^), а для НС с РБФ - в выборе для скрытого слоя нелинейных активационных функций - РБФ.

Взаимно-однозначное соответствие между обучающими входными данными и функциями Грина приводит к регуляризован-ной НС, которая является предельно дорогой для компьютерной реализации для больших па. Для преодоления вычислительных трудностей сложность сети должна быть снижена. По этой причине ищется субоптимальное решение ^ (У,\У) в пространстве меньшей размерности. В работе рассмотрены версии пониженной сложности регуляризованной НС с РБФ.

В случае «-мерного выходного сигнала системы оценивания субоптимальное решение Р (у,\У) для задачи регуляризации примет вид:

где \У- пхпс -мерная матрица; = к = \.пс- новое множество

функций. Обычно число РБФ меньше числа обучающих примеров, пс<Н0 и представляет новое множество весов для: к-\лс. Для РБФ имеем

где множество центров должно быть определено.

Разложение функции заданное уравнением (36), с ис-

пользованием функций Грина С^(-) = С(у;с^) с центрами С^ поддерживается структурой обобщенной НС с РБФ. В работе рассмотрены три различных стратегии обучения при синтезе сетей РБФ для оценивания: случайный выбор фиксированных центров; самоорганизующийся и управляемый выбор центров.

Основными выводами по главе 4 являются следующие.

1. В главе рассмотрена «байесовская» постановка задачи оценивания, когда априорная информация об оцениваемом векторе х и используемых измерениях у задается в виде согласованного набора реализаций

и задача оценивания сводится к синтезу НС с РБФ. При этом возможно использование как регуляризованной НС РБФ, так и более экономичной с точки зрения вычислительных ресурсов обобщенной НС с РБФ.

2. Применительно к задаче оценивания, решаемой с применением метода Монте-Карло, исследована связь традиционного, оптимального в средне-квадратическом смысле алгоритма и алгоритма, основанного на использовании НС.

3. Показано, что НС с РБФ при соответствующем выборе критерия, используемого для ее предварительного обучения, и радиальных базисных функций, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью оптимального алгоритма на основе метода Монте-Карло. В отличие от алгоритма на основе метода Монте-Карло нейро-сетевой алгоритм не требует знания ф.п.р.в.

Тем самым показана возможность решения нелинейных задач оценивания с помощью нейронных сетей с радиальными базисными функциями.

4. Показано, что НС с РБФ по точности сходится к фильтру с минимальной дисперсией, что подтверждено на примере решения нелинейной задачи.

5. Существенно, что нейросетевой алгоритм обеспечит нахождение оптимальных в среднеквадратическом смысле оценок для нелинейных задач

оценивания, в случае, когда шумы измерения не являются аддитивными, а модель динамики не является марковской.

6. К достоинствам НС с РБФ можно отнести более высокое быстродействие по сравнению с алгоритмом на основе метода Монте-Карло в режиме штатной работы, так как в этом режиме осуществляется лишь опрос НС с РБФ при поступлении нового вектора измерений, в то время как для традиционного алгоритма требуется вычисление по формулам (32). Все трудоемкие вычислительные операции для НС осуществляются в предварительном режиме обучения (режиме off-line) до начала штатной работы в режиме реального времени.

В пятой главе применительно к задаче оценивания, решаемой в рамках МНК, исследуется связь традиционного алгоритма и алгоритма, основанного на использовании НС. Оценка неизвестного вектора х, соответствующая

МНК, отыскивается исходя из условия минимизации критерия вида

т

J(x) = (y-S(x))T(y-s(x))= -*/(х))2, (38)

/=1

характеризующего меру близости между измерениями у и вычисленными значениями функции s(x), т. е.

хмнк (у) = arg шю(у - s(x))T (у - s(x)). (39)

X

В обобщенном МНК используют функцию

y(x) = (y-s(x))TQ(y-s(x)), (40)

где Q - некоторая симметричная неотрицательно определенная матрица.

Для нахождения оценки, соответствующей МНК, требуется решить систему нелинейных уравнений вида:

(y-s(x))T^ = 0. (41)

дх

Когда уравнение измерения является линейным, т.е.

у = Hx + v, (42)

а матрица НТН полагается невырожденной, оценка, соответствующая МНК, будет определяться как

хмнк(у) = (нтн)"1нту = кмнку. ' (43)

Оценка с помощью НС может быть найдена в виде

xHC(y) = KHC(y,w), (44)

где KHC(y,w)- НС, на вход которой поступает вектор у; a w- d-мерный вектор, содержащий все веса и смещения НС. Этот вектор определяется на этапе штатной работы НС, причем критерий обучения имеет вид:

Г (w) = {y-s[xHC(y,w)]}T{y - s [xHC(y,w)]} = !>,■- 5,[iHC(y, W)]}2, (45)

j=1

Вычисляя производную a/(w)/dw от критерия (45), с учетом (44) имеем

а#НС(у,»)] 8[хНС(у,Щ

ахнс(у,л?)

Обучение НС в штатном режиме работы - РВ производится в соответст-

вии со следующим выражением:

а/

(47)

где V - коэффициент скорости обучения (норма обучения), 0 < V < 1.

Для линейной задачи (42) при использовании линейной НС вида (10)

¿НС(У,й) = *0+^Уу, (48)

найдена связь матрицы весов НС \У = |Уо | \У] с К™* выражения (43)"

+ ^у = (нтн]~' Нту = Кмику. (49)

Из уравнения (49), где в качестве искомых выступают и W, видно, что оно имеет бесконечное множество решений. Выражение (49) подтверждает тот факт, что НС (48) при соответствующем обучении с коррекцией ошибки прогноза измерения обеспечивает нахождение оценки, близкой к традиционной, полученной с помощью МНК. Таким образом, для линейных задач показано, что алгоритм МНК можно трактовать как линейную НС, обучаемую в соответствии с коррекцией ошибки между измерениями и их вычисленными значениями.

Сравнивая д ля нелинейных задач типа (3) критерии оптимизации (38) и (45), видим, что они по форме не отличаются. Следовательно, и оценки, получаемые для нейросетевого и традиционного алгоритмов должны быть с близкими свойствами. Отличия проявляются в алгоритмах нахождения оптимальных оценок. Для нахождения оценки, соответствующей МНК, необходимо решать систему нелинейных уравнений (41). Для нахождения оценки, соответствующей нейросетевому подходу, отыскивается матрица весов W и смещений WQ НС, минимизирующая критерий оптимизации (45). Заметим, что задачу МНК можно решать тем же методом, что и при отыскании весов, т.е.

,а/(х)

(у)-

ох

(50)

В этом случае мы получаем только оценку, а в случае (47) с НС уже и структуру и параметры обученного фильтра, который можно применять непосредственно в штатном режиме работы после поступления очередного вектора измерений, без дальнейшего обучения, например, при решении стационарных задач оценивания, имеющих установившийся режим. В МНК же всю процедуру получения оценки необходимо повторять.

Таким образом, отличия для нейросетевого и традиционного подходов проявляются в вычислительных алгоритмах. В такой ситуации можно говорить о возможных преимуществах или недостатках вычислительного характера, быстродействии, точности и удобстве применения алгоритмов на практике.

Основная отличительная особенность нейросетевого алгоритма заключается в том, что при его построении можно использовать всю имеющуюся априорную информацию, что учитывается путем обучения НС с учителем в предварительном режиме. При этом в одной НС посредством одного и того же набора весов объединены возможности обучения в предварительном режиме и режиме РВ.

Кроме указанных отличий, численная реализация МНК характеризуется более низкой скоростью сходимости по сравнению с его реализацией на основе НС. Это объясняется наличием для них эффективных алгоритмов обучения.

Основные выводы по главе 5 следующие.

1. В работе рассмотрена постановка задачи оценивания, отличительная особенность которой заключается в том, что априорная информация об оцениваемом векторе х может отсутствовать. Такая постановка в полной мере соответствует той, которая используется при решении задач с помощью НС, настраиваемых путем обучения в режиме РВ, что позволяет достаточно просто установить взаимосвязь нейросетевых и традиционных алгоритмов решения задач оценивания.

2. Нейронная сеть при ее соответствующем обучении с коррекцией ошибки между измерениями и их вычисленными значениями обеспечивает нахождение оценки, близкой к оценке, полученной с помощью традиционного МНК. Это позволяет, в принципе, трактовать МНК как нейронную сеть, обучаемую с использованием критерия с коррекцией ошибки прогноза измерения.

В частности, показано, что линейная НС при соответствующем выборе критерия, используемого для ее обучения в режиме РВ, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью МНК для линейной задачи. При этом для нейросетевого алгоритма в линейном алгоритме не потребуется непосредственное обращение матриц, а все необходимые весовые коэффициенты будут найдены в процессе обучения нейросете-вого алгоритма

3. Основная отличительная особенность нейросетевого алгоритма заключается в том, что при его построении можно использовать всю имеющуюся априорную информацию и наряду с обучением в режиме РВ есть возможность обучения НС с учителем и в предварительном режиме. Таким образом, в одной нейронной сети объединены возможности обучения в предварительном режиме и режиме реального времени.

С другой стороны, при наличии априорной информации НС можно обучить предварительно с учителем, а в процессе штатного функционирования ее веса можно адаптировать под изменяющиеся условия функционирования путем обучения по критерию с коррекцией ошибки между измерениями и их вычисленными значениями

В связи с этим представлена концепция построения структурных схем нейросетевого оценивания, учитывающая предварительный режим и режим обучения в реальном времени.

4. Нейросетевые алгоритмы оценивания обладают более высоким быстродействием по сравнению с традиционным алгоритмом на основе МНК по причине имеющихся эффективных алгоритмов обучения нейронных сетей.

5. Показано, что в ряде случаев могут оказаться весьма полезными линейные нейронные сети, которые обеспечивают получение оценок, свойства которых близки к свойствам оптимальных в классе нелинейных оценок, что подтверждено на примере решения нелинейной задачи оценивания.

В шестой главе применительно к задачам оценивания случайных последовательностей показано, что нечеткие и нейронечеткие системы при соответствующем выборе критерия, используемого для их предварительного обучения и обучения в режиме РВ, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью традиционных алгоритмов. При постановке и решении задачи оценивания на основе нечетких систем будем считать, что в качестве параметризованной функции используется СИЛ

где на вход которой поступает вектор - матрица

параметров СИЛ.

При этом проблема получения алгоритма оценивания, в рамках байесовской постановки сводится к процедуре нахождения параметров , отыскиваемых на этапе генерации, настройки СНЛ, в результате минимизации формируемого с использованием данных обучаемой выборки (7) У = 1.и0 критерия

Г^^ЕИ-Х^СУ^^)!2, (52)

"о у=1И 9

где *НЛ(%(Л ^-оценк^ вырабатываемая СНЛ по измерениям у^, соответствующим реализации х^.

нл

Для моделирования неизвестного отображения К (у,XV) используем алгоритм нечеткого вывода, применяя следующую форму записи предикатных правил (базы знаний)

А нп —**

Яу: если у есть А], то х ecmьЪj ; у' = 1-7> (53)

где у = (>"1,..., утУ- вектор измерений; Аj = Лд х...х нечеткие множества, заданные на декартовом произведении У универсальных множеств входных лингвистических переменных и имеющие функции принадлежности Ра^ (Л)• ] = 1Л> '= 1 -т' а Ву =Вд х...х - нечеткие множества, заданные

на декартовом произведении X универсальных множеств выходных лингвистических переменных и имеющие функции принадлежности

мв„ (*//л)>./ = ь?> ' = 1^-

Общий логический вывод для формирования оценки на выходе СНЛ осуществляется, как правило, за следующие четыре этапа: введение нечеткости (фаззификация), логический вывод, композиция, приведение к четкости (дефаззификация). При оценивании на практике используются алгоритмы нечеткого вывода Маш(3ат, ТвикашоЬ, 8щепо, Ьагееп и упрощенный.

Рассмотрена генерация нечеткой системы на основе алгоритма 8щепо с проведением кластеризации данных.

Показано, что при оценивании случайных векторов и последовательностей на основе СНЛ наиболее удобным, в том числе и из-за необходимости настройки параметров в режиме РВ, является их реализация на основе нечетких НС с выводом на основе аппарата нечеткой логики и подстройкой соответствующих функций принадлежности с использованием алгоритмов обучения НС. Это позволяет как в обычных НС использовать градиентный метод для подстройки параметров заданных предикатных правил (53).

Рассмотрена настройка нейронечеткой системы с учителем при использовании обучающей выборки» В этом случае, в предварительном режиме настройки, при обучении с учителем с использованием критерия (52) рекуррентные алгоритмы вычисления параметров могут быть записаны:

Здесь вместо матрицы рассматривается вектор параметров СНЛ

Рассмотрено использование нечеткой системы для рекуррентного оценивания и оценивания в режиме РВ.

Предложена основная концепция построения структурных схем систем оценивания на основе НС и СНЛ. Оценивание на основе НС и/или нечеткой системы базируется на хорошо известных аппроксимирующих свойствах НС и СНЛ. За основу взят алгоритмический подход для адаптивной фильтрации на основе НС и обобщен на случай применения для оценивания СНЛ и нечетких НС. Эти алгоритмы фильтрации основаны на двухшаговом способе прогноза и уточнения состояния, аналогичном расширенному фильтру ФК. При этом блоки прогноза состояния, прогноза измерения, фильтрации и адаптации реализуются в виде отдельных НС или/и отдельных СНЛ. Они названы синтезируемыми блоками (СБ). При разработке нелинейных фильтров (НФ), основанных на НС и СНЛ, возможны следующие два варианта предположений относительно математической модели процесса динамики и измерения.

Нелинейный фильтр смоделью прогноза.

Шаг 1 - предшествующий наблюдению в момент i шаг прогноза:

(54)

*,7М=ф(*м/ы);

(55)

(56)

У///-1 = ®(*//м).

где Х///-1, упрогнозы состояния и измерения с использованием детер-

«ск

минированной модели Ф(-), в(-); *,•_!/,•_]-оценка состояния на выходе СБ.

Шаг 2 - шаг обновления по следующему измерению в момент г:

(57)

где У,— вектор, содержащий текущее и прошлые измерения; Е,— вектор, содержащий настоящую и прошлые невязки измерений:

Хг =[У?>УМ.....У^Г: Щ=[£1,£1ъ~,£1Р]\ Е,-=У,--У,-/М. (58)

,СБ/

В этих выражениях ?С (0 - нелинейная функция, эквивалентная в функциональном смысле матрице усиления

К (•) в расширенном ФК; число

прошлых измерений и невязок измерений синтезируемого блока соответственно. Уравнения (55)—(57) представляют уравнения НФ состояния с известной

моделью прогноза. В данном НФ синтезируется только один СБ Пре-

образование, выполняемое этой функцией, является статическим.

Нелинейный фильтр без модели прогноза. Предполагается, что модель системы неизвестна и нелинейный фильтр для оценки имеет описание. Шаг 1 - предшествующий наблюдению в момент / шаг прогноза: йСБ

*г//-1= фСБ»); •

«СБ _еСБ/йСБ ЛСБ ч

У//г—1 ~в >>!' /-1//-2

(59)

(60)

рр рГ л рГ

где и у|-/;_1 - прогцоз состояния и измерения и - вектор, со-

держащий текущее и прошлые отклики СБ прогноза.

Шаг 2 - шаг обновления по следующему измерению в момент I:

(61)

где векторы определены подобно случаю фильтрации с моделью про-

гноза. В этом случае синтезируются три системы

Приводятся структурные схемы систем оценивания для двух вариантов.

Основные выводы по главе 6 следующие.

1. Применительно к задачам оценивания случайных последовательностей показано, что СИЛ и нейронечеткие системы при соответствующем выборе критерия, используемого для их предварительного обучения и обучения в режиме РВ, обеспечивают получение оценок, близких по своим свойствам к оценкам, получаемым с помощью традиционных алгоритмов.

СИЛ целесообразно применять:

• для сложных процессов, когда нет простой модели процесса и измерений, или она неизвестна;

• для процессов, когда функциональная зависимость между измерениями и оцениваемыми параметрами имеет сложный характер или получается экспериментально.

Однако наряду с этим следует отметить, что основным недостатком СНЛ является то, что вид и параметры функций принадлежности, описывающих входные и выходные переменные системы, выбираются субъективно и могут оказаться не вполне отражающими реальную действительность.

2. Показано, что при наличии уравнений динамики и измерений, входящие в них матрицы динамики и измерений, а также порождающие шумы и шумы измерения могут быть идентифицированы с помощью нечетких систем.

3. Показано, что нечеткие системы могут быть применены для рекуррентного оценивания и оценивания в режиме РВ, аналогично тому, как это осуществляется с использованием нейронных сетей.

4. Рассмотрена концепция построения адаптивных систем оценивания на основе нейронных сетей, нечетких систем и нейронечетких систем. Предложены неадаптивные и адаптивные алгоритмы фильтрации состояния с обучением в режимах: предварительном и реального времени.

При использовании структурных схем предложенного метода оценивания не обязательно предположение аддитивного характера порождающих шумов и шумов измерения, а также предположения о наличии марковского свойства у случайных процессов и измерения.

Предлагаемый метод решения на основе НС и СНЛ подобен расширенному ФК, однако имеется три значительных отличия:

• нелинейные функции Ф0 И $(•) в уравнениях состояния и измерений допускаются неизвестными и они либо заменяются известной априорной моделью в неадаптивном фильтре, либо идентифицируются по измерениям входа/выхода системы в адаптивном фильтре;

• функциональная форма уравнения обновления для фильтра со-

,СБ

стояния позволяет быть нелинейной, скажем в виде нелинейной функции и она также синтезируется по измерениям вход/выход;

• статистические характеристики шумов допускаются неизвестными и в них нет необходимости при вычислениях фильтра.

5. Иллюстрирующие примеры показали, что точность фильтрации с помощью СНЛ для линейной задачи оценивания скалярного экспоненциально-коррелированного процесса и нелинейной задачи слежения за маневрирующим объектом близка к потенциальной точности. Быстродействие СНЛ значительно выше байесовских НФ.

В седьмой главе рассмотрены приложения байесовского, нейросетевого и нечеткого подходов для оценивания координат и параметров движущихся объектов и для оценивания состояния электромеханических преобразователей.

В достаточно общем виде задача адаптивной нелинейной фильтрации случайных последовательностей для случая параметрической неопределенности сформулирована следующим образом.

Необходимо оценить «-мерную случайную последовательность задаваемую с помощью разностных уравнений вида

по проводимым в каждый 1-й момент времени т -мерным измерениям у,-

при недостатке априорных сведений о сопровождающих параметрах 0,-. Характеристики шума канала измерения V,- и порождающего шума П/ для байесовского подхода полагаются известными.

Получены формулы адаптивной нелинейной дискретной фильтрации для прогнозируемой и отфильтрованной апостериорной плотности вероятности для расширенного вектора состояния в виде

/(х,,ег /ум)= "]№ -ФД^Мх/.^е,-.! / у,_,)&ылм. (64)

Вводится вектор параметров в,-, принадлежащий множеству П, в котором этот вектор может занимать одно из N состояний.

Общий алгоритм вычисления вектора оценок этого состояния имеет вид: N . . . N . . .

= 1*/(е/Жв//^);р/ = £?(е/ ^¿){р/ +[хде/)-х,][*,(е;)-х,]т},(бб) У=1 У=1

где вероятность того, что векторзанимает состояние в мо-

мент времени

Оценка и условная матрица ковариаций для метода сеток, при котором аппроксимация непрерывной апостериорной плотности основана на ее

представлении с помощью набора дельта-функций, имеют вид:

где - узлы сетки, - веса для апостериорной ф.п.р.в.

Проведен синтез оптимальных и адаптивных нелинейных фильтров для оценки параметров движения объектов на основе байесовского подхода. Модели движения объекта и измерений являются в общем случае нелинейными и заданы в сферической или в декартовой системах координат. Закон изменения полярных координат может иметь явно нелинейный характер. В декартовой системе координат в качестве модели траектории объекта выбрано полиноминальное представление независимых координат цели. При этом модель невозмущенной траектории цели по каждой из независимых координат

* /У

задается в виде полиномиальной функции

;=0

степень ,5 которой определяется принятой гипотезой движения цели. В этом

выражении коэффициенты полинома имеют смысл координаты, скорости ее изменения, ускорения и так далее. Совокупность параметров записанная в виде столбца, образует ^ +1) -мерный вектор параметров траектории по одной из координат

Для одной физической размерности уравнения движения цели для пространственной координаты Я представим в следующем виде:

где время начала и конца маневра соответственно;

проекции скорости и ускорения объекта соответственно. С помощью выражений вида (68) может быть получен достаточно широкий набор траекторий, представляющих собой чередование участков равномерного прямолинейного движения (РПД) и участков маневра. Особенность движения объекта передается в модели (68) видом функций В качестве рассматриваются детерминированные вектор-функции, на которые могут накладываться случайные составляющие с определенными статистическими свойствами. Используются представления в виде белого шума, диффузионного процесса первого порядка, случайных констант, скачкообразного случайного процесса и полумарковского процесса. Рассмотрен класс моделей движения:

• Модель неподвижной в среднем цели со случайной скоростью.

• Равномерное прямолинейное движение со случайным ускорением.

• Модель Зингера для маневрирующей цели.

• Модель с представлением неопределенного ускорения для маневрирующей цели в виде полумарковского процесса.

В общем случае модели измерений являются нелинейными. Вектор дискретных измерений в момент времени имеет вид:

где х~п -мерный вектор состояния; V;-последовательность независимых т -мерных случайных векторов шумов измерения с ф.п.р.в. в об-

щем случае нелинейная относительно своих аргументов т -вектор-функция.

Вектор измерения может включать для дальномерно-пеленгационного и пеленгационного методов наклонную или горизонтальную дальность, угол места азимут(ы) пару направляющих косинусов изме-

ренные в моменты времени со случайными ошибками Рассмотрены модели измерений для трех РЛС. Трехкоординатная РЛС. Осуществляет измерение дальности г,, азимута Щ и угла места Д-:

Трехкоординатная РЛС с фазированной антенной решеткой. Осуществляет измерение дальности ту и двух направляющих косинусов их., и у.:

РЛС, перемещающаяся по заданной траектории. РЛС перемещается по траектории с известными координатами и осуществляет измерение

пеленга у{ = а;; V,- = Да,-.

Для указанных моделей движения и измерения проведен синтез нелинейных фильтров на основе байесовского подхода. Для синтеза используются рекуррентные соотношения для ф.п.р.в. расширенного вектора состояния, включающего в себя вектор состояния динамической системы и вектор сопровождающих параметров, который учитывает априорную неопределенность модели. Используется три представленных варианта нелинейной модели измерений. Синтезируются НФ для описанных выше четырех моделей движения. Когда корреляционная матрица возмущений является особенной, удается понизить порядок кратных интегралов для НФ. Так для модели движения в пространстве, имеющей шестимерный вектор состояния, фильтр удается упростить, свести вычисления от шести- к трехкратному интегрированию. При численной реализации таких фильтров возникают трудности, связанные с необходимостью дополнительной интерполяции между узлами сетки ф.п.р.в., которая используется для следующей итерации. Они вызваны тем, что плотность должна пересчитываться для новых аргументов, отличных от тех, которые были использованы при построении дискретной сетки на предыдущей итерации. Для этого применяется интерполяция ф.п.р.в. с помощью НС, нечетких систем и нейронечетких систем.

Дано численное решение задачи оптимальной нелинейной дискретной фильтрации параметров движущихся объектов на основе байесовского подхода, нейросетевых технологий и СНЛ. Используются нелинейные модели измерений дальности и азимута. Для задачи слежения за координатами и параметрами движущихся объектов синтезируются нелинейные байесовские фильтры, нейросетевые фильтры и фильтры на основе нечеткой логики для трех моделей движения объектов: в среднем неподвижной цели со случайной скоростью, равномерного прямолинейного движения со случайным ускорением, маневрирующей цели. Приводится сравнение точности фильтров: нелинейных байесовских, Калмана, нейросетевых и на основе СНЛ.

Рассмотрено применение алгоритмов оценивания на основе нелинейных байесовских фильтров, нейронных и на основе нечетких систем при построении электромеханических преобразователей для оценивания их состояния:

- электронагревателе со звеном автоматического управления;

- электромеханическом преобразователе;

- тепловых жалюзи;

- управляемом электронагревателе;

- управляемом центробежном электромеханическом преобразователе.

Основные выводы по главе 7 следующие.

1. Дано решение задачи адаптивной и оптимальной нелинейной фильтрации случайных последовательностей для случая параметрической неопределенности. На основе байесовской методологии получены формулы для рекуррентного вычисления условной апостериорной ф.п.р.в. расширенного вектора состояния, включающего в себя вектор состояния динамической системы и вектор сопровождающих параметров, который учитывает неопределенность в задании статистических, характеристик динамического процесса и реальных возмущений, неточность задания параметров математической модели.

Представлен алгоритм вычисления апостериорных плотностей и вектора оценок состояния для одной из наиболее интересных и достаточно реальных гипотез, когда вектор параметров принадлежит множеству П, в котором этот вектор может занимать одно из N фиксированных состояний.

2. Для вычисления оценки и условной матрицы ковариаций используется численной метод решения - метод сеток. Рассмотрены технологические аспекты разработки параллельных вычислительных программ для решения задач нелинейной фильтрации. Дан анализ решения задачи на основе метода сеток, проведено выявление потенциального параллелизма, определение схемы вычислений, и выбор модели программы. Алгоритмы оптимальной и адаптивной байесовской нелинейной фильтрации обладают значительным объемом потенциального параллелизма и хорошей, с точки зрения распараллеливания, структурой. С внедрением на практике суперЭВМ, параллельных и конвейерных вычислений, становится возможным реализация алгоритмов оптимальной нелинейной фильтрации в режиме РВ.

3. Дано решение задачи оптимальной и адаптивной нелинейной дискретной фильтрации параметров движущихся объектов на основе байесовского подхода, нейросетевых технологий и систем нечеткой логики.

Используются нелинейные модели измерений для: 1) РЛС, измеряющей дальность, азимут и угол места, 2) для РЛС, измеряющей дальность и два направляющих косинуса, 3) РЛС, перемещающейся по заданной траектории и осуществляющей измерение пеленга. Синтезируются байесовские нелинейные фильтры для нескольких моделей движения: модели в среднем неподвижной цели со случайной скоростью, РПД со случайным ускорением, модели Зингера для маневрирующей цели, модели с представлением неопределенного ускорения для маневрирующей цели в виде полумарковского процесса. Рассмотрены возможности понижения порядка кратных интегралов для синтезированных фильтров.

Получено численное решение нелинейной задачи слежения за координатами и параметрами движущихся объектов с помощью нелинейных байесовских фильтров, фильтра Калмана, нейросетевых и нечетких фильтров для трех моделей движения объектов: в среднем неподвижной цели со случайной скоростью, РПД со случайным ускорением, маневрирующей цели.

4. Нейросетевой подход и подход с использованием СНЛ, а также их комбинированное использование позволяют решать задачи нелинейной и линейной фильтрации марковских последовательностей для оценки координат и параметров движения объектов с точностью, сравнимой для байесовского подхода. В модели движения и измерений могут быть учтены различные нелинейности. Быстродействие НС и СНЛ значительно выше, чем для НФ.

5. Рассмотрено применение алгоритмов оценивания на основе нелинейных байесовских фильтров, нейронных и на основе нечетких систем при построении электромеханических преобразователей. Практическое применение оптимальных фильтров, НС и СНЛ предложено в электронагревателе со звеном автоматического управления; электромеханическом преобразователе; тепловых жалюзи; управляемом электронагревателе; управляемом центробежном электромеханическом преобразователе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

В диссертации разработаны теоретические положения и научно обоснованные технические решения, обеспечивающие эффективность и повышение качества оценивания состояния стохастических систем за счет применения нейросетевых и нечетких методов.

1. Проведен системный анализ отечественных и зарубежных работ, на основе которого создана и представлена с использованием предложенных в работе признаков классификация применений нейронных и нечетких систем для оценивания, позволившая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса.

2. Разработаны следующие теоретические положения для оценивания на основе нейронных, нечетких и нейронечетких систем, устанавливающие взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем, позволившие выявить преимущества и дополнительные возможности синтезируемых систем оценивания.

- в развитие теории байесовского оценивания доказана теорема, позволяющая трактовать традиционный оптимальный байесовский алгоритм оценивания как нейронную сеть, обученную с учителем по набору согласованных реализаций процесса и измерений;

- в развитие теории рекуррентного оценивания доказаны теоремы, позволяющие трактовать линейный и расширенный фильтры Калмана как рекуррентные нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений;

- в развитие теории нелинейного оценивания получен результат, позволяющий трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями, обученную с учителем по набору согласованных реализаций процесса и измерений;

- в дополнение к сложившимся теоретическим представлениям получен результат, позволяющий трактовать

основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени по поступающим измерениям;

- показано, что с использованием нечетких систем может быть получен алгоритм оценивания, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок на основе традиционных алгоритмов;

3. В развитие теории оценивания и идентификации доказано, что в рамках байесовской постановки задачи оценивания с использованием методов нейросетевого и нечеткого анализа и синтеза может быть получен алгоритм, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок без привлечения уравнений динамики и измерения путем идентификации входящих в них матриц.

4. Предложена концепция построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям.

5. Дано новое решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем.

6. Предложен класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов.

7. Разработаны алгоритмы и комплекс программ для оценивания динамических процессов и последовательностей на основе традиционных, нейросе-тевых и нечетких методов, в том числе и защищенных 4 свидетельствами об официальной регистрации программы для ЭВМ.

8. Предложены алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием оптимальных фильтров, нейронных сетей и нечетких систем. Получены технические решения применения оптимальных фильтров, нейросетевых и нечетких систем для оценки состояния электромеханических преобразователей, защищенных 2 свидетельствами и 3 патентами на полезные модели.

9. Разработанные теоретические положения, устанавливающие связь между традиционными методами оценивания и фильтрации и нейросетевыми и нечеткими методами, позволяют существенно сократить объем экспериментальных исследований или полностью их исключить, что дает возможность значительно снизить затраты материальных ресурсов, денежных средств и времени на отработку систем оценивания и фильтрации.

Кроме этого, указанные теоретические результаты являются определенным вкладом в общую теорию таких наук, как теория оценивания и искусственный интеллект в части теории нейронных сетей и нечетких систем.

Практическая значимость полученных в диссертации результатов подтверждается их внедрением (использованием):

1) в научный процесс Института автоматики и процессов управления ДВО РАН, г. Владивосток при выполнении НИР «Теоретическое и экспериментальное исследование многопозиционных систем управления движением на море»;

2) в разработках ГНЦ РФ ЦНИИ «Электроприбор», г. Санкт-Петербург в НИР «Анализ возможностей использования нейронных сетей при решении задач обработки навигационной информации», выполняемой в рамках «Федеральной целевой научно-технической программы «Исследование и разработки по приоритетным направлениям развития науки и техники» на 2002-2006 гг.»;

3) в проектно-конструкторской деятельности Комсомольского-на-Амуре филиала ОАО ОКБ «Сухой»;

4) в учебный процесс ГОУВПО «КнАГТУ» для специальностей 071900 «Информационные системы» и 351400 «Прикладная информатика».

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Амосов О.С. Фильтрация марковских последовательностей на основе байесовского, нейросетевого подходов и систем нечеткой логики при обработке навигационной информации // Известия РАН. Теория и системы управления. - 2004. - Т. 43. - № 4. - С. 61-69.

2. Амосов О.С. Адаптивная нелинейная фильтрация случайных последовательностей на основе нейронных сетей и нечеткой логики // Приборы и системы. Управление, контроль, диагностика. - 2004. - № 5. - С. 48-53.

3. Амосов О.С, Девятисильный А.С. Сравнение точности нейросетевых фильтров и фильтров Калмана для оценки параметров движущихся объектов // Приборы и системы. Управление, контроль, диагностика. - 2003. - № 9. -С. 32-36.

4. Амосов О.С. Системы нечеткой логики для фильтрации марковских последовательностей// Информационные технологии. - 2004. - № 11. - С. 1624.

5. Степанов О.А., Амосов О.С. Байесовское оценивание с использованием нейронной сети // Авиакосмическое приборостроение. - 2004. - № 6. -С.46-55.

6. Степанов О.А., Амосов О.С. Оптимальная линейная фильтрация с использованием нейронной сети // Гироскопия и навигация. - 2004. - № 3 (46). -С. 14-29.

7. Амосов О.С. Синтез и исследование точности нелинейных и нейросе-тевых фильтров для оценки параметров движения объектов // Гироскопия и навигация. - 2003. - № 3 (42). - С. 84; X СПб междун. конф. по интегрированным навигационным системам: Сб. научн. тр. - СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 2003. - С. 95-97.

8. Амосов О.С. Численная реализация адаптивного алгоритма нелинейной фильтрации параметров траектории маневрирующей цели // Гироскопия и навигация. - 2002. — № 2 (37). - С. 75-76; IX СПб междун. конф. по интегри-

рованным навигационным системам: Сб. научн. тр. - СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 2002. - С. 130-131.

9. Амосов О.С. Алгоритмы обработки информации в системах управления движением на основе методов адаптивной нелинейной фильтрации, технологий искусственных нейронных сетей, нечеткой логики и баз знаний // Дальневосточный математический журнал. - 2003. - Т. 4. - № 1. - С. 52-70.

10. Степанов О.А., Амосов О.С. Нерекуррентное линейное оценивание с использованием нейронной сети // Матер. III всеросс. конф. «Математика, информатика, управление», 29 июня -1 июля 2004, Иркутск, 2004. - С. 1-12.

11. Амосов О.С. Нелинейная фильтрация случайных последовательностей на основе байесовского, нейросетевого подходов и нечеткой логики // Идентификация систем и задачи управления: Тр. III междун. конф. «SICPRO'04», Москва, 28-30 января 2004. - М.: Ин-т проблем управления РАН, 2004.-С. 522-540.

12. Амосов О.С. Повышение точностных характеристик и эффективности систем управления движением на основе методов адаптивной нелинейной фильтрации и искусственного интеллекта // Идентификация систем и задачи управления: Тр. II междун. конф. «SICPRO'03», Москва, 29-31 января 2003. -М.: Ин-т проблем управления РАН, 2003. - С. 2169-2182.

13. Амосов О.С. Применение нейронных сетей и нечеткой логики для фильтрации марковских последовательностей // Межд. конф. по мягким вычислениям и измерениям «SCM'2003». Сб. докл. Т. 1. - СПб.: Изд-во СПбГЭ-ТУ «ЛЭТИ», 2003. - С. 348-351.

14. Амосов О.С. Адаптивное оценивание случайных последовательностей на основе нейронных сетей и нечеткой логики // Системы управления и информационные технологии: Междун. сб. научн. тр. Вып. 11. - Воронеж: Научная книга, 2003. - С. 54-61.

15. Амосов О.С. Методы адаптивной нелинейной фильтрации, нейроин-теллекта, нечеткой логики и баз знаний в системах управления движением объектов // Системы управления и информационные технологии: Межвуз. сб. научн. тр. Вып. 9. - Воронеж: Центрально-Черноземное книжное изд-во, 2002.-С. 42-49.

16. Амосов О.С. Байесовский подход к построению алгоритмов адаптивной дискретной нелинейной фильтрации при воздействии на объект случайного полумарковского процесса // Математика и информатика: наука и образование: Межвуз. сб. научн. тр. Ежегодник. Вып. 1. - Омск: Изд-во ОмГПУ, 2001.-С. 52-56.

17. Амосов О.С. Оценивание случайных последовательностей на основе нейронных сетей и нечеткой логики // Роль науки, новой техники и технологий в экономическом развитии регионов: Матер. Дальневосточного инновационного форума с междун. участием, 23-26 сентября 2003 г. - Хабаровск: Изд-во Хабаровского Дальневосточного техн. ун-та, 2003. - Ч. 2. - С. 18-23.

18. Амосов О.С. Исследование алгоритмов нелинейной фильтрации марковских последовательностей на основе байесовского и нейросетевого подхо-

дов при обработке навигационной информации // Нелинейная динамика и прикладная синергетика: Матер, междун. научн. конф. 21-27 сентября 2002 г. -Комсомольск-на-Амуре: Изд-во Комсом. н/А гос. техн. ун-та, 2003. - С. 83-96.

19. Амосов О.С. Интеллектуальные информационные системы. Нейронные сети и нечеткие системы: Уч. пособие. - Комсомольск-на-Амуре: ГОУВПО «Комсом. н/А гос. техн. ун-т», 2004. - 104 с.

20. Амосов О.С. Математическое и алгоритмическое обеспечение вторичной обработки информации в системе УВД // Методы распознавания изменений в случайных процессах и полях: Тез. докл. междун. конф. ChanDe'92. -Киев, 1992.-С. 38-39.

21. Пат. РФ № 33478 на полезную модель, МПК 7 Н 05 В 3/02, F 24 Н 3/00. Тепловые жалюзи / Ю.Г. Кабалдин, A.M. Шпилев, О.С. Амосов, С.Н. Иванов (РФ). - № 2003115261/20; Заявлено 23.05.03; Зарегистр. 20.10.03, Бюл. № 29. - 1 с.

22. Пат. РФ № 33479 на полезную модель, МПК 7 Н 05 В 6/10, F 25 В 29/00. Управляемый электронагреватель / Ю.Г. Кабалдин, A.M. Шпилев, О.С. Амосов, С.Н. Иванов (РФ). - № 2003115260/20; Заявлено 23.05.03; Заре-гистр. 20.10.03, Бюл. № 29. - 1 с.

23. Пат. РФ № 37899 на полезную модель, МПК 7 Н 05В 6/10, F 24H 3/04. Управляемый центробежный электромеханический преобразователь / Ю.Г. Кабалдин, A.M. Шпилев, О.С. Амосов, С.Н. Иванов (РФ).-№003133467/20, Заявлено 26.12.03; Зарегистр. 10.05.04, Бюл. № 13 (III ч.). -С.662.

24. Свид-во РФ № 27755 на полезную модель, МПК 7 Н 02 К 5/00,19/36. Электромеханический преобразователь / А.М. Шпилев, О.С. Амосов, С.Н. Иванов, СБ. Горбунов (РФ). - № 2002120733/20; Заявлено 01.08.02; Опубл. 10.02.03, Бюл. № 4 (III ч.). - С. 648.

25. Свид-во РФ № 27771 на полезную модель, МПК 7 Н 05 В 6/10. Электронагреватель со звеном автоматического управления / Ю.Г. Кабалдин, A.M. Шпилев, О.С. Амосов, С.Н. Иванов (РФ). - № 2002120734/20; Заявлено 01.08.02; Опубл. 10.02.03, Бюл. № 4 (III ч.). - С. 656.

26. Stepanov OA., Amosov O.S. Nonrecurrent linear estimation and neural networks // Proceedings of IF AC Workshop on Adaptation and Learning in Control and Signal Processing (ALCOSP) and IF AC Workshop on Periodic Control Systems (PSYCO), Yokohama, Japan, August 30 - September 1,2004. - P. 213-218.

27. Amosov O.S. Neurocomputer processing in the decision of tasks of nonlinear filtering of parameters of movement of objects // Proceedings of the 5-th International Conference «Digital Signal Processing and its Applications». - M.: Publishing firm ofedition ofthe magazine «Radio engineering», 2003.- P. 590-591.

АМОСОВ Олег Семенович Нейросетевые и нечеткие методы оценивания стохастических систем

Автореферат

ЛР№ 020825 от 21.09.93. Подписано в печать 23.11 04. Формат 60x84/16. Бумага писчая. Печать офсетная. Усл. печ. л. 2,06. Уч -изд. л. 1,65. Тираж 100 экз Заказ 18410.

Отпечатано в полиграфической лаборатории ГОУВПО «Комсомольский-на-Амуре государственный технический университет» 681013, г. Комсомольск-на-Амуре, пр. Ленина, 27

»2 68 H

ОСНОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ.

ВВЕДЕНИЕ.

1. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРОБЛЕМЫ ОПТИМАЛЬНОГО ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ.

1.1. Традиционные методы стохастического оценивания.

1.2. Постановка и решение задачи оценивания на основе байесовского подхода.

1.3. Постановка и решение задачи оценивания на основе небайесовского подхода.

1.4. Постановка и решение задачи оценивания на основе метода наименьших квадратов.

1.5. Постановка и решение задачи фильтрации марковских последовательностей.

1.6. Основные проблемы и недостатки традиционных методов оценивания.

1.7. Аналитический обзор и классификация работ по использованию нейронных сетей и нечетких систем для оценивания.

1.8. Обсуждение современного состояния проблемы оптимального оценивания на основе нейронных сетей и нечетких систем.

1.9. Выводы и постановка задач исследования.

2. БАЙЕСОВСКОЕ ОЦЕНИВАНИЕ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ.

2.1. Постановка и решение традиционной задачи байесовского оценивания.

2.2. Постановка задачи «байесовского» оценивания при наличии обучающей выборки.

2.3. Решение задачи оценивания с использованием линейной нейронной сети.

2.4. Постановка и решение задачи оценивания с идентификацией матрицы и шумов измерения.

2.5. Примеры решения задач оценивания.

2.6. Выводы.

3. ОПТИМАЛЬНАЯ РЕКУРРЕНТНАЯ ФИЛЬТРАЦИЯ С V. ИСПОЛЬЗОВАНИЕМ НЕЙРОННОЙ СЕТИ.

3.1. Традиционный рекуррентный алгоритм фильтрации.

3.2. Нейросетевой рекуррентный алгоритм фильтрации.

3.3. Доказательство эквивалентности ФК и «обученного с учителем» нейросетевого алгоритма.

3.4. Сопоставление нейросетевого алгоритма и фильтра Калмана

3.5. Пример оценивания марковского процесса второго порядка.

3.6. Традиционный рекуррентный алгоритм нелинейной фильтрации - расширенный фильтр Калмана.

3.7. Нейросетевой рекуррентный алгоритм нелинейной фильтрации.

3.8. Доказательство эквивалентности расширенного ФК и «обученного с учителем» нейросетевого алгоритма.

3.9. Выводы.

4. ОЦЕНИВАНИЕ С ПОМОЩЬЮ МЕТОДА МОНТЕ-КАРЛО И НЕЙРОННОЙ СЕТИ С РАДИАЛЬНЫМИ БАЗИСНЫМИ

ФУНКЦИЯМИ.

4.1. Постановка и решение традиционной задачи оценивания с помощью метода Монте-Карло.

4.2. Постановка и решение задачи оценивания при наличии обучающей выборки.

4.3. Сопоставление нейросетевого алгоритма и алгоритма на основе метода Монте-Карло.

4.4. Обобщенные нейронные сети с РБФ.

4.5. Обучение нейронной сети с РБФ.

4.6. Иллюстрирующие примеры.

4.7. Выводы.

5. ОЦЕНИВАНИЕ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ ПРИ ЕЕ ОБУЧЕНИИ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ.

5.1. Постановка и решение традиционной задачи оценивания на основе метода наименьших квадратов.

5.2. Постановка задачи «нейросетевого» оценивания при отсутствии обучающей выборки.

5.3. Решение задачи оценивания с использованием линейной нейронной сети.

5.4. Примеры решения задач оценивания.

5.5. Сопоставление нейросетевого алгоритма и алгоритма на основе метода наименьших квадратов.

5.6. Выводы.

6. ОЦЕНИВАНИЕ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ НА ОСНОВЕ СИСТЕМ НЕЧЕТКОЙ ЛОГИКИ И НЕЙРОНЕЧЕТКИХ

1 СЕТЕЙ.

6.1. Решение задачи байесовского оценивания при наличии обучающей выборки с использованием нечеткой системы.

6.2. Генерация нечеткой системы на основе алгоритма 81щепо с проведением кластеризации данных.

6.3. Настройка нейронечеткой системы с учителем при использовании обучающей выборки.

6.4. Использование нечеткой системы для рекуррентного оценивания и оценивания в режиме реального времени.

6.5. Примеры оценивания случайных последовательностей с использованием нечетких систем на основе алгоритма 81щепо.

6.6. Основная концепция построения структурных схем систем оценивания на основе нейронных сетей и нечетких систем.

6.7. Выводы.

7. ПРИМЕНЕНИЕ БАЙЕСОВСКОГО, НЕЙРОСЕТЕВОГО ПОДХОДОВ И СИСТЕМ НЕЧЕТКОЙ ЛОГИКИ ДЛЯ ОЦЕНИВАНИЯ МАРКОВСКИХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ.

7.1. Постановка и решение задачи адаптивной нелинейной фильтрации случайных последовательностей для параметрической неопределенности.

7.2. Синтез оптимальных и адаптивных нелинейных фильтров для оценки параметров движения объектов на основе байесовского подхода.

7.3. Фильтрация марковских последовательностей на основе байесовского, нейросетевого подходов и систем нечеткой логики при оценке параметров движущихся объектов.

7.4. Синтез оптимальных фильтров для систем управления электромеханических преобразователей.

7.5. Выводы.

В диссертационной работе поставлена актуальная научная задача, состоящая в теоретическом сопоставлении традиционных методов оценивания с методами на основе нейронных сетей, нечеткой логики, нейронечетких систем, выявления преимуществ и недостатков последних и синтеза на их основе адаптивных систем оценивания.

Методы оценивания, область использования, актуальность проблемы. Методы теории оптимального оценивания и фильтрации широко используются при оценивании состояния стохастических систем, случайных процессов и последовательностей [1, 7, 21, 23, 24, 36, 38,54,73-78,80-83, 88-90, 93, 94, 102, 182, 193-195, 211]. Среди традиционных методов оценивания и фильтрации особо выделяется байесовский подход, который лежит в основе теории фильтрации. Достоинством байесовского подхода является то, что он обеспечивает решение задачи оценивания при: 1) нелинейности уравнений динамики и/или измерений; 2) наличии неточно известных параметров в этих уравнениях; 3) негауссовском характере функции плотности распределения вероятности (ф.п.р.в.) для ошибок измерений или начального вектора состояния.

При решении задачи оценивания в рамках классического (небайесовского) подхода широкое распространение получила процедура, основанная на максимизации функции правдоподобия.

В случае, когда не привлекается какая-либо априорная статистическая информация, задача оценивания решается с помощью метода наименьших квадратов (МНК).

Повышение точности оценивания в режиме реального времени состояний и параметров динамических систем по зашумленным измерениям выходных переменных по-прежнему во многих инженерных приложениях представляет актуальную проблему оценки состояния, которая включает в себя решение задач сглаживания, фильтрации и прогноза. Среди таких приложений можно назвать управление состоянием системы, прогноз случайных последовательностей, слежение за подвижными объектами. В полной мере это относится и к навигационным системам, основное назначение которых заключается в определении местоположения объекта в пространстве, его ориентации и характера передвижения [17,23, 24, 26, 31, 33,46, 47, 51, 53, 55, 57, 58, 66, 73, 77, 81, 90, 97, 103, 184].

Современное состояние проблемы оценивания на основе традиционных методов. В рамках байесовского подхода наибольшее применение на практике нашли быстродействующие алгоритмы калмановского типа, которые опираются на хорошо разработанную теорию линейной фильтрации марковских последовательностей и процессов [24, 54, 81,74-76,78,193-196]. Простота получаемых здесь оптимальных алгоритмов, в частности, линейная зависимость вычисляемых оценок вектора состояния от измерений, является следствием гауссовского характера апостериорной (условной к измерениям) плотности вероятности (АПВ) для этого вектора.

Используют различные приближенные процедуры нахождения параметров гауссовской аппроксимации апостериорной плотности. Существует широкое разнообразие алгоритмов такого рода. Здесь необходимо выделить алгоритмы нелинейной фильтрации марковских последовательностей, основанные на гауссовской аппроксимации апостериорной вероятности: обобщенный фильтр Калмана (ОФК), итерационный ОФК, называемый иногда также фильтром с локальными итерациями. В случаях, когда апостериорная плотность многоэкстремальна, применяются другие методы ее аппроксимации: ряды Грамма-Шарлье, ряды Эджворта, сплайн-аппроксимации. Однако получающиеся при этом алгоритмы мало пригодны для реализации на ЭВМ. Один из заслуживающих специального рассмотрения методов аппроксимации АПВ - метод сеток, основан на ее представлении с помощью набора дельта-функций. Одно из наиболее удобных описаний, обеспечивающих учет локального поведения АПВ, основано на ее полигауссовской аппроксимации.

Недостатки традиционных методов фильтрации. Один из основных недостатков методов фильтрации при байесовском подходе заключается в том, что для построения оптимальных алгоритмов требуется исчерпывающая априорная информация о свойствах оцениваемых процессов и ошибок их измерений. При решении нелинейных задач, кроме того, возникает проблема построения реализуемых алгоритмов, поскольку для нахождения апостериорной плотности, необходимой для отыскания оценок, требуется в непрерывном случае решать интегро-дифференциальное уравнение Фоккера-Планка-Колмогорова, а в дискретном - вычислять громоздкие многократные интегралы [24, 81, 104, 193].

Реализация метода наименьших квадратов характеризуется низкой скоростью сходимости.

Указанные недостатки заставляют исследователей искать новые подходы к построению алгоритмов. Один из таких подходов может быть основан на использовании нейронных сетей, нечеткой логики и нейронечетких систем.

Нерешенные проблемы использования нейронных и нечетких систем. При попытке использования нейронных сетей для решения задач фильтрации весьма важным является вопрос взаимосвязи и отличий предлагаемых алгоритмов с теми, которые применяются традиционно для решения этих задач. Установив эти отличия и взаимосвязи, можно более обоснованно рассуждать о преимуществах или недостатках нейросетевого подхода по сравнению с традиционным. К сожалению, как показал обзор отечественных и зарубежных публикаций, этот вопрос должным образом не обсуждается. Как правило, сопоставление предлагаемых и традиционных алгоритмов опирается на результаты моделирования частных примеров [3,26,67,70,180,192,197,203] . Из работ теоретического толка следует выделить работу [197], в которой показано, что рассматриваемые там рекуррентные нейронные сети при определенных условиях сходятся по точности к фильтру с минимальной дисперсией. Однако связь между самими алгоритмами в ней также должным образом не обсуждается.

Работ, посвященных применению нечетких систем для решения задач оценивания, значительно меньше, чем с применением нейронных сетей [185, 187, 205]. В то же время наибольший эффект ожидается именно от их совместного использования в виде нейронечетких систем.

Предлагаемая работа направлена на установление взаимосвязи традиционных алгоритмов и алгоритмов на основе нейронных сетей и нечетких систем.

Цель диссертационной работы - разработка теоретических положений и научно обоснованных технических решений, обеспечивающих эффективность и повышение качества оценивания состояния стохастических систем за счет применения нейросетевых и нечетких методов.

Формулировка научной проблемы. Исходя из вышеизложенного, научная проблема диссертационного исследования формулируется следующим образом: теоретическое установление взаимосвязи и сопоставление с традиционными методами оценивания и фильтрации с целью выявления преимуществ и недостатков нейросетевых, нечетких и нейронечетких систем.

Направления исследований: систематизация и классификация работ отечественных и зарубежных авторов по использованию нейронных, нечетких и нейронечетких систем; разработка теоретических положений для оценивания и идентификации на основе нейронных, нечетких и нейронечетких систем, устанавливающих взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем, и позволяющих выявить преимущества и дополнительные возможности синтезируемых систем оценивания; разработка концепции построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям. разработка нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов;

- решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем.

В соответствии с целью поставлены следующие задачи исследования: развитие теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма оценивания в рамках байесовской постановки и нейросетевого алгоритма; разработка теоретических положений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма рекуррентного оценивания - линейного и расширенного фильтра Калмана и нейросетевого алгоритма;

- доказательство возможности идентификации моделей динамики и измерения в рамках байесовской постановки задачи оценивания с использованием методов нейросетевого и нечеткого анализа и синтеза;

- формирование теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма на основе метода Монте-Карло и нейросетевого алгоритма;

- уточнение теоретических представлений о взаимосвязях и отличиях традиционного оптимального в среднеквадратическом смысле алгоритма на основе метода наименьших квадратов и нейросетевого алгоритма при отсутствии априорной информации; сопоставление алгоритмов оценивания на основе систем нечеткой логики и традиционных алгоритмов; обоснование и разработка концепции построения систем оценивания на основе нейронных сетей и систем нечеткой логики; разработка моделей и алгоритмов нейросетевого и нечеткого оценивания с ориентацией на приложения в теории управления движущихся объектов и электромеханических преобразователей; создание комплекса программ для оценивания динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем.

Методы исследований. При выполнении диссертационной работы использовались методы современной теории оптимального управления, теории оптимальных процессов, теории идентификации, теории дифференциальных и разностных стохастических уравнений, вычислительной математики, теории вероятностей и математической статистики, теории нейронных сетей, теории нечеткой логики, а также методы математического моделирования.

Достоверность и обоснованность полученных результатов. Разработанные теоретические положения и новые технические решения проверялись путем моделирования на ЭВМ, результаты исследований точности оценивания сопоставлялись с потенциальной точностью при решении задач оценивания марковских последовательностей, и с известными экспериментальными данными других исследователей.

Научная новизна работы состоит в том, что: проведен системный анализ отечественных и зарубежных работ, на основе которого создана и представлена с использованием предложенных признаков классификация применений нейронных и нечетких систем для оценивания, позволяющая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса; в развитие теории байесовского оценивания доказана теорема, позволяющая трактовать традиционный оптимальный байесовский алгоритм оценивания как нейронную сеть, обученную с учителем по набору согласованных реализаций процесса и измерений; в развитие теории рекуррентного оценивания доказаны теоремы, позволяющие трактовать линейный и расширенный фильтры Калмана как нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений; доказано, что может быть получен нейросетевой алгоритм, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок без привлечения уравнений динамики и измерения путем идентификации входящих в них матриц; в развитие теории нелинейного оценивания получен результат, позволяющий трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями, обученную с учителем по набору согласованных реализаций процесса и измерений; в дополнение к сложившимся теоретическим представлениям получен результат, позволяющий трактовать традиционный алгоритм оценивания на основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени по поступающим измерениям; показано, что с использованием нечетких систем может быть получен алгоритм оценивания, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок на основе традиционных алгоритмов; предложена концепция построения структурных схем систем нелинейного оценивания и фильтрации на основе нейронных, нечетких и нейронечетких систем, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям; получено новое решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем; предложен класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов; создан комплекс программ для оценивания состояния динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем; разработаны алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием нейросетевых, нечетких и нейронечетких систем, в том числе и в технических решениях, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Содержание работы по главам.

В первой главе дан анализ современного состояния проблемы оптимального оценивания и фильтрации случайных процессов и последовательностей, как с помощью традиционных методов, так и с помощью получивших обсуждение лишь в последнее десятилетие нейронных сетей и систем нечеткой логики. Указаны проблемы и недостатки традиционных методов: байесовского, классического (небайесовского) и метода наименьших квадратов. Проведен системный анализ полученных теоретических и практических результатов и подходов по использованию нейронных сетей и нечетких систем в оценивании. Приведена по предложенным признакам классификация работ отечественных и зарубежных авторов в этой области. Проведено обсуждение современного состояния проблемы оптимального оценивания на основе нейронных сетей, нечетких систем и нейронечетких систем. Названы основные вопросы, которые остались нерешенными в этой области — отсутствие теоретического сопоставления традиционных подходов и подходов на основе нейронных сетей и нечетких систем. Основными причинами, которые заставили обратиться к этой проблеме, являются следующие.

Не существует однозначного ответа относительно преимуществ и недостатков нейросетевого подхода в сравнении с традиционным.

Взаимосвязи и различия нейросетевых алгоритмов с традиционными не установлены.

Нет ответа на вопрос: можно ли трактовать традиционный алгоритм как специального вида нейронную сеть?

На основе проведенного анализа современного состояния проблемы оценивания сформулирована цель и поставлены задачи диссертационного исследования.

Во второй главе применительно к задаче оценивания, решаемой в рамках байесовской постановки, исследуется связь традиционного (оптимального в среднеквадратическом смысле) алгоритма и алгоритма, основанного на использовании нейронных сетей. Рассматривается нелинейное оценивание, для которого задача линейного оценивания является частным случаем.

Сформулированы и доказаны две теоремы.

Показано, что линейная нейронная сеть при соответствующем выборе критерия, используемого для ее предварительного обучения, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью байесовского алгоритма, оптимального в классе линейных алгоритмов. Это позволяет в принципе трактовать оптимальный в линейном классе алгоритм как нейронную сеть простейшего вида, обучаемую в соответствии с приведенным критерием.

Показано, что при наличии уравнения измерений входящие в него матрица измерений и шумы измерения могут быть идентифицированы.

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

В третьей главе применительно к задаче фильтрации случайных последовательностей исследуется связь алгоритмов оптимальной рекуррентной фильтрации - линейного и расширенного фильтров Калмана и алгоритмов, основанных на использовании нейронных сетей.

Основные результаты главы сформулированы и доказаны в виде леммы и двух теорем.

Показано, что рассматриваемые в главе алгоритмы, в которых использованы рекуррентные нейронные сети, при соответствующем выборе критерия обучения обеспечивают получение оценок, близких по своим свойствам к оценкам, вырабатываемым линейным и расширенным фильтрами Калмана. Это позволяет трактовать линейный и расширенный фильтры Калмана как нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений.

Проводится обсуждение полученных результатов, и рассматривается иллюстрирующие примеры.

В четвертой главе применительно к задаче оценивания, решаемой с применением метода Монте-Карло, исследуется связь традиционного (оптимального в среднеквадратическом смысле) алгоритма и алгоритма, основанного на использовании нейронных сетей. В частности, показано, что нейронная сеть с радиальными базисными функциями при соответствующем выборе критерия, используемого для ее предварительного обучения, и радиальных базисных функций, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью оптимального алгоритма на основе метода Монте-Карло. Показано, что НС с РБФ по точности сходится к фильтру с минимальной дисперсией. Это позволяет трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями, обученную с учителем по набору согласованных реализаций процесса и измерений.

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

В пятой главе применительно к задаче оценивания, решаемой в рамках метода наименьших квадратов, исследуется связь традиционного алгоритма и алгоритма, основанного на использовании нейронных сетей. В частности, показано, что нейронная сеть при соответствующем выборе критерия, используемого для ее обучения в режиме реального времени, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью метода наименьших квадратов. Это позволяет трактовать традиционный алгоритм на основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени по поступающим измерениям;

Проводится обсуждение полученных результатов, и рассматривается иллюстрирующий пример.

В шестой главе применительно к задачам оценивания случайных последовательностей показано, что системы нечеткой логики и нейронечеткие системы при соответствующем выборе критерия, используемого для их предварительного обучения и обучения в режиме реального времени, обеспечивает получение оценок, близких по своим свойствам к оценкам, получаемым с помощью традиционных алгоритмов. Показано, что при наличии уравнений динамики и измерений, входящие в них матрицы динамики и измерений, а также порождающие шумы и шумы измерения могут быть идентифицированы с помощью нечетких систем.

Предложена концепция построения структурных схем систем нелинейного оценивания и фильтрации на основе нейронных, нечетких и нейронечетких систем, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям;

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

В седьмой главе рассмотрено применение алгоритмов оценивания на основе нелинейных байесовских фильтров, нейронных сетей и на основе нечетких систем для оценивания координат и параметров движущихся объектов и для оценивания состояния электромеханических преобразователей.

На основе байесовского подхода дано решение задачи адаптивной нелинейной фильтрации случайных последовательностей для случая параметрической неопределенности.

Для решения нелинейной задачи слежения за координатами и параметрами движущихся объектов синтезируются нелинейные байесовские фильтры, нейросетевые фильтры и фильтры на основе нечеткой логики для трех моделей движения объектов: в среднем неподвижной цели со случайной скоростью, равномерного прямолинейного движения со случайным ускорением, маневрирующей цели на основе модели Зингера и на основе модели с представлением неопределенного ускорения для маневрирующей цели в виде полумарковского процесса.

Рассмотрены возможности понижения порядка кратных интегралов для синтезированных фильтров. Приводится сравнение точности фильтров: нелинейных байесовских, Калмана, нейросетевых и на основе систем нечеткой логики.

Рассмотрено применение алгоритмов оценивания на основе нелинейных байесовских фильтров, нейронных и на основе нечетких систем при построении электромеханических преобразователей.

Проводится обсуждение полученных результатов, и рассматриваются иллюстрирующие примеры.

На защиту выносятся.

1. Системный анализ отечественных и зарубежных работ, на основе которого создана и представлена с использованием предложенных признаков классификация применений нейронных и нечетких систем для оценивания, позволяющая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса;

2. Разработка теоретических положений для оценивания и идентификации на основе нейронных, нечетких и нейронечетких систем, устанавливающих взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем, позволяющая выявить преимущества и дополнительные возможности синтезируемых систем оценивания.

3. Концепция построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которых производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям.

4. Решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем.

5. Класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов.

6. Комплекс программ для оценивания динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем, защищенных 4 свидетельствами об официальной регистрации программы для ЭВМ.

7. Алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием нейросетевых, нечетких и нейронечетких систем, в том числе и в технических решениях, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Основные результаты диссертационного исследования опубликованы автором в работах [105-177].

Завершая введение, хотелось бы выразить искреннюю благодарность за внимание к моей работе Степанова O.A., д.т.н., действительного члена Академии навигации и управления движением, начальника отдела Государственного научного центра России — Центрального научно-исследовательского института «Электроприбор», г. Санкт-Петербург.

Автор признателен за поддержку при работе над диссертацией научному консультанту Девятисильному A.C., д.т.н., начальнику лаборатории управления и навигации Института автоматики и процессов управления ДВО РАН, г. Владивосток.

Автор считает своим приятным долгом высказать благодарность д.т.н., профессору Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» Терехову В.А. за ценные замечания и полезные советы, сделанные при обсуждении статьи [108].

Основные результаты диссертационного исследования опубликованы автором в работах [105-177].

ЗАКЛЮЧЕНИЕ

В диссертации разработаны теоретические положения и научно обоснованные технические решения, обеспечивающие эффективность и повышение качества оценивания состояния стохастических систем за счет применения методов нейросетевого и нечеткого анализа и синтеза.

Основными результатами работы являются следующие.

1. Проведен системный анализ отечественных и зарубежных работ, на основе которого создана и представлена с использованием предложенных в работе признаков классификация применений нейронных и нечетких систем для оценивания, позволяющая наглядно и обозримо провести систематизацию алгоритмов оценивания данного класса.

2. Разработаны следующие теоретические положения для оценивания на основе нейронных, нечетких и нейронечетких систем, устанавливающие взаимосвязи и отличия между традиционными алгоритмами и алгоритмами на основе нейронных сетей и нечетких систем, позволяющие выявить преимущества и дополнительные возможности синтезируемых систем оценивания:

- в развитие теории байесовского оценивания доказана теорема, позволяющая трактовать традиционный оптимальный байесовский алгоритм оценивания как нейронную сеть, обученную с учителем по набору согласованных реализаций процесса и измерений;

- в развитие теории рекуррентного оценивания доказаны теоремы, позволяющие трактовать линейный и расширенный фильтры Калмана как нейронные сети, обученные с учителем по набору согласованных реализаций процесса и измерений;

- доказана возможность идентификации моделей динамики и измерения в рамках байесовской постановки задачи оценивания с использованием методов нейросетевого и нечеткого анализа и синтеза; в развитие теории нелинейного оценивания получен результат, позволяющий трактовать традиционный алгоритм на основе метода Монте-Карло как нейронную сеть с радиальными базисными функциями, обученную с учителем по набору согласованных реализаций процесса и измерений; в дополнение к сложившимся теоретическим представлениям получен результат, позволяющий трактовать традиционный алгоритм оценивания на основе метода наименьших квадратов как нейронную сеть, обучаемую в режиме реального времени по поступающим измерениям; показано, что с использованием нечетких систем может быть получен алгоритм оценивания, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок на основе традиционных алгоритмов;

3. В развитие теории оценивания и идентификации доказано, что в рамках байесовской постановки задачи оценивания с использованием методов нейросетевого и нечеткого анализа и синтеза может быть получен алгоритм, вырабатывающий оценки, свойства которых близки к свойствам оптимальных оценок без привлечения уравнений динамики и измерения путем идентификации входящих в них матриц.

4. Предложена концепция построения систем оценивания и фильтрации на основе нейронных сетей, нечетких систем и нейронечетких сетей, обучение которой производится как в предварительном режиме по набору согласованных реализаций процесса и измерений, так и режиме реального времени по поступающим измерениям.

5. Дано новое решение задачи адаптивной нелинейной дискретной фильтрации параметров движущихся объектов в условиях априорной неопределенности на основе байесовского подхода с использованием нейронных, нечетких и нейронечетких систем.

6. Предложен класс нелинейных байесовских, нейросетевых фильтров и фильтров на основе нечетких систем для слежения за координатами и параметрами движущихся объектов.

7. Разработан комплекс программ для оценивания динамических процессов и последовательностей на основе традиционных методов, нейронных сетей, нечетких систем и нейронечетких систем, защищенных 4 свидетельствами об официальной регистрации программы для ЭВМ.

8. Предложены алгоритмы и программы оценивания состояния электромеханических преобразователей с использованием нейросетевых, нечетких и нейронечетких систем. Получены технические решения применения нейросетевых, нечетких и нейронечетких систем для оценки состояния электромеханических преобразователей, защищенных 2 свидетельствами и 3 патентами на полезные модели.

Практическая и научная полезность результатов диссертационной работы.

1. Разработанные в диссертационной работе новые положения теории фильтрации на основе нейросетевого подхода и нечеткой логики позволяют повысить эффективность проведения НИР и ОКР при создании новых систем оценивания и фильтрации, повысить качественные результаты разработок.

2. Полученные автором теоретические положения, устанавливающие связь между традиционными методами фильтрации и оценивания и методами на основе нейросетевого подхода и нечеткой логики позволяют существенно сократить объем экспериментальных исследований или полностью их исключить, что дает возможность значительно снизить затраты материальных ресурсов, денежных средств и времени на отработку систем оценивания и фильтрации.

Кроме этого, указанные теоретические результаты являются определенным вкладом в общую теорию таких наук, как теория фильтрации и искусственный интеллект в части теории нейронных сетей и систем нечеткой логики.

3. Результаты компьютерного моделирования процессов оценки состояния движущихся объектов, приведенные в работе, представляют практический интерес при проектировании новых и модернизации известных систем управления движением, позволяют уточнить представление о протекающих в системах фильтрации процессах.

4. Разработанные технические решения, защищенные свидетельствами и патентами на полезные модели, позволяют повысить качественные показатели электромеханических преобразователей и могут быть использованы при проектировании новых технических систем в электромеханике.

5. Комплексы программ, защищенные свидетельствами, могут быть использованы при проектировании систем фильтрации при оценке состояния движущихся объектов.

Апробация работы. Научные положения и результаты диссертационной работы докладывались и получили одобрение на всесоюзной конференции «Математическое и имитационное моделирование в системах проектирования и управления» (г. Чернигов, 1990 г.); международной конференции ChanDe'92 «Методы распознавания изменений в случайных процессах и полях» (г. Киев, 1992 г.); VII и VIII международной открытой научной конференции «Современные проблемы информатизации в технике и технологиях» (г. Воронеж, 2002-2003 г.); IX международной открытой научной конференции «Современные проблемы информатизации в системах моделирования, программирования и телекоммуникациях» (г. Воронеж, 2004 г.); III Всероссийской конференции «Математика, информатика, управление» (г. Иркутск, 2004 г.); II и III международной конференции «Идентификация систем и задачи управления» («SICPRO'03», Москва, 2003 г.; «SICPRO'04», г. Москва, 2004 г.); IX и X международной конференции по интегрированным навигационным системам (г. Санкт-Петербург, 2002-2003 г.); международной конференции по мягким вычислениям и измерениям «SCM'2003» (г. Санкт-Петербург, 2003 г.); 5 международной конференции «Digital signal processing and its applications» (r. Москва, 2003 г.); Дальневосточной математической школе-семинаре им. Е.В. Золотова (г. Владивосток, 2002-2004 г.); международной конференции

Proceedings of IFAC Workshop on Adaptation and Learning in Control and Signal Processing (ALCOSP) and IFAC Workshop on Periodic Control Systems (PSYCO)» (Япония, г. Йокохама, 2004 г.), на научно-технических семинарах лаборатории управления и навигации ИАПУ ДВО РАН; на ежегодных научно-технических конференциях и семинарах КнАГТУ.

Внедрение результатов работы. Практическая значимость полученных в диссертации результатов подтверждается их внедрением (использованием):

1) в научный процесс Института автоматики и процессов управления ДВО РАН, г. Владивосток при выполнении НИР «Теоретическое и экспериментальное исследование многопозиционных систем управления движением на море»;

2) в разработках ГНЦ РФ ЦНИИ «Электроприбор», г. Санкт-Петербург в НИР «Анализ возможностей использования нейронных сетей при решении задач обработки навигационной информации», выполняемой в рамках «Федеральной целевой научно-технической программы «Исследование и разработки по приоритетным направлениям развития науки и техники» на 2002-2006 годы»;

3) в проектно-конструкторской деятельности Комсомольского-на-Амуре филиала ОАО ОКБ «Сухой»;

4) в учебный процесс ГОУВПО «КнАГТУ» для специальностей 071900 «Информационные системы» и 351400 «Прикладная информатика».

1. Балакришнан А. Теория фильтрации Калмана: Пер. с англ. М.: Мир, 1988.- 168 с.

2. Бахшиян Б.Ц., Назиров P.P., Эльясберг П.Е. Определение и коррекция движения (гарантирующий подход). М.: Наука. Гл. ред. физ.-мат. лит., 1980.-360 с.

3. Безмен Г.В. Анализ возможностей использования нейронных сетей для решения задач фильтрации // Навигация и управление движением: Сб. докл. IY конф. молодых ученых. 2002. - С. 103-106.

4. Берзигияров П.К., Султанов В.Г. Технология разработки масштабируемых параллельных вычислений для SMP-систем на базе MPI, http://www2.sscc.ru/Litera/2002. С. 154-160.

5. Бесекерский В.А., Небылов A.B. Робастные системы автоматического управления. М.: Наука. Гл. ред. физ.-мат. лит., 1983. -240 с.

6. Боровков A.A. Теория вероятностей: Уч. пособие для вузов. М.: Наука. Гл. ред. физ.-мат. лит., 1986. - 432 с.

7. Брайсон А., Хо Ю-Ши. Прикладная теория оптимального управления. — М.: Мир, 1972.

8. Бутенко A.A., Святный Д.А., Шахтарин Б.И. Обучение нейронной сети при помощи алгоритма фильтра Калмана. М.: МГТУ, 2002. С. 220-225.

9. Ван Трис Г. Теория обнаружения оценок и модуляции. Т. 1. Теория обнаружения оценок и линейной модуляции. М.: Сов. радио, 1972. 744 с. Т. 2. Теория нелинейной модуляции. — Сов. радио, 1975. - 342 с.

10. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 447 с.

11. И. Вапник В.Н., Червоненкис АЛ. Теория распознавания образов. -М.: Наука, 1974.-416 с.

12. Вентцель Е.С. Теория вероятностей: Учеб. для вузов. — М.: Высш. шк., 2001.-575 с.

13. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения: Учеб. для втузов. М.: Высш. шк., 2000. - 480 с.

14. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. Спб.: БХВ-Петербург, 2002. 609 с.

15. Галушкин А.И. Основы нейроуправления / Приложение к журналу «Информационные технологии», 2002. № 10. — С.

16. Галушкин А.И. Теория нейронных сетей. Кн. 1. Сер. «Нейрокомпьютеры и их применение / Под ред. Галушкина А.И. М.: ИПРЖР, 2000.-416 с.

17. Глобальная спутниковая радионавигационная система ГЛОНАСС / Под ред. В.Н. Харисова, А.И. Перова, В.А. Болдина. 2-е изд. исправ. - М.: ИПРЖР, 1999.-560 с.

18. Гнеденко Б.В. Курс теории вероятностей: Учебник. 6-е изд., перераб. и доп. - М.: Наука, 1988. - 448 с.

19. Горбань А.Н. Обучение нейронных сетей. М.: СП Рагавга^ 1990. -160 с.

20. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. — Новосибирск: Наука (Сиб. отделение), 1996. 276 с.

21. Граничин О.Н., Поляк Б.Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах. М.: Наука, 2003.-293 с.

22. Девятисильный А.С., Дорожко В.М., Гриняк В.М. Нейроподобные алгоритмы высотной классификации движущихся объектов // Информационные технологии, 2001. — № 12. С.

23. Дмитриев С.П. Высокоточная морская навигация. Л.: Судостроение, 1991. —222 с.

24. Дмитриев С.П., Степанов O.A. Нелинейная фильтрация в задачах обработки навигационной информации // Нелинейная теория управления и ее приложения. М.: Физматлит, 2003. - С. 127-146.

25. Дьяконов В.П., Абраменкова И.В., Круглов B.B. MATLAB 5.3.1 с пакетами расширений / Под ред. проф. В.П. Дьяконова. М.: Нолидж. 2001. — 880 с.

26. Ефименко B.C., Харисов В.Н., Стребков Е.Г. Применение нейронных сетей в задачах оптимальной фильтрации // Радиотехника. 2000. -№7.-С. 56-61.

27. Задачи навигации и управления при стабилизации судна на траектории / С.П. Дмитриев, А.Е. Пелевин. СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 2002. - 160 с.

28. Заде JI.A. Понятие лингвистической переменной и его применение к принятию приближенных решений / Пер. с англ. М.: Мир, 1976. - 165 с.

29. Зарицкий B.C., Светник В.Б., Шимелевич Л.И. Метод Монте-Карло в задачах оптимальной обработки информации. Автоматика и телемеханика. 1975.-№ 12.-С. 95-103.

30. Зингер P.A. Оценка характеристик оптимального фильтра при слежении за пилотируемой целью // Зарубежная радиоэлектроника, 1971. -№8. -С. 40-57.

31. Ивановский Р.И., Эпштейн М.К. Оценка параметров движения маневрирующих объектов. Л.: ЦНИИ «Румб», 1982. - 96 с.

32. Ивахненко А.Г., Мюллер И.А. Самоорганизация прогнозирующих моделей. К.: Технпса, 1985; Берлин: ФЕБ Ферлаг Техник, 1984. - 223 с.

33. Интегрированные системы ориентации и навигации для морских подвижных объектов / О.Н. Анучин, Г.И. Емельянцев / Под общей ред. академика РАН В.Г. Пешехонова. СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 2003.-390 с.

34. Казаков И.Е., Гладков Д.И. Методы оптимизации стохастических систем. М.: Наука. Гл. ред. физ.-мат. лит., 1987. - 304 с.

35. Каллан Р. Основные концепции нейронных сетей: Пер. с англ. М.: Издательский дом «Вильяме», 2001. -288 с.

36. Калман Р., Фалб П., Арбиб М. Очерки по математической теории систем. -М.: Мир, 1971. 400 с.

37. Кобяков П.В. Анализ классических нейронных сетей и сетей, основанных на фильтре Калмана // Межд. конф. по мягким вычислениям и измерениям «БСМ^ООЗ». Сб. докл. Т. 1. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2003.-С. 367-370.

38. Колмогоров А.Н. Интерполирование и экстраполирование стационарных случайных последовательностей // Известия АН СССР. Сер. Матем. 1941. - Т. 5. - № 1. - С. 3-14.

39. Корн Г., Корн Т. Справочник по математике (для научных работников и инженеров). -М.: Наука, 1978. 832 с.

40. Короткий С. Нейронные сети: основные положения // http://www.neuropower.de/rus/books/index.html. С. 1-4.

41. Короткий С. Нейронные сети: алгоритм обратного распространения // http://www.neuropower.de/rus^ooks/index.html. С. 1-9.

42. Коршунов Ю.М. Математические основы кибернетики. М.: Энергоатомиздат, 1987. - 496 с.

43. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия-Телеком, 2002. - 382 с.

44. Круглов В.В., Дли М.И., Годунов Р.Ю. Нечеткая логика и искусственные нейронные сети: Уч. пособие. М.: Физматлит, 2001. —224 с.

45. Кузнецов В.П. Интервальные статистические модели. М.: Радио и связь, 1991.-352 с.

46. Кузьмин С.З. Основы проектирования систем цифровой обработки радиолокационной информации. — М.: Радио и связь, 1986. — 352 с.

47. Кузьмин С.З. Основы теории цифровой обработки радиолокационной информации. М.: Сов. радио, 1974. - 432 с.

48. Левин Б.Р. Теоретические основы статистической радиотехники. — 3-е изд., перераб. и доп. М.: Радио и связь, 1989. - 656 с.

49. Леоненков A.B. Нечеткое моделирование в среде MATLAB и fuzzyTECH. СПб.: БХВ-Петербург, 2003. - 736 с.

50. Лепинин Е.Ф. Нейросетевая реализация алгоритма фильтрации // Нейрокомпьютеры и их применение: Тр. VIII всеросс. конф. НКП-2002 с междун. участием, 21-22 марта 2002, М.: 2002. С. 226 - 231.

51. Ли Р. Оптимальные оценки, определение характеристик и управление: Пер. с англ. М.: Наука, 1966. - 176 с.

52. Логинов В.П. Приближенные алгоритмы нелинейной фильтрации // Зарубежная радиоэлектроника. 1975 - № 2, Ч. 1. - С. 28-48; 1976. - № 3, Ч. 2.-С. 3-28.

53. Лукомский Ю.А., Пешехонов В.Г., Скороходов Д.А. Навигация и управление движением судов: Учебник. СПб.: «Элмор», 2002. - 360 с.

54. Медич Дж. Статистически оптимальные линейные оценки и управление: Пер. с англ. / Под ред. A.C. Шаталова. М.: Энергия, 1973. -440 с.

55. Методические рекомендации диспетчерам службы движения по работе с оборудованием районной автоматизированной системы управления воздушным движением. М.: Воздушный транспорт, 1988. - 406 с.

56. Методы нейроинформатики / Под ред. А.Н. Горбаня; отв. за выпуск М.Г. Доррер. Красноярск: КГТУ, 1998. - 205 с.

57. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации / В.К. Баклицкий, A.M. Бочкарев, М.П. Мусьяков; Под ред. В.К. Баклицкого. М.: Радио и связь, 1986. - 216 с.

58. Небылов A.B. Измерение параметров полета вблизи морской поверхности. СПб.: СПбГААП, 1994. - 307 с.

59. Нейроматематика. Кн. 6. Сер. «Нейрокомпьютеры и их применение» / Под ред. Галушкина А.И. М.: ИПРЖР, 2002. - 448 с.

60. Нейронные сети. STATISTIC A Neural Networks: Пер. с англ. М.: Горячая линия-Телеком, 2000. - 182 с.

61. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д. А. Поспелова. М.: Наука. Гл. ред. физ.-мат. лит., 1986.-312 с.

62. Нечеткие множества и теория возможностей. Последние достижения: Пер. с англ. / Под ред. P.P. Ягера. М.: Радио и связь, 1986. -408 с.

63. Омату С., Халид М., Юсов Р. Нейроуправление и его приложения. Кн. 2. Сер. «Нейрокомпьютеры и их применение» / Под ред. Галушкина А.И. -М.: ИПРЖР, 2000.

64. Пащенко Ф.Ф. Нечеткие регуляторы. Состояние и возможности // Дальневосточная матем. школа-семинар им. академика Е.В. Золотова: Тез. докл., Владивосток, 6-11 сентября 2004 г. Владивосток: Изд-во Дальневосточного ун-та, 2004. - С. 130-131.

65. Первачев С.В. Радиоавтоматика: Учеб. для вузов. М.: Радио и связь, 1982.-296 с.

66. Перевезенцев JI.T., Огарков В.Н. Радиолокационные системы аэропортов. М.: Транспорт, 1991. - 360 с.

67. Перов А.И., Соколов Г.Г. Сравнительный анализ нейросетевых и статистических алгоритмов в задачах обнаружения сигналов // Цифровая обработка сигналов и ее применение: Тр. 3 междун. конф. «DSPA-2000». М., 2000.-С. 28-31.

68. Пивкин В.Я., Бакулин Е.П., Кореньков Д.И. Нечеткие множества в системах управления // http://www.idisys.iae.nsk.su/fuzzy-book/.

69. Пискунов Н.С. Дифференциальное и интегральное исчисления для втузов: Уч. пособие для втузов. 13-е изд. - М.: Наука, 1985. - Т. 1—2.

70. Покалов В.А. Применение нейронных сетей для решения задачи линейной фильтрации // Современные технологии в задачах управления,автоматики и обработки информации: Тр. XI междун. научн.-техн. семинара, Алушта, 2002.-С. 159.

71. Поляхов Н.Д., Приходько И.А. Нечеткие системы управления: Уч. пособие. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2002. - 48 с.

72. Производственные системы с искусственным интеллектом / P.A. Алиев, Н.М. Абдикеев, М.М. Шахназаров. М.: Радио и связь, 1990. - 264 с.

73. Радиотехнические системы / Ю.П. Гришин, В.П. Ипатов, Ю.М. Казаринов и др.; Под ред. Ю.М. Казаринова. М.: Высш. шк., 1990. - 496 с.

74. Ройтенберг Я.Н. Автоматическое управление: Уч. пособие. М.: Наука. Гл. ред. физ.-мат. лит., 1978. 552 с.

75. Сейдж Э., Меле Дж. Теория оценивания и ее применение в связи и управлении: Пер. с англ. / Под ред. Б.Р. Левина. М.: Связь, 1976. - 496 с.

76. Сейдж Э.П., Уайт Ч.С., III. Оптимальное управление системами: Пер. с англ. / Под ред. Б.Р. Левина. М.: Радио и связь, 1982. - 392 с.

77. Сосулин Ю.Г. Теоретические основы радиолокации и радионавигации. -М.: Радио и связь, 1992. 304 с.

78. Справочник по теории автоматического управления / Под ред. A.A. Красовского. М. Наука, 1987. - 712 с.

79. Справочник по радиолокации / Под ред. М. Сколника. Нью-Йорк, 1970: Пер. с англ. (в четырех томах) / Под общей ред. К.Н. Трофимова; Т. 2. Радиолокационные антенные устройства / Под ред. П.И. Дудника. М.: Сов. радио, 1977.-408 с.

80. Степанов O.A. Основы теории оценивания и фильтрации с приложениями к обработке навигационной информации и примерами на Matlab: Уч. пособие. СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 2003. (http://education.ed).

81. Степанов O.A. Применение теории нелинейной фильтрации в задачах обработки навигационной информации.-СПб.: ГНЦ РФ-ЦНИИ «Электроприбор», 1998. 370 с.

82. Стратонович Р.Л. Принципы адаптивного приема. М.: Сов. радио, 1973.- 144 с.

83. Стратонович Р.Л. Условные марковские процессы и их применение к теории оптимального управления. М.: МГУ, 1966. - 320 с.

84. Терехов В.А., Ефимов Д.В., Тюкин И.Ю., Антонов В.Н. Нейросетевые системы управления. Кн. 8. Сер. «Нейрокомпьютеры и их применение» / Под ред. Галушкина А.И. М.: ИПРЖР, 2002. - 480 с.

85. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. -М.: Наука, 1979.

86. Тихонов А.Н., Уфимцев М.В. Статистическая обработка результатов экспериментов: Уч. пособие. М.: Изд-во Моск. ун-та, 1988. -174 с.

87. Тихонов В.И. Статистическая радиотехника. М.: Радио и связь, 1982.-624 с.

88. Тихонов В.И., Кульман Н.К. Нелинейная фильтрация и квазикогерентный прием сигналов. М.: Сов. радио, 1975. - 704 с.

89. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Сов. радио, 1977.-488 с.

90. Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем. — М.: Радио и связь, 1991.-608 с.

91. Турчак Л.И. Основы численных методов. М.: Наука, 1987.—320 с.

92. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992.240 с.

93. Фильтрация и стохастическое управление в динамических системах / Под ред. К.Т. Леондеса: Пер. с англ. М.: Мир, 1980. - 408 с.

94. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация. -М.: Наука, 1984.-288 с.

95. Фомин В.Н. Операторные методы теории линейной фильтрации случайных процессов. СПб.: Изд-во СПбГУ, 1996.

96. Цыпкин Я.З. Информационная теория идентификации. М.: Наука. Физматлит, 1995. - 336 с.

97. Ширман Я.Д., Манжос В.Н. Теория и техника обработки радиолокационной информации на фоне помех.-М.:Радио и связь, 1981.-416 с.

98. Ширяев А.Н. Вероятность: Уч. пособие для вузов. М.: Наука. Гл. ред. физ.-мат. лит., 1989. - 640 с.

99. Эйкхофф П. Основы идентификации систем управления. — М.: Мир, 1975.-686 с.

100. Элементы параллельного программирования / В.А. Вальковский,

101. B.Е. Котов, А.Г. Марчук, H.H. Миренков; Под ред. В.Е. Котова. М.: Радио и связь, 1983.-240 с.

102. Энциклопедия. Вероятность и математическая статистика. М.: Научное изд-во «Большая Российская энциклопедия», 1999.

103. Ярлыков М.С. Применение марковской теории нелинейной фильтрации в радиотехнике. М.: Сов. радио, 1980. - 360 с.

104. Ярлыков М.С. Статистическая теория радионавигации. М.: Радио и связь, 1985.-344 с.

105. Ярлыков М.С., Миронов М.А. Марковская теория оценивания случайных процессов. М.: Радио и связь, 1993. - 464 с.

106. Амосов О.С. Адаптивная нелинейная фильтрация случайных последовательностей на основе нейронных сетей и нечеткой логики // Приборы и системы. Управление, контроль, диагностика. 2004. - № 5.1. C. 48-53.

107. Амосов О.С. Фильтрация марковских последовательностей на основе байесовского, нейросетевого подходов и систем нечеткой логики при обработке навигационной информации // Известия РАН. Теория и системы управления. 2004. - Т. 43. - № 4. - С. 61-69.

108. Амосов О.С. Системы нечеткой логики для фильтрации марковских последовательностей // Информационные технологии. 2004. -№ 11.-С. 16-24.

109. Степанов O.A., Амосов О.С. Байесовское оценивание с использованием нейронной сети // Авиакосмическое приборостроение. — 2004.-№6.-С. 46-55.

110. Степанов O.A., Амосов О.С. Оптимальная линейная фильтрация с использованием нейронной сети // Гироскопия и навигация. 2004. -№3(46).-С. 14-29.

111. Амосов О.С., Девятисильный A.C. Сравнение точности нейросетевых фильтров и фильтров Калмана для оценки параметров движущихся объектов // Приборы и системы. Управление, контроль, диагностика. 2003. - № 9. - С. 32-36.

112. Степанов O.A., Амосов О.С. Сравнительный анализ байесовского и нейросетевого подходов при решении задач оценивания // Гироскопия и навигация. Тр. XXIV конф. памяти H.H. Острякова, 13-14 октября 2004, СПб.: ФГУП ЦНИИ «Электроприбор» (в печати).

113. Степанов O.A., Амосов О.С. Нерекуррентное линейное оценивание с использованием нейронной сети // Матер. III всеросс. конф. «Математика, информатика, управление», 29 июня 1 июля 2004, Иркутск, 2004.-С. 1-12.

114. Амосов О.С. Применение нейронных сетей и нечеткой логики для фильтрации марковских последовательностей // Межд. конф. по мягким вычислениям и измерениям «SCM'2003». Сб. докл. Т. 1. СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2003. - С. 348-351.

115. Амосов О.С. Адаптивное оценивание случайных последовательностей на основе нейронных сетей и нечеткой логики // Системы управления и информационные технологии: Междун. сб. научн. тр. Вып. 11. Воронеж: Научная книга, 2003. - С. 54-61.

116. Амосов О.С. Методы адаптивной нелинейной фильтрации, нейроинтеллекта, нечеткой логики и баз знаний в системах управления движением объектов // Системы управления и информационные технологии:

117. Межвуз. сб. научн. тр. Вып. 9. Воронеж: Центрально-Черноземное книжное изд-во, 2002. - С. 42-49.

118. Хабаровск: Изд-во Хабаровского Дальневосточного техн. ун-та, 2003. — Ч. 2. -С. 18-23.

119. Амосов О.С., Лапчинский E.H. Нейросетевые алгоритмы оценки параметров движения объектов // Нелинейная динамика и прикладная синергетика: Матер, междун. научн. конф. 21-27 сентября 2002 г. -Комсомольск-на-Амуре: ГОУВПО «КнАГТУ», 2003. Ч. 2. - С. 14-19.

120. Амосов О.С. Моделирование адаптивных алгоритмов оптимальной дискретной нелинейной фильтрации на основе байесовского подхода // Математика, компьютер, образование: Матер. 9 междун. конф.: Сб. тез. -Дубна, 2002. 1 с.

121. Амосов О.С. Интеллектуальные информационные системы. Нейронные сети и нечеткие системы: Уч. пособие. Комсомольск-на-Амуре: ГОУ ВПО «Комсом. н/А гос. техн. ун-т», 2004. - 104 с.

122. Амосов О.С. Математическое и алгоритмическое обеспечение вторичной обработки информации в системе УВД // Методы распознавания изменений в случайных процессах и полях: Тез. докл. междун. конф. ChanDe'92. Киев, 1992. - С. 38-39.

123. Безруков В.В., Амосов О.С., Вологжанин В.Е. Имитация траекторных перемещений группы объектов // Математическое и имитационное моделирование в системах проектирования и управления: Тез. докл. всесоюзн. конф. Чернигов, 1990. - С. 353.

124. Олейник В.Н., Амосов О.С., Трушляков С.А. Синтезаторы частот с повышенной стабильностью выходного колебания // Повышение эффективности авиационных радиоэлектронных систем. Сб. научн. матер. -Харьков: ХВВАУРЭ, 1986. Вып. VII. - 4.1. - С. 90-98.

125. Амосов О.С., Соколов Ю.Н., Олейник В.Н. Синтез статистически оптимальных синтезаторов частот при частично заданной структуре // Автоматизированные системы управления. Тематический сборник научных трудов. Харьков: ХАИ, 1984. - Вып. 5. - С. 87-95.

126. Амосов О.С. Моделирование синтезаторов частот на ЭВМ с учетом случайных возмущений // Стабилизация частоты и прецизионнаярадиотехника: Тез. докл. межотрасл. научн. конф., совещаний, семинаров. -М.: ВИМИ, 1983.-Ч. II.-С. 81-82.

127. Соколов Ю.Н., Амосов О.С. Моделирование в задачах автоматизации проектирования синтезаторов частот // Современные проблемы стабилизации частоты. Науч. тр. Межведомств, темат. сб. № 8. -М.: МЭИ, 1983. С. 160-164.

128. Олейник В.Н., Соколов Ю.Н., Амосов О.С. Особенности вычисления фундаментальной матрицы АЦСЧ // Самолетостроение. Техника воздушного флота: Респ. межведомств, научн.-техн. сб. Вып. 49. -Харьков: Вища школа, 1982. С. 95-102.

129. Соколов Ю.Н., Олейник В.Н., Амосов О.С. Функциональные модели и программные модули ФНЧ систем синтеза частот // Системы управления летательных аппаратов: Тематич. сб. научн. тр. Харьков: ХАИ, 1982.-Вып. 7.-С. 74-79.

130. Пат. РФ № 33478 на полезную модель, МПК 7 Н 05 В 3/02, F 24 Н 3/00. Тепловые жалюзи / Ю.Г. Кабалдин, A.M. Шпилев, О.С. Амосов, С.Н. Иванов (РФ). -№ 2003115261/20; Заявлено 23.05.03; Зарегистр. 20.10.03, Бюл. № 29. 1 с.

131. Пат. РФ № 33479 на полезную модель, МПК 7 Н 05 В 6/10, F 25 В 29/00. Управляемый электронагреватель / Ю.Г. Кабалдин, A.M. Шпилев, О.С. Амосов, С.Н. Иванов (РФ). № 2003115260/20; Заявлено 23.05.03; Зарегистр. 20.10.03, Бюл. №29.- 1 с.

132. Программы для ЭВМ, базы данных, топологии интегральных микросхем» № 4 (41), Ч. 2, 2002. С. 266-267.

133. Свид-во РФ № 27755 на полезную модель, МПК 7 Н 02 К 5/00, 19/36. Электромеханический преобразователь / A.M. Шпилев, О.С. Амосов, С.Н. Иванов, С.Б. Горбунов (РФ). № 2002120733/20; Заявлено 01.08.02; Опубл. 10.02.03, Бюл. № 4 (III ч.). - С. 648.

134. Amosov O.S. Dynamic model of the neural networks // Образование и наука в третьем тысячелетии: Сб. матер, к четвертой междун. научн.-теорет. конф. Ч. 1. Барнаул: Изд-во Алтайского ун-та, 2002. С. 164-166.

135. Agarwal М. Combining neural and conventional paradigms for modeling, prediction and control // Int. J. of Systems Science. 1997. - Vol. 28. -№ l.-P. 65-81.

136. Alessandri A., Parisini Т., Zoppoli R. Neural approximations for nonlinear finite-memory state estimation // Int. J. of Control, 1997. Vol. 67. -№6.-P. 275-302.

137. Alessandri A., Parisini Т., Zoppoli R. Sliding-window neural state estimation in a power plant heater line // Proceedings of the American Control Conference San Diego, California, June 1999. P. 880-884.

138. Atiya A.F., Parlos A.G. New results on recurrent networks training: unifying the algorithms and accelerating convergence // IEEE Trans. Neural Networks. 2000. - Vol. 11. - № 3. - P. 697-709.

139. Busy R.S., Senne K.D. Digital synthesis of nonlinear filters // Automatica. 1971. - Vol. 7. - № 3. - P. 287-298.

140. Berardi V.I., Zhang P.G. An empirical investigation of bias and variance in time series forecasting: modeling considerations and error evaluation // IEEE Trans. Neural Networks. 2003. - Vol. 14. - № 3. - P. 668-679.

141. Chan K.C.C., Lee V., Leung H., Radar tracking for air surveillance in a stressful environment using a fuzzy-gain filter // IEEE Trans. On Fuzzy Systems. -1997. Vol. 5. - № 1. - P. 80-89.

142. Chiu S. Fuzzy model identification based on cluster estimation. J. of Intelligent & Fuzzy Systems, 1994. Vol. 2. - № 3.

143. Grewal M.S. Andrews A.P. Kaiman filtering: theoiy and practice prentice, Upper Saddle River, New Jersey, 1993.

144. Haykin S. Neural networks: a comprehensive foundation. N.Y.: MacMillan college, 1999. - 842 p.

145. Haykin S., Li L. Nonlinear adaptive prediction of nonstationary signals // IEEE Trans. On Signal Processing. 1995. - Vol. 43. - № 2. - P. 526-535.

146. Haykin S., Yee P. Nonlinear state estimation using RBF networks // IEEE GLOBECOM, McLean, VA, 1996.

147. Haykin S., Yee P. Optimum nonlinear filtering // IEEE Trans. On Signal Processing. 1997. - Vol. 45. - № 11. - P. 2774-2786.

148. Jazwinski A.H. Stochastic processes and filtering theoiy. N.Y.: Acad. Press, 1970.-376 p.

149. Kaiman filtering and neural networks / Ed. by S. Haykin. — N.Y.: Jonh Wiley & Sons, Inc. 2001. - P. 284.

150. Kaiman R.E. A new approach to linear filtering and prediction problems // Trans. ASME, J. Basic Eng. 1960. - Vol. 82. - № 1. - P. 35^5.

151. Kaiman R.E., Bucy R.S. New results in linear filtering and prediction theoiy Trans. ASME, J. Basic Eng. 1961. - Vol. 83. - P. 95-108.

152. Lo J. T.-H. Synthetic approach to optimal filtering // IEEE Trans. Neural Networks. 1994. - Vol. 5. - № 5. - P. 803-811.

153. Lo J.T.-H. Neural networks approach to optimal filtering // Tech. Rep. RL-TR-94-197, Rome Lab., Air Force Material Command, Griffiss AFB, NY, Sept. 1995.

154. MacKay DJ.C. (1995) Probable networks and plausible predictions a review of practical Bayesian methods for supervised neural networks, available at ftp://wol.ra.phy.cam.ac.uk/pub/www/mackay/network.ps.gz.

155. Menon P.K., Sharma V. Adaptive target state estimation using neural networks // Proceedings of the American Control Conference San Diego, California, June 1999. P. 2610-2614.

156. Narendra K. S., Parthasarathy K. Identification and control of dynamical systems using neural networks // IEEE Trans. On Neural Networks. -1990.-Vol. 1. -№ 1.-P. 4-27.

157. Parisini T., Zoppoli R. Neural networks for nonlinear state estimation // Int. J. Robust Nonlinear Contr. 1994. -Vol. 4. - P. 231-248.

158. Parlos A. G., Menon S.K., and Atiya A.F. An algorithmic approach to adaptive state filtering using recurrent neural networks // IEEE Trans. Neural Networks.-2001.-Vol. 12.-№6.-P. 1411-1432.

159. Puskorius G.V., Feldkamp L.A., and Davis L.I. Dynamic neural network methods applied to on-vehicle idle speed control // Proc. IEEE. 1996. -Vol. 84.-P. 1407-1419.

160. Silva I.N., Arruda L.V.R., and Amaral W.C. Robust estimation of parametric membership regions using artificial neural networks // Int. J. of Systems Science. 1997. -Vol. 28. -№ 5. - P. 447-455.

161. Simandle M, P. Hering, L. Krai. Identification of Nonlinear Non-Gaussian Systems by Neural Network. Proceeding of NOLCOS-04. Sept. 1-4, Shtuttgart, Germany. 2004. - P. 919-924.

162. Sum J., Leung C., Young G.H., and Kan W. On the Kalman filtering method in neural network training and pruning // IEEE Trans. Neural Networks. -1999.-Vol. 10.-№ l.-P. 161-166.

163. Sunil Elanayar V.T., Yung C. Shin. Radial basis function neural network for approximation and estimation of nonlinear stochastic dynamic systems // IEEE Trans. Neural Networks. 1994. - Vol. 5. - № 4. - P. 594-603.

164. Webb A.R. Function approximation by feed-forward networks: a least-squares approach to generalization // IEEE Trans. Neural Networks. 1994. -Vol. 5.-№3.-P. 363-371.

165. Wiener N. Extrapolation, interpolation and smoothing of stationary time series. -N.Y.: John Wiley, 1949. 162 p.

166. Wu Z.Q., Harris C.J. A neurofuzzy network structure for modeling and state estimation of unknown nonlinear systems // International Journal of Systems Science, 1997. Vol. 28. -№ 4. - P. 335-345.