автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.01, диссертация на тему:Структурно-параметрический синтез нейросетевых систем обработки информации

На правах рукописи Милов Владимир Ростиславович

СТРУКТУРНО-ПАРАМЕТРИЧЕСКИЙ СИНТЕЗ НЕЙРОСЕТЕВЫХ СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ

Специальность 05.13.01 - Системный анализ, управление и обработка информации (технические науки)

Автореферат

диссертации на соискание ученой степени доктора технических наук

Нижний Новгород 2003

Работа выполнена на кафедре «Электроника и сети ЭВМ» Нижегородского государственного технического университета

Научный консультант член-корреспондент РАН

Кондратьев Вячеслав Васильевич

Официальные оппоненты: доктор технических наук, профессор

Галушкин Александр Иванович

доктор физико-математических наук, профессор Якимов Аркадий Викторович

доктор технических наук, профессор Федосенко Юрий Семёнович

Ведущая организация ФГУП научно-производственное предприятие

«Полет»

Защита состоится «_»_2003 г. в_часов

на заседании диссертационного совета Д 212.165.05 в Нижегородском государственном техническом университете по адресу: 603600, г. Нижний Новгород, ГСП-41, ул. К. Минина, 24.

С диссертацией можно ознакомиться в библиотеке НГТУ Автореферат разослан «_»_2003 г.

Ученый секретарь

диссертационного совета Д 212.165.05 к.т.н., доцент

А.П. Иванов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

В настоящее время сохраняется потребность в разработке новых и совершенствовании существующих методов и средств обработки информации для решения ряда практических задач. Это обусловлено необходимостью повышения надежности и эффективности функционирования разнообразных технических и других систем.

Синтез систем обработки информации базируется на совокупности теорий, первооснову которых составляет математическая статистика. Основополагающий вклад в развитие статистической теории оценивания и проверки гипотез сделан Р.А. Фишером (R.A. Fisher) и А. Вальдом (A. Wald). Теория оптимальной фильтрации случайных процессов создана А.Н. Колмогоровым и Н. Винером (N. Wiener). Процедуры рекуррентной фильтрации получены Р. Калманом (R.E. Kalman). Центральные идеи в области нелинейной фильтрации выдвинуты Р.Л. Стратоновичем.

В большинстве практических задач неизвестны статистические характеристики сигналов и помех, необходимые для синтеза оптимальных систем обработки информации. При наличии априорной неопределенности применяются различные подходы к обработке информации.

Основные идеи и методы построения разнообразных систем обработки информации в условиях параметрической априорной неопределенности и их приложения получили освещение в многочисленных работах отечественных ученых Р.Л. Стратоновича, ЯЗ. Цыпкина, Н.С. Райбмана, В.Г. Репина, Б.Р. Левина, А.А. Красовского, Б.Н. Петрова, В.В. Кондратьева, Д.Д. Кловского, В.И. Тихонова, В.Н. Харисова, А.П. Трифонова, В.Н. Фомина, Я.Д. Ширмана, М.С. Ярлыкова, А.П. Реутова, Ю.С. Шинакова, А.Л. Фрадкова. Ряд способов и процедур преодоления априорной неопределенности нашли отражение в работах зарубежных авторов Б. Уидроу (В. Widrow), С.Д. Стирнза (S.D. Stearns), П. Эйкхоффа (P. Eykhoff), Э.П. Сейджа (А.Р. Sage), Л. Льюнга (L. Ljung), K.C. Нарендры (K.S. Nar-endra), К.Ф.Н. Коуэна (C.F.N. Cowan), П.М. Гранта (P.M. Grant).

Проблемы обработки информации при априорной неопределенности крайне разнообразны. Во многих случаях априорная информация о распределениях сигналов и помех недостаточна для того, чтобы воспользоваться каким-либо параметрическим семейством распределений. В этих условиях могут применяться непараметрические методы обработки информации. Многие из этих методов основаны на использовании ядерных оценок плотности вероятности, которые исследовались М. Розенблаттом

РОС. НАЦИОНАЛЬНАЯ D'.'.n'P'OTFKA

(M. Rosenblatt), Е. Парзеном (Е. Parzen), В.Л. Епанечниковым. Значительный вклад в развитие непараметрических статистических методов, в том числе в области регрессионного и дискриминантного анализа, внесли Э.А. Надарая, Г.Т. Ватсон (G.T. Watson), Б. Эфрон (В. Efron), С.А Айвазян, B.C. Мхитарян, В.Я. Катовник, А.В. Добровидов, Г.М. Кошкин. В условиях малых выборок точность непараметрических оценок плотности вероятности оказывается невысокой, что в свою очередь сказывается на свойствах многих непараметрических процедур обработки информации.

Наряду с классическими статистическими методами во второй половине двадцатого столетия появляется метод обработки информации, опирающийся на достижения нейробиологии. Первые результаты, полученные зарубежными учеными в области искусственных нейронных сетей, связаны с именами У. Маккалоха (W. McCulloch), У. Питтса (W. Pitts), Ф. Ро-зенблатта (F. Rosenblatt), Д. Хебба (D. Hebb), М. Минского (М. Minsky), С. Пайперта (S. Papert).

Возможность использования нейронных сетей для обработки информации связана с их универсальной аппроксимирующей способностью. Основополагающие результаты по представлению непрерывных функций нескольких переменных в виде суперпозиции функций одного переменного получены А.Н. Колмогоровым и В.И. Арнольдом. Позже Г. Цыбенко (G. Cybenko), Дж. Парком (J. Park) и К. Хорником (К. Hornik) доказаны теоремы об универсальной аппроксимирующей способности отдельных видов нейронных сетей. Дальнейшие исследования в области нейронных сетей проводили Дж. Хопфилд (J. Hopfield), Т. Кохонен (Т. Kohonen), С. Гросс-берг (S. Grossberg), Д.Е. Румельхарт (D.E. Rumelhart), П.Дж. Вербос (PJ. Werbos), Д. Лове (D. Lowe), С. Чэн (S. Chen), К. Бишоп (С. Bishop), С. Хайкин (S. Haykin).

Поиск способов преодоления априорной неопределенности привел к созданию основ теории обучения систем. Многочисленные результаты в области теории обучения и ее применения для решения ряда задач, в том числе распознавания образов и восстановления зависимостей, принадлежат ЯЗ. Цыпкину, А.И. Галушкину, Ю.И. Журавлеву, А.Г. Ивахненко, В.Н. Вапнику, М.А. Айзерману. Основываясь на теории обучения,

A.И. Галушкин разработал теорию нейронных сетей, которая обладает большей общностью по сравнению с методами зарубежных авторов. Исследования в области нейронных сетей проводятся В.В. Кругловым,

B.В. Борисовым, А.Н. Горбань, Э.Д. Аведьяном, В.А. Терехововым, В.А. Головко. Большинство полученных результатов относятся к процеду-

рам и алгоритмам параметрической оптимизации многослойных нейронных сетей.

В последнее время нейронные сети находят применение в различных областях, в том числе, для распознавания образов, идентификации нелинейных систем, прогнозирования, обнаружения сигналов, а также в системах связи и управления. Известно, что на качество обработки информации существенное влияние оказывает структура нейронной сети. При этом, как недостаточное, так и излишне большое количество нейронов скрытого слоя препятствует эффективной обработке информации. Проблема определения структуры нейронных сетей в настоящее время не имеет однозначного решения.

Таким образом, исследования в области синтеза систем обработки информации на основе искусственных нейронных сетей являются актуальными.

Цель и задачи диссертационной работы

Цель работы заключается в разработке новых методов, процедур и алгоритмов синтеза систем обработки информации на основе искусственных нейронных сетей, позволяющих при непараметрической априорной неопределенности повысить эффективность и качество обработки информации.

Для достижения поставленной цели необходимо решение следующих основных задач.

1. Формирование принципов синтеза систем обработки информации при непараметрической априорной неопределенности.

2. Разработка метода синтеза систем обработки информации на основе искусственных нейронных сетей.

3. Разработка метода определения структуры и параметров искусственных нейронных сетей с последовательными связями.

4. Синтез алгоритмов и процедур параметрической и структурной оптимизации для искусственных нейронных сетей с последовательными связями.

5. Разработка способов классификации и восстановления зависимостей с помощью нейронных сетей.

6. Разработка алгоритмов и процедур адаптивной нелинейной обработки сигналов на основе нейронных сетей.

Методы исследования В диссертационной работе основу исследования составляют теории статистических решений, искусственных нейронных сетей, идентификации, адаптивной фильтрации, распознавания образов, а также методы регуляризации, оптимизации и математического моделирования.

Научная новизна

1. Предложен метод синтеза систем обработки информации при непараметрической априорной неопределенности на основе комбинированного подхода с применением методов структурной оптимизации и регуляризации.

2. Разработан метод для определения структуры и параметров многослойных нейронных сетей.

3. Получены алгоритмы и процедуры структурно-параметрической оптимизации многослойных нейронных сетей с последовательными связями.

4. Разработаны способ и алгоритм построения классификаторов на основе отдельных видов нейронных сетей при использовании байесовского решающего правила.

5. Предложены способ и алгоритм решения задачи восстановления зависимостей на основе структурно-параметрической оптимизации нейронных сетей с последовательными связями. Алгоритм работоспособен в условиях малых обучающих выборок.

6. Сформированы процедуры адаптивной нелинейной обработки сигналов на основе нейронных сетей с последовательными связями. С учетом специфических особенностей отдельных видов таких сетей предложены модифицированные процедуры для обработки сигналов в реальном времени.

7. С применением регуляризации синтезированы рекуррентные алгоритмы настройки параметров нейронных сетей. Получены процедуры определения параметров регуляризации и дисконтирования.

Практическая значимость работы Предложенные в диссертационной работе методы, процедуры и алгоритмы позволяют решать задачи классификации, восстановления зависимостей и адаптивной обработки сигналов, в том числе идентификации систем, краткосрочного прогнозирования и др. Полученные результаты могут быть использованы при построении разнообразных систем обработки информации: анализа и интерпретации данных, в том числе результатов измерений; технической диагностики, включая прогнозирование

состояния технических систем; интеллектуальных систем управления, в том числе нейроконтроллеров; распознавания образов; обработки изображений; радионавигационных систем; систем связи, в том числе радиомодемов.

Некоторые результаты работы использованы при разработке систем радиосвязи в научно-производственном предприятии «Полет». Для многолучевых радиоканалов разработан нейросетевой приемник дискретных сообщений. С применением процедуры регуляризации сформирована процедура идентификации стохастических каналов связи, использованная для идентификации декаметрового радиоканала. На основе структурной оптимизации синтезирован нелинейный корректор характеристик канала связи. Разработаны программные комплексы адаптивной фильтрации и «Радиомодем», зарегистрированные в Российском агентстве по патентам и товарным знакам.

Отдельные результаты работы использованы в проектно-конструкторской деятельности ННИИРТ. Разработана процедура определения траектории движения объектов на основе обработки сигналов радионавигационной системы. Траектория движения представляется в виде непрерывной функции времени. Процедура обеспечивает возможность эффективной обработки пропусков.

Алгоритмы обработки радиосигналов использованы в «Нижегород-электротранс» при разработке программного обеспечения радиомодемов центрального диспетчерского пункта и терминалов транспортных единиц в составе автоматизированной системы управления движением городского электротранспорта.

Основные результаты диссертационной работы внедрены на

ФГУП научно-производственном предприятии «Полет» и ФГУП ННИИРТ при проведении НИР и ОКР по разработке техники средств связи и радиолокационных комплексов, а также в МП «Нижегородэлектротранс» при разработке автоматизированной системы управления движением городского электротранспорта.

Часть материалов диссертационной работы использована в учебном процессе на факультете информационных систем и технологий Нижегородского государственного технического университета на кафедре «Электроника и сети ЭВМ» при чтении лекций и проведении лабораторных работ по дисциплинам «Цифровые сети интегрального обслуживания» и «Передача дискретных сообщений».

Апробация работы

Основные положения и результаты диссертационной работы доложены и обсуждены на следующих научно-технических конференциях.

1. VI Всероссийская научно-техническая конференция «Радиоприем и обработка сигналов» (Н.Новгород, 1993 г.).

2. Международная конференция «100-летие начала использования электромагнитных волн для передачи сообщений и зарождения радиотехники» (г. Москва, 1995 г.).

3. Научно-технические конференции факультета информационных систем и технологий Нижегородского государственного технического университета (Н.Новгород, 1995 - 2000 г.г.).

4. Научно-технические семинары кафедры «Электроника и сети ЭВМ» Нижегородского государственного технического университета (Н.Новгород, 1997 - 2002 г.г.).

5. X научно-техническая конференция «Проблемы радиосвязи» (Н.Новгород, 1999 г.).

6. XII международная конференция «Проблемы теоретической кибернетики» (Н.Новгород, 1999 г.).

7. Всероссийские научно-технические конференции «Информационные системы и технологии» (Н.Новгород, 2001 - 2003 г.г.).

8. IV Международная научно-техническая конференция «Математическое моделирование физических, экономических, технических, социальных систем и процессов» (Ульяновск, 2001 г.).

9. Международная специализированная выставка-конференция «Новые технологии в радиоэлектронике и системах управления» (Н.Новгород, 2002 г.).

10. \Ш Международная конференция «Радиолокация, навигация, связь» (Воронеж, 2002 г.).

11ХШ научная сессии РНТОРЭС им. А.С. Попова (Москва, 2002 г.).

12. Международная научно-техническая конференция «Методы, средства и технологии получения и обработки измерительной информации» (Пенза, 2002).

13.5-я Международная конференция «Цифровая обработка сигналов и ее применение - 2003» (Москва, 2003 г.).

14. IV Международная научно-техническая конференция «Компьютерное моделирование - 2003» (Санкт-Петербург, 2003 г.)

Основные положения диссертационной работы, выносимые на защиту

1. Метод синтеза систем обработки информации при априорной неопределенности на основе искусственных нейронных сетей, принципиально отличающийся от известных параметрических и непараметрических методов.

2. Метод обучения искусственных нейронных сетей, основанный на структурно-параметрической оптимизации в сочетании с регуляризацией, отличающийся от метода минимизации эмпирического риска.

3. Алгоритмы структурно-параметрической оптимизации нейронных сетей с последовательными связями, основанные на процедуре структурной модификации, отличающиеся от алгоритмов, основанных на добавлении и удалении нейронов.

4. Метод и алгоритмы решения задач классификации и восстановления зависимостей, основанные на предложенном методе структурно-параметрической оптимизации искусственных нейронных сетей, отличающиеся от методов и алгоритмов дискриминантного и регрессионного анализа

5. Способ и алгоритмы адаптивной нелинейной обработки сигналов, основанные на процедурах рекуррентной настройки параметров, синтезированных с учетом специфических особенностей отдельных видов нейронных сетей, отличающиеся применением адаптации и регуляризации.

Структура и объем диссертации

Работа состоит из введения, пяти глав, заключения и списка литературы. Объем работы составляет 310 страниц. Работа содержит 74 рисунка и 7 таблиц.

Публикации

Основное содержание диссертации опубликовано в 47 работах. Из них одна монография, 19 статей в научно-технических журналах и сборниках, 26 тезисов докладов в трудах Международных и Всероссийских научно-технических конференций, а также одно учебное пособие. Получено два свидетельства об официальной регистрации разработанных программ в Российском агентстве по патентам и товарным знакам.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цель и задачи исследования, выбраны методы исследования, отмечена научная новизна и практическая значимость работы, приведены основные положения диссертационной работы, выносимые на защиту, а также сведения об апробации результатов исследования.

В первой главе выполнен анализ методов обработки информации с позиций теории статистических решений. Сформулирована постановка задачи синтеза систем обработки информации (СОИ). В результате обработки информации, переносимой сигналом х, на выходе СОИ формируется сигнал и. На процесс обработки информации влияет сигнал у, который представляет собой «указания учителя». Способ формирования этого сигнала зависит от вида решаемой задачи.

Синтез СОИ заключается в определении решающего правила и = /(х). Качество обработки информации определяется на основе критерия минимума среднего риска. В этом случае характеристика вход-выход /(х) оптимальной системы обработки информации доставляет наименьшее значение функционалу среднего риска

с(У(х))= ¡ШЮ^РЬуУМУ- (1)

Здесь Кий- множества значений х и у соответственно; р(*,у) - плотность вероятности; - функция потерь, которая представляет собой априорную оценку последствий принятия решения и в ситуации, характеризуемой сигналом у.

В условиях априорной неопределенности плотность вероятности р(х,у) неизвестна и средний риск (1) не определен. При этом синтез СОИ осуществляется на основе выборочной последовательности наблюдений. В зависимости от вида априорной неопределенности выделяют параметрические и непараметрические методы синтеза СОИ.

При параметрической априорной неопределенности распределения поступающих сигналов считаются известными с точностью до значений параметров. Это позволяет на основе минимизации (1) определить вид правила обработки информации Значения параметров могут быть найдены по методу максимального правдоподобия. Применение параметрических методов приводит к значительному ухудшению качества обработки информации, если использованные при синтезе СОИ модели, в том числе предположения о виде распределений, не адекватны действи-

тельности. В таких условиях лучшие результаты могут быть получены на основе непараметрических методов обработки информации.

Классические непараметрические методы основаны на использовании непараметрических оценок неизвестных распределений. Наибольшее распространение получили ядерные оценки плотности вероятности Парзе-на — Розенблатта. При этом обработка информации осуществляется на основе оптимального по критерию минимума среднего риска решающего правила, в котором вместо неизвестной плотности вероятности используется ее непараметрическая оценка. Так получена известная непараметрическая ядерная оценка регрессии Надарая - Ватсона. В условиях малых выборок классические непараметрические методы становятся недостаточно эффективными.

Исследования, начатые во второй половине двадцатого века, заложили фундамент теории обучения систем и теории нейронных сетей.. Возможность использования искусственных нейронных сетей для обработки информации определяется их способностью к аппроксимации сложных функций. В условиях априорной неопределенности синтез нейросетевой системы обработки информации осуществляется на основе обучающей выборки . Результат отдельного наблюдения состоит из значений сигналов на входе системы х(к) и «указаний учителя» у(к), . При этом оценка параметров нейронной сети формируется из условия минимизации функционала вторичной оптимизации, в качестве которого обычно используется эмпирический риск

с£(э)=лН!¿(даадя*)). (2)

На качество обработки информации существенное влияние оказывает структура нейронной сети, которая непосредственно определяет вид характеристики вход-выход /(х,9). Задача определения структуры нейронной сети из условия минимума эмпирического риска является некорректной по Адамару, так как допускает множество решений . При этом нейронная сеть, обеспечивающая малое значение эмпирического риска, часто приводит к большому значению средних потерь при обработке новых (не использовавшихся при обучении) данных. Этот известный эффект «переобучения» или «перетренировки» характерен для излишне сложных сетей. Кроме того, в большинстве практически важных задач характеристика вход-выход оптимальной нейронной сети . Таким образом, ме-

тод минимизации эмпирического риска не позволяет найти структуру нейронной сети.

Во второй главе изложен разработанный метод структурно-параметрического синтеза систем обработки информации. Сформулирована задача синтеза СОИ, которая представляет собой совокупность задач структурной и параметрической оптимизации. В результате структурной оптимизации определяется характеристика вход-выход нейросетевой системы обработки информации. Для фиксированной структуры СОИ из условия минимизации целевой функции (2) находятся значения параметров . При выборе оптимальной функции потерь оценки параметров, полученные на основе метода минимизации эмпирического риска и по методу максимального правдоподобия, совпадают. В условиях непараметрической априорной неопределенности вид функции потерь может быть определен с помощью минимаксного подхода.

Выполнен анализ известных подходов, которые могут быть использованы для синтеза систем обработки информации на основе искусственных нейронных сетей. Эвристический метод ранней остановки основан на завершении итерационного процесса параметрической оптимизации до достижения минимума целевой функции (2). Результат такой оптимизации существенно зависит от обучающей выборки, начального приближения, используемого итерационного алгоритма и условия его остановки. При этом найденные значения параметров системы обычно далеки от оптимальных. Для применения байесовской методологии должно быть известным априорное распределение вероятностей, заданное на множестве возможных характеристик вход-выход синтезируемой системы. В общем случае реализация этого метода затруднена из-за необходимости многомерного интегрирования при вычислении условного математического ожидания. Метод минимальной длины описания основан на понятии алгоритмической сложности А.Н. Колмогорова. Для нейросетевых систем обработки информации отсутствуют процедуры формирования кодовых описаний, что препятствует применению этого подхода. Значительные сложности, возникающие при вычислении емкости класса функций для многослойных нейронных сетей, затрудняют эффективное использование метода структурной минимизации риска В.Н. Вапника. Метод регуляризации А.Н. Тихонова основан на введении регуляризирующего оператора. Это метод позволяет найти единственное решение некорректных задач и может быть практически применен для синтеза систем обработки информации на основе нейронных сетей.

В соответствии с методом регуляризации характеристику вход-выход .СОИ определяем из условия минимизации функционала

№

Здесь первое слагаемое представляет собой эмпирический риск. Второе слагаемое определяется как произведение неотрицательного параметра регуляризации ц и стабилизирующего функционала Ф(/(х,Э)). Этот функционал не зависит от обучающей выборки и строится на основе априорной информации с использованием интегро-дифференциальных операторов. В условиях априорной неопределенности предпочтение отдается гладким и медленно изменяющимся функциям /(х,9). Для синтеза СОИ применен стабилизирующий функционал

Ф(У(х,&)) = /Я2(а))^2(с)Ло, (4)

где -/""((о) - модуль Фурье -/^х^р ^^о^ - функция, определяющая вид стабилизирующего функционала.

Минимизация (3) с учетом (4) приводит к определению характеристики вход-выход СОИ в виде разложения по системе базисных функций ф(х,х(/)). При формировании стабилизирующего функционала использовано требование инвариантности по отношению к операциям сдвига и вращения в пространстве X. В этом случае функции <р(х,х(/))=\|/(Цх—х(/)|) зависят от евклидова расстояния между Вид этих функций определяется в результате обратного преобразования Фурье от /г(й))=//_2(со). Если функция й(ю) является гауссовой, то и базисная функция также является гауссовой

Ф(х,х(/ХР) = ехр[-| [|х-х(/)[|2).

(5)

Здесь Р — параметр сглаживания. При этом

N

/(х,™,р) = ][>,ф,(х), (6)

а стабилизирующий функционал (4) принимает вид

где ............и-у]т, ф,(х) = ф(х,х(/'),Р), /=ЦУ.

Параметры w системы обработки информации (6) находятся с применением регуляризации на основе минимизации функционала (3). Получаемая при этом оценка зависит от параметров сглаживания и

регуляризации ц. Значения этих параметров предложено определять на основе критерия, который характеризует качество обработки информации. Для этого можно использовать среднее значение потерь, вычисленное на основе тестовой выборки, которая не использовалась при формировании оценок параметров. На практике разделение доступных данных на обучающую и тестовую выборки обычно носит субъективный характер. Выделение большой тестовой выборки приводит к снижению точности оценок параметров из-за уменьшения обучающей выборки. При ограниченном количестве данных наблюдения возникают сложности с выделением достаточно представительной тестовой выборки.

Выполнен анализ различных способов оценки качества. обработки информации. С учетом результатов моделирования выбраны процедуры перекрестной проверки, основанные на методе повторной выборки. В этом случае выборка 2 многократно делится на две части: обучающую 2£у и тестовую Zгj, причем сагй{7-1 у)= Л^, сагс

У=1 ,М. Число возможных вариантов разбиения 2. на обучающую и тестовую повторные выборки Л/тах = С^г для больших N и Л^ чрезвычайно велико. Поэтому наиболее распространены два основных варианта перекрестной проверки. Первый вариант основан на выделении М непересекающихся, подмножеств Т.}, у=1 ,М, причем = Тестовые и обучающие повторные выборки формируются по правилу

т.ц=г\гТ}, }=Щ. (8)

Во втором варианте для тестирования последовательно выделяется одно из выборочных значений.При этом М-И к правило (8) принимает вид

2/7 = {*(/)}, = ]=\М. (9)

Целевая функция определяется усреднением по М вариантам перекрестной проверки

М

М. (Ю)

7=1

где

I «№(*).*,(ММ*)). (И)

Здесь оценки параметров, которые формируются на основе обу-

чающих" повторных выборок у=1 ,М в результате минимизации

функционала (3). На основе минимизации целевой функции (10) и (11) находятся Р и Ц, а затем определяются значения параметров системы обработки информации =

Характеристика вход-выход СОИ (6) определяет структуру искусственной нейронной RBF-сети наибольшей сложности. Количество нейронов в скрытом слое такой сети, равное объему выборки N может оказаться слишком большим. Нейронная RBF-сеть является универсальным аппрок-симатором, причем количество нейронов в сети может быть меньше объема выборки. Для RBF-сети наибольшее количество нейронов скрытого слоя <7тах = N, а для других типов нейронных сетей значение дта\ может быть найдено на основе известных оценок.

Нейросетевые системы обработки информации как слишком простой, так и излишне сложной структуры не позволяют обеспечить достаточно высокое качество обработки информации. Нейронная сеть с излишне простой структурой характеризуется недостаточной аппроксимирующей способностью. Количество нейронов в оптимальной нейронной сети почти всегда меньшее, чем <?шах. В условиях априорной неопределенности структура нейросетевой СОИ определяется с помощью процедуры перекрестной проверки. Получена целевая функция структурной оптимизации

4/<{хЛ))=(ШгУ1 £ X я(/Дх(*)Л),>{*)). (12)

Здесь /5(х,Э) - характеристика вход-выход нейросетевой СОИ фиксированной структуры з; — значения параметров, найденные на основе обучающих повторных выборок 7.1 ], У=1 ,М. Структура нейросетевой СОИ определяется с помощью минимизации ./($) = Так для РШР-сети

структурная оптимизация заключается в определении количества нейронов скрытого слоя <7.

Предложен новый подход к синтезу СОИ при непараметрической априорной неопределенности, основанный на сочетании структурно-параметрической оптимизации и регуляризации. Выполнен анализ предложенных методов: параметрической оптимизации на основе минимизации эмпирического риска; параметрической оптимизации на основе процедуры регуляризации; структурно-параметрической оптимизации; структурно-параметрической оптимизации в сочетании с применением процедуры регуляризации. Результаты моделирования позволили оценить качество обработки информации с помощью систем, построенных на основе каждого

из этих методов. Так метод минимизации эмпирического риска существенно проигрывает другим предложенным методам синтеза СОИ, что особенно проявляется в условиях малых выборок. Метод, основанный на структурно-параметрической оптимизации совместно с регуляризацией, превосходит методы, основанные как на структурно-параметрической оптимизации, так и только на регуляризации.

Наибольший эффект от применения предложенного комбинированного метода достигается в условиях непараметрической априорной неопределенности и малых выборок.

В третьей главе изложены разработанные методы и алгоритмы структурной и параметрической оптимизации нейронных сетей. Приведена классификация нейронных сетей. Для синтеза систем обработки информации выбраны многослойные нейронные сети с последовательными связями. Известно, что такие сети являются универсальными аппроксиматора-ми, а отсутствие обратных связей гарантирует их устойчивость. Структура многослойной нейронной сети с последовательными связями определяется типом используемых нейронов, количеством скрытых слоев и количеством нейронов в каждом из слоев

Модель нейрона представлена в виде где

- функция, определяющая обработку сигналов на первом этапе; - функция активации, определяющая обработку сигналов на втором этапе; - вектор сигнала на входе нейрона; - вектор параметров нейрона; - сигнал на выходе нейрона.

В нейронах многослойных сетей с последовательными связями (многослойных персептронов) первый этап обработки сигналов обычно заключается в вычислении скалярного произведения вектора сигнала на входе нейрона х и вектора параметров этого нейрона V, . Сигнал на выходе нейрона скрытого слоя определяется выражением и,- = + где У/о -смещение. В качестве функции активации используются монотонные функции, например, сигмоидная, арктангенс, гиперболический тангенс.

Другой тип нейронных сетей с последовательными связями представляют RBF-сети. В таких сетях на первом этапе обработки сигналов в нейронах скрытого слоя вычисляется евклидово расстояние между вектором сигнала х и вектором параметров этого нейрона . В общем случае применяется взвешенное расстояние с весами, определяемыми симметричной неотрицательно определенной матрицей . При использовании гауссовой функции активации сигнал на выходе нейрона скрытого слоя RBF-сети принимает вид

С учетом специфики структуры RBF-сети (6), содержащей д = И нейронов в скрытом слое, разработана процедура параметрической оптимизации. На основании выражений (5) и (6) находятся параметры нейронов. скрытого слоя

М/ = х(|) и С, = Р1,/ = 1,д. (14)

Минимизация целевого функционала (3) для квадратичной функции потерь с учетом стабилизирующего функционала (7) приводит к определению параметров выходного слоя

Здесь

(15)

где ф,(х(Л))=Ср(х(А),М,-,С/) находятся по выражениям (13) и (14).

При использовании квадратичной функции потерь в сочетании с повторными выборками (9) целевая функция (10) и (11) принимает вид

На основе минимизации этой функции находятся значения параметров-сглаживания Р и регуляризации ц, а затем - значения параметров выходного слоя

При обучении многослойных нейронных сетей обычно применяются градиентные алгоритмы оптимизации. Градиент целевой функции может вычисляться с помощью процедур обратного распространения ошибки. Для борьбы с эффектом «переобучения» применена процедура регуляризации. С целью повышения скорости обучения нейронных сетей предложен итерационный алгоритм параметрической оптимизации, близкий к алгоритму Левенберга - Марквардта.

Характеристика вход-выход многослойных нейронных сетей /(х,9) является нелинейной по параметрам 9. Целевая функция в задаче параметрической оптимизации оказывается в общем случае многоэкстремальной, поэтому возникает необходимость использования методов глобальной

оптимизации. Неглубокие локальные минимумы позволяет преодолевать метод «тяжелого шарика». Поиск глобального минимума целевой функции на основе многократного выполнения процедуры локальной оптимизации с различными начальными условиями приводит к существенному увеличению объема вычислений. Таким образом, процедуры параметрической оптимизации сложных нейронных сетей оказываются чрезвычайно трудоемкими в вычислительном отношении и все же не позволяют гарантированно находить наименьшее значение целевой функции.

Для синтеза системы обработки информации на основе многослойных нейронных сетей предложен метод структурно-параметрической оптимизации. Модификация структуры нейронной сети в процессе обучения позволяет бороться с эффектом «переобучения» и многоэкстремальным характером целевой функции.

Выполнен анализ алгоритмов структурной оптимизации. При использовании алгоритмов, основанных на последовательном упрощении структуры сети, на начальном этапе необходимо решить задачу параметрической оптимизации для сети наибольшей сложности. Такая задача обычно характеризуется высокой размерностью вектора искомых параметров и является существенно многоэкстремальной. При этом поиск глобального минимума целевой функции сопряжен с чрезвычайно большим объемом вычислений. В алгоритмах, основанных на последовательном усложнении структуры сети, на начальном этапе решается задача параметрической оптимизации для наиболее простой сети. Меньшее значение целевой функции структурной оптимизации достигается при использовании алгоритмов, в которых количество нейронов в процессе оптимизации может, как увеличиваться, так и уменьшаться. Однако при поиске структуры сети с помощью таких алгоритмов, необходимое число итераций заранее не известно и может оказаться значительным.

Предложен алгоритм структурно-параметрического синтеза нейронных сетей, базирующийся на процедуре структурной модификации. Этот алгоритм состоит из двух этапов. Первый этап начинается с решения задачи параметрической оптимизации для наиболее простой сети, которая может содержать всего один нейрон в скрытом слое. Затем выполняется последовательное усложнение структуры сети. Добавление нового нейрона выполняется при достижении локального минимума в задаче параметрической оптимизации. Случайный выбор начальных значений параметров добавляемого нейрона, как правило, приводит к увеличению эмпирического риска. Этого не происходит при определении параметров добавляемого нейрона с использованием процедуры предварительного обучения. Первый

этап структурно-параметрического синтеза завершается после формирования сети, которая обеспечивает заданное малое значение эмпирического риска (?£. Однако такая нейронная сеть в подавляющем большинстве случаев приводит к большому значению средних потерь и низкому качеству обработки информации. «Переобучение» сети, полученной на первом этапе, возникает из-за избыточного количества нейронов. На втором этапе выполняется последовательное упрощение нейронной сети с помощью разработанной процедуры направленной структурной модификации. Найденные на некотором шаге алгоритма структурной оптимизации значения параметров используются в качестве начальных условий при решении задачи параметрической оптимизации на следующем шаге. Выбор структуры нейронной сети осуществляется на основе минимизации целевой функции структурной оптимизации (12).

Процедура структурной модификации основана на выделении в составе сети нейронного блока (рис. 1). Сигнал на входе 1-го нейронного блока слоя совпадает с сигналом на входе соответствующего нейрона и представляет собой сигнал на выходе слоя

иу_| = [«у-!,|,...,«у-1,<7У-| ]Т• Сигнал на выходе нейронного блока

Здесь - произведение сигнала на выходе /-го нейрона у-го слоя на весовой коэффициент связи от этого нейрона к /-му нейрону (у+1)-го слоя

Км / = 1,?у+1, г = V-1,0-1. -

Параметрами /-го нейронного блока в слое V являются векторы, состоящие из весовых коэффициентов связей от нейронов (у-1)-го слоя к /-му нейрону у-го слоя = [уу,/,ь...,Уу1/19у_1]т и связей от /-го нейрона у-го слоя ко всем нейронам (у+1)-го слоя а также

смещение

Анализ структуры многослойной нейронной сети позволяет сделать вывод о том, что нейронные блоки соединены между собой параллельно. В результате процедуры структурной модификации нейронной сети два наиболее близких нейронных блока заменяются одним аппроксимирующим

При этом аппроксимирующий нейронный блок можно рассматривать как эквивалентную нейронную сеть, состоящую из одного нейрона в скрытом слое.

(16)

Обучение нейронной сети (16) предложено проводить с помощью эталонной нейронной сети, состоящей из параллельно соединенных, объединяемых у-го и /-го нейронных блоков

Уч,а = bvj + Kj =WVJ v_, + Vv,y.0)+ WVi/VJ/(vIjU v_, + Vv¿„). (17)

Обучающая выборка для эквивалентной нейронной сети (16) состоит из значений сигналов на входе uv_[(¿) и выходе yv<a(k) = bvtl(k)+bvj(jc), k = \,Na эталонной нейронной сети (17). Поскольку доступна эталонная, нейронная сеть, то может быть сформирована обучающая выборка необходимого объема Na. Поэтому существует возможность обеспечить близкую к потенциально возможной точность аппроксимации. После определения параметров аппроксимирующего нейронного' блока выполняется подстройка параметров нейронной сети. Затем вычисляется значение целевой функции структурной оптимизации (12).

Т

Рис. 1. Нейронный блок в составе многослойной нейронной сети

Для иллюстрации работоспособности и эффективности метода и алгоритма структурно-параметрического синтеза нейронных сетей приведен пример восстановления зависимости и = /(х). Обучающая выборка со-

стоит из значений равномерно распределенной случайной величины х(А)е[-1;1] и значений истинной зависимости, искаженных аддитивным гауссовским шумом у{к) = ))+£(£). Функция активации нейронов скрытого слоя имеет вид гиперболического тангенса. В процессе структурной оптимизации сети на первом этапе количество нейронов q увеличивалось от 1 до 16, а на втором - уменьшалось от 16 до 1. Целевая функция структурной оптимизации J{д) рассчитана с использованием повторных выборок (9) и представлена на рис. 2.

** е..

• * • "X—• С • * « е'-'к-"'

. О

8

10

12

14 д 16

Рис. 2. Целевая функция структурной оптимизации: 1 - первый этап, 2 - второй этап

По завершении первого этапа сформирована нейронная сеть, обеспечивающая близкое к нулю значение эмпирического риска. Избыточное количество нейронов в скрытом слое ((7 = 16) приводит к «переобучению» этой сети. Поэтому зависимость и=существенно отличается от истинной и = /(х) (рис. 3, а). По завершении второго этапа из условия минимума целевой функции структурной оптимизации найдена нейронная сеть, структура которой согласована с обучающей выборкой. Такая сеть содержит д = 3 нейрона в скрытом слое и обеспечивает достаточно хорошее приближение к истинной зависимости (рис. 3, б).

При синтезе нейронной КБР-сети применение процедур структурной модификации на пером этапе не требуется. Параметры нейронной КБР-сети, содержащей д = N нейронов скрытого слоя, определяются выражениями (14) и (15). На втором этапе выполняется объединение близких нейронных блоков, что приводит к уменьшению количества нейронов скрытого слоя сети. Структура нейронной сети определяется из условия минимизации целевой функции (12). В разработанном алгоритме структурная оптимизация ЯБР-сети сопровождается настройкой не только параметров

выходного слоя, но и параметров нейронов скрытого слоя М/, С/, /=1,ф. При этом обеспечивается естественная возможность контроля сложности формируемой нейронной сети и качества ее работы. Проведенное моделирование подтверждает эффективность предложенных метода и процедур структурно-параметрического синтеза нейронных сетей.

Рис. 3. Результаты восстановления зависимости с помощью сетей, содержащих ^ = 16 (а) и ^ = 3 (б) нейронов в скрытом слое: 1 - обучающая выборка 2. , 2 - истинная зависимость и = /{х), 3 - полученная зависимость и =

Четвертая глава посвящена формированию процедур и алгоритмов обработки информации на основе нейронных сетей. Системы обработки информации без памяти могут быть синтезированы непосредственно на основе нейронных сетей с последовательными связями. Обработка сигналов обычно осуществляется системами с памятью. Для нелинейной обработки сигналов на основе объединения линии задержки и нейронной сети строится система с конечной памятью «(и)=/(х(п),дг(;7-1),...)дг(п—1* + 1)), где - длина линии задержки.

Определение структуры нейросетевой системы обработки сигналов осуществляется на основе априорной информации и накопленных данных наблюдения. В процессе обработки информации выполняются процедуры структурной и параметрической адаптации по отношению к изменяющимся статистическим характеристикам сигналов. При высокой скорости поступления данных адаптацию системы обработки сигналов предлагается осуществлять за счет подстройки параметров. Возможность слежения за

достаточно быстрыми изменениями характеристик сигналов обеспечивают нейронные сети с одним скрытым слоем нейронов

Здесь Р(Х(и),у) = [<р(Х(и)(У|),...,<р(Х(л),У9)]т - сигнал на выходе скрытого слоя нейронной сети; V - вектор параметров скрытого слоя сети; - вектор параметров выходного слоя сети;

- вектор наблюдения. Структура системы адаптивной обработки сигналов, включая подсистему настройки параметров, представлена на рис. 4.

Рис. 4. Система адаптивной обработки сигналов

Если параметры скрытого слоя нейронной- сети неизменны, то Р(Х(иХу)=!г(Х(и))» и осуществляется настройка параметров только выходного слоя. В этом случае для обеспечения удовлетворительного качества обработки сигналов необходимо большое количество нейронов скрытого слоя. При этом проявляется эффект «переобучения», для преодоления которого предложено использовать регуляризацию. Настройка параметров системы обработки сигналов осуществляется с помощью разработанного рекуррентного алгоритма по методу взвешенных наименьших квадратов с применением регуляризации (РАНКР)

х(р(Х(и))(><П)-Рт(Х(«))>у(«-1))+ц(Х-1К(«-1)), (18)

Здесь X - параметр дисконтирования обработанных наблюдений. Предложены подходы к снижению вычислительной сложности этого алгоритма.

Эффективность адаптивной обработки сигналов зависит от значений параметров регуляризации ц и дисконтирования Л.. Значения ц(и) и Х(п) определяются из условия минимизации среднего квадрата невязки с помощью разработанных рекуррентных процедур. В результате объединения этих процедур с алгоритмом (18) и (19) получен адаптивный рекуррентный алгоритм наименьших, квадратов с регуляризацией (АРАНКР). Если в АРАНКР принять Ц = 0, то приходим к адаптивному рекуррентному алгоритму наименьших квадратов без регуляризации (АРАНК).

В качестве иллюстрации работы алгоритмов приведен пример идентификации нелинейной системы с переменными параметрами. Результаты моделирования свидетельствуют о наличии больших значений ошибок (рис. 5) при использовании АРАНК, которые возникают из-за существенных различий характеристик вход-выход системы и настраиваемой модели. Применение процедуры регуляризации позволяет уменьшить средний квадрат ошибки и в значительной мере исключить выбросы. Таким образом, применение АРАНКР обеспечивает более высокую точность идентификации.

Рис. 5. Ошибки идентификации: 1 - АРАНКР, 2 - АРАНК

При рекуррентной настройке параметров только выходного слоя нейронной сети в общем случае не удается обеспечить высокое качество обработки сигналов. Разработаны рекуррентные алгоритмы, обеспечивающие на каждом шаге модификацию всех параметров нейронной сети. При большом количестве нейронов в сети реализация таких алгоритмов в реальном времени затруднительна.

Учет специфики нейронных RBF-сетей позволил синтезировать семейство рекуррентных алгоритмов, обеспечивающих на каждом шаге настройку всех параметров выходного и части параметров скрытого слоя сети. В соответствии с наиболее простым из этих алгоритмов в каждый момент времени выбирается такой нейрон скрытого слоя, на выходе которого величина сигнала ф(х(я),М,(и- lXC,(rt-J)J наибольшая. Для этого нейрона определяются новые значения М,(л) и С,(и), после чего по алгоритму (18) и (19) корректируются параметры выходного слоя. Предложенный алгоритм обладает незначительно большей вычислительной сложностью и. обеспечивает существенно более высокое качество обработки сигналов по сравнению с алгоритмом без подстройки параметров скрытого слоя.

Разработана процедура структурно-параметрического синтеза нейро-сетевого классификатора. Применено решающее правило

Ку

й-arg min (20)

"yetJ/=i

которое получено с учетом структуры оптимального (байесовского) классификатора. Здесь Р/ - оценки априорных вероятностей состояний системы >», еЭ; /(x,W/,v,) = Д(х), где /?,(х) - плотности вероятности, определенные на множестве наблюдений X при фиксированном состоянии системы yi £ 9, / = 1,Ку. Для формирования оценки многомерной плотности вероятности использована полигауссовская аппроксимация

¿»VPjfevy), i = l,Ky. (21)

У=1

Здесь w,j - весовые коэффициенты; ф ¡Дх, v,y )=ф(х, М R ,у ) - гауссовская плотность вероятности, где М// - вектор математического ожидания, R,y - ковариационная матрица, j = \,q-lt i~\,Ky. Выражение (21) определяет характеристику вход-выход искусственной нейронной RBF-сети. Нейросетевой классификатор состоит из блока вынесения решения и совокупности RBF-сетей, на выходе которых формируются оценки Д(х). Качество этих оценок предложено рассматривать с точки зрения работоспособности синтезируемого классификатора.

С позиций теоретико-вероятностного подхода компоненты смеси вероятностных распределений (21) соответствуют отдельным кластерам. С использованием процедуры структурной модификации для определения параметров RBF-сетей разработан агломеративный иерархический алгоритм. На первом шаге алгоритма каждое наблюдение рассматривается как

отдельный I кластер. При этом параметры-оценки плотности вероятности (21) определяются выражениями иц = д^, Мц = х^'), =а21, = У =1»9/» / = Наблюдения х,(у), У = 1,/// соответствуют ;-му состоянию системы. Величина а, играющая роль параметра сглаживания, влияет на качество классификации. Значение параметра сглаживания находится с помощью перекрестной проверки. На каждо шаге работы алгоритма выполняется объединение двух ближайших кластеров (с номерами _/| и у2)« а количество компонент ф в смеси распределений (21) уменьшается на единицу. Из условия минимизации погрешности аппроксимации, определяемой с помощью метрики Кульбака, для гауссовской компоненты смеси, соответствующей объединенному кластеру, получена процедура определения параметров

IV . = ш ■ +1У ■ V !/| У 2'

(22)

(23)

(24)

На каждом шаге алгоритма совокупностью найденных параметров и'у, М,у, Щ-, 7 = > ' = определяются оценки плотности вероятности УХх.лу/.у,) для каждого класса / = 1,/Гу> Эти оценки используются в решающем правиле (20).

Качество классификатора определяется на основе дополнительной тестовой выборки, а при ее отсутствии с помощью перекрестной проверки. В результате структурной оптимизации находится классификатор, характеризующийся наименьшим значением целевой функции (12).

В качестве примера для случая двух классов приведены результаты структурно-параметрического синтеза нейросетевого классификатора (рис. 6). Получен ряд классификаторов, основанных на сетях с различным количеством нейронов - количество нейронов в каж-

дой из RBF-сетей. Структура классификатора найдена с помощью перекрестной проверки при использовании обучающей выборки. Проведенная на основе тестовой выборки оценка качества классификации показала, что построенный классификатор характеризуется наименьшим значе-

нием коэффициента ошибок Ке = 7»10~3 (рис. 7).

о 1 2 3 X, 4

Рис. 6. Результаты классификации: и + — обучающая выборка, ОиО - центры кластеров, --граница решающих областей

,0_3 0 10 20 30 ц 40

Рис. 7. Зависимость коэффициента ошибок от числа нейронов в классификаторе

Оценки вероятности ошибочной классификации, полученные в результате усреднения по множеству реализаций, свидетельствуют о том, что синтезированная процедура классификации на основе нейронных RBF-сетей незначительно уступает оптимальной параметрической процедуре и существенно превосходит непараметрическую процедуру, основанную на использовании ядерных оценок плотности вероятности Парзена - Розенблат-та. Применение процедуры структурной оптимизации позволяет дополнительно уменьшить значение коэффициента ошибок. При этом количество компонент в оценке плотности вероятности (21) значительно сокращается.

Таким образом, основные преимущества предложенного подхода, основанного на структурно-параметрическом синтезе нейронных RBF-сетей, по сравнению с непараметрической процедурой классификации, построенной на основе оценок плотности вероятности Парзена — Розенблатта, заключаются в лучшем качестве классификации (меньших значениях вероятности ошибки) и существенно меньшей сложности решающего правила.

Пятая глава посвящена практическому применению предложенного метода структурно-параметрического синтеза нейросетевых систем обработки информации.

Разработана процедура приема дискретных сообщений для каналов связи с памятью и замираниями. При этом импульсная характеристика канала изменяется незначительно на длительности элементарного сигнала. Процедура поэлементного приема на ограниченном интервале с фиксированной задержкой вынесения решения оптимальная по критерию минимума средней вероятности ошибки на символ, является существенно нелинейной. В общем случае эта процедура требует для своей реализации

весьма значительных вычислительных ресурсов. С использованием оптимального решающего правила построен приемник, основанный на нейронных RBF-сетях (рис. 8). Передаваемые сигналы считаются равновероятными, а потери от ошибочных решений равнонежелательными. В этом случае решающее правило (20) упрощается. При этом в качестве оценки переданного сообщения! й(п~т)_принимается тот символ для которого

/,(Х(п))= р(Х(п)/уЛ, 1-1,К принимает наибольшее значение. Здесь К

- число сигналов в ансамбле. Структурно-параметрическая оптимизация нейронной сети выполняется на основе обучающей последовательности с использованием процедуры структурной модификации (22) - (24). В процессе приема дискретных сообщений осуществляется слежение за изменением характеристик канала связи и подстройка параметров нейросетевого приемника. Для случая стохастического двухлучевого канала связи с помощью моделирования получены зависимости вероятности ошибочного приема от отношения сигнал-шум (рис. 9). За счет некоторого снижения помехоустойчивости удалось уменьшить вычислительную сложность алгоритма поэлементного приема в каналах с памятью.

Рис. 8. Нейросетевой приемник дискретных сообщений

Рис. 9. Вероятность ошибки:

1 - оптимальный приемник,

2 - нейросетевой приемник

Повышение эффективности систем передачи дискретных сообщений при наличии искажений в канале связи может быть обеспечено за счет совместной оптимизации передатчика и приемника. Для этого в состав передатчика предлагается включить нейросетевой корректор характеристик канала связи. Параметры корректора определяются в приемнике и направляются в передатчик по обратному каналу. Настройка корректора осуществляется на основе обучающей последовательности. Для подстройки пара-

метров корректора в рабочем режиме могут использоваться оценки переданных дискретных сообщений. Многим радиоканалам, свойственны как линейные, так и нелинейные искажения. Обучение нейронной сети осуществляется из условия минимизации нелинейных искажений на выходе последовательно соединенных1 корректора и нелинейной системы. При этом корректор представляет собой инверсную настраиваемую модель системы. В отдельных системах радиосвязи нелинейным элементом является выходной каскад передатчика. Построен нейросетевой корректор, который практически полностью устраняет нелинейные искажения. Для ансамбля передаваемых сигналов с квадратурной амплитудной модуляцией результаты моделирования работы корректора представлены на рис. 10.

Рис. 10. Схема коррекции искажений (а); ансамбли сигналов: на выходе системы без коррекции (б), на входе системы (в), на выходе корректора (г), на выходе системы при наличии коррекции (д)

Для идентификации многолучевого радиоканала построена настраиваемая модель. Разработаны рекуррентные алгоритмы, позволяющие оценивать параметры модели канала при априорной неопределенности относительно статистических характеристик шумов и замираний. Разработан адаптивный алгоритм, представляющий собой модифицированный алгоритм Калмана. Меньшей вычислительной сложностью обладает алгоритм идентификации радиоканала, основанный на рекуррентном алгоритме-

наименьших квадратов. При изменяющемся количестве лучей и интервале многолучевости настраиваемая модель канала связи может обладать структурной избыточностью. В таких условиях применение процедуры регуляризации препятствует снижению качества идентификации. Процедуры рекуррентного определения значений параметров регуляризации и дисконтирования обеспечивают возможность слежения за изменением характеристик канала связи. Выполнен анализ работоспособности синтезированных алгоритмов применительно к декаметровому радиоканалу. Результаты моделирования подтверждают целесообразность применения разработанных процедур адаптации и регуляризации в составе подсистемы идентификации канала связи.

Разработана процедура определения траекторий движения объектов на основе данных радионавигационных систем. Координаты объекта измеряются с ошибкой в моменты времени С помощью нейронной ЛВР-сети формируется оценка траектории- движения й(/) = \Утф(?,р), где Ф(',Р) = Ы'.Р).....Ф«(',Р)]Т, Ф,(г,Р) = ехр(-р(/-/,)2/2). Параметры линейного выходного слоя W находятся на основе адаптивного рекуррентного алгоритма наименьших квадратов с регуляризацией. Проведено моделирование нейросетевой процедуры обработки навигационных измерений (рис. 11).

Для различных траекторий движения объектов коэффициент подавления шума составил 5... 10 дБ. Предложенная процедура обработки навигационных измерений отличается от известных тем, что позволяет находить оценку траектории движения в виде непрерывной функции времени. Кроме того, координаты объектов могут измеряться через различные промежутки времени. При этом обеспечивается обработка пропусков, возникающих, например, в условиях радиотеней. Предложенная процедура определения траекторий движения объектов позволяет повысить эффективность функционирования автоматизированных систем управления движением, а также может быть использована для формирования эталонных траекторий.

0 0,1 0,2 и\ 0,3

Рис. 11. Результаты формирования траектории движения: ■■■ траектория движения, X - данные наблюдения, - оценка траектории движения

В заключении сформулированы выводы и основные результаты диссертационной работы, а также рекомендации, вытекающие из проведенного исследования.

ЗАКЛЮЧЕНИЕ

В условиях непараметрической априорной неопределенности и малых выборок применение предложенного комбинированного метода структурно-параметрической оптимизации и регуляризации, позволяет обеспечить более высокое качество обработки информации по сравнению с классическими непараметрическими методами. Структура нейронных сетей должна быть согласована с обучающей выборкой. Использование доступной априорной информации позволяет найти единственное решение задачи структурного синтеза нейронной сети. Высокое качество адаптивной нелинейной обработки сигналов может быть достигнуто при использовании рекуррентных алгоритмов настройки параметров с применением регуляризации. Учет структурных особенностей нейронных сетей позволяет обеспечить приемлемую для практической реализации вычислительную сложность алгоритмов обработки сигналов.

Основные результаты диссертационной работы состоят в следующем.

1. Сформированы принципы структурно-параметрического синтеза систем обработки информации при непараметрической априорной неопределенности.

2. Разработан метод синтеза систем обработки информации на основе искусственных нейронных сетей с последовательными связями.

3. Разработан метод обучения искусственных нейронных сетей, основанный на комбинированном методе структурной оптимизации и регуляризации, позволяющий достичь более высокого качества обработки информации, чем при использовании каждого из них по отдельности.

4. Разработан способ и алгоритмы структурно-параметрической оптимизации нейронных сетей, основанные на процедуре структурной модификации, отличающиеся от алгоритмов,- основанных на добавлении и удалении нейронов.

5. Получены процедуры структурной модификации для многослойных нейронных сетей с последовательными связями. Структурная модификация проводится на уровне выделенных нейронных блоков.

6. Синтезированы алгоритмы параметрической оптимизации для различных типов многослойных нейронных сетей с последовательными связями, обеспечивающие высокую скорость обучения.

7. Получен способ и алгоритм решения задачи восстановления зависимостей на основе структурно-параметрической оптимизации нейронных сетей с последовательными связями. Алгоритм работоспособен в условиях малых обучающих выборок.

8. Разработан способ и алгоритм построения классификаторов на основе структурно-параметрической оптимизации отдельных видов нейронных сетей с использованием байесовского решающего правила.

9. Построены системы адаптивной нелинейной обработки сигналов на основе нейронных сетей с последовательными связями. Синтезированы новые рекуррентные алгоритмы настройки параметров систем обработки сигналов, отличающиеся применением адаптации и регуляризации. Получены процедуры настройки параметров регуляризации и дисконтирования. С учетом специфических особенностей отдельных видов нейронных сетей предложены способы снижения вычислительной сложности рекуррентных алгоритмов настройки параметров.

Результаты диссертационной работы рекомендуется использовать при решении задач классификации, восстановления зависимостей и адаптивной обработки сигналов, в частности, идентификации систем, краткосрочного прогнозирования, коррекции искажений. Результаты работы предлагается применять при разработке разнообразных технических систем, в том числе управления и связи.

ОСНОВНЫЕ ПУБЛИКАЦИИ

Основное содержание, положения и результаты диссертации опубликованы в 47 работах, основными из которых являются следующие.

1.Туркин А.И., Новиков Н.С., Милов В.Р. Алгоритм адаптивного приема ансамблей сложных сигналов для гауссовского стохастического канала связи с переменными параметрами // Межвуз. сб. науч. тр. / НГТУ. -Н.Новгород. - 1995. - С. 84 - 89.

2. Туркин А.И., Новиков Н С, Милов В.Р. Синтез и анализ итеративного алгоритма приема в целом для гауссовского канала связи // Радиоэлектронные и телекоммуникационные системы и устройства: Юбилейный межвуз. сб. науч. тр. / НГТУ. - Н.Новгород. - 1997. - С. 6 - 12.

3. Милов В.Р., Семашко А.В. Алгоритм приема ансамблей фазоманипулиро-ванных сигналов для гауссовских каналов связи с памятью // Радиоэлектронные и телекоммуникационные системы и устройства: Юбилейный межвуз. сб. науч. тр. / НГТУ. - Н.Новгород. - 1997. - С. 12 - 18.

4. Семашко А.В., Милов В.Р. Непереборный алгоритм приема сигнально-кодовых конструкций для гауссовского канала связи // Радиоэлектронные и телекоммуникационные системы и устройства: Межвуз. сб. науч. тр. / НГТУ. - Н.Новгород. - 1998. - Вып. 3. - С. 59 - 64.

5. Туркин А.И;, Семашко А.В., Милов В.Р. Итеративный алгоритм совмещенных систем цифрового кодирования источника и канала // Системы обработки информации и управления: Межвуз. сб. науч. тр. / НГТУ. -Н.Новгород. - 1998. - Вып. 4. - С. 101 - 110.

6. Баранов В.Г., Безруков Е.С., Милов В.Р. Алгоритм идентификации линейного стохастического канала связи // Системы обработки информации и управления: Межвуз. сб. науч. тр. / НГТУ. - Н.Новгород. - 1999. -Вып. 5. - С. 47 - 50.

7. Милов В.Р. Передача дискретных сообщений с использованием пред-искажений по каналам связи с переменными параметрами и памятью // Радиоэлектронные и телекоммуникационные системы и устройства: Межвуз. сб. науч. тр. / НГТУ. - Н.Новгород. - 1999. - Вып. 5. - С. 43 - 49.

8. Милов В.Р. Структурный синтез нелинейного фильтра с заданной сложностью реализации // Радиоэлектронные и телекоммуникационные системы и устройства: Межвуз. сб. науч. тр. / НГТУ. - Н.Новгород. - 2001. - Вып. 7. - С. 32 - 37.

9. Баранов В.Г., Милов В.Р, Махмудов Я.Я. Способ структурной идентификации многомерных статических систем // Системы обработки информации и управления: Межвуз. сб. науч. тр. / НГТУ. - Н.Новгород. -20*01.-Вып. 7.-С. 109- 114.

10. Программный комплекс «Радиомодем» (№ 2001611210)/В.Г. Баранов, В.Р. Милов, Г.А. Перова // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем. Официальный бюллетень РОСПАТЕНТ. -М.: ФИПС, 2001, № 4 (37). - С. 262 - 263.

И. Программный комплекс адаптивной фильтрации (№ 2001610685) / В.Г. Баранов, В.Р. Милов, Г.А. Перова // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем. Официальный бюллетень РОСПАТЕНТ. - М.: ФИПС, 2001, № 3 (36). - С. 236.

12. Баранов В.Г., Белоусов Е.Л., Милов В.Р. Адаптация в системах цифровой радиосвязи. - Н. Новгород: Изд-во НГТУ, 2001. - 170 с.

13. Баранов В.Г., Милов В.Р., Махмудов Я.Я. Структурно-параметрический синтез адаптивных фильтров в классе моделей линейных по параметрам // Труды НГТУ: Радиоэлектронные и телекоммуникационные системы и устройства / НГТУ. - Н. Новгород. - 2002. - Т. 36, Вып. 8. - С. 28 - 33.

14. Милов В.Р. Синтез процедур регуляризации и адаптации для последовательной обработки сигналов по методу наименьших квадратов // Труды НГТУ: Радиоэлектронные и телекоммуникационные системы и устройства / НГТУ. - Н.Новгород. - 2002. - Т. 36, Вып. 8. - С. 34 - 38.

15. Кондратьев В.В., Милов В.Р. Идентификация нелинейных систем на основе структурно-параметрического синтеза нейронных RBF-сетей // Доклады академии наук. - 2002. - Т. 386, № 3. - С. 318 - 321.

16. Милов В.Р. Восстановление многомерных нелинейных зависимостей по экспериментальным данным // Вестник ВГАВТ: Надежность и ресурс в машиностроении / ВГАВТ. - Н.Новгород. - 2003. - Вып. 4. -С. 163-168.

17. Кондратьев В.В., Милов В.Р. Структурно-параметрический синтез ней-росетевого классификатора // Наукоемкие технологии. — 2003. — Т. 4, № 2. -С. 101-106.

18. Милов В.Р. Синтез непараметрического классификатора на основе искусственных нейронных RBF-сетей // Известия ВУЗов. Радиофизика. -2003.-T.XLVI, №2.-С. 144-149.

19. Милов В.Р. Адаптивная нелинейная обработка сигналов в условиях непараметрической априорной неопределенности // Наукоемкие технологии. - 2003. - Т. 4, № 2. - С. 107 - 111.

20. Милов В.Р. Обучение нейронных RBF-сетей на основе процедур структурно-параметрической оптимизации // Нейрокомпьютеры: разработка, применение.- 2003.- №5-С. 29-33.

21. Милов В.Р. Адаптивная обработка сигналов на основе рекуррентного алгоритма с регуляризацией по методу наименьших квадратов // Известия ВУЗов. Приборостроение. - 2003. - Т. 46, № 10. - С. 11 - 17.

22. Милов В.Р. Структурно-параметрическая оптимизация многослойных нейронных сетей // Нейрокомпьютеры: разработка, применение. - 2003. - №10-11.-С. 3-9.

Подписано в печать03.10.03. Формат 60x84 '/16. Бумага офсетная. Печать офсетная. Уч.-изд. л. 1,0. Тираж 100 экз. Заказ 695.

Нижегородский государственный технический университет. Типография НГТУ. 603600, Нижний Новгород, ул. Минина, 24.

Р11940

Введение

ГЛАВА 1. Задачи и методы обработки информации.

1.1. Принципы обработки информации.

1.2. Оптимальная обработка информации.

1.3. Задачи обработки информации.

1.4. Методы обработки информации при априорной неопределенности.

1.4.1. Параметрические методы.

1.4.2. Непараметрические методы.

1.4.3. Нейросетевые методы.

ГЛАВА 2. Метод синтеза систем обработки информации при априорной неопределенности на основе искусственных нейронных сетей.

2.1. Постановка задачи структурно-параметрического синтеза систем обработки информации.

2.2. Метод минимизации эмпирического риска.

2.2.1. Настройка параметров систем обработки информации по методу минимизации эмпирического риска.

2.2.2. Анализ возможности применения метода минимизации эмпирического риска для синтеза систем обработки информации.

2.3. Разработка метода структурно-параметрического синтеза систем обработки информации.

2.3.1. Концепция структурно-параметрического синтеза систем обработки информации.

2.3.2. Согласование вида характеристики вход-выход системы обработки информации и данных наблюдения.

2.3.3. Способы синтеза систем обработки информации

2.4. Способы определения качества обработки информации.

2.5. Разработка способа синтеза систем обработки информации на основе метода регуляризации.

2.5.1. Применение метода регуляризации для определения характеристики вход-выход системы обработки информации.

2.5.2. Выбор стабилизирующего функционала.

2.5.3. Синтез системы обработки информации.

2.5.4. Анализ влияния параметра регуляризации на качество обработки информации.

2.6. Разработка комбинированного метода синтеза систем обработки информации.

2.6.1. Синтез при параметрической априорной неопределенности.

2.6.2. Синтез при непараметрической априорной неопределенности.

ГЛАВА 3. Методы и алгоритмы структурной и параметрической оптимизации нейронных сетей.цд

3.1. Направления развития и области применения нейросетевых технологий.

3.2. Классификация нейронных сетей.

3.3. Структура нейронных сетей с последовательными связями.

3.3.1. Многослойные нейронные сети.

3.3.2. Нейронные ИВР-сети.

3.3.3. Полиномиальные нейронные сети.

3.4. Применение методов оптимизации для обучения нейронных сетей.

3.4.1. Разработка универсальных процедур локальной оптимизации для настройки параметров нейронных сетей.

3.4.2. Методы поиска глобального экстремума

3.5. Синтез процедур и алгоритмов параметрической оптимизации нейронных сетей.

3.5.1. Многослойные нейронные сети.

3.5.2. Нейронные ЯВР-сети.

3.5.3. Полиномиальные нейронные сети.

3.6. Методы определения структуры нейронных сетей с последовательными связями.

3.6.1. Процедуры структурной оптимизации.

3.6.2. Метод направленной модификации структуры сети.

3.7. Алгоритмы структурно-параметрического синтеза нейронных сетей.

ГЛАВА 4. Обработка информации на основе нейронных сетей

4.1. Применение нейронных сетей для обработки сигналов

4.2. Процедуры адаптивной нелинейной обработки сигналов на основе нейронных сетей.

4.3. Алгоритмы настройки параметров нейросетевых систем обработки сигналов.

4.3.1. Регуляризованная оценка параметров систем по методу взвешенных наименьших квадратов.

4.3.2. Синтез рекуррентного алгоритма с регуляризацией по методу взвешенных наименьших квадратов.

4.3.3. Процедура адаптивной настройки параметров регуляризации и дисконтирования.

4.3.4. Модифицированные алгоритмы с регуляризацией по методу взвешенных наименьших квадратов

4.3.5. Обработка сигналов на основе адаптивных алгоритмов с регуляризацией.

4.4. Структурно-параметрический синтез нейросетевого классификатора.

4.4.1. Синтез классификаторов при априорной неопределенности.

4.4.2. Решение задачи классификации на основе структурно-параметрического синтеза нейронных

ЯВР-сетей.

4.4.3. Моделирование процедур классификации.

ГЛАВА 5. Применение иейросетевых систем обработки информации.

5.1. Прием дискретных сообщений в многолучевых радиоканалах.

5.1.1. Оптимальный поэлементный прием дискретных сообщений в каналах с памятью.

5.1.2. Нейросетевой приемник дискретных сообщений.

5.2. Идентификация каналов связи.

5.2.1. Идентификация нелинейных каналов с памятью на основе нейронных сетей.

5.2.2. Алгоритмь1 настройки параметров модели стохастического канала связи.

5.3. Нейросетевая коррекция нелинейных искажений.

5.4. Нейросетевая процедура обработки навигационных данных.

5.5. Восстановление многомерных нелинейных зависимостей по экспериментальным данным.

Актуальность темы

В настоящее время сохраняется потребность в разработке новых и совершенствовании существующих методов и средств обработки информации для решения ряда практических задач. Это обусловлено необходимостью повышения надежности и эффективности функционирования разнообразных технических и других систем.

Объектом исследования в диссертационной работе являются системы обработки информации. Теория обработки информации имеет богатую историю, но именно в последние два-три десятилетия она заняла почетное место в рамках кибернетики - науки, которая «занимается изучением систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления и регулирования» (А.Н. Колмогоров).

Все возрастающее значение методов обработки информации обусловлено, в первую очередь, запросами современного производства, требующего быстрого развития и широкого внедрения разнообразных технических систем, в том числе управления и связи. Сложность этих систем обусловлена необходимостью работать в широко изменяющихся диапазонах, при заранее непредсказуемых условиях, в режимах, затрудняющих или делающих невозможным контроль со стороны человека.

Теоретическую основу исследований в области обработки информации составляет совокупность теорий, первоосновой которых является математическая статистика. Можно считать, что теория оценивания как математическая наука начала развиваться с работ Лежандра и Гаусса о методе наименьших квадратов. Основополагающий вклад в развитие статистической теории оценивания и проверки гипотез сделан P.A. Фишером

R.A. Fisher) и А. Вальдом (A. Wald). Теория оптимальной фильтрации случайных процессов создана А.Н. Колмогоровым и Н. Винером (N. Wiener). Процедуры рекуррентной фильтрации получены Р. Калма-ном (R.E. Kaiman). Центральные идеи в области нелинейной фильтрации выдвинуты P.JL Стратоновичем.

В большинстве практических задач неизвестны статистические характеристики сигналов и помех, необходимые для синтеза оптимальных систем обработки информации. При наличии априорной неопределенности применяются различные подходы к обработке информации.

Основные идеи и методы построения разнообразных систем обработки информации в условиях параметрической априорной неопределенности и их приложения получили освещение в многочисленных работах отечественных ученых P.JI. Стратоновича, Я.З. Цыпкина, Н.С. Райбмана, В.Г. Репина, Б.Р. Левина, A.A. Красовского, В.В. Кондратьева, Б.Н. Петрова, Д.Д. Кловского, В.И. Тихонова, В.Н. Харисова, А.П. Трифонова, В.Н. Фомина, Я.Д. Ширмана, М.С. Ярлыкова, А.П. Реутова, Ю.С. Ши-накова, A.JI. Фрадкова. Ряд способов и процедур преодоления априорной неопределенности нашли отражение в работах зарубежных авторов Б. Уидроу (В. Widrow), С.Д. Стирнза (S.D. Stearns), П. Эйкхоффа (P. Eykhoff), Э.П. Сейджа (А.Р. Sage), Л. Льюнга (L. Ljung), К.С. На-рендры (K.S. Narendra), К.Ф.Н. Коуэна (C.F.N. Cowan), П.М. Гранта (P.M. Grant).

Во второй половине двадцатого столетия сформировалась концепция адаптации как текущей численной оптимизации с целью достижения экстремального значения заданного целевого функционала. Адаптивная (самонастраивающаяся) система рассматривается как «автоматическая система, осуществляющая поиск оптимального состояния и изменяющая режим работы системы или перестраивающая ее параметры (а иногда и структуру) в соответствии с найденным оптимальным состоянием» (Ч.С. Дрейпер, И.Т. Ли). В широком смысле адаптивность представляет собой целенаправленную приспособляемость, самоорганизацию или го-меостаз в изменяющихся неконтролируемым образом условиях функционирования разнообразных, в том числе, информационных систем. Результаты многочисленных исследований адаптивных систем в основном связаны с методами, процедурами и алгоритмами настройки параметров. Задача структурной оптимизации исследовалась значительно меньше.

Проблемы обработки информации при априорной неопределенности крайне разнообразны. Во многих случаях априорная информация о распределениях сигналов и помех недостаточна для того, чтобы воспользоваться каким-либо параметрическим семейством распределений. В этих условиях могут применяться непараметрические методы обработки информации. Многие из этих методов основаны на использовании ядерных оценок плотности вероятности, которые исследовались М. Розенблаттом (М. Rosenblatt), Е. Парзеном (Е. Parzen), В.А. Епанечниковым. Значительный вклад в развитие непараметрических статистических методов, в том числе в области регрессионного и дискриминантного анализа, внесли Э.А. Надарая, Г.Т. Ватсон (G.T. Watson), Б. Эфрон (В. Efron), С.А. Айвазян, B.C. Мхитарян, В.Я. Катовник, A.B. Добровидов, Г.М. Кошкин. В условиях малых выборок точность непараметрических оценок плотности вероятности оказывается невысокой, что в свою очередь сказывается на свойствах многих непараметрических процедур обработки информации.

Наряду с классическими статистическими методами во второй половине двадцатого столетия появляется метод обработки информации, опирающийся на достижения нейробиологии. Мощным стимулом для исследования в области искусственных нейронных сетей, которые являются нелинейными системами, послужило то, что во многих практических задачах использование линейных систем не позволяет обеспечить требуемое качество обработки информации. Кроме того, применение параметрических методов не всегда возможно, поскольку приводит к значительному ухудшению качества обработки информации, если использованные при синтезе систем модели, в том числе предположения о виде распределений, не адекватны действительности. В условиях малых обучающих выборок классические непараметрические методы также становятся недостаточно эффективными.

Возможность использования нейронных сетей для обработки информации связана с их универсальной аппроксимирующей способностью. Основополагающие результаты по представлению непрерывных функций нескольких переменных в виде суперпозиции функций одного переменного получены А.Н. Колмогоровым и В.И. Арнольдом. Позже Г. Дыбенко (G. Cybenko), Дж. Парком (J. Park) и К. Хорником (К. Hornik) доказаны теоремы об универсальной аппроксимирующей способности отдельных видов нейронных сетей.

Первые результаты, полученные зарубежными учеными в области искусственных нейронных сетей, связаны с именами У. Маккалоха (W. McCulloch), У. Питтса (W. Pitts), Ф. Розенблатта (F. Rosenblatt), Д. Xe66a(D. Hebb), М. Минского (М. Minsky), С. Пайперта (S. Papert).

Дальнейшие исследования в области нейронных сетей проводили Дж. Хопфилд (J. Hopfield), Т. Кохонен (Т. Kohonen), С. Гроссберг (S. Grossberg), Д.Е. Румельхарт (D.E. Rumelhart), П.Дж. Вербос (P.J. Wer-bos), Д. Лове (D. Lowe), С. Чэн (S. Chen), К. Бишоп (С. Bishop), С. Хай-кин (S. Haykin).

Поиск способов преодоления априорной неопределенности привел к созданию отечественными учеными основ теории обучения систем. Многочисленные результаты в области теории обучения и ее применения для решения ряда задач, в том числе распознавания образов и восстановления зависимостей, принадлежат Я.З. Цыпкину, А.И. Галушкину, Ю.И. Журавлеву, А.Г. Ивахненко, В.Н. Вапнику, М.А. Айзерману. Основываясь на теории обучения, А.И. Галушкин разработал теорию нейронных сетей, которая обладает большей общностью по сравнению с методами зарубежных авторов. Исследования в области нейронных сетей проводятся В.В. Кругловым, В.В. Борисовым, А.Н. Горбань, Э.Д. Аведьяном, В.А. Терехововым, В.А. Головко. Большинство полученных результатов относятся к процедурам и алгоритмам параметрической оптимизации многослойных нейронных сетей.

Предметом исследования в диссертационной работе являются системы обработки информации на основе искусственных нейронных сетей.

В последнее время нейронные сети находят применение в различных областях, в том числе, для распознавания образов, идентификации нелинейных систем, прогнозирования, обнаружения сигналов, а также в системах связи и управления. Известно, что на качество обработки информации существенное влияние оказывает структура нейронной сети. При этом, как недостаточное, так и излишне большое количество нейронов скрытого слоя препятствует эффективной обработке информации. Проблема определения структуры нейронных сетей в настоящее время не имеет однозначного решения.

Применение нейросетевых технологий для обработки информации представляет собой современный подход, который позволяет повысить эффективность функционирования разнообразных технических систем. Перспективность этого направления и наличие нерешенных проблем определяют актуальность исследований в области синтеза систем обработки информации на основе искусственных нейронных сетей.

Цель и задачи диссертационной работы

Цель работы заключается в разработке новых методов, процедур и алгоритмов синтеза систем обработки информации на основе искусственных нейронных сетей, позволяющих при непараметрической априорной неопределенности повысить эффективность и качество обработки информации.

Для достижения поставленной цели необходимо решение следующих основных задач.

1. Формирование принципов синтеза систем обработки информации при непараметрической априорной неопределенности.

2. Разработка метода синтеза систем обработки информации на основе искусственных нейронных сетей.

3. Разработка метода определения структуры и параметров искусственных нейронных сетей с последовательными связями.

4. Синтез алгоритмов и процедур параметрической и структурной оптимизации для искусственных нейронных сетей с последовательными связями.

5. Разработка способов классификации и восстановления зависимостей с помощью нейронных сетей.

6. Разработка алгоритмов и процедур адаптивной нелинейной обработки сигналов на основе нейронных сетей.

Методы исследования

В диссертационной работе основу исследования составляют теории статистических решений, искусственных нейронных сетей, идентификации, адаптивной фильтрации, распознавания образов, а также методы регуляризации, оптимизации и математического моделирования.

Научная новизна

1. Предложен метод синтеза систем обработки информации при непараметрической априорной неопределенности на основе комбинированного подхода с применением методов структурной оптимизации и регуляризации.

2. Разработан метод для определения структуры и параметров многослойных нейронных сетей.

3. Получены алгоритмы и процедуры структурно-параметрической оптимизации многослойных нейронных сетей с последовательными связями.

4. Разработаны способ и алгоритм построения классификаторов на основе отдельных видов нейронных сетей при использовании байесовского решающего правила.

5. Предложены способ и алгоритм решения задачи восстановления зависимостей на основе структурно-параметрической оптимизации нейронных сетей с последовательными связями. Алгоритм работоспособен в условиях малых обучающих выборок.

6. Сформированы процедуры адаптивной нелинейной обработки сигналов на основе нейронных сетей с последовательными связями. С учетом специфических особенностей отдельных видов таких сетей предложены модифицированные процедуры для обработки сигналов в реальном времени.

7. С применением регуляризации синтезированы рекуррентные алгоритмы настройки параметров нейронных сетей. Получены процедуры определения параметров регуляризации и дисконтирования.

Практическая значимость работы

Предложенные в диссертационной работе методы, процедуры и алгоритмы позволяют решать задачи классификации, восстановления зависимостей и адаптивной обработки сигналов, в том числе идентификации систем, краткосрочного прогнозирования и др. Полученные результаты могут быть использованы при построении разнообразных систем обработки информации: анализа и интерпретации данных, в том числе результатов измерений; технической диагностики, включая прогнозирование состояния технических систем; интеллектуальных систем управления, в том числе ней-роконтроллеров; распознавания образов; обработки изображений; радионавигационных систем; систем связи, в том числе радиомодемов.

Некоторые результаты работы использованы при разработке систем радиосвязи в научно-производственном предприятии «Полет». Для многолучевых радиоканалов разработан нейросетевой приемник дискретных сообщений. С применением процедуры регуляризации сформирована процедура идентификации стохастических каналов связи, использованная для идентификации декаметрового радиоканала. На основе структурной оптимизации синтезирован нелинейный корректор характеристик канала связи. Разработаны программные комплексы адаптивной фильтрации и «Радиомодем», зарегистрированные в Российском агентстве по патентам и товарным знакам.

Отдельные результаты работы использованы в проектно-конструк-торской деятельности ННИИРТ. Разработана процедура определения траектории движения объектов на основе обработки сигналов радионавигационной системы. Траектория движения представляется в виде непрерывной функции времени. Процедура обеспечивает возможность эффективной обработки пропусков.

Алгоритмы обработки радиосигналов использованы в «Нижегород-электротранс» при разработке программного обеспечения радиомодемов центрального диспетчерского пункта и терминалов транспортных единиц в составе автоматизированной системы управления движением городского электротранспорта.

Часть материалов диссертационной работы использована в учебном процессе при чтении лекций и проведении лабораторных работ на факультете информационных систем и технологий Нижегородского государственного технического университета.

Апробация работы

Основные положения и результаты диссертационной работы доложены и обсуждены на следующих научно-технических конференциях.

1. VI Всероссийская научно-техническая конференция «Радиоприем и обработка сигналов» (Н.Новгород, 1993 г.).

2. Международная конференция «100-летие начала использования электромагнитных волн для передачи сообщений и зарождения радиотехники» (г. Москва, 1995 г.).

3. Научно-технические конференции факультета информационных систем и технологий Нижегородского государственного технического университета (Н.Новгород, 1995 - 2000 г.г.).

4. Научно-технические семинары кафедры «Электроника и сети ЭВМ» Нижегородского государственного технического университета (Н.Новгород, 1997 - 2002 г.г.).

5. X научно-техническая конференция «Проблемы радиосвязи» (Н.Новгород, 1999 г.).

6. XII международная конференция «Проблемы теоретической кибернетики» (Н.Новгород, 1999 г.).

7. Всероссийские научно-технические конференции «Информационные системы и технологии» (Н.Новгород, 2001 - 2003 г.г.).

8. IV Международная научно-техническая конференция «Математическое моделирование физических, экономических, технических, социальных систем и процессов» (Ульяновск, 2001 г.).

9. Международная специализированная выставка-конференция «Новые технологии в радиоэлектронике и системах управления»

Н.Новгород, 2002 г.).

10. VIII Международная конференция «Радиолокация, навигация, связь» (Воронеж, 2002 г.).

11.LVII научная сессии РНТОРЭС им. A.C. Попова (Москва, 2002 г.).

12. Международная научно-техническая конференция «Методы, средства и технологии получения и обработки измерительной информации» (Пенза, 2002).

13.5-я Международная конференция «Цифровая обработка сигналов и ее применение - 2003» (Москва, 2003 г.).

14. IV Международная научно-техническая конференция «Компьютерное моделирование - 2003» (Санкт-Петербург, 2003 г.).

Публикации

Основное содержание диссертации опубликовано в 47 работах. Из них одна монография, 19 статей в научно-технических журналах и сборниках, 26 тезисов докладов в трудах Международных и Всероссийских научно-технических конференций, а также одно учебное пособие. Получено два свидетельства об официальной регистрации разработанных программ в Российском агентстве по патентам и товарным знакам.

Основные положения диссертационной работы, выносимые на защиту

1. Метод синтеза систем обработки информации при априорной неопределенности на основе искусственных нейронных сетей, принципиально отличающийся от известных параметрических и непараметрических методов.

2. Метод обучения искусственных нейронных сетей, основанный на структурно-параметрической оптимизации в сочетании с регуляризацией, отличающийся от метода минимизации эмпирического риска.

3. Алгоритмы структурно-параметрической оптимизации нейронных сетей с последовательными связями, основанные на процедуре структурной модификации, отличающиеся от алгоритмов, основанных на добавлении и удалении нейронов.

4. Метод и алгоритмы решения задач классификации и восстановления зависимостей, основанные на предложенном методе структурно-параметрической оптимизации искусственных нейронных сетей, отличающиеся от методов и алгоритмов дискриминантного и регрессионного анализа.

5. Способ и алгоритмы адаптивной нелинейной обработки сигналов, основанные на процедурах рекуррентной настройки параметров, синтезированных с учетом специфических особенностей отдельных видов нейронных сетей, отличающиеся применением адаптации и регуляризации.

Основные результаты диссертационной работы состоят в следующем.

1. Сформированы принципы структурно-параметрического синтеза систем обработки информации при непараметрической априорной неопределенности.

2. Разработан метод синтеза систем обработки информации на основе искусственных нейронных сетей с последовательными связями.

3. Разработан метод обучения искусственных нейронных сетей, основанный на комбинированном методе структурной оптимизации и регуляризации, позволяющий достичь более высокого качества обработки информации, чем при использовании каждого из них по отдельности.

4. Разработаны способ и алгоритмы структурно-параметрической оптимизации нейронных сетей, основанные на процедуре структурной модификации, отличающиеся от алгоритмов, основанных на добавлении и удалении нейронов.

5. Получены процедуры структурной модификации для многослойных нейронных сетей с последовательными связями. Структурная модификация проводится на уровне выделенных нейронных блоков.

6. Синтезированы алгоритмы параметрической оптимизации для различных типов многослойных нейронных сетей с последовательными связями, обеспечивающие высокую скорость обучения.

7. Получены способ и алгоритм решения задачи восстановления зависимостей на основе структурно-параметрической оптимизации нейронных сетей с последовательными связями. Алгоритм работоспособен в условиях малых обучающих выборок.

8. Разработаны способ и алгоритм построения классификаторов на основе структурно-параметрической оптимизации отдельных видов нейронных сетей с использованием байесовского решающего правила.

9. Построены системы адаптивной нелинейной обработки сигналов на основе нейронных сетей с последовательными связями. Синтезированы новые рекуррентные алгоритмы настройки параметров систем обработки сигналов, отличающиеся применением адаптации и регуляризации. Получены процедуры настройки параметров регуляризации и дисконтирования. С учетом специфических особенностей отдельных видов нейронных сетей предложены способы снижения вычислительной сложности рекуррентных алгоритмов настройки параметров.

Результаты диссертационной работы рекомендуется использовать при решении задач классификации, восстановления зависимостей и адаптивной обработки сигналов, в частности, идентификации систем, краткосрочного прогнозирования, коррекции искажений. Результаты работы предлагается применять при разработке разнообразных технических систем, в том числе управления и связи.

ЗАКЛЮЧЕНИЕ

В условиях непараметрической априорной неопределенности и малых выборок применение предложенного комбинированного метода структурно-параметрической оптимизации и регуляризации, позволяет обеспечить более высокое качество обработки информации по сравнению с классическими непараметрическими методами. Структура нейронных сетей должна быть согласована с обучающей выборкой. Использование доступной априорной информации позволяет найти единственное решение задачи структурного синтеза нейронной сети. Высокое качество адаптивной нелинейной обработки сигналов может быть достигнуто при использовании рекуррентных алгоритмов настройки параметров с применением регуляризации. Учет структурных особенностей нейронных сетей позволяет обеспечить приемлемую для практической реализации вычислительную сложность алгоритмов обработки сигналов.

1. Аведьян Э.Д. Алгоритмы настройки многослойных нейронных сетей // Автоматика и телемеханика — 1995. — № 4. — С. 106 — 118.

2. Автоматическая оптимизация управляемых систем: Пер. с англ./ Под. ред. Б.Н. Петрова. М.: Изд-во иностр. лит. - 1960. - 240 с.

3. Адаптивные фильтры: Пер. с англ. / Под ред. К.Ф.Н. Коуэна и П.М. Гранта. М.: Мир, 1988. - 392 с.

4. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей / Под ред. С.А. Айвазяна. М.: Финансы и статистика, 1985. - 487 с.

5. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности / Под ред. С.А. Айвазяна. М.: Финансы и статистика, 1989. - 607 с.

6. Айзерман М.А., Браверман М.А., Розоноер Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970. - 240 с.

7. Алгоритмы и программы восстановления зависимостей / Под ред. В.Н. Вапника. М.: Наука. Гл. ред. физ.-мат. лит., 1984. - 816 с.

8. Алексеев О.Г. Комплексное применение методов дискретной оптимизации. М.: Наука, 1987. - 248 с.

9. Ананньев С.Н., Вараксин А.Н., Куренков Н.И. О построении показателей эффективности алгоритмов автоматического распознавания // Информационные технологии. 2001. - № 1. - С.35 - 38.

10. Аносов О.Л., Бутковский О.Я., Кравцов Ю.А. Степень предсказуемости нелинейных авторегрессионных моделей // Радиотехника и электроника. 2000. - Т. 45, № 6. - С. 690 - 697.

11. Арнольд В.И. О представлении непрерывных функций нескольких переменных в виде суперпозиции функций меньшего числа переменных // Мат. просвещение. 1957. - № 4. - С. 41 -61.

12. Арутюнов П.А. Физическая природа неопределенности измерения в метрологии // Измерительная техника. 2002. - № 11. — С. 15 - 19.

13. Афанасьев В.Н., Юзбашев М.М. Анализ временных рядов и прогнозирование. М.: Финансы и статистика, 2001. - 228 с.

14. Ахмед Н., Pao К.Р. Ортогональные преобразования при обработке цифровых сигналов: Пер. с англ. / Под ред. И.Б. Фоменко. М.: Связь, 1980. - 248 с.

15. Бабий А.Н. Алгоритм нахождения глобального экстремума функций нескольких переменных с заданной точностью // Кибернетика. — 1978.-№ 5.-С. 52-55.

16. Баранов В.Г., Безруков Е.С., Милов В.Р. Алгоритм идентификации линейного стохастического канала связи // Системы обработки информации и управления: Межвуз. сб. науч. тр. / НГТУ. -Н.Новгород. 1999. - Вып. 5. - С. 47 - 50.

17. Баранов В.Г., Белоусов E.JI., Милов В.Р. Адаптация в системах цифровой радиосвязи. Н. Новгород: Изд-во НГТУ, 2001. - 170 с.

18. Баранов В.Г., Милов В.Р., Махмудов Я.Я. Способ структурной идентификации многомерных статических систем // Системы обработки информации и управления: Межвуз. сб. науч. тр. / НГТУ. -Н.Новгород. 2001. - Вып. 7. - С. 109 - 114.

19. Батищев Д.И. Поисковые методы оптимального проектирования. М.: Сов. Радио, 1975. 216 с.

20. Беллман Р. Процессы регулирования с адаптацией. М.: ИЛ, 1964. -359 с.

21. Бендат Дж., Пирсол А. Измерение и анализ случайных процессов: Пер. с англ. М.: Мир, 1974. - 464 с.

22. Вернадский Ф.И., Добродеев Д.Л., Пащенко Ф.Ф. Адаптивные и ро-бастные системы // Автоматика и телемеханика. — 2000. № 6. - С. 124- 132.

23. Бир С. Кибернетика и управление производством. М.: Наука, 1965.-391 с.

24. Блюмин С.Л., Погодаев А.К. Суперпозиционная регрессия // Журнал вычислительной математики и математической физики. — 1995. -Т. 35, № 10.-С. 1576- 1581.

25. Богомолов A.B. Методика формирования индекса состояния объекта по результатам многомерной статистической классификации // Информационные технологии. № 12. - 2000. - С. 45 - 52.

26. Бодянский Е.В., Воробьев С.А., Штефан А. Алгоритм адаптивной идентификации динамических параметрически нестационарных объектов //Известия АН. Теория и системы управления. 1999. -№ 1. - С.19 - 23.

27. Бокс Дж., Дженкинс Г.Д. Анализ временных рядов. Прогноз и управление: Пер. с англ. Вып. 1,2 / Под ред. В.Ф. Писаренко. М.: Мир, 1974. - 603 с.

28. Браунли К.А. Статистическая теория и методология в науке и технике: Пер. с англ. / Под ред. JI.H. Большева. М.: Наука, 1977. — 408 с.

29. Бродский Б.Е., Дарховский Б.С. Проблемы и методы вероятностной диагностики // Автоматика и телемеханика. — 1999. № 8. - С. 3 - 48.

30. Бурнашев М.В., Амари Ш. Об оценивании плотности распределения с относительной энтропией в качестве критерия потерь // Проблемы передачи информации. 2002. - Т. 38, Вып. 4. - С. 85 - 112.

31. Вальд А. Последовательный анализ: Пер. с англ. М.: ИЛ., 1962. -328 с.

32. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. - 448 с.

33. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. -М.: Наука, 1974. 415 с.

34. Васильев A.C., Корниенко В.В., Худяков Г.И. Техника и теория транспортных информационно-управляющих РЭС в России и за рубежом //Радиотехника. 1999. - № 11. - С. 78-89.

35. Винер Н. Кибернетика или управление и связь в животном и машине: Пер. с англ. / Под ред. Г.Н. Поварова. М.: Наука, 1983. - 343 с.

36. Воинов Б.С. Информационные технологии и системы. В 2-х кн. Книга 1. Методология синтеза новых решений. Н. Новгород: Изд-во ННГУ, 2001.-404 с.

37. Вопросы перспективной радиолокации / Под ред. A.B. Соколова. -М.: Радиотехника, 2003. 512 с.

38. Вунш Г. Теория систем: Пер. с нем. — М.: Сов. радио, 1978. 288 с.

39. Вучков И.Н., Бояджиева J1.H., Солаков Е.Б. Прикладной линейный регрессионный анализ: Пер. с болг. М.: Финансы и статистика, 1987.-238 с.

40. Галушкин А.И. Многослойные системы распознавания образов. -М.: МИЭМ, 1970. 167 с.

41. Галушкин А.И. Синтез многослойных систем распознавания образов. М.: Энергия, 1974. - 368 с.

42. Галушкин А.И. Теория нейронных сетей. Кн. 1 / Общая ред. А.И. Галушкина. М.: ИПРЖР, 2000. - 416 с.

43. Галушкин А. И., Шмид A.B. Оптимизация структуры многослойных нейронных сетей с перекрестными связями // Нейрокомпьютер. — 1992.- № 2-С. 7- 11.

44. Галушкин А.И. Основы нейроуправления // Нейрокомпьютеры: разработка, применение. 2002. - № 9 - 10. - С. 87 - 106.

45. Гиг Дж. Ван. Прикладная общая теория систем: Пер. с англ. В 2-х кн.-М.: Мир, 1981.- 733 с.

46. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация. М.: Мир, 1985.- 509 с.

47. Гинзберг К.С. Системные закономерности и теория идентификации // Автоматика и телемеханика. 2002. - № 5. - С. 156 - 170.

48. Глущенко В.В. Прогнозирование. М.: Вузовская книга, 2000. -208 с.

49. Головко В.А. Нейронные сети: обучение, организация, применение. Кн.4 / Общ. ред. А.И. Галушкина. М.: ИПРЖР, 2001. - 256 с.

50. Голуб Дж., Ван Лоун Ч. Матричные вычисления: Пер. с англ. М.: Мир, 1999.-548 с.

51. Голубев Г.К. Восстановление разреженных векторов в белом гаус-совском шуме // Проблемы передачи информации. 2002. - Т. 38, Вып. 1.-С. 75-91.

52. Горбань А.Н. Обучение нейронных сетей. — М.: СП параграф, 1990. 159 с.

53. Горелик А.Л., Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания. Некоторые аспекты. М.: Радио и связь, 1985. - 162 с.

54. Грешилов A.A. Анализ и синтез стохастических систем. Параметрические модели и конфлюэнтный анализ. М.: Радио и связь, 1990. — 320 с.

55. Грешилов A.A., Стакун В.А., Стакун A.A. Математические методы построения прогнозов. М.: Радио и связь, 1997. - 112 с.

56. Гхосал А. Прикладная кибернетика и ее связь с исследованием операций: Пер. с англ. / Под ред. H.A. Ушакова. М.: Радио и связь, 1982.- 128 с.

57. Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. ¿i-подход: Пер. с англ. М.: Мир, 1988. - 408с.

58. Добровидов A.B., Кошкин Г.М. Непараметрическое оценивание сигналов. М.: Наука. Физматлит, 1997. - 336 с.

59. Дубров A.M., Мхитарян B.C., Трошин Jl.И. Многомерные статистические методы. М.: Финансы и статистика, 1998. — 352 с.

60. Евтушенко Ю.Г. Методы решения экстремальных задач и их применения в системах оптимизации. — М.: Наука, 1982. 432 с.

61. Ефименко B.C., Харисов В.Н., Стребков Е.Г. Применение нейронных сетей в задачах оптимальной фильтрации // Радиотехника. — 2000.-№7.-С. 56-61.

62. Жиглявский A.A., Жилинскас А.Г. Методы поиска глобального экстремума. М.: Наука, 1991. - 248 с.

63. Жуковский Е.Л. Оптимизационные задачи в обработке и интерпретации данных // Известия АН. Теория и системы управления. -2002.-№ 1.-С. 20- 35.

64. Журавлев Ю.И. Об алгебраических методах в задачах распознавания и классификации // Распознавание, классификация, прогноз. Математические методы и их применение. М.: Наука, 1989. -Вып. 1.-С. 9- 16.

65. Журавлев Ю.И., Никифоров Б.Б. Алгоритмы распознавания, основанные на вычислении оценок // Кибернетика. 1971. - № 3. - С. 1 - И.

66. Зверев Г.Н. Модели неопределенностей и фундаментальные критерии информатики // Информационные технологии. 2000. - № 6. -С. 2- 10.

67. Зяблов В.В. Коробков Д.Л., Портной С.Л. Высокоскоростная передача сообщений в реальных каналах. М.: Радио и связь, 1991. -288 с.

68. Иванов А.К. Аппроксимация зависимостей функциями многих переменных в задачах разработки АСУ // Известия АН. Теория и системы управления. 1999. - № 3. - С. 60 - 67.

69. Иванов Г.А., Кривошеев И.А. Критерий сравнения моделей аппроксимирующих экспериментальные данные и его свойства //Измерительная техника. 2001. - № 8. - С. 6 - 11.

70. Иванов Г.А., Пономарчук Ю.В., Чашкин Ю.Р. Поведение остатков линейной по параметрам регрессионной МНК-модели с увеличением числа параметров. 4.2. Интервал для серии остатков. Проблема промахов //Измерительная техника. 2002. - № 11. - С. 6 - 9.

71. Ивахненко А.Г., Мюллер Й.А. Самоорганизация прогнозирующих моделей. К.: Техшка, 1985. - 223 с.

72. Ивахненко А.П., Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь, 1987. - 120 с.

73. Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А. Поспелова. - М. Радио и связь, 1990. -304 с.

74. Каллан Р. Основные концепции нейронных сетей. М.: Вильяме, 2001.-287 с.

75. Канащенков А.И., Меркулов В.И., Самарин О.Ф. Облик перспективных бортовых радиолокационных систем. Возможности и ограничения. М.: ИПРЖР, 2002. - 176 с.

76. Катовник В.Я. Линейные оценки и стохастические задачи оптимизации. М.: Наука, 1976. - 487 с.

77. Катовник В.Я. Непараметрическая идентификация и сглаживание данных: метод локальной аппроксимации. М.: Гл. ред. физ.-мат. лит., 1985.-336 с.

78. Клейман Е.Г. Идентификация нестационарных объектов // Автоматика и телемеханика. 1999. - № 10. - С. 3 - 45.

79. Кловский Д.Д. Передача дискретных сообщений по радиоканалам. -М.: Радио и связь, 1982. 304 с.

80. Козлов Ю.М. Адаптация и обучение в робототехнике. М.: Наука, 1990.-248 с.

81. Колесник В.Д., Полтырев Г.Ш. Курс теории информации. — М.: Наука, 1982.-416 с.

82. Колмогоров А.Н. О представлении непрерывной функции нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения // Доклады АН СССР. — 1957. Т. 114, № 5. - С. 953 - 956.

83. Колмогоров А.Н. Три подхода к понятию количества информации // Проблемы передачи информации. 1965. - Т. 1, Вып. 1. - С. 3 - 11.

84. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в связи и управлении. М.: Горячая линия - Телеком, 2002. - 94 с.

85. Кондратьев В.В., Утробин В.А. Основы теории активного восприятия изображений. Н.Новгород: Изд-во НГТУ, 1997.- 249 с.

86. Кондратьев В.В., Милов В.Р. Идентификация нелинейных систем на основе структурно-параметрического синтеза нейронных RBF-сетей //Доклады АН. 2002. - Т. 386, № 3. - С. 318 - 321.

87. Кондратьев В.В., Милов В.Р. Структурно-параметрический синтез нейросетевого классификатора // Наукоемкие технологии. — 2003. — Т. 4, №2.-С. 101 106.

88. Корнильев Э.А., Прокопенко И.Г., Чуприн В.М. Устойчивые алгоритмы в автоматизированных системах обработки информации. -К.: Тэхника, 1989.-224 с.

89. Косачев И.М., Ераченков М.Г. Аналитическое моделирование стохастических систем.- Минск.: Навука i тэхшка, 1993. 264 с.

90. Крот А.М. Дискретные модели динамических систем на основе полиномиальной алгебры. Минск: Навука i тэхшка, 1990. - 312 с.

91. Крылов В.В., Херманис Э.Х. Модели систем обработки сигналов. -Рига: Зинанте, 1984. 212 с.

92. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия - Телеком, 2001. - 328 с.

93. Лабутин С.А., Пугин М.В. Статистические модели и методы в измерительных задачах. Н.Новгород: Изд-во НГТУ, 2000.- 115 с.

94. Лапко A.B. Имитационные модели неопределенных систем. Новосибирск.: ВО «Наука», 1993. - 112 с.

95. Лбов Г.С., Ступина Т.А. О статистической устойчивости решающих функций в задачах распознавания и регрессионного анализа // Доклады АН. 1999. -Т. 368. -№ 1.-С. 31 -34.

96. Левин Б.Р. Теоретические основы статистической радиотехники. -3-е изд. М.: Радио и связь. - 1989. - 656 с.

97. Левин С.Ф. Теория измерительных задач идентификации // Измерительная техника. 2001. - № 7. - С. 8 - 17.

98. Лемешко Б.Ю., Постовалов С.Н. Применение непараметрических критериев согласия при проверке сложных гипотез // Автометрия. -2001.-№2.-С. 88- 101.

99. Лемешко Б.Ю., Чимитова Е.В. Об ошибках и неверных действиях2при использовании критериев согласия типа % // Измерительная техника. 2002. - № 6. - С. 5 - 11.

100. Льюнг Л. Идентификация систем. Теория для пользователя: Пер. с англ. / Под ред. Я.З. Цыпкина. М.: Наука. Гл. ред. физ.-мат. лит., 1991.-432 с.

101. Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования. М.: Статистика, 1979. - 254 с.

102. Маркович Н.М. Трансформированные оценки плотностей распределения с тяжелыми хвостами и классификация // Автоматика и телемеханика. 2002. - № 4. - С. 118 - 132.

103. Марпл.-мл. С.Л. Цифровой спектральный анализ и его приложения: Пер. с англ. М.: Мир, 1990. - 584 с.

104. Матвейкин В.Г., Фролов C.B. Использование байесовского подхода в обучении нейронных сетей // Информационные технологии. -1998. -№ 10.-С. 27-35.

105. Математическая теория планирования эксперимента / Под ред. С.М. Ермакова. М.: Наука, 1983. - 392 с.

106. Мелик-Гайказян И.В. Информационные процессы и реальность. -М.: Наука, 1998. 192 с.

107. Милов В.Р. Структурный синтез нелинейного фильтра с заданной сложностью реализации // Радиоэлектронные и телекоммуникационные системы и устройства: Межвуз. сб. науч. тр. Вып. 7. — Н. Новгород: НГТУ, 2001. С. 32 - 37.

108. Милов В.Р. Адаптивная нелинейная обработка сигналов в условиях непараметрической априорной неопределенности // Наукоемкие технологии.-2003.-Т. 4, №2.-С. 107-111.

109. Милов В.Р. Синтез непараметрического классификатора на основе искусственных нейронных RBF-сетей // Известия ВУЗов. Радиофизика. -2003. Т. XLVI, № 2. - С. 144 - 149.

110. Милов В.Р. Обучение нейронных RBF-сетей на основе процедур структурно-параметрической оптимизации // Нейрокомпьютеры: разработка, применение. 2003. - № 5. - С. 29 - 33.

111. Милов В.Р. Адаптивная обработка сигналов на основе рекуррентного алгоритма с регуляризацией по методу наименьших квадратов // Известия ВУЗов. Приборостроение. — 2003. — Т. 46, № 10. С. 11 - 17.

112. Милов В.Р. Восстановление многомерных нелинейных зависимостей по экспериментальным данным // Вестник ВГАВТ: Надежность и ресурс в машиностроении / ВГАВТ. Н.Новгород. — 2003. - Вып. 4. — С. 163 - 168.

113. Милов В.Р. Структурно-параметрическая оптимизация многослойных нейронных сетей // Нейрокомпьютеры: разработка, применение. 2003. - № 10 - 11. - С. 3 - 9.

114. Минский М., Пайперт С. Перцептроны: Пер. с англ. М.: Мир, 1971.-261 с.

115. Моцкус И.Б. Многоэкстремальные задачи в проектировании. — М.: Наука, 1976.-215 с.

116. Назаров A.B., Козырев Г.И., Шкляр C.B. Анализ прогнозирующих свойств нейронных сетей прямого распространения по результатам экспериментальных исследований // Нейрокомпьютеры: разработка, применение.-2002. №3-С. 15- 19.

117. Надарая Э.А. Об оценке регрессии // Теория вероятности и ее применения. 1964. - Т. 9, № 1. - С. 157 - 159.

118. Налимов В.В. Теория эксперимента. М.: Наука, 1971. - 208 с.

119. Нейрокомпьютеры в системах обработки изображений / Под ред. А.И. Галушкина. М.: Радиотехника, 2003. - 192 с.

120. Нейрокомпьютеры в системах обработки сигналов / Под ред. Ю.В. Гуляева и А.И. Галушкина. М.: Радиотехника, 2003. - 224 с.

121. Нейронные сети. STATISTICA Neural Networks: Пер. с англ. М.: Горячая линия - Телеком, 2000. - 182 с.

122. Николаев Б.И. Последовательная передача дискретных сообщений по непрерывным каналам с памятью. М.: Радио и связь, 1988. — 264 с.

123. Нильсон Н. Обучающиеся машины. — М.: Мир, 1974. 180 с.

124. Обнаружение радиосигналов / П.С. Акимов, Ф.Ф. Евстратов, С.И. Захаров и др.; Под ред. A.A. Колосова М.: Радио и связь, 1989.-288 с.

125. Обобщенный спектрально-аналитический метод обработки информационных массивов. Задачи анализа изображений и распознавания образов / Ф.Ф. Дедус, С.А. Махортых, М.Н. Устинин, А.Ф. Дедус; Под общ. ред. Ф.Ф. Дедуса. М.: Машиностроение, 1999. - 357 с.

126. Огарков М.А. Методы статистического оценивания параметров случайных процессов. М.: Энергоатомиздат, 1990. - 208 с.

127. Омельченко В.А. Основы спектральной теории распознавания сигналов. Харьков: Вища школа, 1983. - 156 с.

128. Патрик Э. Основы теории распознавания образов. М.: Сов. Радио, 1980.-408 с.

129. Пащенко Ф.Ф., Чернышев K.P. Методы и системы управления и идентификации на основе знаний // Автоматика и телемеханика. — 2000. № 2 - С. 3 - 28.

130. Перов А.И., Соколов А.Г. Особенности синтеза устройств обнаружения и оценки параметров сигнала нейросетевыми методами // Радиотехника. 2001. - № 7. - С. 22 - 28.

131. Поляк Б.Т. Введение в оптимизацию. М.: Наука, 1983. - 384 с.

132. Программный комплекс «Радиомодем» (№ 2001611210) / В.Г. Баранов, В.Р. Милов, Г.А. Перова // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем. Официальный бюллетень РОСПАТЕНТ. М.: ФИПС, 2001, № 4 (37). - С. 262 - 263.

133. Программный комплекс адаптивной фильтрации (№ 2001610685) / В.Г. Баранов, В.Р. Милов, Г.А. Перова // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем. Официальный бюллетень РОСПАТЕНТ. М.: ФИПС, 2001, № 3 (36). - С. 236.

134. Прокис Дж. Цифровая связь: Пер. с англ. / Под ред. Д.Д. Кловского. М.: Радио и связь, 2000. - 800 с.

135. Пугачев B.C., Синицын И.Н. Теория стохастических систем. М.: Логос, 2000. - 1000 с.

136. Радиолокационное распознавание и методы математического моделирования: Сб. статей «Научно-технические серии». Вып. 3. — Радиолокация и радиометрия. № 2. - М.: ИПРЖР, 2000. - 97 с.

137. Растригин Л.А. Системы экстремального управления. — М.: Наука, 1974.-630 с.

138. Р 50.2.004 2000. ГСИ. Определение характеристик математических моделей зависимостей между физическими величинами. Основные положения.

139. Райбман Н.С., Чадеев В.М. Адаптивные модели в системах управления. М.: Сов. радио, 1966. - 157 с.

140. Pao С.Р. Линейные статистические методы и их применения: Пер. с англ. / Под ред. Ю.В. Линника. М.: Наука, 1968. - 547 с.

141. Репин В.Г., Тартаковский Г.П. Статистический синтез при априорной неопределенности и адаптация информационных систем. М.: Сов. радио, 1977. - 432 с.

142. Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга: Пер. с англ. М.: Мир, 1965. - 480 с.

143. Самарский A.A., Михайлов А.П. Математическое моделирование. Идеи. Методы. Примеры. М.: Наука. Физматлит, 1997. - 320 с.

144. Сафиуллин Н.З., Чабдаров Ш.М. О преобразовании негауссовских случайных процессов радиотехническими системами. 1978. -Т. 33. - № 4 - С. 91-95.

145. Селекция и распознавание на основе локационной информации / A.JI. Горелик, Ю.Л. Барабаш, О.В. Кривошеее, С.С. Эпштейн; Под ред. А.Л. Горелика. М.: Радио и связь, 1990. - 240 с.

146. Сейдж Э.П., Меле Дж. Л. Идентификация систем управления: Пер. с англ. / Под ред. Н.С. Райбмана. М.: Наука, 1974. - 248 с.

147. Сейдж Э.П., Меле Дж. Л. Теория оценивания и ее применение в связи и управлении: Пер с англ./ Под ред. Б.Р. Левина. М.: Связь, 1976.-496 с.

148. Сергин М.Ю. Выбор оптимальной структуры модели динамического объекта с учетом факторов неопределенности // Приборы и системы. Управление, контроль, диагностика. 2001. - № 1. - С. 8 - 16.

149. Скляр Б. Цифровая связь. Теоретические основы и практическое применение: Пер. с англ. М.: Изд. дом «Вильяме», 2003. - 1104 с.

150. Современные методы идентификации систем: Пер. с англ. / Под ред. Эйкхофа. М.: Мир, 1983. - 400 с.

151. Стратонович P.JI. Принципы адаптивного приема. М.: Сов. радио, 1973 - 144 с.

152. Стронгин Р.Г. Численные методы многоэкстремальной минимизации. М.: Наука, 1978. - 239 с.

153. Стронгин Р.Г. Класс информационных алгоритмов для поиска глобального экстремума // Вопросы кибернетики. — 1985. Т. 122. -С. 121 - 134.

154. Сухарев А.Г., Тимохов A.B., Федоров В.В. Курс методов оптимизации. М.: Наука, 1986. - 328 с.

155. Тартаковский А.Г. Последовательные методы в теории информационных систем. М.: Радио и связь, 1991. - 280 с.

156. Теория моделей в процессах управления / Б.Н. Петров, Г.М. Уланов, И.И. Гольденблат, C.B. Ульянов. М.: Наука, 1978. - 224 с.

157. Терехов В.А. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин. В.Н. Антонов. СПб: Изд-во С.-Петербургского ун-та, 1999. - 265 с.

158. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. -М.: Наука, 1979.-288 с.

159. Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем. М.: Радио и связь, 1991. - 608 с.

160. Туркин А.И. Рекуррентный прием сложных сигналов. М.: Радио и связь, 1988.-248 с.

161. Туркин А.И., Новиков Н.С., Милов В.Р. Алгоритм адаптивного приема ансамблей сложных сигналов для гауссовского стохастического канала связи с переменными параметрами // Межвуз. сб. науч. тр. / НГТУ. Н.Новгород. - 1995. - С. 84 - 89.

162. Туркин А.И., Семашко A.B., Милов В.Р. Итеративный алгоритм совмещенных систем цифрового кодирования источника и канала // Системы обработки информации и управления: Межвуз. сб. науч. тр. / НГТУ. Н.Новгород. - 1998. - Вып. 4. - С. 101 - 110.

163. Тюрин Ю.Н. Непараметрические методы статистики. М.: Знание, 1978.-64 с.

164. Уидроу Б., Стирнз С. Адаптивная обработка сигналов: Пер. с англ./ Под ред. В.В. Шахгильдяна. М.: Радио и связь, 1989. - 440 с.

165. Фалькович С.Е., Хомяков Э.Н. Статистическая теория измерительных радиосистем. М. Радио и связь, 1981. - 288 с.

166. Федосенко Ю.С. и др. Алгоритмы синтеза оптимальных режимов обслуживания бинарного потока объектов в рабочей зоне Mobile-процессора // Вестник ВГАВТ: Моделирование и оптмизация сложных систем / ВГАВТ. Н.Новгород. - 2002. - Вып. 1. - С. 17 - 25.

167. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация. -М.: Наука. Гл. ред. физ.-мат. лит., 1984. 288 с.

168. Фомин Я.А., Савин A.B. Оптимизация распознающих систем. М.: Машиностроение, 1993. - 288 с.

169. Фрадков A.JI. Адаптивное управление в сложных системах: беспоисковые методы. — М.: Наука. Гл. ред. физ.-мат. лит., 1990. 296 с.

170. Харисов В.Н., Павлович Е.В. Синтез адаптивных алгоритмов и их сравнительные характеристики // Радиосистемы. — Вып. 33. — Статистический синтез радиосистем. 1998. — № 3. - С. 38-45.

171. Холлендер М., Вулф Д. Непараметрические методы статистики: Пер. с англ. М.: Финансы и статистика, 1983. - 518 с.

172. Хьюбер П. Робастность в статистике. М.: Мир, 1984. - 303 с.

173. Цыпкин Я.З. Основы теории обучающихся систем. М.: Наука, 1970.-252 с.

174. Цыпкин Я.З. Адаптация и обучение в автоматических системах. — М.: Наука, 1968. -400 с.

175. Цыпкин Я.З. Информационная теория идентификации. М.: Наука, 1995. -336 с.

176. Черноруцкий И.Г. Оптимальный параметрический синтез: Электротехнические устройства и системы. — JL: Энергноатомиздат, 1987. — 128 с.

177. Шаталов A.A. Адаптивные алгоритмы нелинейной обработки сигналов и характеристики эффективности их работы // Радиотехника и электроника. 2000. - Т. 45. - № 3. - С. 320 - 326.

178. Шелухин О.И. Негауссовские процессы в радиотехнике. М.: Радио и связь, 1998. - 310 с.

179. Шенк X. Теория инженерного эксперимента. М.: Мир, 1972. - 383 с.

180. Шилейко A.B., Кочнев В.Ф., Химушин Ф.Ф. Введение в информационную теорию систем / Под ред. A.B. Шилейко. М.: Радио и связь, 1985.-280 с.

181. Шильман C.B. Адаптивная фильтрация временных рядов. -Н.Новгород: Изд-во ННГУ, 1995. 180 с.

182. Шлихтинг Г. Теория пограничного слоя. М.: Наука, 1969. - 742 с.

183. Шрейдер Ю.А., Шаров A.A. Системы и модели. М.: Радио и связь, 1982. - 151 с.

184. Шульце К.П., Реберг К.Ю. Инженерный анализ адаптивных систем: Пер. с нем. М.: Мир, 1992. - 280 с.

185. Шурыгин A.M. Прикладная стохастика: робастность, оценивание, прогноз. М.: Финансы и статистика, 2000. - 224 с.

186. Щеглов И.Н., Богомолов A.B., Печатное Ю.А. Исследование влияния репрезентативности обучающей выборки на качество работы методов распознавания образов // Нейрокомпьютеры: разработка, применение. 2002. - № 9-10 - С. 3 - 9.

187. Эйкхофф П. Основы идентификации систем управления. Оценивание параметров и состояния: Пер. с англ. В.А. Лотоцкого и A.C. Манделя / Под ред. Н.С. Райбмана- М.: Мир, 1975 683 с.

188. Эфрон Б. Нетрадиционные методы многомерного статистического анализа: Сб. статей: Пер. с англ. / Предисловие Ю.П. Адлера, Ю.А. Кошевника. М. Финансы и статистика, 1988. - 263 с.

189. Эшби У.Р. Введение в кибернетику: Пер. с англ. М.: ИЛ, 1959. - 432 с.

190. Эшби У. Р. Конструкция мозга. Происхождение адаптивного поведения: Пер. с англ. М.: Мир, 1964. - 407 с.

191. Якимов А.В. и др. Влияние негауссовости на погрешность измерения интенсивности фильтрованного фликкерного шума // Известия вузов. Радиофизика. 1999. - Т. 42, № 3. - С. 278 - 286.

192. Akaike H. Fitting autoregressive models for prediction // Ann. Inst. Stat. Math. 1969. - V. 21. - P. 243 - 347.

193. Albrecht S., Busch J., Kloppenburg M., Metze F., Tavan P. Generalized radial basis function networks for classification and novelty detection: self-organization of optimal Bayesian decision // Neural Networks. — 2000. -N 13.-P. 1075 1093.

194. Anders U., Korn O. Model selection in neural networks // Neural Networks. 2000. - N 12. - P. 543 - 555.

195. Barron A.R. Universal approximation bounds for superposition of sig-moidal functions // IEEE Transactions on Information Theory. 1993. — V. 39.-P. 930-945.

196. Billings S.A., Zheng G.L. Radial basis function network configuration using genetic algorithms // Neural Networks. 1995. - V. 8, N. 6. -P. 877-890.

197. Bishop C.M. Neural Networks for pattern recognition. Oxford: Oxford University Press, 1995. - 504 p.

198. Brent R.P. Algorithms for minimization without derivatives. — Ney Jersey : Prentice-Hall, 1973.- 195 c.

199. Broomhead D.S., Lowe D. Multivariable functional interpolation and adaptive networks // Complex systems. 1988. - V. 2. - P. 321 - 355.

200. Chen S., Cowan C. F. N., Grant P.M. Orthogonal least square learning algorithm for radial basis function networks // IEEE Transactions on Neural Networks. 1991. - V. 2. - P. 302 - 309.

201. Chen S., Chng E. S., Alkadchimi K. Regularised orthogonal least square learning algorithm for construction radial basis function networks // Int. J. Contr. 1996. -V. 64, N 5. - P. 829 - 837.

202. Cybenko G. Approximation by superpositions of sigmoidal function // Mathematics of control, signal and systems. 1989. - V. 2. - P. 304 — 314.

203. Eun C., Powers E.J. A new Volterra predistorter based on the indirect learning architecture // IEEE Transactions on Signal Processing. — 1997. -V. 45, N. l.-P. 223 -227.

204. Fisher R.A. Theory of statistical estimation // Proc. Cambridge Phil. Soc. 1925.-P. 700-725.

205. Funahashi K. On the approximate realization of continuous mapping by neural networks //Neural Networks. 1989. - V. 2, N. 3. - P. 183 -192.

206. Girosi F., Jones M., Poggio T. Regularization theory and neural networks architectures //Neural Computation. 1996. -V. 7. - P. 219-269.

207. Graven P., Wahba G. Smoothing noisy data with spline functions // Numerische mathematics. 1979. -V. 31. - P. 377-403.

208. Grienwank A.O. Generalized descent for global optimization // Journal optimization theory and application. 1981. - V. 34, N l.-P. 11- 39.

209. Haykin S. Adaptive filter theory. Prentice Hall, 1996. - 989 p.

210. Hecht-Nielsen R. Neurocomputing. Mass.: Addison Wesley, 1992. -433 p.

211. Holmes C.C., Mallick B.K. Bayesian wavelet networks for nonparametric regression // IEEE Transactions on Neural Networks. — 2000. V. 11, N l.-P. 27-35.

212. Hong X., Harris C.J. Nonlinear model structure detection using optimum experimental design and orthogonal least squares // IEEE Transactions on Neural Networks. 2001. - V. 12, N. 2. - P. 435 - 439.

213. Hornik K., Stinchcomb M., White H. Multilayer feedforward networks are universal approximators // Neural Networks. 1989. - V. 2, N. 5. -P. 359 -366.

214. Ko K.B., Choi S., Kang C., Hong D. RBF multiuser detector with channel estimation capability in a synchronous MC-CDMA system // IEEE Transactions on Neural Networks. 2001. - V. 12, N 6. - P. 302 - 309.

215. Liu G.P., Kadirkamanathan V., Billings S.A. On-line identification of nonlinear systems using Volterra polynomial basis function neural networks //Neural Networks. 1998. - N 11. - P. 1645 - 1657.

216. MacKay D.J.C. Bayesian interpolation // Neural Computation. 1992. -V. 4, N. 3.- P. 415-447.

217. Moody J., Darken C.J. Fast learning in networks of locally tuned processing units // Neural Computation. 1989. - V. 1, N. 2. - P. 281 - 294.

218. Murata N., Yoshizawa S., Amari S. Network information criterion — determining the number of hidden units for artificial neural networks models // IEEE Transactions on Neural Networks. 1994. - V. 5. - P. 865 - 872.

219. Park J., Sandberg I.W. Universal approximation using radial basis function networks // Neural Computation. 1991. - V. 3, N. 2. - P. 246 - 257.

220. Principe J.C., Euliano N.R., Lefebvre W.C. Neural and adaptive systems: fundamentals though simulations. John Wiley and Sons. - 2000. -656 p.

221. Psaltis D., Sideris A., Yamamura A. A multilayered neural network controller // IEEE Control Systems Magazine. 1988. - V. 8. - P. 17-21.

222. Rissanen J. Modeling by shortest data description // Automatica. 1978. -N 14. - P. 465 -471.

223. Rumelhart D., Hinton G., Williams R. Learning representations by back-propagation errors // Nature. 1986. - N. 323. - P. 533 - 536.

224. Sherstinsky A., Picard R.W. On the efficiency of the orthogonal least squares training method for radial basis function networks // IEEE Transactions on Neural Networks. 1996. - V. 7, N 1. - P. 195 - 200.

225. Schwartz G. Estimating the dimension of model // Annals statistics. — 1978.-V. 6.-P. 461 -464.

226. Schwenker F., Kestler H. A., Palm G. Three learning phases for radialbasis function networks// Neural Networks. 2001. - № 14. -P. 439-458.

227. Shibata R. An optimal selection of regression variables // Biometrika. — 1981.-V. 68.-P. 45 -54.

228. Vapnik V. The nature of statistical learning theory. New York: Springier Verlag, 1995.

229. Wald A. Note of consistency of M.L. estimate // Ann. Math. Stat. -1945. -N20.-P. 595 -601.

230. Wang Z, Zhu T. An efficient learning algorithm for improving generalization performance of radial basis function neural networks // Neural Networks. 2000. - N 13. - P. 543 - 555.

231. Yin H., Allison N.M. Self-organizing mixture networks for probability density estimation // IEEE Transactions on Neural Networks. — 2001. — V. 12, N2.-P. 405 -411.

232. Zhu Q., Cai Y., Liu L. A global learning algorithm for a RBF network // Neural Networks. 1999. - N 12. - P. 527 - 540.