автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.17, диссертация на тему:Разработка и исследование нейросетевых эквалайзеров

МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЪСКИЙ ИНСТИТУТ (ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ)

УДК 681 122

Ле Хай Нам

РАЗРАБОТКА И ИССЛЕДОВАНИЕ НЕЙРОСЕТЕВЫХ ЭКВАЛАЙЗЕРОВ

Специальность• 05 13 17 - Теоретические основы информатики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Москва 2006

Работа выполнена на кафедре «Нейрокомпьютеры» Московского Физико-Технического Института (государственного университета)

Научный руководитель:

доктор технических наук, профессор Галушкин Александр Иванович

Официальные оппоненты:

доктор технических наук Балухто Алексей Николаевич

кандидат технических наук Назаров Лев Евгеньевич

Ведущая организация: Радиотехнический институт имени

академика А.Л. Минца

Защита состоится 23 мая 2006 I. в 1500 часов на заседании диссертационного совета К212.156.04 в Московском физико-техническом институте (ГУ) по адресу 141700, Московская обл., г. Долгопрудный, Институтский пер., д9, ауд.204 Нового корпуса.

С диссертацией можно ознакомиться в библиотеке института

Автореферат разослан « » апреля 2006 г.

Ученый секретарь диссертационного совета К212.156.04 к.т.н., доцент //Цл^ - КуклевЛ. П.

// ^

¿006Д 3</ЧГ

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. В системах телекоммуникации явление временной дисперсии появляется тогда, когда импульсная характеристика канала отклоняется от идеальной характеристики. В результате временной дисперсии, влияние переданного символа распространяется на много символов. Данное явление известно как межсимвольная интерференция (МСИ). Решение проблемы МСИ можно свести к синтезу приемника, который использует способ компенсации или уменьшения МСИ в принимаемом сигнале. Компенсатор МСИ назван эквалайзером или выравнивателем.

Непрерывное развитие рынка телекоммуникаций требует повышения эффективности использования полосы пропускания канала. Одним из методов повышения скорости передачи данных без расширения полосы пропускания канала является использование квадратурной амплитудной модуляции (КАМ). Однако, использование КАМ модуляции приводит к повышению чувствительности эквалайзера к искажениям сигнала в канале, особенно к нелинейности канала. Данная проблема порождает необходимость создания более эффективного эквалайзера для компенсации искажения сигнала в канале.

Обычные эквалайзеры, использующие адаптивный линейный фильтр на основе алгоритма наименьших квадратов (НК) или алгоритма сведения к нулю (СН) показывают плохое качество работы в сильно нелинейных каналах. Недавно был предложен новый класс эквалайзеров с использованием нейронной сети, который быстро заменил классические эквалайзеры. Нейросетевые эквалайзеры обеспечивают хорошее качество работы, особенно в сильно нелинейных каналах.

Под качеством работы эквалайзера (далее просто качество) понимается качество работы системы связи, использующей данный эквалайзер. Одной из его составляющих является вероятность ошибки на бит при передаче сигналов. Далее под термином «качество эквалайзера» будем понимать именно эту характеристику.

Сильно нелинейным каналом обычно называют такой канал, в котором обычные эквалайзеры не работают, или показывают очень плохое качество. Для некоторой определенности, под термином степень нелинейности канала в данной работе будем понимать некоторое число ЫЪ, описывающее тип нелинейности канала. Сильно нелинейным каналом для сигналов с модуляцией 4-КАМ является канал с МЬ=2, поскольку эксперименты показали, что уже при такой степени нелинейности обычные эквалайзеры не работают. С возрастанием степени модуляции, нелинейность канала оказывает все большее отрицательное воздействие на качество работы эквалайзера.

Существует три типа нейронных сетей, которые наиболее часто используются для построения эквалайзера:

- многослойный персептрон (МСП),

- радиальная базисная сеть (РБС),

- рекуррентная нейронная сеть (РНС).

РОС НАЦИОНАЛь* Библ йот ^ , С. Петербург"

Несмотря на то, что нейросетевые эквалайзеры лучше по качеству работы, они обладают намного более сложными структурами и алгоритмами обучения по сравнению с традиционными эквалайзерами. Тем не менее, существует несколько структур, которые обладают примерно такой же степенью сложности, что и традиционные эквалайзеры, но значительно превосходят их по качеству.

Другим достоинством нейронных сетей является возможность эффективного распараллеливания на многие процессорные элементы, поскольку сам по себе нейросетевой алгоритм является более параллельным, чем любая его мыслимая реализация. Появляется возможность компромисса между аппаратной реализацией нейросетевого алгоритма (и в конечном итоге стоимостью системы связи) и временем реакции эквалайзера, что важно для систем связи, работающих в реальном времени на высоких частотах.

Указанные выше замечания служат мотивацией для исследования архитектур нейронных сетей и алгоритмов их обучения с целью разработки быстрого и эффективного эквалайзера нелинейного канала.

Цель работы состоит в разработке комплексных нейросетевых эквалайзеров и повышении качества работы для сигналов с модуляцией т-КАМ в сильно нелинейных каналах.

Задачи исследования. Конкретными задачами, решенными в данной работе, являются:

• Синтез структур и алгоритмов обучения комплексных нейросетевых эквалайзеров для сигналов с модуляцией т-КАМ.

• Разработка новых методов построения комплексных эквалайзеров для сигналов с модуляцией т-КАМ в нелинейных каналах.

• Определение зависимости качества работы эквалайзера от сложности нейронной сети и параметров канала.

Методы исследования. В процессе работы были использованы методы теории нейронных сетей, теории адаптивного фильтра, теории оптимального фильтра, теории вейвлет-преобразования, теории цифровой связи, моделирование на ЭВМ.

Научная новизна работы. Был получен ряд новых научных результатов, позволяющих создавать эффективные эквалайзеры нелинейных каналов связи:

• Проведен синтез структур и алгоритмов обучения комплексных эквалайзеров для сигналов с т-КАМ модуляцией с использованием многослойного персептрона, радиальной базисной сети и рекуррентной нейронной сети.

• Предложена комплексная вейвлетная сеть с самоорганизующимся алгоритмом для сигналов в системе связи с модуляцией 4-КАМ в сильно нелинейных каналах.

• Разработаны алгоритмы настройки второго порядка для ускорения процесса обучения комплексной нейронной сети.

• Предложена комплексная гибридная нейронная сеть для построения эквалайзера для сигналов с модуляцией 16-КАМ в нелинейных каналах.

• Исследована зависимость качества работы эквалайзеров от структуры нейронной сети и степени нелинейности канала связи.

• Составлены пакеты прикладных программ комплексных нейросетевых эквалайзеров в пакете прикладных программ МАТЬ А В версии 6 и БМиЬГЫК версии 5.

Соответствие специальности. Содержание диссертации соответствует паспорту специальности 05.13.17 - «Теоретические основы информатики» в части п.1) исследование, в том числе с помощью средств вычислительной техники, информационных процессов, информационных потребностей коллективных и индивидуальных пользователей; п.2) исследование информационных структур, разработка и анализ моделей информационных процессов и структур; п.11) разработка методов обеспечения высоконадежной обработки информации и обеспечения помехоустойчивости информационных коммуникаций для целей передачи, хранения и защиты информации; п.13) применение бионических принципов, методов и моделей в информационных технологиях; п.14) разработка теоретических основ создания программных систем для новых информационных технологий; п.15) исследования и разработка требований к программно-техническим средствам современных телекоммуникационных систем на базе вычислительной техники; п.16) общие принципы организации телекоммуникационных систем и оценки их эффективности.

Практическая ценность диссертации. Предложенные нейросетевые эквалайзеры могут быть применены в системах цифровой радиорелейной станции с т-КАМ модуляцией, спутниковой связи в сильно нелинейных каналах.

Научные положения, выносимые на защиту. На защиту выносятся следующие положения, разработанные и исследованные в данной работе:

1. Структура эквалайзера с использованием самоорганизующейся комплексной вейвлет-нейронной сети для сигналов 4-КАМ:

• самоорганизующийся алгоритм,

• алгоритм настройки коэффициентов нейронной сети.

2. Структура комплексного гибридного нейросетевого эквалайзера для сигналов 16-КАМ:

• самоорганизующийся алгоритм,

• алгоритм настройки коэффициентов нейронной сети.

3. Алгоритмы второго порядка для ускорения процесса обучения комплексной нейронной сети с последовательными и обратными связями.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на ХЬУШ научной конференции Московского физико-технического института (Москва, 2005 г.), VIII всероссийской научно-технической конференции «Нейроинформатика -2006» (Москва, 2006 г.).

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, библиографии работ по нейросетевым эквалайзерам, приложения. Диссертация содержит 68 рисунков и 2 таблицы. Общий объем диссертации составляет 186 страниц.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, ее практическое значение, сформулирована цель и определены задачи исследования, а также даны основные положения, выдвигаемые на защиту.

В первой главе рассмотрены существующие методы построения эквалайзеров для приема сигналов.

Субоптимальные приемники используют или линейный эквалайзер или эквалайзер с обратной связью по решению. Однако в большинстве систем связи, которые используют эквалайзеры, характеристики канала априори неизвестны и во многих случаях, характеристики канала меняются во времени. В этом случае эквалайзеры проектируются так, чтобы приспосабливаться к характеристикам канала, и в случае, если они меняются во времени, адаптироваться к этому изменению.

Обычные эквалайзеры, использующие адаптивный линейный фильтр на основе алгоритма наименьших квадратов (НК) или алгоритма сведения к нулю (СН) показывают хорошее качество работы в линейных каналах. Однако их качество быстро ухудшается с возрастанием степени нелинейности канала из-за того, что обычные эквалайзеры компенсируют только линейное искажение сигнала в канале (межсимвольную интерференцию).

Применение нейронных сетей в эквалайзерах стало предметом многих работ в последнем десятилетии, и были предложены новые архитектуры и алгоритмы обучения. В этих работах было проведено моделирование с использованием трех видов нейронных сетей, которые наиболее часто используются для построения эквалайзера: многослойный персептрон с последовательными связями, радиально базисная сеть и рекуррентная нейронная сеть. Так как проблемой нейросетевого эквалайзера заинтересовались лишь в последнем десятилетии, в этих работах проводится сравнение множества различных нейросетевых структур эквалайзеров только для одной модели канала. Из-за того, что в различных работах модели канала различны, трудно сравнивать предложенные эквалайзеры друг с другом. Однако во всех работах предложенные нейросетевые эквалайзеры сравнивались с традиционным эквалайзером. Работы показали, что нейронные сети способны преодолеть нелинейное искажение сигнала в канале, при котором традиционные эквалайзеры показывают очень плохое качество.

Во второй главе разработана комплексная нейронная сеть, использующаяся как базис для построения комплексных эквалайзеров для сигналов с квадратурной амплитудной модуляцией.

Комплексная нейронная сеть - это сеть с комплексными весами, пороговыми значениями, функциями активации, входными и выходными

сигналами. Соответственно алгоритм обучения многослойной комплексной нейронной сети назовем комплексным алгоритмом обратного распространения. Такая сеть и алгоритм дают ряд преимуществ перед вещественной нейронной сетью при обучении комплексных сигналов.

Комплексный нейрон

Комплексный нейрон представляет собой обычный нейрон, но с комплексными весами, пороговыми значениями и комплексной функцией активации. Такой моделью хорошо пользоваться для программной разработки, но не для физической реализации нейрона. Для нее такая модель не подходит, так как мы можем оперировать только вещественными значениями, но не комплексными.

/

/

Рис. 1. Комплексный нейрон

Параметрами комплексного нейрона с Л/ входами являются веса vv = wf + jw] еC(1 <i<N,) и пороговое значение 0 = 0*+ jO" е С. Подадим на вход комплексного нейрона комплексный сигнал xi = х* + jx' е С(] < i < N,). На выходе нейрона получим комплексную величину

У*+]У' =fR(net°)+jf'{net'y

Ni \ ( N,

(1)

=л l+л

V '=" /V '=1

где net" + jnet' = net - активация нейрона и_Д.) - функция активации.

Необходимые свойства функции активации, которыми она должна обладать в комплексной нейронной сети можно сформулировать следующим образом:

Свойство I: /{?) нелинейная по х и по у. Иначе свойства сети будут сильно ограничены, т.е. невозможно будет обучить сеть нелинейным задачам; Свойство 2: /(г) ограничена. Исключение составляет функция /(2) = *; Свойство 3: /(г) однозначна. Иначе неизвестно какое из значений

функции нужно брать; Свойство 4: /(?) должна иметь ограниченные производные

их 9 и у, ;

Свойство 5: /(г) не должна быть целой. Исключение составляет

функция /(г) = г; Свойство 6: /(г) такая, что ихуу Ф иу\х. На рис.1 показана структура комплексного нейрона. Так же можно построить и двухслойную нейронную сеть, показанную на рис.2. Здесь:

Ыу - веса между 1-ым нейроном входного слоя и 7-ым нейроном скрытого слоя;

\к] - веса между у-ым нейроном скрытого слоя и Л-ым нейроном выходного слоя;

в - пороговые значения нейронов скрытого слоя;

/ - пороговые значения нейронов выходного слоя;

хпН ,ук - выходы /-го нейрона входного слоя, у'-го нейрона скрытого

слоя, к-го нейрона выходного слоя.

= ^ +М

У,=У1+М

Уt=У^+jУ'^

Уи.

N1 Ыа N0

Рис. 2. Двухслойная комплексная нейронная сеть

Активацияу'-ого нейрона скрытого слоя вычисляется по формуле пегН] = пеШ* + теМ',,

где пеШ* = £(*>;,-хУ^ + в* ■ пеМ] = £(*>; +хЩ) + в; .

Выходы j-гo нейрона скрытого слоя задаются формулой

я, =//(^я;)+//>е/я;).

Активация к-ого нейрона скрытого слоя равна

пеЮк = пеЮ* + теЮ[,

где пеЮ;=%(Н№-НХ) + Г: ; пеЮ[ = + Я>/) + Л' .

Выходы Л-го нейрона скрытого слоя вычисляется по формуле

ук=/к\пе^) + 1/'{пе1Н[). (2)

По аналогии легко можно построить комплексную нейронную сеть с более чем двумя слоями.

Алгоритмы настройки комплексных нейронных сетей Обозначим Г - желаемое выходное значение «-го нейрона выходного слоя, е„ = Тп — уп - ошибка и-го нейрона выходного слоя.

Функционал оптимизации для нейронной сети выберем как

е=у2£\т.-у. \г = 1/2£[(т;-у;у +{т: -л')2]=1/21>;)! + •

Согласно методу градиентного спуска изменение весовых коэффициентов и пороговых значений происходит по следующим правилам:

где скобки (0 и (/+1) означают значения соответствующих величин в моменты времени I и 1+1 соответственно, а константа ц называется шагом обучения. Производные вычисляются по формулам:

% = )//*■' -е'МпеЮ:)Н'/,

¡К.

^Т = -ЛЛ^НУ + К" ),

т *=1

_дЕ ди>,

7 = + е[Г1{пеЮ1к)у'кт) +

т! *=1

Производные функции активации встречаются и в вещественном алгоритме обратного распространения. Величина этих производных стремится

к нулю, когда абсолютное значение входного сигнала net нейрона становится большим. Когда net возрастает настолько, что выход нейрона становится равным 1, значение производной становится настолько малым, что обучение попадает в так называемую мертвую точку, где в течение продолжительного промежутка времени ошибка обучения остается достаточно большой.

В комплексном алгоритме появляется два вида производных в уравнениях: первый вид - это производная действительной части выхода,

fR{netHfR(netO*)\ второй вид - это производная мнимой части f,{netHfj(netO'k). Обучающее правило комплексного алгоритма в основном состоит из двух линейных комбинаций этих производных:

а,./; (пеЮ?) + ßj',{netO[ ), (3)

аг -/я {netH * ) + Рг/, (netH'm ), (4)

где ak,ßleR(k = \,2). Заметим, что эти суммы будут малыми только тогда, когда и fR{netO*) и fj (пеЮк) малы. Значит, вероятность того что (3)

покажет малое значение при малой fR{netO*) мала, т.к. fl{netO\') не всегда мало. Другими словами, действительные производные компенсируют мнимые производные, когда они показывают малые значения и наоборот. Так в комплексном алгоритме вероятность попадания в локальный минимум меньше, чем в вещественном алгоритме.

Еще одна причина более быстрой работы комплексного алгоритма - это то, что в комплексной сети количество различных весовых коэффициентов в два раза меньше чем в вещественной сети. Действительно, если мы используем вещественную сеть для обучения комплексных сигналов, то на каждый сигнал мы должны заводить два нейрона - для комплексной и мнимой частей сигнала, причем весовые коэффициенты этих нейронов различны. Если мы используем комплексную сеть, то для комплексного сигнала мы тоже используем два нейрона, но весовые коэффициенты этих нейронов равны с точностью до знака. То есть количество необходимых коэффициентов в два раза меньше.

В третьей главе проводится разработка комплексных эквалайзеров для обработки сигналов с различной KAM.

Входным сигналом нейронной сети в дискретный момент времени t=kT является вектор *=[*(£),...,x(£-yV/+./)]T, где х(к) - принимаемый сигнал на входе приемника: х{к) = х(к) + у (к) = /„ (s(k),s(k -1 -Nc+1)) + у{к).

Комплексная информационная последовательность {s(k)} передается через дисперсионный комплексный канал, и выход канала искажается комплексным аддитивным шумом; _Д(.)-комплексная функция (может быть либо линейной, либо нелинейной); Nc - длина канала с конечной импульсной характеристикой (КИХ); N/ - «размер» эквалайзера, т.е. размерность входного вектора нейронной сети. Задача эквалайзера состоит в восстановлении переданных символов s{k-nj) на основе вектора последовательности символов х=[jc(/:),... ,x(k-N/+1 )]т, где nd- задержка решения эквалайзера.

Выходным сигналом нейронной сети в момент времени 1=кТ является комплексное значение у(к-псоответствующее оценке переданного сигнала ¡¡(к-гу).

Желаемым выходным сигналом нейронной сети в момент времени 1=кГ является переданный сигнал $(&-«,/).

Комплексная нейронная сеть с последовательными связями

Теперь будем рассматривать не модель комплексной сети для физической реализации, у которой веса, пороговые значения и функции активации вещественные, а комплексную сеть в явном виде, у которой веса, пороговые значения и функции активации - комплексные величины. Количество нейронов входного, скрытого, выходного слоя соответственно равно N1 Nн, N0 . Для эквалайзераЩ- I.

Рис. 3. Структура нейросетевого эквалайзера Активация /-ого нейрона первого скрытого слоя: Ие1) = Ие1* + /ЛГе?',

где = ¿(х,*™*' + х'м^,*)+<?*'; х=х," +/х/ - это /-ый входной сигнал;

и'у,=и'/,/г+у>у/ - это вес связи от 1-ого нейрона входного слоя к /-ому нейрону скрытого слоя; в1 = в" +/#' - это смещение /-ого нейрона.

Выход /-ого нейрона скрытого слоя: Н]=Н]К+]Н]=/1^Ые1]К)+]/1^Ме1]). Активация выходного нейрона: Ие10 = Аге1* + /Л^,

где NetR0' =2^(н*у*/ + H'v'/)+ß*'v,=v/+/v/ - это вес связи от к-ого

У-1

нейрона второго скрытого слоя к выходному нейрону; ß = ß" + iß' - это смещение выходного нейрона.

Выход эквалайзера имеет вид:

У = У*+т= UNet*) + jf0(net[). (5)

Для настройки коэффициентов нейронной сети используется функционал оптимизации, минимизирующий среднеквадратичную ошибку:

m = =У2[(уКЛк)-у\к)У+(у'Лк)-у'(к))1] = У2[{е'')1+(е')2},

где yd(k) = у*(к) + jy'ä{k) = sR(k - nd) + js1 (к -nd) - желаемый сигнал в момент времени t-кТ. Поиск экстремума (минимума) функционала оптимизации ведется градиентным методом со случайным выбором начальных условий (значений весов). Суть градиентного метода заключается в том, что вычисляется ошибка, и все веса сети настраиваются следующим образом:

yVik + D^W-rj^T, ß*'(k + \) = ß"J(k)-ri 9Е

dv"/........ dß*J

öwp öUj ■

где M-^fANeOH?-e'/,(ИеОН'\ JL =-e°'¿(NeC),

BF ' '

dwt,

+ Гн{Иг1\)х'*\е*fo (Net*o )v' -e'fo (№*>,'], = etjJ)[e*f. (Net±e'fc (Net^'/],

дв/

г] - шаг обучения.

Матрица Якоби нейронной сети для алгоритма расширенного фильтра Калмана вычисляется по формуле: С(к) = =

дУ дгТ

5у дн>

Эквалайзер с использованием комплексной радиальной базисной

сети

Входной вектор X и центры С* комплексной радиальной базисной сети (РБС) являются комплексными. Для создания комплексного выхода используются два набора весов - один для вещественной части и другой для мнимой части выхода сети. Таким образом, комплексная радиальная базисная сеть выполняет отображение комплексного входа ХеС' на комплексный выход У еС;/ С"' —»С

/(*) = £ м-, Ф - с, 1), где ^ = < + Ы\ ■ ¡X - СX = (х - С, У (х - С,).

Выходное значение комплексной РБС в момент времени 1=кТ:

у(к) = ДХ(к)) = |>Д*)ехр(-|ВД-С,.(*)||2 !ст){к)\ (6)

где н>//) -у-ое комплексное значение веса.

Для настройки коэффициентов нейронной сети используется функционал оптимизации, минимизирующий среднеквадратичную ошибку. Для А-ой обучающей итерации функционал имеет вид:

£(*)ф(*)|Г =/2[{уКк)-уЧк))г ф'Лк)'У'(к))2] = у^)2 +(е')2].

Рис. 4. Структура эквалайзера с использованием комплексной РБС

Комплексный алгоритм градиентного спуска Поиск экстремума (минимума) функционала оптимизации ведется градиентным методом со случайным выбором начальных условий (значений весов). Все веса и параметры сети настраиваются следующим образом:

и£-Ч* + 1 ) = <\к)-г,„дШ, с«(к + 1) = с»(к)^Ш;

ОС^

f^—e'-'expHpr-Cj'/O,

fjw t]c fia - шаги обучения.

Алгоритм обучения CMRAN (Complex Minimal Resource Allocation

Network)

Этот алгоритм состоит из двух алгоритмов - самоорганизующегося алгоритма слоя Кохонена и алгоритма расширенного фильтра Капмана (РФК). Самоорганизующийся алгоритм определяет структуру слоя Кохонена (количество нейронов Кохонена Nfj), таким образом, в процессе обучения количество нейронов Кохонена изменяется. Алгоритм РФК настраивает веса и параметры радиальной базисной функции.

Эквалайзер с использованием комплексной рекуррентной нейронной

сети

Эквалайзер с использованием комплексной рекуррентной нейронной сети (РНС) опишем на примере с использованием двухслойной нейронной сети. Трех- и более слойные нейронные сети обычно не используются. Количество нейронов входного и скрытного слоя равно соответственно N1 и

Активация/-ого нейрона скрытного слоя вычисляется по формуле:

ИеШ] = Л/е/Я* + /№?/Яу\ где тНЛ/, = -1) + -1)+ |>Х'' Т "XV +

/•I

(-1

V, = V* + - вес связи от рекуррентного нейрона выходного слоя к /-ому нейрону скрытного слоя; и^ = + - вес связи от /'-ого нейрона входного слоя к /-ому нейрону скрытного слоя; = й>" + /Р^' - вес связи от /-ого рекуррентного нейрона скрытного слоя к /-ому нейрону скрытного слоя, в] = 6* + ¡в' - смещение /-ого нейрона скрытого слоя; у(к-\) = у"(к~\) +)у'(к-\) - значение выхода рекуррентного нейрона выходного слоя; Я, (к-1) = Я* (£ -1) + /Я,' (А: -1) - значение выхода /-ого рекуррентного нейрона скрытного слоя.

Рис. 5. Структура эквалайзера с использованием рекуррентной двухслойной нейронной сети

Значение выхода j-ого нейрона скрытного слоя задается выражением: Hl(t) = H*(t) + jH'J(t) = ( NetH*)+jfH ( NeíH'j ),

где/н(.) - функция активации скрытых нейронов.

Активация выходного нейрона задается с выражением: NetO = NetO" + jNetO',

где NetO*-' = VRByRJ (к-1) + v'0y'R(k -1) + % v*H«-'(k) + v>H'/{k) + P*J,

j-i

R • I

v0 =v0 + jvQ - вес связи от рекуррентного нейрона выходного слоя к выходному

R ♦ /

нейрону; v¡-vj + Jv¡ - вес связи от j-ого нейрона скрытного слоя к выходному нейрону; /? = /?"+ jp' - смещение выходного нейрона. Выходное значение нейронной сети имеет вид:

у(к) = У (*) + jy' (к) = /0 (Neto* ) + jfo СNeto'), (7)

где /,(.) - функция активации выходного нейрона.

Комплексный алгоритм градиентного спуска

Функционал оптимизации определяется по формуле:

Е(к)Л\у*Лк)-у*(к))г +(е7].

Веса нейронной сети МСП настраиваются следующим образом: V?(к + 1) = у"-'(к)-т]-^Г; р"и(к + \) = /)*'(к)-7^;

Ф (* +1) = у0ю(к) -/7; (Л +1) = <(*) - г};

ЗиЛ'

(*+!)=^ '(Л) - 7 +1)=(Л) - г,

дЕ

где

= ~еяЛ(ЫеЮ« )[± ЯГ' (*)]- )[//„'" (*)]; ® = -е" ¿феЮ»),

-е'/с(МеЮ')[>:/„(пеш:)х'„* ±у'Х(пеШ*. )хУ ],

= -е'/ЛКеЮ' )[± у;/н (пеШ: )Я„" („е/Я; (А -1)] -

- е'/ЦЫеЮ' )[у;/„ (пан1, )Н'/{к -1) ± ^/„(иегЯ; (Л -1)], = ("еЮ" )[± у;/„ (яе/Я," )/•' (Л -1) - («е/Я„' )у'*(к-1)] --е'/:(МеЮ')[у;/я (пеш:)у'я(к-\)± (пеШ*щ )/■' (к -1)].

Алгоритм расширенного фильтра Калмана

Матрица Якоби нейронной сети для алгоритма расширенного фильтра Калмана (РФК) вычисляется по формуле:

Комплексная нейронная сеть с полными обратными связями Активация у-ого нейрона скрытного слоя:

Net j = Net j + jNet\,

где Net?J =£(wXJ + +

¿-I /-I

w^ = w* + jw] - вес связи от /-ого нейрона входного слоя к /ому нейрону скрытного слоя; w/( = w* + ßv'ß - вес связи от г'-ого рекуррентного нейрона скрытного слоя к у- ому нейрону скрытного слоя; вs = в* + id] - смещение у'-ого нейрона скрытого слоя; = + jy' {к -1) - значение выхода

рекуррентного нейрона выходного слоя.

Значение выхода у'-ого нейрона скрытного слоя задается с выражением

уМ) = у* (к) + jy] (0 = / (Net*) + jf {Net]). (8)

Значение выхода нейронной сети - выход первого скрытного нейрона У(к) = у,(к).

от

Рис. 6. Нейронная сеть с полными обратными связями

Комплексный рекуррентный алгоритм настройки коэффициентов нейронной сети в реальном времени

Функционал оптимизации определяется по формуле: Веса нейронной сети настраиваются следующим образом:

(* +1) = *£'(*) - п Лг ;ву (к +1)=ву (к) - Г]

Kj(k+D=w:j(k)-Tj

дЕ

дв.

RJ '

дЕ

где

дЦк)= с*ду*(к) с,ду'(к)

dw*

dwl

ду*(к)_ д»?

Hi.

w —2--w —--

" dw*j dwf

it;"-i--f- vt»

' a," y' a*!'

5(9S-/ а<9"'' '

= f (Net")

двr, J \ i>

ду'Лк) ~-r = f (Net') дв«-' J '

W ----Vf —--

v ' дву " дву /

-Rdy'M-1) _,dy^k-l))

W ----h W -1--

' дв*-' " двR'

дЕ(к)= , ду"(к) , ду'(к)

ди>у dwRj ту '

ду'(к)

dw

д*у ¥-=f(NeO

ду'Ак)

dw

±уУ(к-\)8ч + "±

VP -i--w —--

* *

dw

_Rdy'M-\) _,dyR(k-1)

dwl

dw*

Матрица Якоби нейронной сети для рекуррентного алгоритма настройки коэффициентов нейронной сети в реальном времени с применением расширенного фильтра Калмана (РАРВ-РФК) вычисляется по формуле

er ay <ЭУ

йс 5w

Эквалайзер с использованием самоорганизующейся комплексной вейвлет-нейронной сети

Предлагаемая самоорганизующаяся комплексная вейвлет-нейронная сеть (СОКВНС) обладает структурой с четырьмя слоями (входной слой, вейвлет-слой, слой произведения и выходной слой).

Входной слой состоит из NI комплексных нейронов, соответствующих N/ входным сигналам. Через входной слой входная последовательность х=[х(£),..., x(k -Ni+ 1)]т передается на вейвлет-слой.

Для дискретного вейвлет-преобразования, материнский вейвлет ("mother wavelet") фр (л:,) описывается как

,(*,)=кр

; hzh 1 2

«2 \

exp

-0.5.

IM,

II2

(9)

где материнский вейвлет между /-ым входом иу'-ым вейвлетом слоя

произведения; ар - вещественное значение; Ьл - комплексное значение; (•[ - евклидово расстояние между двумя комплексными векторами.

Рис.7. Схема эквалайзера с самоорганизующейся комплексной вейвлет-нейронной сетью

Каждый вейвлет в слое произведения обозначается «П». Выход j-ого

вейвлета слоя произведения задается как (¿л = Выходной слой имеет

м

два нейрона. Один - вещественная часть сигнала, другой - мнимая часть

I

сигнала. Значения выхода соответствуют у = у +iy где yKJ = XV, w*'';

i-1

Wj =[V/> V2, ■■■¡wii рассматривается как нелинейная функция преобразования скрытых нейронов, Wj = [и>, , w: ,...wj - веса выходных нейронов. Самоорганизующийся алгоритм создан на основе критериев скользящего окна (sliding window) для увеличения/уменьшения количества материнских

вейвлетов и числа нейронов скрытого слоя. В процессе обучения новый нейрон добавляется тогда, когда выполняются сразу три условия:

е' > е' ■

СШ1 |ЮП '

где е,-ошибка сети е1 = ^ - ; е^- средняя ошибка на

скользящем окне, е'гш= ^ пш ; ик - размер скользящего окна.

Когда новый нейрон добавляется в слой произведения, соответствующие параметры определяются по формулам:

= % =*,; С =—;

т 1+1

где / - текущее количество нейронов слоя произведения. В процессе обучения встречаются нейроны слоя произведения, которые вносят незначительное изменение в выходной сигнал сети. Для удаления таких нейронов нужно оценить их влияние на значение выходного сигнала сети. Сначала вычислим выходное значение нейронов в слое произведения О* 0')=\\>'1ч/1.

Определим их нормальные векторы:

. м.г» м.

где = тах|(2*|}; | = тах|о' |}. Если г* и г' меньше, чем порог а в

течении наблюдений, то у'-ый нейрон слоя произведения следует удалить из сети. Функционал оптимизации определяется как

Е-^-у'У+ь-у'гЦЬ'У+рУЪ

Измененные параметры сети:

где

дЕ

дЕ да_ дЕ

—+д 2

2 1

Д1-А а!

-¿Г [-г5—+-Т-

А = К

Эквалайзер с использованием комплексной гибридной нейронной сети

Комплексная гибридная нейронная сеть (КГНС) состоит из N/ РБС и одной сети МСП. Ni соответствует количеству входов эквалайзера. РБС имеют одну и ту же структуру и их веса настраиваются вместе в процессе обучения. Слой РБС используется для компенсации нелинейного искажения канала.

Входной слой состоит из Ni комплексных нейронов, соответствующих N; входным сигналам. Через входной слой входная последовательность x=[x(n),...,x(n-Ni+ 1)]т передается на слой РБС.

Радиальная базисная функция ф^х,) описывается как

<*,(*,) = ex р

а,

где Oj - вещественное значение, су - комплексное значение, ||*|| - евклидово расстояние между двумя комплексными векторами:

Ik -суГ =k-c/fk-cil-

Выходной слой РБС имеет два нейрона. Один - вещественная часть сигнала, другой - мнимая часть сигнала. Значение выхода /-ой РБС имеют вид:

Я, = Я," + у Я/,

где H'J = "¿ф (x,)wRJ; NH - количество нейронов слоя Кохонена; м

Wj = [w/, w2,...wi]- веса выходных нейронов РБС.

Выходы слоя РБС передаются на слой МСП, который представляет собой линейную однослойную сеть. МСП выполняет задачу компенсации искажения в канале. МСП состоит из N) нейронов входного слоя и одного нейрона выходного слоя.

Активация выходного нейрона МСП: net = net" + jnet',

где neiKJ Я/v/*); v,=v,"+/v/ - это вес связи от /-ого нейрона

>-[

входного слоя к нейрону выходного слоя.

Выход нейронной сети вычисляется по формуле:

y=/+jJ=A"etR)+jAnet')- (П)

Самоорганизующийся алгоритм используется для определения структуры слоя Кохонена (количество нейронов Кохонена и их параметры). В процессе обучения новый нейрон добавляется тогда, когда выполняются следующие условия:

Ы>е

h~bjL>s->

где е,- ошибка сети е, = yd - у={у/-}^)+ +j(yJ-}^)=SR+jd/;el - некоторая малая величина.

= /(*)+У (*)

Рис. 8. Структура гибридного нейросетевого эквалайзера

Координаты четырех ближайших нейронов Кохонена определяются как:

с/={[Л*+ mod((A-l )/2)] *2-1} *EminR, ci + div((A-l)/2)]*2-l }*EminI,

а\ =1/(VA7-1),

к=\.А,

где X* = around((x,*/EmmR+l )/2), У = around((*//EminI+1 )/2),

wIHM/u - вес связи между нейронами выходного слоя РБС и ближайшим

нейроном Кохонена, соответствующим минимуму -су|| ,

EminR, Eminl - расстояние между двумя ближайшими нейронами по вещественной и мнимой осям.

В процессе обучения для настройки параметров сети используется алгоритм обратного распространения ошибки.

Функция ошибки определяется выражением:

-у'У+и -/)2ЦИ!+и1-

Веса нейронной сети настраиваются по формулам: v.w(* + l) = v."(/)-J7l|fr; + =

где = -S'/iNet'JHr,

ЯГ t N, I S,

OWm' /-I <-l

В четвертой главе построена модель системы связи в пакете прикладных программ MALAB/SIMULINK. В пакете прикладных программ MATLAB/«Neural Network Toolbox» нет поддержки комплексной нейронной сети. Поэтому нейросетевые эквалайзеры разработаны на языке «Си» и работают в системе MATLAB/SIMULINK в виде динамически подключаемых библиотек (dynamic-link library). Исследована зависимость качества работы эквалайзеров с использованием различных видов нейронных сетей от структуры сети и алгоритмов обучения. Исследована зависимость качества системы от степени нелинейности канала связи. Исследовано качество системы связи с использованием различных степеней квадратурной амплитудной модуляции.

Моделирование и исследование эквалайзера для обработки сигналов с модуляцией 4-КАМ проведены в нелинейном канале, выбранном следующим образом:

NL=0: x(k) = o(k) + y(k), NL=1: x(k) = o(k) + O.lo2(A) + 0.05o'(k) + y(k), NL=2: x(k) = o(k) + 0.2о2 (A) + 0. loJ (*) + r(A), o(A) = (0.34 - y0.27)i(A) + (0.87 + y'0.43)s(A -1) + (0.34 - y0.21)i(A - 2).

Это математическая модель типичного канала связи используется для моделирования системы связи 4-КАМ. Случай NL=0 соответствует модели линейного канала. Случаи NL=1, NL=2 соответствуют моделям нелинейного канала с повышением степени нелинейности.

Исследование зависимости качества от числа нейронов комплексной нейронной сети приводит к выводу, что:

• вероятность ошибки на бит уменьшается с возрастанием числа входных нейронов, но это приводит к увеличению оптимальной задержки решения rid,

• качество эквалайзера с использованием двухслойной нейронной сети не сильно зависит от числа скрытых нейронов,

• качество эквалайзера с использованием двухслойной нейронной сети быстро уменьшается с повышением степени нелинейности канала.

Исследование скорости обучения с использованием алгоритма второго порядка. Для того, чтобы увеличить скорость сходимости обучения нейронной сети.используется алгоритм второго порядка. Однако он требует больших вычислительных затрат из-за высокой сложности вычислений. Поэтому использование алгоритмов второго порядка зависит от требований конкретной задачи. В данной работе проведено сравнение скорости обучения нейронной сети с разными алгоритмами. Моделирование, проведенное в нелинейном канале NL=2, при отношении сигнал-шум (ОСШ) = 16дБ, показано, что алгоритм расширенного фильтра Калмана сходится быстрее, чем алгоритм градиентного спуска и алгоритм Марквардта-Левенберга. Однако следует отметить, что алгоритм РФК требует большего количества вычислений.

Сравнение качества работы эквалайзеров различного вида для сигналов с модуляцией 4-КАМ. В этом разделе проведено сравнение качества работы эквалайзеров с использованием различных нейронных сетей:

1. Обычный эквалайзер по критерию наименьших квадратов (НК).

2. Эквалайзер с использованием комплексного многослойного персептрона (МСП).

3. Эквалайзер с использованием комплексной рекуррентной нейронной сети (РНС).

4. Эквалайзер с использованием комплексной нейронной сети с полными обратными связями (СПОС) для рекуррентного алгоритма настройки коэффициентов нейронной сети в реальном времени (РАРВ).

5. Эквалайзер с использованием комплексной радиальной базисной сети (РБС).

6. Эквалайзер с использованием самоорганизующейся комплексной вейвлет-нейронной сети (СОКВНС).

На рис. 9 показано сравнение качества эквалайзеров с использованием различных нейронных сетей для сигналов 4-КАМ.

10 11 12 Отношение сигнал-шум (дБ)

А. Линейный канал (ЫЬ=0)

8 9 10 11 12 13 14 15 16 Отношение сигнал-шум (дБ)

Б. Нелинейный канал (ЫЬ=1)

10 11 12 13 14 15 16

Отношение сигнал-шум (дБ) В. Нелинейный канал (ЫЬ=2)

Рис. 9. Сравнение качества эквалайзеров с использованием различных нейронных сетей для сигналов 4-КАМ

Видно, что в линейном канале (МЬ=0) вероятности ошибки на бит обычного эквалайзера и МСП очень близки. Самым хорошим из них является нейронная сеть с полными обратными связями. Качество обычного эквалайзера быстро уменьшается в нелинейном канале (ЫЬ=1) из-за того, что его структура компенсирует только линейное искажение (межсимвольную интерференцию). В сильно нелинейном канале (N1^=2) обычный эквалайзер не работает, СОКВНС-эквалайзер и РБС-эквапайзер показывают лучшее качество, особенно СОКВНС-эквалайзер, который является наилучшим.

Исследование зависимости качества от числа нейронов комплексных нейронных сетей для сигналов с модуляцией 16-КАМ. Моделирование, проведенное в нелинейном канале ЫЬ=2, при отношении сигнал-шум (ОСШ) = 16дБ, показало, что

о вероятность ошибки на бит уменьшается с возрастанием числа входных нейронов,

о для А// > 15 качество эквалайзера с использованием двухслойной нейронной

сети не сильно зависит от числа скрытых нейронов, о качество эквалайзера с использованием двухслойной нейронной сети быстро уменьшается с повышением степени нелинейности канала

Сравнение качества работы эквалайзеров различных видов для сигналов с модуляцией 16-КАМ. Проводится сравнение следующих видов эквалайзеров:

1. Обычный эквалайзер по критерию наименьших квадратов (НК).

2. Эквалайзер с использованием комплексного многослойного персептрона (МСП).

3. Эквалайзер с использованием комплексной гибридной нейронной сети (КГНС), который имеет параметры Егшп11=Етт1=1/7, шаг обучения >7=0.001; число входов Ы/; задержка решения п</=0.

На рис. 10. показано сравнение вероятности ошибки на бит эквалайзеров с использованием различных нейронных сетей для сигналов с модуляцией 16-КАМ. В линейном канале (ЫЬ=0) вероятности ошибки на бит обычного эквалайзера и МСП-эквалайзера очень близки. Видно, что в линейном канале качество нейросетевых эквалайзеров не лучше чем у обычного эквалайзера. Обычный эквалайзер можно рассматривать как однослойную нейронную сеть с линейной функцией активации, поэтому в линейном канале (где существует только МСИ), он всегда обеспечивает лучшее качество. Другими словами, в линейном канале не целесообразно применение нелинейных нейросетевых эквалайзеров. Качество обычного эквалайзера быстро уменьшается в нелинейном канале (ТЧЬ=1) из-за того, что его структура компенсирует только линейное искажение (межсимвольную интерференцию). В сильно нелинейном канале (ЫЬ=2) обычный эквалайзер не работает. Предложенный эквалайзер с использованием комплексной гибридной нейронной сети значительно превосходит другие по качеству в нелинейном канале.

А. Линейный канал (N1^=0)

Б. Нелинейный канал (МЬ=1)

(О «9 X

Ю

0 О.

01 ш

16 17 1 8 19 20 21 22 23 24 25 26

Отношение сигнал-шум (дБ) В. Нелинейный канал (ЪГЬ=2)

Рис. 10. Сравнение качества эквалайзеров с использованием различных нейронных сетей для сигналов 16-КАМ

Зависимость качества эквалайзеров от степени модуляции сигнала.

Эксперимент, проведенный в нелинейном канале (NL=1) для сигналов с модуляцией 32-, 64-, 128-КАМ показал, что использование сигналов с модуляцией KAM высокой степени увеличивает эффективность использования полосы пропускания канала (скорость передачи данных) но при этом, для поддержания того же качества, требуется существенное повышение отношения сигнал-шум на входе приемника. На рис. 11 показано качество эквалайзеров с разными видами модуляции. Видно, что эквалайзер с использованием многослойного персептрона (МСП) лучше по качеству, чем обычный эквалайзер (НК) в нелинейном канале, что приводит к требованию существенно меньшего отношения сигнал-шум.

ю

(О

г

Э о л

0

1 t-гс о

О.

(D

Ш

20 22 24 26 28 Отношение сигнал-шум (дБ)

Рис. 11. Качество эквалайзеров с разными видами модуляции

ЗАКЛЮЧЕНИЕ

Предложен новый класс нелинейных эквалайзеров, основанный на использовании различных нейросетевых алгоритмов обработки информации. Нейросетевые эквалайзеры обеспечивают значительно лучшее качество компенсации искажения в нелинейных каналах связи по сравнению с классическими линейными адаптивными эквалайзерами.

Разработано и исследовано несколько типов нейросетевых эквалайзеров для сильно нелинейных каналов связи:

• эквалайзер на базе комплексной вейвлетной нейронной сети с различными алгоритмами настройки коэффициентов;

• комплексный гибридный нейросетевой эквалайзер.

Для построения комплексных нейросетевых эквалайзеров предложены и разработаны несколько алгоритмов настройки коэффициентов базовых нейронных сетей с последовательными и обратными связями.

Разработаны оригинальные методы настройки коэффициентов комплексных нейронных сетей, используемых для построения эквалайзеров в сильно нелинейных каналах связи

Предложен и исследован оригинальный алгоритм второго порядка для ускорения процесса настройки коэффициентов комплексных нейронных сетей в нелинейных адаптивных эквалайзерах.

Проведено детальное экспериментальное . исследование различных нейросетевых эквалайзеров для различных нелинейных каналов. Показана их эффективность для различных характеристик межсимвшьной интерференции в нелинейных каналах связи, и различных видов квадратурной амплитудной модуляции.

РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ОТРАЖЕНЫ В СЛЕДУЮЩИХ РАБОТАХ:

1. Галушкин А. И., Jle Хай Нам, Пантюхш Д.В. и др., Исследование проблем прикладной математики и разработка алгоритмов для их решения на основе нейросетевого моделирования // Отчёт по контракту № ИО-744 фонда «Интеграция», 2004 г.

2 Jle Хай Нам, Комплексный гибридный нейросетевый эквалайзер И XLVIII научная конференция - « Современные проблемы фундаментальных и прикладных наук », МФТИ, 25-26 ноября 2005, с. 190-192.

3 Jle Хай Нам, Эквалайзер с использованием самоорганизующейся комплексной нейронной сети // Нейрокомпьютеры: разработка и применение, № 3,2005, с.29-35.

4 Jle Хай Нам, Нелинейный эквалайзер с использованием рекуррентной нейронной сети // VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», Сборник научных трудов, часть 3, 24-27 января 2006 г., с.56-67.

5 Jle Хай Нам, Рекуррентный нейросетевой эквалайзер с алгоритмом расширенного фильтра Калмана // Нейрокомпьютеры: разработка и применение, №2,2006, с. 71-79.

к исполнению 06/04/2006 Исполнено 07/04/2006

Заказ № 238 Тираж' 70 эы

ООО «И-й ФОРМА 1» ИНН 7726330900 Москва, Варшавское ш , 36 (495) 975-78-56 (495) 747-64-70 www autorefcrat ru

âoPéA-0WP

a 4 4 8

Введение.

Глава 1. Анализ существующих методов построения адаптивных эквалайзеров для приёма сигналов.

1.1. Адаптивный эквалайзер.

1.1.1. Адаптивный линейный эквалайзер.

1.1.1.1. Алгоритм сведения к нулю.

• 1.1.1.2. Алгоритм наименьших квадратов.

1.1.2. Адаптивный эквалайзер с обратной связью по решению.

1.1.3. Слепой эквалайзер.

1.1.3.1. Стохастический градиентный алгоритм.

1.1.3.2. Алгоритмы слепого эквалайзера, основанные на статистике сигнала второго и более высокого порядка.

1.2.Адаптивный эквалайзер канала с использованием нейронной сети. 27 1.2Л. Эквалайзер с использованием многослойного персептрона

1.2.2. Эквалайзер с использованием радиальной базисной сети.

Ф 1.2.3. Эквалайзер с использованием рекуррентной нейронной сети.

1.2.4. Слепой нейросетевой эквалайзер.

1.3. Выводы по главе 1.

Глава 2. Комплексные нейронные сети как базис построения перспективных эквалайзеров.

2.1. Структура комплексной нейронной сети.

2.1.1. Комплексный нейрон.

2.1.2.0днослойная комплексная нейронная сеть.

2.1.3.Двухслойная комплексная нейронная сеть.

2.2. Функция активации комплексной нейронной сети. 2.3. Алгоритмы настройки комплексных нейронных сетей.

2.4. Общий алгоритм настройки нейронной сети.

2.5. Скорость обучения комплексной нейронной сети.

2.6. Выводы по главе 2.

Глава 3. Решение задачи построения эквалайзера в нелинейных каналах для обработки сигналов с различной квадратурной амплитудной модуляцией

3.1. Разработка эквалайзера с использованием комплексных нейронных сетей.

3.1.1. Входной сигнал нейронной сети.

3.1.2. Выходной сигнал нейронной сети.

3.1.3. Желаемый выходной сигнал нейронной сети.

3.1.4. Функция активации.

3.1.5. Описание структуры нейросетевого эквалайзера.

3.1.6. Функционал оптимизации.

3.1.7. Метод поиска экстремума функционала оптимизации.

3.1.7.1. Алгоритм градиентного спуска.

3.1.7.2. Методов второго порядка.

3.1.8. Выбор начальных условий для настройки нейронной сети.

3.2. Разработка эквалайзера с использованием комплексной радиальной базисной сети.

3.2.1. Структура эквалайзера с использованием комплексной радиальной базисной сети.

3.2.2. Алгоритмы настройки эквалайзеров с использованием радиальной базисной сети.

3.3. Разработка эквалайзера с использованием комплексной рекуррентной нейронной сети.

3.3.1. Комплексная рекуррентная нейронная сеть.

3.3.1.1.Структура нейронной сети.

3.3.1.2. Алгоритм настройки коэффициентов нейронной сети.

А. Алгоритм обратного распространения.

Б. Алгоритм с использованием расширенного фильтра

Калмана.

3.3.2. Комплексная нейронная сеть с полными обратными связями

3.3.2.1 .Структура нейронной сети.

3.3.2.2. Алгоритм настройки коэффициентов нейронной сети.

А. Комплексный рекуррентный алгоритм настройки коэффициентов нейронной сети в реальном времени (РАРВ). 100 Б. Рекуррентный алгоритм настройки коэффициентов нейронной сети в реальном времени с применением расширенного фильтра Калмана (РАРВ-РФК).

3.4. Разработка эквалайзера с использованием самоорганизующейся комплексной вейвлет-нейронной сети (СОКВНС).

3.4.1. Структура эквалайзера с самоорганизующейся комплексной вейвлет нейронной сетью.

3.4.2. Алгоритм обучения самоорганизующейся комплексной вейвлет нейронной сети. 3.4.2.1. Самоорганизующийся алгоритм.

3.4.2.2. Алгоритм настройки параметров.

3.5. Разработка комплексного гибридного нейросетевого эквалайзера.

3.5.1. Структура комплексного гибридного нейросетевого эквалайзера.

3.5.2. Алгоритм настройки коэффициентов нейронной сети.

3.5.2.1. Самоорганизующийся алгоритм.

3.5.2.2. Алгоритм настройки параметров.

3.6. Выводы по главе 3.

Глава 4. Моделирование и экспериментальное исследование нейросетевых эквалайзеров для обработки сигналов с квадратурной амплитудной модуляцией.

4.1. Математическое моделирование каналов связи.

4.1.1. Модель канала с аддитивным шумом.

4.1.2. Модель линейного фильтрового канала.

4.1.3. Модель нелинейного канала.

4.2. Квадратурная Амплитудная Модуляция.

4.3. Построение моделей нейросетевых эквалайзеров в пакете программ MATLAB/SIMULINK.

4.4. Моделирование и исследование эквалайзера для обработки сигналов с модуляцией 4-КАМ.-.

4.4.1. Моделирование и исследование эквалайзера с использованием комплексной нейронной сети.

4.4.1.1. Исследование зависимости качества от числа нейронов.

4.4.1.2. Исследование зависимости качества от степени нелинейности канала.

4.4.1.3. Исследование скорости обучения с использованием алгоритма второго порядка.

4.4.2. Моделирование и исследование эквалайзера с использованием комплексной рекуррентной нейронной сети.

4.4.2.1. Исследование зависимости качества от числа нейронов.

4.4.2.2. Исследование зависимости качества от степени нелинейности канала.

4.4.2.3. Исследование скорости обучения с использованием алгоритма второго порядка.

4.4.3. Моделирование и исследование эквалайзера с использованием комплексной сети с полными обратными связями для рекуррентного алгоритма настройки коэффициентов сети в реальном времени.

4.4.3.1. Исследование зависимости качества от степени нелинейности канала.

4.4.3.2. Исследование скорости обучения с использованием алгоритма второго порядка.

4.4.4. Моделирование и исследование эквалайзера с использованием комплексной радиальной базисной сети.

4.4.4.1. Исследование зависимости качества от числа нейронов

4.4.4.2. Исследование зависимости качества от степени нелинейности канала.

4.4.5. Моделирование и исследование эквалайзера с использованием самоорганизующейся комплексной вейвлет-нейронной сети.

4.4.6. Сравнение качества работы эквалайзеров различного вида.

4.4.7. Моделирование и исследование эквалайзера с обратной ф связью по решению.

4.5. Разработка и исследование эквалайзера для сигналов с многоуровневой квадратурной амплитудной модуляцией (KAM).

4.5.1. Разработка и исследование эквалайзера для сигналов с модуляцией 16-КАМ.

4.5.1.1. Разработка и исследование эквалайзера с использованием комплексных нейронных сетей.

4.5.1.2. Разработка и исследование эквалайзера с использованием комплексной гибридной нейронной сети.

4.5.2. Разработка и исследование эквалайзера для сигналов с модуляцией 32-КАМ.

4.5.3. Разработка и исследование эквалайзера для сигналов с модуляцией 64-КАМ.

4.6. Выводы по главе 4.

Актуальность темы. В системах телекоммуникации явление временной дисперсии появляется тогда, когда импульсная характеристика канала отклоняется от идеальной характеристики. В результате временной дисперсии влияние переданного символа простирается на много символов. Данное явление известно как межсимвольная интерференция (МСИ). Решение проблемы МСИ можно свести к синтезу приемника, который использует способ компенсации или сокращения МСИ в принимаемом сигнале. Компенсатор МСИ назван эквалайзером или выравнивателем.

Непрерывное развитие рынка телекоммуникаций требует повышения эффективности использования полосы пропускания канала. Одним из методов повышения скорости передачи данных без расширения полосы пропускания канала является использование сигналов с квадратичной амплитудной модуляцией (KAM). Однако использование т-КАМ модуляции приводит к повышению чувствительности эквалайзера к помехам канала, особенно к нелинейности канала. Данная проблема порождает необходимость создания более эффективного эквалайзера для компенсации искажения сигнал в канале.

Обычные эквалайзеры, использующие адаптивный линейный фильтр на основе алгоритма наименьших квадратов (НК) или алгоритма сведения к нулю (СН) показывают плохое качество работы в сильно нелинейных каналах. Недавно был предложен новый класс эквалайзеров с использованием нейронной сети, который быстро заменил классические эквалайзеры. Нейросетевые эквалайзеры обеспечивают хорошее качество работы, особенно в сильно нелинейных каналах.

Под качеством эквалайзера понимается качество работы системы связи, использующей данный эквалайзер. Одной из его составляющих является вероятность ошибки на бит при передаче сигналов. Далее под термином «качество эквалайзера» будем понимать именно эту характеристику.

Сильно нелинейным каналом обычно называют такой канал, в котором обычные эквалайзеры не работают, или показывают очень плохое качество. Для некоторой определенности, под термином «степень нелинейности» канала в данной работе будем понимать некоторое число ЫЬ, описывающее тип нелинейности канала. Конкретный вид нелинейности и понятие «сильно нелинейный канал» определяется в экспериментах (Глава 4), например, под сильно нелинейным каналом при модуляции 4-КАМ понимается канал с ^ №>2, поскольку эксперименты показали, что уже при такой степени нелинейности обычные эквалайзеры не работают. С возрастанием степени модуляции, нелинейность канала оказывает все большее отрицательное воздействие на качество работы эквалайзера.

Существует три типа нейронных сетей, которые наиболее часто используются для построения эквалайзера: многослойный персептрон, радиальная базисная сеть, рекуррентная нейронная сеть.

Несмотря на то, что нейросетевые эквалайзеры лучше по качеству, они обладают намного более сложными структурами и алгоритмами обучения по # сравнению с традиционными эквалайзерами. Тем не менее, существует несколько структур, которые обладают примерно такой же степенью сложности, что и традиционные эквалайзеры, но значительно превосходят их по качеству.

Другим достоинством нейронных сетей является возможность эффективного распараллеливания на многие процессорные элементы, поскольку сам по себе нейросетевой алгоритм является более параллельным, чем любая его мыслимая реализация. Появляется возможность компромисса между аппаратной реализацией нейросетевого алгоритма (и в конечном итоге стоимостью системы связи) и временем реакции эквалайзера, что важно для систем связи, работающих в реальном времени на высоких частотах.

Указанные выше замечания служит мотивацией для продолжения исследований архитектур нейронных сетей и алгоритмов обучения с целью разработки быстрого и эффективного эквалайзера канала. Цель работы состоит в повышении качества работы комплексных нейросетевых эквалайзеров для сигналов с модуляцией т-КАМ в сильно нелинейных каналах.

Задачи исследования. Конкретными задачами, решенными в данной работе, являются:

• синтез структур и алгоритмов обучения комплексных нейросетевых эквалайзеров для сигналов с модуляцией т-КАМ.

• разработка новых методов комплексных эквалайзеров для сигналов с модуляцией т-КАМ в нелинейных каналах.

• определение зависимости качества работы эквалайзера от сложности нейронной сети и параметров канала.

Методы исследования. В процессе работы были использованы методы теории нейронных сетей, теории адаптивного фильтра, теории оптимального фильтра, теории вейвлет-преобразования, теории цифровой связи, моделирование на ЭВМ.

Научная новизна работы. В результате выполнения работы был получен ряд новых научных результатов, позволяющих создавать эффективные эквалайзеры нелинейных каналов связи.

• Проведен синтез структур и алгоритмов обучения комплексных эквалайзеров для сигналов с т-КАМ модуляцией с использованием многослойного персептрона, радиальной базисной сети и нейронной сети с обратными связями.

• Предложена комплексная вейвлетная сеть с самоорганизующимся алгоритмом для системы с сигналами с 4-КАМ модуляцией в сильно нелинейных каналах.

• Разработаны комплексные алгоритмы второго порядка для ускорения процесса обучения нейронной сети.

• Предложена комплексная гибридная нейронная сеть для построения эквалайзера для сигналов с модуляцией 16-КАМ в нелинейных каналах.

• Исследована зависимость качества эквалайзеров от структуры нейронной сети и нелинейности канала связи.

• Составлены пакеты прикладных программ комплексных нейросетевых эквалайзеров на системе МАТЬАВ версии 6 и 81М1ЛЛМС версии 5.

Соответствие специальности. Содержание диссертации соответствует паспорту специальности 05.13.17 - «Теоретические основы информатики», в части п.1) исследование, в том числе с помощью средств вычислительной техники, информационных процессов, информационных потребностей коллективных и индивидуальных пользователей; п.2) исследование информационных структур, разработка и анализ моделей информационных процессов и структур; п.11) разработка методов обеспечения высоконадежной обработки информации и обеспечения помехоустойчивости информационных коммуникаций для целей передачи, хранения и защиты информации; п.13) применение бионических принципов, методов и моделей в информационных технологиях; п.14) разработка теоретических основ создания программных систем для новых информационных технологий; п. 15) исследования и разработка требований к программно-техническим средствам современных телекоммуникационных систем на базе вычислительной техники; п.16) общие принципы организации телекоммуникационных систем и оценки их эффективности. Практическая ценность диссертации. Предложенные нейросетевые эквалайзеры могут быть применены в системах цифровой радиорелейной станции с rn-KAM модуляцией сигналов, спутниковой связи в сильно нелинейных каналах.

Научные положения, выносимые на защиту. На защиту выносятся следующие положения, разработанные и исследованные в данной работе.

1. Структура эквалайзера с использованием самоорганизующейся комплексной вейвлет-нейронной сети для сигналов 4-КАМ:

• самоорганизующийся алгоритм,

• алгоритм настройки коэффициентов нейронной сети.

2. Структура комплексного гибридного нейросетевого эквалайзера для сигналов 16-КАМ:

• самоорганизующийся алгоритм,

• алгоритм настройки коэффициентов нейронной сети.

3. Алгоритмы второго порядка для ускорения процесса обучения комплексной нейронной сети с последовательными и обратными связями.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на XLVIII научной конференции Московского физико-технического института (Москва, 2005 г.), VIII всероссийской # научно-технической конференции «Нейроинформатика -2006» (Москва, 2006 г.).

Структура и краткое содержание работы. Диссертационная работа содержит введение, четыре главы, заключение, приложение, библиографию работ по нейросетевым эквалайзерам. Диссертация содержит 68 рисунков и 2 таблицы. Общий объем диссертации составляет 186 страниц. Содержание работы распределено по отдельным разделам следующим образом.

Основные результаты диссертации опубликованы в работах [167-171].

Основные положения и разработки могут быть использованы для построения эффективного эквалайзера в системах цифровой радиорелейной станции для сигналов с модуляцией М-КАМ, спутниковой связи в сильно нелинейных каналах.

Заключение

В данной диссертационной работе были рассмотрены проблемы разработки и исследования комплексных нейросетевых эквалайзеров для сигналов с квадратурной амплитудной модуляцией (KAM) в нелинейных каналах, где обычные эквалайзеры показывают плохие результаты.

1. Головко В.А., Нейронные сети: обучение, организация и применение // Общ. ред. А.И. Галушкина, ИПРЖР, Москва, 2001 г.

2. Зозуля Ю.И., Интеллектуальные нейросистемы // под ред. А.И. Галушкина, Радиотехника, Москва, 2003.

3. Комашинский В.И., Смирнов Д.А., нейронные сети и их применение в системах управления и связи // Горячая линия Телеком, 2003.

4. Круглое В.В., Борисов В.В., Искусственные нейронные сети Теория и практика // Горячая линия-Телеком, 2002.

5. Медведев B.C., Потемкин В.Г., Нейронные сети. MATLAB 6. // Под общ. ред. В.Г. Потемкина, ДИАЛОГ-МИФИ, 2002 г.

6. Роберт Каллан, Основные концепции нейронных сетей // Вильяме, Москва-Санкт Петербург-Киев, 2003.

7. Сигеру Омату, Марзуки Халид, Рубия Юсоф, нейроуправление и его приложения // Под ред. В.А. Птичкина и А.И. Галушкина, Радиотехника, Москва, 2000 г.

8. Тархов Д.А., Нейронные сети модели и алгоритмы // Радиотехника, Москва, 2005 г.

9. Abdulkader Н, Langlet F., Roviras D. and Castanie F., UMTS Channel Equalization Using Neural Networks: Natural Gradient Algorithm // International Conference on Neural Network 2001 (IJCNN'01), vol.1, pp. 699-702.

10. Adrian j. Shepherd, Second-Orders Methods for Neural Networks-Fast and Reliable Training Methods for Multi-Layer Perceptrons, Springer, London, 1997.

11. Amara R., Marcos S., A Blind Network of Extended Kalman Filters For Nonstationary Channel Equalization // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001,(ICASSP-01) vol.4, pp. 2117-2120.

12. Andre Tkacenko and Vaidyanathan P.P., A New Eigenfilter Based Method For Optimal Design of Channel Shortening Equalizers // IEEE International Symposium on Circuits and Systems 2002 (ISCAS' 02), pp. 11504-507.

13. Artes H., Hlawatsch F., Blind Equalization of MIMO Channels Using Deterministic Precoding // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2153-2156.

14. Azzedine Zerguinne, Ahmar Shaft, and Maamar Bettayeb, Multilayer Perceptron-Based DFE with Lattice Structure // IEEE Transactions on neural networks, vol.12, no.3, May 2001, pp. 532-544.

15. Ben Yuhas and Nirwan Ansari, Neural Networks in Telecommunication // Kluwer Academic Publishers, Thirt printing 1997.

16. Benvenuto N., Marchesi M., Piazza F., Uncini A., A Comparison Between Real And Complex-Valued Neural Networks in Communication Applications // Proceedings of the International Conference on Neural Networks, Espoo, Finland, June, 1991, pp. 1177-1179.

17. Berberidis K., Rantos S., Palicot J., Transform Domain Quasi-Newton Algorithms For Adaptive Equalization In Burst Transmission Systems // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2085-2088.

18. Biao Lu and Brian L. Evans, Channel Equalization by Feedforward Neural Networks //JSCAS 1999, pp. 587-590.

19. Boris Igelnik, Massood Tabib-Azar, Steven R. LeClair, A Net With Complex Weights // IEEE Transactions on Neural Networks, vol. 12, no. 2, March, 2001.

20. Bouchired S., Ibnkahla M., Roviras D and Castanie F., Equalization of Satellite Mobile Communication Channels Using Combined Self-Organizing Maps and RBF Networks // Proc. IEEE ICASSP' 98, Seattle, WA, April 1998, pp.3377-3379.

21. Cassio B. Ribeiro, Marcello L.R. de Campos, Paulo S.R Diniz, FIR Equalizers With Minimum Redundancy // IEEE International Conference on Acoustics, Speech, and Signal Processing, 2002. Proceedings (ICASSP '02), vol. 3, pp. III-2673- III-2676.

22. Cha, Kassam S. A., Channel Equalization Using Adaptive Complex Radial Basis Function Networks // IEEE Journal on Selected Areas in Communications, vol. 13, issue 1, 1995, pp. 122-131.

23. Chakrabartty S. and Cauwenberghs G., Sequence Estimation and Channel Equalization Using Forward Decoding Kernel Machines Machines // Proc. IEEE Int. Conf. Acoustics Speech and Signal Processing (ICASSP'2002), Orlando FL, May 13-17, 2002.

24. Chandra Kumar P., Saratchandran P. and Sundararajan N., Non-Linear Channel Equalization Using Minimal Radial Basis Function Neural Networks // Proc. IEEE ICASSP' 98, Seattle, WA, April 1998, pp.33733376.

25. Changjing Shang Cowan, C.F.N. Holt, M.J.J., Least-Mean-Log-Likelihood Adaptive Algorithm In Single-Layer Perceptron Based Communication

26. Channel Equalization // IEEE International Conference on Acoustics, Speech, and Signal Processing, 1996,(ICASSP-96), vol. 3, pp. 1711-1714.

27. Changsoo Eun and Powers, E.J., Utilization Of Neural Network Signal Processing In The Design Of A Predistorter For A Nonlinear Telecommunication Channel // IEEE International Conference on Neural Networks, 1994, vol.6, pp. 3583-3586.

28. Chen S., Gunn S. R., Harris C. J., The Relevance Vector Machine Technique for Channel Equalization Application // IEEE Transaction on neural network, vol.12, no.6, November 2001, pp. 1529-1532

29. Chen S., Mulgrew B., Grant P. M., A Clustering Technique for Digital Communications Channel Equalization Using Radial Basis Function Networks // IEEE Transactions on Neural Networks, vol. 4, issue 4, 1993, pp. 570-590.

30. Chen, D.C.; Sheu, B.J.; Chou, E.Y., A Neural Network Communication Equalizer With Optimized Solution Capability // IEEE International Conference on Neural Networks, 1996, vol.4, pp. 1957-1962.

31. Cheng-Jian Lin, Chuan-Chan Shih, Po-Yueh Chen, A Nonlinear Time-Varying Channel Equalizer Using Self-Organizing Wavelet Neural Networks // IJCNN 2004 & FUZZ-IEEE 2004.

32. Cheolwoo You and Daesik Hong, "Stop and Go" Decision-Directed Blind Adaptive Equalization Using The Complex- Valued Multilayer Perceptron // IEEE International Conference on Acoustics, Speech, and Signal Processing 1997 (ICASSP'97), pp. 3289-3292.

33. Cheolwoo You and Daesik Hong, Adaptive Equalization Using the Complex Backpropagation Algorithm // IEEE International Conference on Neural Network, 1996, vol.4, pp. 2136-2141.

34. Cheolwoo You and Daesik Hong, Nonlinear Blind Equalization Schemes Using Complex Valued Multilayer Feedforward Neural Networks // IEEE Transactions On Neural Network, vol.9, no.6, 11/1998, pp. 1442- 1455.

35. Ching-Haur Ch., Sammy S. and Wei C.-H., Decision Feedback Equalization Using Complex Backpropagation Algorithm // IEEE International Symposium on Circuits and Systems, June 9-12, 1997, pp. 589-592.

36. Chi-Sing Leung and Lai-Wan Chan, Dual Extended Kalman Filtering in Recurrent Neural Networks //Neural Networks, vol. 16, 2003, pp. 223-239.

37. Chiu Fai Wong, Terrence L.Fine, Adaptive Blind Equalization Using Artificial Neural Network // IEEE International Conference on Neural Networks, vol. 4, 3-6 June 1996, pp. 1974-1979.

38. Choi S., Linear Neural Networks with FIR Synapses for Blind Equalization //Proceedings of ITC-CSCC, 13-15 July 1998, pp. 1081-1084.

39. Chowdhury S., Zoltowski M.D., Goldstein J.S., Structured MMSE Equalization For Synchronous CDMA With Sparse Multipath Channels // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2113-2116.

40. CI Mirko Solazzi, Francesco Piazza and Aurelio Uncini, Neural Equalizer With Adaptive Multidimensional Spline Activation Functions // Proc. of IEEE Int. Conference on Acoustic Speech and Signal Processing, ICASSP'00, Istanbul, Turkey, June 5-9, 2000.

41. Cocchi F.F., Di Claudio E.D., Parisi R. and Orlandi G., Improved Decision Feedback Equalizer Using Discriminative Neural Learning // IEEE Transactions on Signal Processing 1998, pp. 623-625.

42. Coelho P. H. G., A complex EKF-RTRL Neural network // Proceedings of International Joint Conference on Neural Networks (IJCNN), 15-19 July 2001, pp. 120-125.

43. Coelho P. H. G., A New State Space Model for a Complex RTRL Neural Network // Proceedings of International Joint Conference on Neural Networks (IJCNN), 15-19 July 2001, pp. 1756-1761.

44. Corlay M., Charbit M., Duhamel P., Convexity in SISO Blind Equalization // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2093-2096.

45. De Baynast A., Fijalkow /., Prefiltered Blind Equalization: How To Fully Benefit from Spatio-Temporal Diversity // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2069-2072.

46. Debbah M., Loubton, P., de Courville M, Spread OFDM Performance with MMSE Equalization // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2385-2388.

47. Dogandzic A., Nehorai A., Finite-length MIMO Adaptive Equalization Using Canonical Correlations // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2149-2152.

48. Dong-Chul Park, Tac-Kyun Jung Jcong, Complex-Bilinear Recurrent Neural Network for Equalization of a Digital Satellite Channel // IEEE Transactions on Neural Networks, vol. 13, no. 3, May 2002, pp. 711-725.

49. F. Albu, A. Mateescu, J. C. M. Mota, B. Dorizzi, Adaptive Channel Equalization Using Neural Network // Proc. ITS '98—SBT/IEEE Int. Telecommunications Symposium, vol. 2, pp. 438-441, 1998.

50. Francisco J. Gonzalez-Serrano, Anibal R. Figueiras-Vidal and A. Artes-Rodriguez, GCMAC-Based Equalizer For Nonlinear Channel II IEEE1.ternational Conference On Acoustics Speech And Signal Processing 1998, pp. 1165-1168.

51. G. Ungerboeck, Nonlinear Equalization of Binary Signals in Gaussian Noise // IEEE Transactions on Communication, Com—19(6), 12/1971, pp. 11281137.

52. G.M. Georgiou and C. Koutsougeras, Complex Domain Backpropagation // IEEE Transactions on circuits and systems.

53. Gan Q., Saratchandran P., Sundararajan N., Subramanian K. R., A Complex Valued Radial Basis Function Network for Equalization of Fast Time Varying Channels // IEEE Transactions on Neural Networks, vol. 10, issue 4, 1999, pp. 958-960.

54. Gan W. S., Soraghan J. J., Durrani T. S., New Functional-Link Based Equalizer // Electronics Letters August 1992 vol.28 no. 17, pp. 1643-1645.

55. George M. G., Cris Koutsougeras. Complex Domain Backpropagation // IEEE Transactions Circuits and Systems, 1992, No 5, pp. 330-334.

56. Goh S. L., Mandic D. P., Recurrent Neural Networks With Trainable Amplitude of Activation Functions // Neural Network, vol. 16, 2003, pp. 1095-1100.

57. Hacioglu K., An Improved Recurrent Neural Network for M-PAM Symbol Detection // IEEE Transactions on Neural Networks, vol. 8, May 1997, pp. 779-783.

58. Hagan M.T., Menhaj M, Training Feedforward Networks with the Marquardt Algorithm // IEEE Transactions ON Neural Networks 1994, vol.5, no.6, pp. 989-993.

59. Haykin S., Adaptive Filter Theory // 3nd Ed. Upper Saddle River, NJ: Prentice Hall, 1996.

60. Haykin S., Kalman Filtering and neural networks // John Wiley and Sons, 2001.

61. Haykin S., Neural Networks: a Comprehensive Foundation // 2nd Ed. Upper Saddle River, NJ: Prentice Hall, 1999.

62. He, S. and Z. He, Blind Equalization of Nonlinear Communication Channels Using Recurrent Wavelet Neural Networks // Proceedings of the 1997 IEEE International Conference on Acoustics, Speech and Signal Processing, vol. 4, 1997, pp. 3305-3308.

63. Hegde Rajamohana, Shanbhag Naresh R., A Low-Power Phase-Splitting Adaptive Equalizer For High Bit-Rate Communication Systems // IEEE Transactions Signal Process, 1999, vol. 3, pp. 922-925.

64. Heredia E. and Arce G. R., Piecewise Polynomial Kernel Networks // Proceedings of the 1996 IEEE International Conference on Neural Networks, Washington, DC, May 1996

65. Houcke S., Chevreuil A., Loubaton P., Joint Blind Equalization and Estimation of the Symbol Period: a contrast function approach // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2545-2548.

66. Hua Lin, Xiaoqiu Wang, JianmingLu, Yahagi T., Adaptive Detection Using Self-Organizing Map in 16-QAM // International Conferences On Info-Tech And Info-Net., Beijing, China, 29 Oct.-l Nov. 2001, pp. 698-703.

67. Hunsoo Choo, Khurram Muhammad and Kaushik Roy, Decision Feedback Equalizer With Two's Complement Computation Sharing Multiplication // IEEE International Conference on Acoustics, Speech, and Signal Processing, 2001,(ICASSP-01), pp. 1245-1248.

68. I. Daubechies, The Wavelet Transform, Time-Frequency Localization And Signal Analysis // IEEE Transforms on Information Theory, vol. 36, no. 5, 1990, pp. 961-1005.

69. Inseop lee and Kenneth Jenkins W., Comparison of Two Adaptive Equalizers DFE and ACE // IEEE International Symposium on Circuits and Systems 1999 (ISCAS' 99), pp. IV435-IV438.

70. James P. Young, Thomas Hanselmann, Anthony Zaknich and Yianni Attikiouzel, Algebraic Perceptron in Digital Channel Equalization // International Joint Conference on Neural Networks 2001 (1JCNN' 01), pp. 2889-2892.

71. Jaward M.H., Kadirkamanathan V., Interacting Multiple Models For SingleUser Channel Estimation And Equalization // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2101-2104.

72. Jenkins W. K., Soni R. A., Channel Equalization With Adaptive Filtering And The Pre-Conditioned Conjugate Gradient Algorithm // IEEE International Symposium on circuits and systems, June 9-12, 1997, Hong Kong, pp. 2284-2287.

73. Jha S. K., Soraghan J. J., Durrani T. Equalization Using Neural Networks // First IEE International Conference on Artificial Neural Networks, 1989, no. 313, pp 356-360.

74. Jianping D., Sundararajan N., Saratchandran P., Communication Channel Equalization Using Complex-Valued Minimal Radial Basis Function Neural Networks // IEEE Transactions on Neural Networks, vol. 13, issue 3, 2002, pp. 687-696.

75. Jianping D., Sundararajan N., Saratchandran P., Minimal Resource Allocation Network (MRAN) for Magnetic Recording Channel Equalization //IEEE ICASSP'01, pp. 1293-1296.

76. Jianping D., Sundararajan N., Saratchandran P., Nonlinear Magnetic Storage Channel Equalization Using Minimal Resource Allocation Network

77. MRAN) // IEEE Transactions on Neural Networks, vol. 12, No 1, 2001, pp. 171-174.

78. Joao Gomes and Bictor Barroso, Using an RBF Network for Blind Equalization: Design and Performance Evaluation // IEEE International Conference on Acoustics, Speech, and Signal Processing 1997 (ICASSP'97), pp. 3285-3288.

79. Joao Gomes and Victor Barroso, Unsupervised Learning For Channel Equalization Using A Neural Network Data Receiver // IEEE International Conference on Neural Networks, vol. 1, Issue Nov/Dec 1995, pp. 502-506.

80. Jongsoo Choi, Bouchard M. and Yeap T.H., Decision Feedback Recurrent Neural Equalization With Fast Convergence Rate // IEEE Transactions on Neural Networks, vol. 16, no. 3, May 2005, pp. 699-708.

81. Jongsoo Choi, Lima C., and S. Haykin, Unscented Kalman Filter Trained Recurrent Neural Equalizer For Time Varying Channel // Proceedings of IEEE International Conference on Communications, Anchorage, Alaska, USA, May 2003, pp. 3241-3245.

82. Junhong Nie and Lee T.H., Rule Based Channel Equalizer with Learning with Learning Capability // IEEE International Conference on Neural Networks, 1995, vol.1, pp. 606-611.

83. Juuso Alhava and Markku Renfors, Adaptive Sine Modulated Cosine Modulated Filter Bank Equalizer For Transmultiplexers // European Conference On Circuit Theory And Design (ECCTD'01), August 28-31 2001, Espoo, Finland, pp. III337-240.

84. K. Raivio, O. Simula, and J. Henriksson, Improving Design Feedbackth

85. Equalizer Performance Using Neural Networks // Electronics Letters 7 November 1991, vol. 27, no.23, pp. 2151-2153.

86. Kantsila A., Lehtokangas M., Saarinen F., On Radial Basis Function Network Equalization in the GSM System // ES ANN'03 proceedings

87. European Symposium on Artificial Neural Networks Bruges (Belgium), April 2003, pp. 179-184.

88. Kechriotis G., E. Zervas, E. S. Manolakos, Using Recurrent Neural Networks for Adaptive Communication Channel Equalization // IEEE Trans on Neural Networks, vol. 5, no. 2, 1994, pp. 267-278.

89. Khalid A, Al-Mashouq, and Irving S. Reed, The Use of Neural Nets to Combine Equalization with Decoding for Severe Intersymbol Interference Channel // IEEE Transactions on Neural Networks, vol.5, no.6, November 1994, pp. 982-988.

90. Kim YongWoon, Park Dong-Jo, Fast Nonlinear Channel Equalization Using Generalised Diagonal Recurrent Neural Networks // Electronics Letters, 1998, vol. 23, pp. 2253-2254.

91. Kumar P. Chandra, Saratchandran P., Sundararajan N., Minimal Radial Basis Function Neural Networks For Nonlinear Channel Equalization // IEEE Proceedings of Vision, Image and Signal Process. 2000, vol.5, pp. 428-435.

92. Lang Tong, Guanghan Xu and Thomas Kailath, Blind Identification And Equalization Based On Second Order Statistics: A Time Domain Approach // IEEE Transactions on Neural Networks, vol.40, no. 2, September 1994, pp. 340-349.

93. Lee J., Beach C. and Tepedelenlioglu N., A Practical Radial Basis Function Equalizer // IEEE Transactions on Neural Networks, vol. 10, issue 2, 1999, pp. 450-455.

94. Lee J., Beach C. D., Tepedelenlioglu N., Channel Equalization Using Radial Basis Function Network // IEEE International Conference on Neural Networks, vol. 4, 1996, pp. 1924-1928.

95. Lei Xu, Channel Equalization by Finite Mixtures and the EM Algorithm // IEEE Neural Networks for Signal Processing V, 1995, pp.603-612.

96. Liang Qilian, Zhou Zheng, Liu Zemin, Blind Equalization Using A Hybrid Algrithm Of Multilayer Neural Network // High Eichnol. Letter, 1996, vol. 1, pp. 47-50.

97. Luo J., LingX., Minor Component Analysis with Implementation to Blind 2-Channel Equalization // IEEE International Conference on Neural Networks, Houston, TX, June 1997, pp. 2235-2238.

98. Maricic B., Zhi-Quan Luo, Davidson T.N., Blind Equalization Of Constant Modulus Signals Via Restricted Convex Optimization // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2169-2172.

99. Mimura M., Furukawa T., A Nonlinear Equalizer Based on Estimation of RBF's Centers // IEEE International Symposium on Circuits and Systems 1999 (ISCAS'99), pp. III231-234.

100. Mimura M., Furukawa T., A Recurrent RBF Network For Non-Linear Channel // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP'01), pp. 1297-1300.

101. Miyagi T., Ochi H., An Alias-Free Subband Adaptive Equalizer for OFDM System // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2413-2416.

102. Mohammed Nafie, Alan Gatherer and Anand Dabak, Decision Feedback Equalization For Bluetooth Systems // International Conference on Acoustic, Speech and Signal Processing 2001 (JCASSP'01), pp. 909-911.

103. N. Amitay and L.J. Greenstein, Multipath Outage Performance Of Digital Radio Receivers Using Finite Tap Adaptive Equalizers // IEEE Transactions on Communication, Com-32(5), August 1984, pp. 597-608.

104. N. Benvennuto and F.Piazza, On the Complex Backpropagation Algorithm // IEEE Transactions on Signal Processing, 40(4), April 1992, pp. 967-969.

105. N. W. K. Lo and H. M. Hafez, Neural Network Channel Equalization // International Joint Conference on Neural Networks, (IJCNN'92) June 1992, pp.II 981-986.

106. Ong S., You C., Choi S., and Hong D., A Decision Feedback Recurrent Neural Equalizer as an Infinite Impulse Response Filter // IEEE Transactions on Signal Processing, vol. 45, November 1997, pp. 2851-2858.

107. Ortiz-Fuentes J.D., Forcada M.L., A Comparison Between Recurrent Neural Network Architectures For Digital Equalization // IEEE International Conference on Acoustics, Speech, and Signal Processing, 1997 (ICASSP-97), vol.4, pp. 3281-3284.

108. Panda G., Satpathy J.K., Patra S.K., Amiete, Development of New Neural Adaptive Equalizers and their Performance Comparison with Existing Techniques //Journal of the IETE, vol. 42, no. 4&5, 1996, pp. 237-254.

109. Parisi R., Di Claudio E. D., Orlandi G., Rao B. D., Fast Adaptive Digital Equalization by Recurrent Neural Networks // IEEE Trans on Signal Processing, vol. 45, no. 11, 1997, pp. 2731-2739.

110. Patra J. C., Pal R. N., Baliarsingh R., Panda G., Nonlinear Channel Equalization for QAM Signal Constellation Using Artificial Neural Networks // IEEE Transactions on Systems, Man, & Cybernetics, Part B, vol. 29, issue 2, pp. 262-271, 1999.

111. Paul V. Yee, Haykin S., Regularized Radial Basis Function Networks-Theory And Application // John Wiley & sons, New York, 2001.

112. Power P., Sweeney F., Cowan C. F. N., Non-Linear MLP Channel Equalization // IEE Colloquium on Statistical Signal Processing (Ref. no. 1999/002), pp. 3/1-3/6, 1999.

113. Prakriya S., Equalization and Block-Synchronization for OFDM Signals // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2317-2320.

114. Proakis J. G., Digital Communication // Mc Graw-Hill, 1995.

115. Puskorius G. V. and Feldkamp L. A., Neurocontrol of Nonlinear Dynamical Systems with Kalman Filter Trained Recurrent Networks // IEEE Transactions on Neural Networks, vol. 5, March 1994, pp. 279-297.

116. Qi-Lian Liang, Zheng Zhou, Ze-Min Liu, A New Approach To Global Minimum And Its Application In Blind Equalization // IEEE International Conference on Neural Networks , vol. 4, 3-6 June 1996, pp. 2113-2117.

117. Raffeaele Parisi, Elio D. Di Claudio, Gianni Orlandi and Bhaskar D. Rao, A Generalized Learning Paradigm Exploiting the Structure of Feedforward Neural Networks // IEEE Transactions on Neural Networks, vol. 7, no. 6, 1996, pp. 1450-1460.

118. Raivio K., Henriksson J., Simula O., Neural Detection of QAM Signal With Strongly Nonlinear Receiver//Neurocomputing, vol. 21, no.13, pp.159-171.

119. Rajagopal R., Potter L., MIMO FIR Equalizers And Orders // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001,(ICASSP-01), vol.4, pp. 2077-2080.

120. Roumy A., Grant A.J., Fijalkow I., Alexander P.D., Pirez D., Turbo-Equalization: Convergence Analysis // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2645-2648.

121. Sadler B.M., Kozick R.J., Moore T., Bounds on MIMO Channel Estimation And Equalization With Side Information // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2145-2148.

122. Saini J. P., Srivastava M. C., A New Polynomial Structire for Channel Equalization and ACI Suppression in 64-QAM // IEEE International Symposium on Circuits and Systems 1998 (ISCAS' 98), pp. IV457-IV460.

123. Sapthotharan K. Nair and Jaekyun Moon, A Theoretical Study of Linear and Nonlinear Equalization in Nonlinear Magnetic Storage Channels // IEEE Transactions on Neural Networks, vol.8, no. 5, September 1997, pp. 11061118.

124. Sapthotharan K. Nair and Jaekyun Moon, Data Storage Channel Equalization Using Neural Network // IEEE Transactions On Neural Networks, vol.8, no. 5, September 1997, pp. 1037-1048.

125. Seungjin Choi, Linear Neural Networks With FIR Synapses For Blind Equalization // Proceeding of International Technical Conference On Circuits/Systems, Computers and Communications (ITC -CSCC), July 1998, pp. 1081-1084.

126. Shafayat Abrar, Azzedine Zerguine, Recursive Least-Squares Backpropagation Algorithm for Stop-and-Go Decision-Directed Blind Equalization // IEEE Transactions on Neural Networks, vol. 13, no. 6, 2002, pp.1472-1481.

127. Shaft A., Zerguine A., Betayeb M, Neural Network Based Decision Feedback Equalizer With Lattice Structure // Electronics Letters, 1999, vol. 20, pp. 1705-1707.

128. Siu S., Gibson G. J., Cowan C. F. N., Decision Feedback Equalization Using Neural Network Structures And Performance Comparison With Standard Architecture // IEE proceedings, Voll37, No-4, August 1990, pp. 221-225.

129. Siu S., Gibson G. J., Cowan C. F. N., Multi-Layer Perceptron Structures Applied To Adaptive Equalizers For Data Communication // Proceedings ICASSP Glasgow-Scotland, May 1989, pp.1183-1186.

130. Solazzi M., Uncini A., Di Claudio E. D., and Parisi R., Complex Discriminative Learning Bayesian Neural Equalizer // IEEE Transactions on Signal Processing, 2001, vol. 81, pp. 2493-2502.

131. Sudararajan N., Saratchandran P. and Lu Ying Wei, Radial Basis Function Neural Networks with Sequential Learning-MRAN and it's Applications // World Scientific, Singapore New Jersey - London - Hong Kong, 1999.

132. Sunghwan Ong, Sooyong Choi, Cheowoo You, Daesik Hong, A Decision Feedback Equalizer Structure Using Hopfield Neural Networks // IEEE Communication magazine 1997, pp. 142-147.

133. Sweatman C. Z. W. H., Mulgrew B., Gibson G. J., Two Algorithms for Neural Network Design and Training with Application to Channel

134. Equalization // IEEE Transactions on Neural Network, vol.9, no.3, pp.533543.

135. Tetsuya Houya, Hiroyuki Kamata and Yoshihisa Ishida, Design And Implementation Of An Adaptive Filter Using Neural Network // Proceedings of 1993 International Joint Conference on Neural Networks, pp. 979-982.

136. Teuvo Kohonen, Kimmo Raivio, Olli Simula, and Jukka Henriksson, Performance Evaluation Of Self-Organizing Map Based Neural Equalizers

137. Dynamic Discrete-Signal Detection // Proceedings of the International

138. Conference on Artificial Neural Networks, Helsinki, June 1991, pp. II1677-1680.

139. Tohru Nitta, A Back-Propagation Algorithm For Complex Numbered Neural Networks // International Joint Conference on Neural Networks 1993 (IJCNN'93) Nagoya, vol. 2, pp. 1649.

140. Tohru Nitta, A Sufficient Condition For Decision Boundaries in Neural Networks With Complex Numbered Weights To Intersect Orthogonally // Proc. of International Conference on Neural Information Processingm (ICONIP), 1999, vol. 1, pp.95.

141. Tohru Nitta, On The Inherited Property Of The Decision Boundary In Complex-Valued Neural Network // International Conference on Neural Information Processing (ICONIP), 2002.

142. Tohru Nitta, Structure Of Learning In The Complex Numbered Back-Propagation Network // Proceedings of IEEE International Conference on Neural Networks (ICNN'94)-Orlando, June 28-July 2, 1994, vol.1, pp.269274.

143. TongL., Xu G., and Kailath, Blind Identification and Equalization Based on Second-Order Statistics // IEEE Transactions on Information Theory, vol.• IT-40, 1991, pp. 340-349.

144. W.R. Kirkland and D.P.Taylor, The Application of Feed Forward Neural Networks to Channel Equalization // International Joint Conference on Neural Networks (IJCNN'92), June 1992, pp. II 919-924.

145. Wang K. J., Chern S. J., Adaptive Bayesian Decision Feedback Equalizer for Radio Channel with High-power Amplifier // Proc. Natl. Sci. Counc. ROC (A), vol. 24, no. 1, 2000, pp.61-72.

146. Wolfgang A., Chen S., Hanzo L., Radial Basis Function Network Assisted Space-time Equalization for Dispersive fading Environments // Electronics Letters 5th August 2004, vol. 40, no. 16.

147. Woo You, Dae Sik Hong, Neural Adaptive Equalization of M-ary QAM Signals Using A New Activation Function With A Multi-Saturated Output Region // J. Inst. Electron. Eng. Korea C, vol. 35-C, no. 1, pp. 42-54.

148. Wray L. Buntine and Andreas S. Weigend, Computing Second Derivatives In Feed-Forward Networks: A Review // IEEE Transactions on Neural Networks, vol. 5, no. 3 may 1994, pp. 480-488.

149. Xiao Liu and Adali T., Recurrent Canonical Piecewise Linear Network And Its Application To Adaptive Equalization // IEEE International Conference on Neural Networks, 1996, vol.4, pp. 1969-1973.

150. Xiaodong Wang, Zigang Yang, Turbo Equalization for GMSK Signaling Over Multipath Channels // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2641-2644.

151. Xiaofeng Lin, Jin Liu, and John Fonseka, A High Speed Low-Noise Equalization Technique With Improved Bit Error Rate // IEEE International Symposium on Circuits and Systems 2002 (ISCAS' 02), pp. 11564-567.

152. Xiaoqiu Wang, Hua Lin, Jianming Lu, Yahagi, Yahagi T. and Lu Lab., Channel Equalization Using Complex-Valued Recurrent Neural Network // Proceedings. ICII 2001-Beijing. 2001, vol.3, pp. 498-503.

153. Xiaoqiu Wang, Jianming Lu, Hua Lin, Nuo Zhang, Sekiya H., Yahagi T., Combining RNN Equalizer with SOM Detector // International Conference on Signal Processing Proceedings, Beijing, China, 26-30 Aug. 2002, pp. 1291 1294.

154. Y. Tsuda and T. Shimamura, An Improved NLMS Algorithm For Channel Equalization // Tech. Rep. of the IEICE, vol.102, no. 14, Japan Apr. 2002, pp. 353-356.

155. Yingbo Hua, Senjian An, YongXiang, Blind Identification And Equalization of FIR MIMO Channels by BIDS // IEEE International Conference on Acoustics, Speech, and Signal Processing 2001 (ICASSP-01), vol.4, pp. 2157-2160.

156. Yoan Shin, Keun-Sik Jin, Byung-Moon Yoon, Complex Pi-Sigma Network and its Aplication to Equalization of Nonlinear Satellite Channels // IEEE International Conference on Neural Network, 1997, vol.1, pp. 148-152.

157. Yong Fang and Tommy W.S.Choi, Blind Equalization of A Noisy Channel By Linear Neural Network // IEEE Transactions On Neural Networks, vol.10, no. 4, September 1999, pp. 918-924.

158. Young J. P., Zaknich A., Attikiouzel Y., Center Reduction Algorithm for the Modified Probabilistic Neural Network Equalizer // IEEE IJCNN '01, July 2001, vol. 3, pp. 1966-1969.

159. Z.W. Hassell Sweatman, Constructive Neural Network Design for The Solution of Two State Classification Problems with Application to Channel // IEEE Neural Networks for Signal processing V, pp. 551-560.

160. Zhang J., Walter G. G., Miao Y., and Lee W. N. W., Wavelet Neural Networks for Function Learning // IEEE Transactions Signal Processing, vol. 43, June 1995, pp. 1485-1497.

161. Jle Хай Нам и др., Исследование проблем прикладной математики и разработка алгоритмов для их решения на основе нейросетевого моделирования // Отчёт по контракту № ИО-744 фонда «Интеграция» -2004 г.

162. Jle Хай Нам, Комплексный гибридный нейросетевый эквалайзер // XLVIII научной конференции современные проблемы фундаментальных и прикладных наук, МФТИ, 25-26 ноября 2005, с. 190-192.

163. Jle Хай Нам, Эквалайзер с использованием самоорганизующейся комплексной нейронной сети // Нейрокомпьютеры: разработка и применение, № 3, 2005, с. 29-35.

164. Jle Хай Нам, Нелинейный эквалайзер с использованием рекуррентной нейронной сети. // VIII всероссийская научно-техническая конференция «Нейроинформатика-2006», Сборник научных трудов, часть 3, 24-27 января 2006 г., с. 56-67.

165. Jle Хай Нам, Рекуррентный нейросетевой эквалайзер с алгоритмом расширенного фильтра Калмана. // Журнал «Нейрокомпьютеры: разработка и применение»,№2, 2006, с. 71-79.